GLM-5.3-Flash لکیری اور ویرل توجہ، ماہر مخلوط ڈیزائن، اور متنوع پابند ہائپر کنیکٹیوٹی کو یکجا کرتا ہے۔ 25 ملین پیرامیٹرز کے ساتھ ایک چھوٹا ورژن Python میں بنایا جا سکتا ہے اور اسے معیاری CPU پر تربیت دی جا سکتی ہے۔
میں نے ابھی freeCodeCamp.org یوٹیوب چینل پر ایک پری ٹریننگ اور پوسٹ ٹریننگ کورس پوسٹ کیا ہے جو آپ کو سکھاتا ہے کہ شروع سے ملٹی موڈل لینگویج ماڈل کیسے بنایا جائے اور اس کی تربیت کی جائے۔ یہ کورس @vukrosic نے سکھایا تھا اور تمام کوڈ، سلائیڈز اور تجربات ویڈیو کی تفصیل میں منسلک GitHub ریپوزٹری میں ہیں۔
ماڈل میں 260 ٹوکن بائٹ لیول کی الفاظ، 192 ٹوکن سیاق و سباق، اور ایک کمپیکٹ وژن انکوڈر استعمال کیا گیا ہے جو 32 x 32 امیج کو 16 ٹوکنز میں تبدیل کرتا ہے۔
اس کورس میں آپ سیکھیں گے:
- ٹوکنائزیشن اور ایمبیڈنگ
چھوٹے ماڈلز کو بائٹ لیول کے چھوٹے الفاظ کی ضرورت کیوں ہوتی ہے اور کس طرح ویٹ بنڈلنگ ایمبیڈنگ اور آؤٹ پٹ ہیڈز کے درمیان ایک میٹرکس کا اشتراک کرتی ہے۔ - لکیری اور ویرل دلچسپی
جبکہ لکیری توجہ حالیہ ٹوکنز کی ایک مقررہ سائز کی میموری کو برقرار رکھتی ہے، ہر چوتھی پرت دور کی تفصیلات تلاش کرنے کے لیے انڈیکسر کے ساتھ ویرل توجہ کا استعمال کرتی ہے۔ - ماہرین کا مرکب
اس طرح ٹوکنز کو چند منتخب ماہرین اور مشترکہ ماہرین کو منتقل کیا جاتا ہے جو معلومات سیکھتے ہیں جو تمام ٹوکنز کے لیے عام ہے۔ - نقطہ نظر شامل کریں
2D RoPE کا استعمال کرتے ہوئے کسی تصویر کو پیچ میں کیسے تقسیم کیا جائے اور انہیں تصویری ٹوکن میں ضم کیا جائے تاکہ ماڈل نمبروں کو پہچان سکے۔ - پری ٹریننگ تجربہ
ڈیٹا کا تنوع، انٹرلیونگ، اور نصاب سیکھنے کو کیسے متاثر کرتے ہیں، بشمول کس طرح انٹرلیونگ تباہ کن بھول جانے کو روکنے میں مدد کرتا ہے۔ - کمک سیکھنے
ریوارڈ فنکشن کو کیسے ڈیزائن کیا جائے، جی آر پی او کی طرح فائدے کا حساب کیسے لگایا جائے، صرف آخری پرت کو کیسے اپ ڈیٹ کیا جائے اور گروپ کے سائز، درجہ حرارت اور بیج کی جانچ کی جائے۔
کمک سیکھنے کے بعد، ماڈل Python کے 24 میں سے 0 کاموں سے 24 میں سے 16 تک ترقی کرتا ہے۔
freeCodeCamp.org یوٹیوب چینل پر مکمل کورس دیکھیں (44 منٹ دیکھے گئے)۔