جب بھی آپ جدید AI ماڈل کے ساتھ تعامل کرتے ہیں، تو آپ 2017 کے تحقیقی مقالے سے پیدا ہونے والے فن تعمیر پر انحصار کرتے ہیں جس کا عنوان ہے "توجہ آپ سب کی ضرورت ہے۔”
freeCodeCamp.org YouTube چینل پر تازہ ترین ویڈیو اس کہانی پر گہری نظر ڈالتی ہے کہ کس طرح Google کے آٹھ محققین نے Google Translate کو بہتر بنانے کے لیے تیار کیا اور پوری ٹیکنالوجی کے منظر نامے کو نئی شکل دی۔
ان اختراعات سے پہلے، AI ریکرنٹ نیورل نیٹ ورکس (RNNs) پر انحصار کرتا تھا۔ یہ ماڈل متن کو ترتیب وار، لفظ بہ لفظ پڑھتے ہیں، جو دو بڑی رکاوٹیں کھڑی کرتی ہے۔
-
دھندلاہٹ سیاق و سباق: ایک طویل جملے یا پیراگراف کے بعد، ماڈل شروع سے اہم کنکشن کا پتہ کھو دیتا ہے۔
-
سست تربیت: ترتیب وار پروسیسنگ نے قدموں کو متوازی طور پر چلنے سے روکا، اس میں ایک سنگین رکاوٹ پیدا ہو گئی کہ ماڈلز کتنی جلدی پیمانے کر سکتے ہیں، یہاں تک کہ بڑے GPU کلسٹرز پر بھی۔
محققین نے ایک سادہ سا سوال پوچھا: اگر ماڈل پورے متن کو بیک وقت دیکھ سکتا ہے تو کیا ہوگا؟
ہم نے توجہ کے طریقہ کار کو منقطع کرکے اور ترتیب وار لوپ کو مکمل طور پر ختم کرکے ٹرانسفارمر بنایا۔ نئے فن تعمیر نے نہ صرف موجودہ ترجمے کے معیارات کو پیچھے چھوڑ دیا ہے۔ اس نے مختصر عرصے میں تربیت کے دوران انہیں ٹکڑے ٹکڑے کر دیا۔
متوازی پروسیسنگ انٹرنیٹ اسکیل ڈیٹاسیٹس میں ماڈلز کو اسکیل کرنے کی صلاحیت کو کھول دیتی ہے۔ اس واحد تبدیلی نے آج کے تخلیقی AI، GPT میں "T” کی بنیاد ڈالی، اور اسی کی وجہ سے کاغذ کے اصل مصنفین کو Cohere، OpenAI، اور Character.ai جیسے بڑے AI وینچرز کا پتہ چلا۔
مکمل تجزیہ کے لیے freeCodeCamp.org یوٹیوب چینل دیکھیں کہ اس پیپر نے کمپیوٹنگ کو کیسے بدلا۔