جب تھنک چین پرامپٹس متعارف کرائے گئے تو انہوں نے ظاہر کیا کہ بڑے پیمانے پر لینگویج ماڈلز جواب پیدا کرنے سے پہلے قدم بہ قدم سوچ کر استدلال کے بہت سے مشکل مسائل کو حل کر سکتے ہیں۔
اگرچہ یہ ایک قابل ذکر پیش رفت تھی، لیکن اس نے اہم حدود کا بھی انکشاف کیا۔ اگر ماڈل کے قیاس غلط ہیں تو کیا ہوگا؟
یہاں تک کہ سوچ کی زنجیروں کے ساتھ، ماڈل صرف ایک ہی قیاس کے راستے پر چلتا ہے۔ اگر اس راستے میں غلطیاں ہیں، تو حتمی جواب بھی غلط ہونے کا امکان ہے۔ بہتر اندازہ اب بھی اسے پہلی بار درست کرنے پر منحصر ہے۔
یہ مقالہ ان حدود کو ان خیالات کے ذریعے حل کرتا ہے جس سے متاثر ہوکر لوگ مشکل مسائل کو کیسے حل کرتے ہیں۔ ذہن میں آنے والے پہلے حل پر بھروسہ کرنے کے بجائے، ہم اکثر یہ فیصلہ کرنے سے پہلے کئی مختلف طریقوں پر غور کرتے ہیں کہ کون سا جواب سب سے زیادہ مجبور ہے۔ مصنفین نے پوچھا کہ کیا زبان کے ماڈل ایک ہی کام انجام دے سکتے ہیں۔
ان کا جواب ہے خود مستقل مزاجی: ایک سادہ ضابطہ کشائی کی حکمت عملی جو متعدد آزاد انفرنس راستوں کو پیدا کرتی ہے اور جواب کا انتخاب کرتی ہے جو ان میں سب سے زیادہ مستقل طور پر ظاہر ہوتا ہے۔ ماڈل خود تبدیل نہیں ہوتا ہے۔ کوئی اضافی تربیت، ٹھیک ٹیوننگ یا نگرانی نہیں ہے۔ صرف ضابطہ کشائی کی حکمت عملی تبدیل ہوتی ہے۔
اس کی سادگی کے باوجود، اس نقطہ نظر نے ریاضی، عام فہم، اور علامتی استدلال کے کاموں میں قابل ذکر بہتری لائی، جس سے یہ ظاہر ہوتا ہے کہ زیادہ قابل اعتماد قیاس آرائیاں اکثر پہلے سے کرنے کی بجائے متعدد نظریات کا موازنہ کرنے سے آتی ہیں۔
یہ مقالہ تھیٹ چین انڈکشن کا فطری جانشین بن گیا اور ایل ایل ایم ریسرچ میں اہم تبدیلیاں لایا۔ ماڈل کو بڑا بنانے کے بجائے، ہم نے دکھایا کہ ماڈل کے پاس پہلے سے موجود انفرنس پاور کا بہتر استعمال کرکے اہم فوائد حاصل کیے جا سکتے ہیں۔
مقالہ کا خاکہ
اس جائزے میں خود مستقل مزاجی زبان کے نمونوں میں ذہنی اندازہ کو بہتر بناتی ہے۔گوگل ریسرچ محققین کے ذریعہ شائع کیا گیا اور ICLR 2023 میں پیش کیا گیا۔
آئیے سب سے پہلے سوچ کی زنجیر کے اشارے کی حدود کا جائزہ لیں جنہوں نے اس کام کو متحرک کیا، پھر Self-Consistency کے پیچھے موجود وجدان کو دیکھیں، کہ ڈی کوڈنگ الگورتھم کیسے کام کرتا ہے، اور ایک سے زیادہ انفرنس کے راستے کیوں بنانا زیادہ قابل اعتماد جوابات کی طرف لے جاتا ہے۔
اس کے بعد، ہم ریاضی، عام فہم، اور علامتی استدلال کے بینچ مارکس کے تجرباتی نتائج کا تجزیہ کرتے ہیں، متبادل ضابطہ کشائی کے طریقوں جیسے کہ بیم کی تلاش اور نمونہ اور درجہ بندی کے ساتھ ان کی خود ساختہ مطابقت کا موازنہ کرتے ہیں، اور ان کے فوائد، حدود، اور کمپیوٹیشنل ٹریڈ آف پر تبادلہ خیال کرتے ہیں۔
آخر میں، ہم زبان کے ماڈل کی تحقیق پر مقالے کے طویل مدتی اثرات کا جائزہ لیں گے اور اس کے بنیادی خیالات نے بعد میں ٹیسٹ ٹائم انفرنس، تصدیق، تلاش پر مبنی تخمینہ، اور جدید قیاس پر مبنی زبان کے ماڈلز پر کس طرح اثر ڈالا۔
اگر آپ ساتھ چلنا چاہتے ہیں تو اصل کاغذ پڑھیں۔
خود مستقل مزاجی زبان کے نمونوں میں ذہنی اندازہ کو بہتر بناتی ہے۔
یہاں ایک فوری انفوگرافک ہے جس کا ہم اس جائزے میں احاطہ کریں گے۔
اشاریہ:
شرطیں
اس جائزے سے زیادہ سے زیادہ فائدہ اٹھانے کے لیے، بڑے پیمانے پر لینگویج ماڈلز میں ہونے والی پیشرفت اور ان انفرنس تکنیکوں سے واقف ہونا مددگار ہے جو خود مستقل مزاجی کا باعث بنے۔
یہ مضمون براہ راست چین آف تھاٹ پرمپٹنگ میں متعارف کرائے گئے خیالات پر مبنی ہے، لہذا اس سلسلے میں پچھلے جائزوں کو پڑھنے سے قیمتی سیاق و سباق ملے گا۔
پچھلے جائزوں کی خاص طور پر سفارش کی جاتی ہے۔
ان میں سے چین آف تھیٹ کا جائزہ سب سے اہم شرط ہے۔ اس سے اس خیال کو متعارف کرایا جاتا ہے کہ زبان کے ماڈلز جواب پیدا کرنے سے پہلے درمیانی اندازے کے مراحل پیدا کر کے ڈرامائی طور پر اندازہ کو بہتر بنا سکتے ہیں۔
خود مستقل مزاجی اسی جدت پر قائم ہے۔ سوچ کی ایک زنجیر پر بھروسہ کرنے کے بجائے، ہم متعدد آزاد قیاس کے راستے تلاش کرتے ہیں اور اس جواب کا انتخاب کرتے ہیں جو سب سے زیادہ مستقل طور پر ظاہر ہوتا ہے، جس سے یہ ظاہر ہوتا ہے کہ بہتر قیاس آرائیاں بڑے یا بہتر تربیت یافتہ ماڈلز کی بجائے بہتر ڈیکوڈنگ حکمت عملیوں سے آ سکتی ہیں۔
آپ کو درج ذیل مددگار بھی مل سکتے ہیں:
-
قدرتی زبان کی پروسیسنگ (NLP) اور بڑے پیمانے پر زبان کے ماڈلز کی عمومی تفہیم
-
ٹرانسفارمر پر مبنی آٹوریگریسو ماڈلز کی بنیادی تفہیم
-
اشارے سے واقفیت، چند شاٹ لرننگ، حالات میں سیکھنے، اور سوچ کے سلسلے کے اشارے
-
ایک اعلی سطحی تفہیم کہ کس طرح ایک زبان کا ماڈل ٹوکن کے ذریعہ ٹیکسٹ ٹوکن ٹوکن تیار کرتا ہے۔
-
مشین لرننگ کے عمومی تصورات جیسے کہ تربیت، تخمینہ، پیمانے کے قوانین، اور ماڈل کی تشخیص۔
-
استدلال کے کاموں، منطق کے مسائل، اور ریاضی کے الفاظ کے مسائل کی نمائش۔
-
بینچ مارک ڈیٹاسیٹس کی بنیادی تفہیم اور ماڈل کی کارکردگی کا اندازہ کیسے لگایا جائے۔
اس مضمون کی پیروی کرنے کے لیے آپ کو ریاضی یا مشین لرننگ ریسرچ میں گہرے پس منظر کی ضرورت نہیں ہے۔
ہم اس بات پر توجہ مرکوز کرتے ہوئے اپنی بدیہی اور عملی وضاحت کو جاری رکھیں گے کہ کیوں سیلف کنسسٹینسی جدید AI میں سب سے زیادہ متاثر کن انفرنس ٹائم انفرنس تکنیک میں سے ایک بن گئی ہے، یہ کس طرح تھیٹ چین پرامپٹس کے ذریعے متعارف کرائے گئے آئیڈیاز کو بڑھاتی ہے، اور کیوں ڈی کوڈنگ میں ایک سادہ تبدیلی نے بڑے پیمانے پر ماڈل ماڈل کی زبان میں قیاس کے بارے میں محققین کے سوچنے کے انداز کو بنیادی طور پر تبدیل کر دیا ہے۔
خلاصہ
اصل چینز آف تھنکنگ پیپر نے ظاہر کیا کہ بڑے پیمانے پر لینگویج ماڈل اس وقت زیادہ بہتر استدلال بن جاتے ہیں جب وہ جوابات پیدا کرنے سے پہلے درمیانی اندازے کے مراحل پیدا کرتے ہیں۔ لیکن اس نے پھر بھی سادہ مفروضوں پر انحصار کیا۔ یعنی، ماڈل نے ایک ہی انفرنس کے راستے کی پیروی کی اور پہلے حل پر بھروسہ کیا۔
یہ کاغذ ایک فطری فالو اپ سوال پوچھتا ہے۔ اگر پہلا قیاس راستہ غلط ہے تو کیا ہوگا؟
اس کے جواب کے لیے مصنف نے اپنا تعارف یوں کیا ہے: خود مستقل مزاجیایک سادہ ضابطہ کشائی کی حکمت عملی اس سے متاثر ہے کہ لوگ اکثر مشکل مسائل کو کیسے حل کرتے ہیں۔ سوچ کی پہلی زنجیر کا ارتکاب کرنے کے بجائے، ماڈل متعدد آزاد استخراجی راستے تیار کرتا ہے اور اس جواب کا انتخاب کرتا ہے جو ان میں سب سے زیادہ مستقل طور پر ظاہر ہوتا ہے۔
ماڈل خود تبدیل نہیں ہوتا ہے۔ کوئی اضافی تربیت، ٹھیک ٹیوننگ یا نگرانی نہیں ہے۔ صرف ضابطہ کشائی کا عمل مختلف ہے۔
اہم بصیرت یہ ہے کہ مشکل مسائل میں شاذ و نادر ہی صحیح جواب کا صرف ایک درست راستہ ہوتا ہے۔ مختلف استدلال کے عمل مختلف طریقوں سے کسی مسئلے تک پہنچ سکتے ہیں لیکن پھر بھی ایک ہی نتیجے پر پہنچ سکتے ہیں۔ کسی ایک حل پر انحصار کرنے کے بجائے ان آزاد حلوں کا موازنہ کرنے سے، ماڈل غلطیوں کا اندازہ لگانے کے لیے زیادہ مضبوط ہو جاتا ہے۔
خیال ناقابل یقین حد تک آسان ہے، لیکن اثر بہت گہرا ہے۔ خود کی مستقل مزاجی ریاضی، عام فہم اور علامتی استدلال کے کاموں میں سوچ کے سلسلے کو نمایاں طور پر بہتر بناتی ہے، جس سے GSM8K، SVAMP، AQuA، StrategyQA، اور ARC-چیلنج سمیت کئی مشہور بینچ مارکس پر نئے جدید ترین نتائج مرتب ہوتے ہیں۔
زیادہ اہم بات یہ ہے کہ اندازہ کو بہتر بنانے کے لیے ہمیشہ بڑے ماڈلز یا اضافی تربیت کی ضرورت نہیں ہوتی ہے۔ کبھی کبھی ماڈل کی موجودہ انفرنسنگ صلاحیتوں کو دریافت کرنے کا صرف ایک بہتر طریقہ بہت بہتر نتائج پیدا کر سکتا ہے۔
تعارف
2022 میں چین آف تھنکنگ پرامپٹس کے تعارف نے بڑے پیمانے پر زبان کے ماڈلز میں تخمینہ کے بارے میں گفتگو کو بدل دیا۔ انٹرمیڈیٹ انفرنس اقدامات پیدا کرنے کے لیے ماڈلز کی حوصلہ افزائی کرتے ہوئے، محققین نے پایا کہ بہت سے کام جو ایک بار مشکل سمجھے جاتے تھے اچانک بہت زیادہ مؤثر طریقے سے حل کیے جا سکتے ہیں۔
تاہم، اہم حدود باقی ہیں۔ یہاں تک کہ خیالات کی زنجیروں کے ساتھ، ماڈل اب بھی ایک واحد راستہ پر کاربند ہے۔ اگر اس استدلال میں غلطیاں ہوں تو حتمی جواب غلط ہونے کا امکان ہے۔
نیچے دی گئی انفوگرافک سوچ کے تخمینے کی پائپ لائن کی ایک معیاری زنجیر دکھاتی ہے، جس سے یہ ظاہر ہوتا ہے کہ کس طرح ایک لینگویج ماڈل ایک حتمی جواب پیدا کرنے کے لیے ایک ہی انفرنس پاتھ پر چلنے کے لیے لالچی ڈی کوڈنگ کا استعمال کرتا ہے۔
یہ مضمون ایک سادہ مشاہدے سے شروع ہوتا ہے۔ پیچیدہ مسائل میں اکثر جواب کے لیے ایک سے زیادہ درست راستے ہوتے ہیں۔
مشکل مسائل کو حل کرتے وقت لوگ شاذ و نادر ہی صرف ایک سطر پر انحصار کرتے ہیں۔ اس کے بجائے، وہ مختلف امکانات تلاش کرتے ہیں اور جب آزادانہ نقطہ نظر ایک ہی نتیجے پر پہنچتے ہیں تو اعتماد حاصل کرتے ہیں۔ مصنفین پوچھتے ہیں کہ کیا زبان کے ماڈل اسی حکمت عملی سے فائدہ اٹھا سکتے ہیں۔
اس خیال کو دریافت کرنے کے لیے، وہ Self-Consistency متعارف کراتے ہیں، ایک ضابطہ کشائی کی حکمت عملی جس کی بنیاد براہ راست سوچ کے سلسلے کے اشارے پر ہے۔ ماڈل کی طرف سے پیدا ہونے والے پہلے استنباطی راستے کو قبول کرنے کے بجائے، Self-Consistency متعدد آزاد انفرنس راستوں کے نمونے لیتی ہے اور اس جواب کا انتخاب کرتی ہے جو ان راستوں پر سب سے زیادہ مستقل طور پر ظاہر ہوتا ہے۔
مقصد اب کوئی ایک قابل فہم وضاحت تلاش کرنا نہیں ہے، بلکہ ایسے جوابات کی نشاندہی کرنا ہے جو مختلف وضاحتوں میں مطابقت رکھتے ہوں۔
اس مقالے کا سب سے پرکشش پہلو اس کی سادگی ہے۔ ان طریقوں کے برعکس جن کے لیے اضافی تصدیق کنندگان، ماڈل کی وضاحت، یا اضافی تربیت کی ضرورت ہوتی ہے، خود مستقل مزاجی صرف تخمینہ کے وقت کام کرتی ہے۔ کوئی نئی تشریحات، ٹھیک ٹیوننگ، یا معاون ماڈلز کی ضرورت نہیں ہے۔ یہ خود ماڈل کو تبدیل نہیں کرتا ہے، صرف اس طرح کہ ماڈل کے نتائج کو ڈی کوڈ کیا جاتا ہے۔
مصنفین UL2 اور GPT-3 سے لے کر LaMDA اور PaLM تک کے ماڈلز کا استعمال کرتے ہوئے ریاضی، عام فہم، اور علامتی استدلال کے معیارات کی ایک وسیع رینج میں اپنے طریقہ کار کا جائزہ لیتے ہیں۔ تقریباً تمام کاموں کے لیے، سیلف کنسسٹینسی معیاری سوچ کے سلسلے کے اشارے پر نمایاں بہتری فراہم کرتی ہے۔
متاثر کن بینچ مارک کے نتائج کے علاوہ، اس مقالے میں کچھ جاری خیالات بھی متعارف کرائے گئے ہیں۔ مضبوط اندازہ کے لیے ہمیشہ بڑے ماڈل یا زیادہ تربیت کی ضرورت نہیں ہوتی۔ بعض اوقات سب سے زیادہ قابل اعتماد جواب کا فیصلہ کرنے سے پہلے ماڈل کو متعدد حل تلاش کرنے کی اجازت دے کر سب سے بڑا فائدہ حاصل کیا جاتا ہے۔
مختلف تخمینے والے راستوں میں خود مستقل مزاجی۔
اس مقالے کا بنیادی خیال انسانی استدلال کے بارے میں ایک سادہ مشاہدے سے شروع ہوتا ہے۔ مشکل مسائل کو حل کرتے وقت، لوگ شاذ و نادر ہی صرف ایک خیال پر بھروسہ کرتے ہیں۔ وہ اکثر کسی نتیجے پر پہنچنے سے پہلے متعدد امکانات پر غور کرتے ہیں، اور اگرچہ ان کے استدلال کے عمل مختلف ہو سکتے ہیں، لیکن وہ اکثر ایک ہی جواب پر اکٹھے ہوتے ہیں۔ مصنفین کا کہنا ہے کہ زبان کے ماڈل انہی اصولوں سے فائدہ اٹھا سکتے ہیں۔
تھنکنگ چین پرامپٹس نے پہلے ہی یہ ظاہر کیا ہے کہ درمیانی استدلال کے اقدامات پیدا کرنے سے پیچیدہ کاموں پر کارکردگی کو نمایاں طور پر بہتر بنایا جا سکتا ہے۔ تاہم، یہ اب بھی لالچی ضابطہ کشائی پر بھروسہ کرتا ہے، جو ماڈل کو ایک ہی انفرنس پاتھ پر لاگو کرتا ہے۔ اگر اس راستے میں غلطیاں ہیں، تو حتمی جواب کے غلط ہونے کا امکان ہے، یہاں تک کہ اگر ماڈل کسی مختلف اندازے کے طریقہ سے درست جواب پر پہنچا ہو۔
خود مستقل مزاجی اس "ایک راستہ، ایک جواب” حکمت عملی کو ایک آسان متبادل سے بدل دیتی ہے۔ ایک سوچ چین پرامپٹ حاصل کرنے کے بعد، ماڈل صرف ممکنہ راستے کو منتخب کرنے کے بجائے متعدد انفرنس راستوں کا نمونہ کرتا ہے۔ کچھ راستوں میں غلطیاں شامل ہو سکتی ہیں، جبکہ دوسرے مختلف استدلال کے عمل کے ذریعے درست حل تک پہنچ سکتے ہیں۔
خود اندازہ لگانے کے بجائے، یہ طریقہ حتمی جوابات کو اکٹھا کرتا ہے اور اس جواب کو منتخب کرتا ہے جو پیدا کردہ حلوں میں سب سے زیادہ مستقل طور پر ظاہر ہوتا ہے۔
نیچے دی گئی انفوگرافک خود کی مستقل مزاجی کا موازنہ معیاری سوچ کی زنجیر کے اشارے سے کرتی ہے، اس بات پر روشنی ڈالتی ہے کہ کس طرح ایک ہی انفرنس پاتھ کو متعدد آزاد انفرنس پاتھز سے بدلنا زیادہ قابل اعتماد جوابات کا باعث بنتا ہے۔
انترجشتھان سادہ ہے. استدلال کے غلط راستے مختلف غلطیاں کرتے ہیں اور اس لیے مختلف جوابات پیدا کرتے ہیں۔ تاہم، درست استدلال کے راستے اکثر ایک ہی نتیجے پر پہنچتے ہیں، چاہے درمیانی مراحل مختلف ہوں۔
آزاد استدلال کی کوششوں کے درمیان اتفاق رائے تلاش کرنے سے، ماڈل ایک نسل کی کامیابی پر بہت کم انحصار کرتا ہے۔
اس طریقہ کار کا خوبصورت پہلو یہ ہے کہ ماڈل میں ہی کوئی تبدیلی نہیں آتی۔ خود کی مطابقت صرف تخمینہ کے وقت کام کرتی ہے، اس لیے کسی اضافی تربیت، فائن ٹیوننگ، یا معاون ماڈلز کی ضرورت نہیں ہے۔ عملی طور پر یہ اس طرح کام کرتا ہے: خود جوڑنا: متعدد ماڈلز کو یکجا کرنے کے بجائے، ہم ایک ہی ماڈل سے زیادہ قابل اعتماد پیشین گوئیاں پیدا کرنے کے لیے متعدد انفرنس کی کوششوں کو اکٹھا کرتے ہیں۔
مصنفین تیار کردہ جوابات کو یکجا کرنے کے مختلف طریقوں کا بھی موازنہ کرتے ہیں۔ آپ توقع کر سکتے ہیں کہ امکانی وزن والے طریقے سادہ طریقوں سے بہتر کارکردگی کا مظاہرہ کریں گے، لیکن تجربات اس کے برعکس دکھاتے ہیں۔ حتمی جواب پر براہ راست اکثریت کا ووٹ زیادہ نفیس وزن کی اسکیم کی طرح کارکردگی کا مظاہرہ کرتا ہے، مطلب یہ ہے کہ سب سے بڑا فائدہ پیچیدہ اسکور تفویض کرنے کے بجائے استدلال کے متعدد راستوں کو تلاش کرنے سے حاصل ہوتا ہے۔
یہ حصہ ہمارے اندازے کو دیکھنے کے انداز میں ایک اہم تبدیلی کی نمائندگی کرتا ہے۔ روایتی ضابطہ کشائی یہ فرض کرتی ہے کہ سب سے زیادہ ممکنہ قیاس راستہ بہترین راستہ ہے۔ خود مستقل مزاجی سے پتہ چلتا ہے کہ تنوع اتنا ہی اہم ہوسکتا ہے جتنا کہ استدلال کے کاموں میں اعتماد۔ جواب کا انتخاب کرنے سے پہلے متعدد آزاد حل تلاش کرنے سے مستقل طور پر مضبوط اور زیادہ قابل اعتماد نتائج نکلتے ہیں۔
تجربہ
خود مستقل مزاجی کو متعارف کرانے کے بعد، مصنفین اہم سوالات کی طرف رجوع کرتے ہیں۔ کیا یہ سادہ ضابطہ کشائی کی حکمت عملی عملی طور پر اندازہ کو بہتر بناتی ہے؟
اس کا جواب دینے کے لیے، انھوں نے ریاضی، عام فہم، اور علامتی استدلال کے کاموں میں وسیع پیمانے پر جائزہ لیا تاکہ یہ جانچا جا سکے کہ آیا مختلف مسائل کی اقسام، ماڈل آرکیٹیکچرز، اور ماڈل سائز میں خود مستقل مزاجی کے فوائد کو برقرار رکھا گیا ہے۔
کسی ایک بینچ مارک پر انحصار کرنے کے بجائے، تشخیص میں قیاس کے کاموں کا متنوع مجموعہ شامل تھا۔ ریاضی کے ڈیٹاسیٹ نے کثیر قدمی ریاضی کے الفاظ کے مسائل کو حل کرنے کی صلاحیت کی پیمائش کی، عام فہم بینچ مارک نے روزمرہ کے علم کے بارے میں استدلال کا تجربہ کیا، اور علامتی کام کا اندازہ لگایا گیا کہ آیا ماڈل مستقل طور پر تجریدی اصولوں پر عمل کر سکتا ہے۔
ان وسیع انتخاب نے ہمیں اس بات کا تعین کرنے میں مدد کی کہ آیا سیلف کنسٹینسی مخصوص ڈیٹا سیٹس پر کارکردگی کو بہتر بنانے کے بجائے اندازہ میں عمومی حدود کو پورا کرتی ہے۔
ہمارے تجربات میں 20 بلین سے لے کر 540 بلین پیرامیٹرز بشمول UL2، GPT-3، LaMDA، اور PaLM کے وسیع پیمانے پر لینگویج ماڈلز کا احاطہ کیا گیا ہے۔ مختلف قسم کے فن تعمیرات اور ترازو پر ماڈلز کا جائزہ لے کر، مصنفین اس بات کی تحقیقات کرنے کے قابل تھے کہ آیا اس طریقہ کو ماڈلز کے ایک ہی خاندان سے باہر عام کیا جا سکتا ہے۔
منصفانہ موازنہ کو یقینی بنانے کے لیے، تمام تجربات کو سوچ کے فوری فریم ورک کی اصل چند زنجیر کے اندر رکھا گیا تھا۔ اشارے تبدیل نہیں کیے گئے تھے اور نہ ہی کسی ماڈل کو دوبارہ تربیت دی گئی تھی اور نہ ہی اسے ٹھیک بنایا گیا تھا۔ نتیجے کے طور پر، کسی بھی بہتری کو تربیت یا ماڈل پیرامیٹرز میں فرق کے بجائے براہ راست ضابطہ کشائی کی حکمت عملی سے منسوب کیا جا سکتا ہے۔
متعدد انفرنس کے راستے پیدا کرنے کے لیے، متعصب لالچی ضابطہ کشائی کو نمونے لینے سے تبدیل کرنا پڑا۔ ہمیشہ ممکنہ طور پر اگلے ٹوکن کو منتخب کرنے کے بجائے، ماڈل نے کئی قابل فہم تخمینے کی رفتار کی کھوج کی۔
نمونے لینے کی ترتیبات ماڈل سے دوسرے ماڈل میں قدرے مختلف ہوتی ہیں، لیکن مقصد ہمیشہ ایک جیسا ہوتا ہے۔ خیال یہ ہے کہ مستقل حل کو برقرار رکھتے ہوئے استدلال کے مختلف راستوں کی حوصلہ افزائی کی جائے۔ مصنفین نے بعد میں تفتیش کی کہ ایک سرشار مضبوطی کے مطالعہ میں نمونے لینے کے ان انتخابوں کے لئے خود کی مستقل مزاجی کتنی حساس ہے۔
مجموعی طور پر، تجرباتی ڈیزائن کاغذ کے بنیادی دعووں کے ساتھ قریب سے منسلک ہے۔ بڑے ماڈلز، اضافی نگرانی، یا نئے تربیتی طریقہ کار کو متعارف کرانے کے بجائے، مصنفین نے آسان سوالات پوچھے۔ ہم اپنے لینگویج ماڈل کے جوابات پیدا کرنے اور منتخب کرنے کے طریقے کو تبدیل کرکے کتنا زیادہ موثر انداز میں اندازہ لگا سکتے ہیں؟ تجربات نے اس سوال کا جواب دینے کا ایک منظم طریقہ فراہم کیا۔
نیچے دی گئی انفوگرافک ایک مکمل خود ساختہ ضابطہ کشائی کرنے والی پائپ لائن کو دکھاتی ہے، جس میں یہ دکھایا گیا ہے کہ کس طرح ایک زبان کا ماڈل متعدد آزاد انفرنس کے راستے تیار کرتا ہے اور اکثریتی ووٹنگ کے ذریعے حتمی جواب کا انتخاب کرتا ہے۔
کلیدی نتائج
اس مضمون کا بنیادی سوال سادہ ہے۔ کیا متعدد استدلال کے راستے پیدا کرنا اور سب سے زیادہ مستقل جواب کا انتخاب سوچ کے اصل سلسلے کو بہتر بناتا ہے؟
تجربے کے نتائج نے تھوڑا سا شک چھوڑ دیا۔ تقریباً تمام بینچ مارکس، ماڈلز، اور انفرنس ٹاسکس میں، سیلف کنسسٹینسی مستقل طور پر معیاری چین آف تھنکنگ پرامپٹس کو پیچھے چھوڑتی ہے۔
سب سے بڑی بہتری ریاضی کے استدلال میں دیکھی گئی۔ سوچ کی زنجیریں پہلے ہی ریاضی کے الفاظ کے مسائل کو حل کرنے میں بہت کارآمد ثابت ہو چکی ہیں، لیکن نتائج سے پتہ چلتا ہے کہ ماڈل کی زیادہ تر استدلال کی قابلیت ایک واحد استدلال کے راستے پر انحصار کرتے ہوئے استعمال نہیں کی جاتی ہے۔
جواب کا انتخاب کرنے سے پہلے متعدد تخمینے کی رفتار کو تلاش کرنے سے، Self-Consistency چیلنجنگ بینچ مارکس جیسے GSM8K، SVAMP، اور AQuA پر اہم فوائد حاصل کرتی ہے، اور ان میں سے کچھ میں نئے جدید ترین نتائج مرتب کرتی ہے۔
جیسا کہ ماڈل کے سائز میں اضافہ ہوا، ایک اور دلچسپ نمونہ سامنے آیا۔ خودمستقل مزاجی نے جانچے گئے تمام زبان کے ماڈلز کے لیے فوائد فراہم کیے، لیکن مزید خصوصیات والے ماڈلز کے لیے بہتری زیادہ تھی۔
اس کا مطلب ہے کہ بڑے ماڈلز پہلے سے ہی اندرونی طور پر متعدد درست انفرنس حکمت عملیوں پر مشتمل ہوتے ہیں، لیکن معیاری لالچی ضابطہ کشائی اکثر انہیں دریافت کرنے میں ناکام رہتی ہے۔ خود کی مستقل مزاجی ان پوشیدہ استدلال کی صلاحیتوں کو بہتر طریقے سے استعمال کرنے کے لیے ایک سادہ طریقہ کار فراہم کرتی ہے۔
بہتری صرف ریاضیاتی استدلال تک محدود نہیں تھی۔ عام فہم استدلال کے بینچ مارکس جیسے StrategyQA اور ARC-Challenge کے ساتھ ساتھ علامتی استدلال کے کاموں میں، Self-consistency نے پھر سے معیاری چین آف تھنکنگ پرامپٹس پر مستقل فائدہ حاصل کیا۔
حقیقت یہ ہے کہ یہ طریقہ مختلف مسائل کے ڈومینز میں کامیاب ہے اس کا مطلب یہ ہے کہ یہ مخصوص بینچ مارکس کی خصوصیات کا استحصال کرنے کے بجائے لالچی ضابطہ کشائی کی عمومی کمزوریوں کو دور کرتا ہے۔
اتنا ہی قابل ذکر ہے۔ کیسے یہ اصلاحات کی گئی ہیں: بہت سے پچھلے طریقوں کے برعکس جو کام کے لیے مخصوص فائن ٹیوننگ، اضافی تصدیق کنندگان، یا معاون درجہ بندی کے ماڈلز پر انحصار کرتے تھے، خود مطابقت نے صرف ضابطہ کشائی کے عمل کو تبدیل کیا۔ زبان کا نمونہ، اشارے اور تربیت بالکل ویسا ہی رہا۔ تاہم، یہ سادہ ترامیم اکثر ان طریقوں سے میل کھاتی ہیں یا ان سے آگے نکل جاتی ہیں جن کے لیے اضافی نگرانی اور خصوصی تربیت کی ضرورت ہوتی ہے۔
ایک ساتھ مل کر، یہ نتائج زبان کے ماڈلز میں قیاس کے بارے میں اہم بصیرت کو ظاہر کرتے ہیں۔ ایک ماڈل میں سب سے زیادہ امکانی اندازے کا راستہ ضروری نہیں کہ سب سے زیادہ قابل اعتماد راستہ ہو۔ ایک ہی مسئلہ کو ایک سے زیادہ آزاد تخمینہ کے عمل کے ذریعے دریافت کرنا اور پھر ایک ایسے جواب کا انتخاب کرنا جو مستقل طور پر متفق ہو زیادہ درست نتائج پیدا کرتا ہے۔
مزید وسیع طور پر، یہ مقالہ ظاہر کرتا ہے کہ تخمینہ میں معنی خیز بہتری ہمیشہ بڑے ماڈلز یا زیادہ تربیت سے نہیں آتی۔ آپ ان تخمینے کی صلاحیتوں کا بہتر استعمال کرکے بھی حاصل کرسکتے ہیں جو آپ کے ماڈل میں پہلے سے موجود ہیں۔
عام فہم اور علامتی استدلال
ریاضی کے استدلال کے مضبوط نتائج قدرتی طور پر وسیع تر سوالات کو جنم دیتے ہیں۔ کیا خود مستقل مزاجی بنیادی طور پر ریاضی کے حساب سے مدد کرتی ہے، یا کیا یہ عام طور پر استدلال کو بہتر بناتی ہے؟
اس کا جواب دینے کے لیے، مصنفین نے دو ڈومینز پر اپنے طریقہ کار کا جائزہ لیا جن کے لیے بہت مختلف استدلال کی صلاحیتوں کی ضرورت ہوتی ہے: عام فہم اور علامتی استدلال کے کام۔
عام فہم معیارات میں، خود مستقل مزاجی مستقل طور پر معیاری سوچ کی زنجیر کے اشارے سے بہتر کارکردگی کا مظاہرہ کرتی ہے۔ ان کاموں کے لیے ماڈلز کی ضرورت ہوتی ہے کہ وہ روزمرہ کے حالات کے بارے میں استدلال کریں، منطقی قیاس کریں، اور حسابات کو انجام دینے کے بجائے پس منظر کے علم کا اطلاق کریں۔ مستقل بہتری نے تجویز کیا کہ طریقہ کار نے ریاضی کے مسئلے کی خصوصیات کا استحصال کرنے کے بجائے خود استدلال کے عمل کو بہتر بنایا۔
علامتی استدلال کے کام نے ایک بہت زیادہ مشکل امتحان پیش کیا۔ عالمی علم پر انحصار کرنے کے بجائے، ماڈل کو تجریدی اصولوں پر عمل کرنا تھا اور علامتوں کو درست طریقے سے جوڑنا تھا۔ مصنفین نے ان کاموں کا ایک غیر تعیناتی ترتیب میں جائزہ لیا جہاں ٹیسٹ کے مسائل کے لیے اشارہ کی گئی مثالوں میں دکھائے جانے کے مقابلے میں طویل قیاس چین کی ضرورت ہوتی ہے۔
یہاں تک کہ ان زیادہ مشکل حالات میں بھی، Self-Consistency کارکردگی کو بہتر کرتی رہی، خاص طور پر بڑے زبان کے ماڈلز کے لیے۔
اس مقالے میں یہ بھی تفتیش کی گئی کہ نمونے کے نمونے والے راستوں کی تعداد کارکردگی کو کیسے متاثر کرتی ہے۔ ریٹرن میں فوری کمی دیکھنے کے بجائے، ہم نتائج میں مسلسل بہتری دیکھتے ہیں کیونکہ مزید قیاس کے راستے بنائے جاتے ہیں۔
اضافی حل کے نمونے لینے سے ماڈل کو انفرادی قیاس کی غلطیوں سے بازیافت کرنے اور اس جواب کی نشاندہی کرنے کا مزید موقع ملا جس سے آزادانہ تخمینہ کے عمل میں مضبوط ترین اتفاق رائے پیدا ہوا۔
اس رویے کو واضح کرنے کے لیے مصنفین نے متعدد مثالیں پیش کیں۔ بعض صورتوں میں، لالچی ضابطہ کشائی نے ناقص قیاس کے راستے پر چلنے کے بعد اعتماد کے ساتھ غلط جوابات پیدا کیے ہیں۔ تاہم، متعدد انفرنس راستوں کے نمونے لینے سے مختلف حلوں کو آزادانہ طور پر درست جواب پر اکٹھا ہونے کی اجازت ملتی ہے، جس سے خود مستقل مزاجی کو اصل غلطی سے باز آنے کی اجازت ملتی ہے۔
ان مثالوں نے طریقہ کی وجدان کو ٹھوس بنا دیا۔ کامیابی کسی ایک وضاحت پر بھروسہ کرنے سے نہیں بلکہ فیصلہ کرنے سے پہلے کئی آزادانہ کوششوں کا موازنہ کرنے سے حاصل ہوئی۔
ایک ساتھ، ان تجربات نے کاغذ کے کلیدی نتائج میں سے ایک کو مضبوط کیا۔ خود مستقل مزاجی کے فوائد ریاضی کے استدلال سے بہت آگے ہیں۔ چاہے اس کام میں روزمرہ کا علم، منطقی استدلال، یا تجریدی اصولوں کی پیروی شامل ہو، جواب کا انتخاب کرنے سے پہلے ایک سے زیادہ استدلال کے عمل کو مقابلہ کرنے کی اجازت دینے سے مسلسل سوچ کی ایک زنجیر پر انحصار کرنے سے زیادہ قابل اعتماد نتائج برآمد ہوتے ہیں۔
جب خیالات کی زنجیریں آپ کی کارکردگی کو نقصان پہنچا رہی ہیں تو خود مستقل مزاجی میں مدد ملتی ہے۔
اس مقالے کے سب سے دلچسپ نتائج میں سے ایک نے پچھلی سوچ چین کے مطالعے میں قائم مفروضوں کو چیلنج کیا۔ انفرنس ٹریکنگ نے اکثر کارکردگی کو بہتر بنایا، لیکن بعد میں تحقیق نے ظاہر کیا کہ یہ عالمی طور پر مددگار نہیں تھا۔ کچھ قدرتی زبان کی پروسیسنگ کے کاموں میں، کسی ماڈل سے اس کے نتائج کی وضاحت کرنے کے لیے کہنا درحقیقت معیاری پیغام سے کم درست ہو سکتا ہے۔
اس سے اہم سوالات اٹھتے ہیں۔ اگر آپ کے خیالات کا سلسلہ کبھی کبھی آپ کی کارکردگی کو متاثر کرتا ہے تو کیا خود مستقل مزاجی آپ کی مدد کر سکتی ہے؟
اس کا جواب دینے کے لیے، مصنفین نے سوالوں کے جوابات اور فطری زبان کے انفرنس بینچ مارکس کے ذریعے اپنی مستقل مزاجی کا اندازہ کیا۔ ریاضی کے استدلال کے برعکس، ان کاموں میں اکثر استدلال کی توسیعی زنجیروں کے بجائے مختصر، براہ راست جوابات کی ضرورت ہوتی ہے۔ ان ترتیبات میں شواہد پیدا کرنا اس کے جوابات کو بہتر بنانے کے بجائے اس کی توجہ ہٹا سکتا ہے۔
نتائج نے اس رویے کی تصدیق کی۔ کئی بینچ مارکس میں، معیاری سوچ کی زنجیر کے اشارے نے روایتی اشارے سے بدتر کارکردگی کا مظاہرہ کیا، جس سے اس خیال کو تقویت ملتی ہے کہ ضروری طور پر زیادہ قیاس آرائیاں بہتر نتائج کا باعث نہیں بنتی ہیں۔
جو چیز نتائج کو خاص طور پر زبردست بناتی ہے وہ یہ ہے کہ خود مستقل مزاجی اس رجحان کو نمایاں طور پر تبدیل کرتی ہے۔ متعدد آزاد حلوں کو یکجا کرنے سے کارکردگی میں مسلسل بہتری آتی ہے، یہاں تک کہ جب انفرادی قیاس کے راستے نامکمل تھے۔ کسی ایک بنیاد پر انحصار کرنے کے بجائے، جو کہ گمراہ کن ہو سکتا ہے، ماڈل کو حتمی جواب کا انتخاب کرنے سے پہلے متعدد تخمینے کی کوششوں کا موازنہ کرنے سے فائدہ ہوا۔
یہ نتائج خود مستقل مزاجی کی اہمیت کو بڑھاتے ہیں۔ یہ طریقہ صرف ریاضیاتی استدلال یا ایسے کاموں تک محدود نہیں ہے جن کے لیے قدرتی طور پر سوچ کی لمبی زنجیریں درکار ہوتی ہیں۔ یہ ایسے حالات میں بھی استنباط پر مبنی اشارے کو زیادہ قابل اعتماد بناتا ہے جہاں ثبوت پیدا کرنا خطرناک ہو سکتا ہے، فیصلہ کرنے سے پہلے متعدد آزاد وضاحتوں کا جائزہ لینے میں اہمیت کا مظاہرہ کرتا ہے، بجائے اس کے کہ مزید وضاحتیں پیدا کریں۔
مزید وسیع طور پر، اس تجربے نے کاغذ کے بنیادی خیالات میں سے ایک کو تقویت دی۔ یعنی خود مستقل مزاجی کی تاثیر اس بات پر منحصر نہیں ہے کہ آیا تمام قیاس کے راستے درست ہیں۔ یہ کامیاب ہوتا ہے کیونکہ درست قیاس کے راستے غلط قیاس کے راستوں کے مقابلے میں اکثر مماثل ہوتے ہیں، جس سے ماڈل کو غلطیوں سے باز آنے کی اجازت ملتی ہے جو حتمی جواب کا تعین کر سکتی ہیں۔
دیگر موجودہ طریقوں کے ساتھ موازنہ
مصنفین نے اس بات کی تصدیق کرنے کے بعد کہ خود مستقل مزاجی سے تخمینہ کی کارکردگی بہتر ہوتی ہے، اس کے بعد ایک فطری سوال ہوا۔ کیا یہ حاصلات صرف موجودہ ضابطہ کشائی کی تکنیک کا ایک اور مظہر تھے، یا کیا خود مستقل مزاجی نے کچھ بنیادی طور پر مختلف پیش کیا؟
اس کا جواب دینے کے لیے، اس مقالے نے اس کا موازنہ نسل کے معیار کو بہتر بنانے کے لیے کئی قائم کردہ طریقوں سے کیا، بشمول نمونہ اور درجہ، بیم کی تلاش، اور جوڑ کے طریقے۔
نمونے اور درجہ بندی
پہلا موازنہ ہے۔ نمونے اور درجہ بندیایک حکمت عملی جس میں ماڈل ایک سے زیادہ امیدواروں کے حل تیار کرتا ہے اس سے پہلے کہ اس کا انتخاب کرنے کا امکان زیادہ ہو۔
پہلی نظر میں، یہ Self-Consistency سے ملتا جلتا دکھائی دیتا ہے کیونکہ دونوں طریقے متعدد نتائج پیدا کرتے ہیں۔ فرق اس بات میں ہے کہ حتمی جواب کا انتخاب کیسے کیا جاتا ہے۔ نمونہ اور رینک اب بھی ایک واحد استنباطی راستے پر بھروسہ کرتے ہیں، جب کہ خود مستقل مزاجی متعدد آزاد استنباطی راستوں میں اتفاق پاتی ہے۔
تجربات سے ثابت ہوا ہے کہ یہ فرق اہم ہے۔ یعنی، سب سے زیادہ مستقل جواب کا انتخاب مسلسل ممکنہ جواب کو منتخب کرنے سے بہتر کارکردگی کا مظاہرہ کرتا ہے۔
بیم کی تلاش
مصنفین نے خود مستقل مزاجی کا بھی موازنہ کیا: بیم کی تلاشیہ قدرتی زبان کی نسل میں سب سے زیادہ استعمال ہونے والے ڈی کوڈنگ الگورتھم میں سے ایک ہے۔
بیم کی تلاش متعدد امیدواروں کی ترتیب کو تلاش کرتی ہے، لیکن سب سے زیادہ امکان والے کو ترجیح دیتی ہے، اکثر ایسے راستے پیدا کرتے ہیں جو ایک دوسرے سے بہت ملتے جلتے ہیں۔ اس کے برعکس، خود مستقل مزاجی نمونے لینے پر انحصار کرتی ہے تاکہ بالکل مختلف اندازے کی حکمت عملی کی حوصلہ افزائی کی جا سکے۔ یہ اضافی استعداد استنباطی کاموں کے لیے انمول ثابت ہوتی ہے، جس سے یہ ان بینچ مارکس پر بیم کی تلاش کو بہتر کرنے کی اجازت دیتا ہے جہاں خود مستقل مزاجی کا جائزہ لیا جاتا ہے۔
جوڑ پر مبنی نقطہ نظر
حتمی موازنہ پر غور کیا جاتا ہے: جوڑ پر مبنی نقطہ نظرمختلف قسم کو فوری ترتیب کو تبدیل کرکے، مختلف پرامپٹ ٹیمپلیٹس کا استعمال کرتے ہوئے، یا متعدد پیشین گوئیوں کو ملا کر متعارف کرایا جاتا ہے۔
اگرچہ ان طریقوں نے معیاری سوچ کی زنجیر کے اشارے کے مقابلے میں کچھ بہتری فراہم کی، لیکن وہ خود مستقل مزاجی کے ذریعے حاصل ہونے والے فوائد سے بہت کم تھے۔ حیرت انگیز طور پر، Self-Consistency اسے صرف ایک زبان کے ماڈل اور ایک ہی اشارے سے حاصل کرتی ہے۔
یہ موازنہ کاغذ کے سب سے اہم خیالات میں سے ایک کو اجاگر کرتا ہے۔ روایتی جوڑیاں اشارے کو تبدیل کرکے یا کئی ماڈلز کو ملا کر مختلف قسم کی تخلیق کرتی ہیں۔ سیلف کنسسٹینسی ایک ہی مسئلے کے لیے متعدد انفرنس راستوں کو تلاش کرنے کی اجازت دے کر ماڈل کے اندر ہی تنوع کو دریافت کرتی ہے۔ مقالے نے مندرجہ ذیل شکل میں اس کی وضاحت کی ہے۔ خود جوڑناایک ماڈل سے متعدد استنباطی کوششوں نے اجتماعی طور پر حتمی جواب کا تعین کیا۔
ایک ساتھ لے کر، ان تجربات سے پتہ چلتا ہے کہ خود مستقل مزاجی صرف ایک اور ضابطہ کشائی کی ہورسٹک سے زیادہ ہے۔ فائدہ زیادہ نتائج پیدا کرنے یا انہیں زیادہ احتیاط سے درجہ بندی کرنے کے بجائے سادہ مشاہدات سے فائدہ اٹھانے سے حاصل ہوتا ہے۔ سخت استدلال کے مسائل میں اکثر متعدد درست حل کے راستے ہوتے ہیں، اور جو جوابات ان راستوں میں مستقل طور پر سامنے آتے ہیں وہ عام طور پر سب سے زیادہ قابل اعتماد جواب ہوتے ہیں۔
مزید تحقیق
اس بات کی تصدیق کرنے کے بعد کہ سیلف کنسسٹینسی تخمینہ کی کارکردگی کو بہتر بناتی ہے اور مسابقتی ضابطہ کشائی کے طریقوں کو بہتر بناتی ہے، مصنفین نے حتمی تجرباتی حصے کو گہرے سوالات کے لیے وقف کر دیا۔ یہ طریقہ اتنا قابل اعتماد کیوں کام کرتا ہے؟
ایک نیا بینچ مارک متعارف کرانے کے بجائے، ہم نے تحقیق کی کہ کس طرح سیلف کنسسٹینسی مختلف نمونے لینے کی حکمت عملیوں، فوری حالات، اور مضبوطی کو بہتر طور پر سمجھنے کے لیے انفرنس فارمیٹس کے تحت کارکردگی کا مظاہرہ کرتی ہے۔
پہلی دریافتوں میں سے ایک یہ ہے کہ یہ طریقہ مختلف نمونے لینے کی حکمت عملیوں میں موثر ہے۔ چاہے ماڈل نے درجہ حرارت کے نمونے لینے کا استعمال کیا؛کے چاہے نمونے لینے ہوں یا جوہری نمونے لینے، مجموعی طور پر بہتری نمایاں طور پر مستقل رہی۔
اس سے پتہ چلتا ہے کہ Self-Consistency کسی مخصوص ضابطہ کشائی کی تعمیر سے منسلک نہیں ہے، بلکہ اس کے بجائے فیصلہ کرنے سے پہلے متعدد انفرنس راستوں کو تلاش کرنے کے وسیع خیال سے فائدہ اٹھاتا ہے۔
مصنفین نے تخمینہ اور ماڈل پیمانے کے مابین تعلقات کا بھی جائزہ لیا۔ تمام سائز کے ماڈلز خود مستقل مزاجی سے فائدہ اٹھاتے ہیں، لیکن ماڈلز کے بڑے ہونے کے ساتھ ہی فوائد زیادہ واضح ہوتے جاتے ہیں۔
اس نے پورے کاغذ میں اہم موضوعات کو تقویت دی۔ خود مستقل مزاجی سے استدلال کی نئی صلاحیتیں پیدا نہیں ہوتیں۔ اس کے بجائے، یہ بڑے ماڈلز کو ان کے پاس پہلے سے موجود تخمینے کی صلاحیتوں کا بہتر استعمال کرنے میں مدد کرتا ہے۔
ایک اور دلچسپ تجربے میں نامکمل اشارے کی جانچ کی گئی۔ حقیقت پسندانہ حالات کی تقلید کے لیے، مصنفین نے اشارے میں استعمال ہونے والے استدلال کے مظاہروں میں جان بوجھ کر غلطیاں پیش کیں۔ جیسا کہ توقع کی گئی، لالچی ضابطہ کشائی کی درستگی میں کمی واقع ہوئی۔ تاہم، سیلف کنسسٹینسی زیادہ تر کھوئی ہوئی کارکردگی کو بحال کرتی ہے، جس سے یہ ظاہر ہوتا ہے کہ یہ معیاری سوچ چین کے اشارے کے مقابلے میں ناقص استدلال کے معاملات میں زیادہ مضبوط ہے۔
اس مقالے میں سب سے دلچسپ مشاہدات میں سے ایک مستقل مزاجی اور درستگی کے درمیان تعلق سے متعلق ہے۔ اگر نمونے کے بہت سے راستے ایک ہی جواب پر اکٹھے ہوتے ہیں، تو اس جواب کے درست ہونے کا امکان زیادہ ہوتا ہے۔ اس کے برعکس، نمونے کے حل کے درمیان وسیع تضادات اکثر غیر یقینی صورتحال کی نشاندہی کرتے ہیں۔
اس کا مطلب یہ ہے کہ خود کی مستقل مزاجی صرف بہتر درستگی سے زیادہ پیش کرتی ہے۔ یہ ماڈل کی قابل اعتمادی کا اندازہ لگانے کا ایک آسان طریقہ بھی فراہم کرتا ہے اس کی اپنی تخمینہ کوششوں کے درمیان معاہدے کی پیمائش کر کے۔
مصنفین نے یہ بھی ظاہر کیا کہ یہ طریقہ صرف فطری زبان تک محدود نہیں ہے۔ زبانی استدلال کے ٹریس کو انٹرمیڈیٹ مساوات کے ساتھ تبدیل کرنے سے اب بھی کارکردگی بہتر ہوتی ہے، لیکن فائدہ کم ہوتا ہے کیونکہ چھوٹے استدلال کے راستے تنوع کے لیے کم موقع فراہم کرتے ہیں۔
انہوں نے یہ بھی ظاہر کیا کہ دستی طور پر تحریری استدلال کی مثالوں کی ضرورت کے بغیر سیلف کنسسٹینسی کو زیرو شاٹ چین آف تھاٹ کے ساتھ بغیر کسی رکاوٹ کے ضم کیا جا سکتا ہے۔
ایک ساتھ لے کر، یہ مطالعہ ظاہر کرتے ہیں کہ خود مستقل مزاجی ایک ضابطہ کشائی کی چال سے زیادہ ہے جو چند بینچ مارکس پر کام کرتی ہے۔ ایک ہی نمونہ مختلف نمونے لینے کی حکمت عملیوں، ماڈل پیمانوں، فوری اندازوں، اور تخمینہ کی شکلوں میں ابھرتا رہتا ہے۔ دوسرے لفظوں میں، ماڈل کو جواب کا انتخاب کرنے سے پہلے متعدد قیاس کے راستے تلاش کرنے کی اجازت دینا مستقل طور پر زیادہ درست اور قابل بھروسہ قیاسات پیدا کرتا ہے۔
خود مستقل مزاجی تنہائی میں نہیں ہوتی۔ یہ کئی تحقیقی سمتوں پر بناتا ہے جو پہلے سے ہی زبان کے ماڈلز میں تخمینہ کو تشکیل دے رہے ہیں اور اشارہ کرنے، ضابطہ کشائی، اور مستقل مزاجی کے خیالات کو ایک بہت ہی آسان تخمینہ وقت کی حکمت عملی میں یکجا کرتے ہیں۔
سب سے زیادہ براہ راست اثر ہے خیالات کا ایک سلسلہ پیدا کرنااس سے ظاہر ہوا کہ زبان کے ماڈل اس وقت زیادہ بہتر استدلال بن جاتے ہیں جب وہ جواب تیار کرنے سے پہلے درمیانی اندازے کے مراحل پیدا کرتے ہیں۔
کسی اور چیز سے توجہ ہٹا کر خود مستقل مزاجی اس خیال پر پھیلتی ہے۔ کیسے ماڈل کی وجہ کتنی بار فیصلے کرنے سے پہلے کی وجوہات۔ خیالات کی ایک زنجیر پر بھروسہ کرنے کے بجائے، ہم استدلال کے متعدد آزاد راستوں کا موازنہ کرتے ہیں اور اس جواب کا انتخاب کرتے ہیں جس پر وہ متفق ہوں۔
یہ کاغذ بھی ضابطہ کشائی کی حکمت عملی. تکنیک جیسے درجہ حرارت کے نمونے لینے، اوپر سے نیچے تککے نمونے لینے، جوہری نمونے لینے، اور بیم کی تلاش کو اصل میں معیار اور مختلف قسم کے توازن کے ذریعے متن کی پیداوار کو بہتر بنانے کے لیے تیار کیا گیا تھا۔
سیلف کنسسٹینسی نمونے لینے کے ان طریقوں کو دوسرے مقاصد کے لیے دوبارہ استعمال کرتی ہے۔ تخلیقی صلاحیتوں کے لیے متعدد نتائج پیدا کرنے کے بجائے، ہم ایک ہی حتمی جواب کی وشوسنییتا کو بڑھانے کے لیے متعدد انفرنس کے راستے تیار کرتے ہیں۔
ایک اور قریبی متعلقہ فیلڈ ہے۔ چیک کریں اور رینک کریں۔. پچھلے طریقوں نے اکثر امیدواروں کے متعدد حل تیار کیے اور بہترین جواب کی شناخت کے لیے اضافی توثیق کے ماڈلز یا ری رینکرز (بعض اوقات اضافی انسانی تشریحات کے ساتھ تربیت یافتہ) پر انحصار کیا۔
خود مستقل مزاجی اضافی ماڈل یا نگرانی کے بغیر اسی طرح کے اہداف حاصل کرتی ہے۔ قیاس کے راستوں کا اندازہ کرنے کا طریقہ سیکھنے کے بجائے، یہ اس جواب کی نشاندہی کرتا ہے جو آزادانہ تخمینہ کی کوششوں میں سب سے زیادہ مستقل طور پر ظاہر ہوتا ہے۔
آخر میں، یہ مقالہ وسیع تر تحقیق سے مربوط ہے: مستقل مزاجی زبان کے ماڈل میں۔ پچھلی تحقیق میں مکالمے کی مستقل مزاجی، حقائق پر مبنی علم، اور پیدا کردہ وضاحتوں کا جائزہ لیا گیا ہے۔
خود مستقل مزاجی ایک مختلف نقطہ نظر متعارف کراتی ہے: متعدد قیاس راستوں میں مستقل مزاجی۔ اہم بصیرت یہ ہے کہ جب آزاد استدلال کے عمل بار بار ایک ہی جواب پر اکٹھے ہوتے ہیں، تو معاہدہ خود درستگی کا ایک مضبوط اشارہ بن جاتا ہے۔
ایک ساتھ مل کر، یہ کنکشن اس بات پر روشنی ڈالتے ہیں کہ کاغذ پر اتنا دیرپا اثر کیوں پڑا ہے۔ خود مستقل مزاجی کے لیے نئے ماڈلز، اضافی تربیت، یا پیچیدہ انفرنس فریم ورک کی ضرورت نہیں تھی۔ اس کے بجائے، ہم نے موجودہ آئیڈیاز کو اس طریقے سے جوڑ دیا جس سے محققین کے اندازے کے وقت کے تخمینے کے بارے میں سوچنے کے انداز کو بنیادی طور پر تبدیل کر دیا گیا، جس سے یہ ظاہر ہوتا ہے کہ ایک ماڈل کو انتہائی قابل اعتماد کو منتخب کرنے سے پہلے متعدد حل تلاش کرنے کی اجازت دے کر اہم فوائد حاصل کیے جا سکتے ہیں۔
دلیل
اس مقالے میں سب سے اہم خیالات میں سے ایک یہ ہے کہ بہتر اندازہ کے لیے ضروری نہیں کہ بڑے ماڈلز یا زیادہ تربیتی ڈیٹا کی ضرورت ہو۔ بعض اوقات سب سے بڑی بہتری اس تبدیلی سے آتی ہے کہ ماڈل اپنے حتمی جواب تک کیسے پہنچتا ہے۔
خودمستقلیت ماڈل کو مضبوط ترین معاہدے کے ساتھ جواب کا انتخاب کرنے سے پہلے متعدد آزاد حل تلاش کرنے کی اجازت دیتی ہے، بجائے اس کے کہ پیدا کردہ پہلے قیاس راستے پر بھروسہ کریں۔ یہ سادہ تبدیلی ضابطہ کشائی کے کردار کو سب سے زیادہ قابل اعتماد ردعمل کی نشاندہی کرنے کے لیے ممکنہ ردعمل کو منتخب کرنے سے بدل دیتی ہے۔
تجربات سے پتہ چلتا ہے کہ بہت سی قیاس کی ناکامیاں علم کی کمی کی وجہ سے نہیں ہوتی ہیں۔ اس کے بجائے، انہوں نے تجویز کیا کہ ماڈل کے پاس پہلے سے ہی مسئلہ کو حل کرنے کے لیے درکار معلومات موجود ہیں، لیکن ناکام ہو جاتا ہے کیونکہ یہ غلط قیاس کے راستے پر چلتا ہے۔
متعدد تخمینے کی کوششیں پیدا کر کے، خود مطابقت ماڈل کو ان غلطیوں سے باز آنے اور بصورت دیگر پوشیدہ قیاس خصوصیات کو دریافت کرنے کے اضافی مواقع فراہم کرتی ہے۔
مقالے نے بینچ مارک کے بہتر اسکور کے علاوہ کچھ عملی فوائد کو بھی اجاگر کیا۔ متعدد انفرنس راستوں کا استعمال یہ جانچنا آسان بناتا ہے کہ ماڈل اپنے نتائج تک کیسے پہنچتا ہے، اور ان راستوں کے درمیان معاہدے کی سطح ایک مفید اعتماد کا تخمینہ فراہم کرتی ہے۔
جب آزاد استدلال کے عمل مستقل طور پر ایک جیسے جوابات پیدا کرتے ہیں، تو یہ اتفاق رائے قابل اعتمادی کا ایک مضبوط اشارہ بن جاتا ہے۔ اس کے برعکس، وسیع پیمانے پر تضادات غیر یقینی صورتحال کا اشارہ دے سکتے ہیں اور ان مسائل کی نشاندہی کر سکتے ہیں جن کے لیے قریبی تحقیقات کی ضرورت ہوتی ہے۔
یقیناً، یہ فوائد تجارت کے ساتھ آتے ہیں۔ متعدد قیاس کے راستے پیدا کرنے کے لیے اضافی حساب کی ضرورت ہوتی ہے، جس سے قیاس آرائیوں کو سوچنے کی معیاری زنجیر سے زیادہ مہنگا ہوتا ہے۔ اگرچہ مصنفین نے ظاہر کیا کہ نسبتاً کم تعداد میں نمونوں کا استعمال کرتے ہوئے بہت سی بہتری حاصل کی جا سکتی ہے، لیکن اضافی کمپیوٹیشنل لاگت اب بھی اس طریقہ کار کی اہم حدود میں سے ایک ہے۔
انہوں نے یہ بھی نوٹ کیا کہ غلط یا بے ہودہ اندازے کے راستے اب بھی پیدا کیے جا سکتے ہیں۔ خود مستقل مزاجی ان غلطیوں کے اثرات کو کم کرتی ہے، لیکن انہیں مکمل طور پر ختم نہیں کر سکتی۔
مزید وسیع طور پر، یہ مقالہ محققین کے زبان کے نمونوں میں اندازہ لگانے کے انداز میں ایک اہم تبدیلی کی نشاندہی کرتا ہے۔ پچھلے کام نے بنیادی طور پر بڑے فن تعمیرات، زیادہ ڈیٹا، یا اضافی تربیت کے ذریعے ماڈلز کو بہتر بنانے پر توجہ مرکوز کی ہے۔ ہم نے یہ دکھایا ہے کہ خود مستقل مزاجی بہتر استدلال کی حکمت عملیوں سے نمایاں طور پر فائدہ اٹھا سکتی ہے۔
ان بصیرتوں نے ٹیسٹ ٹائم انفرنس، بازیافت، تصدیق، اور نتیجے پر مبنی زبان کے ماڈلز پر بعد میں ہونے والی تحقیق کو بہت متاثر کیا ہے، جس سے یہ مقالہ جدید LLM تخمینہ کی ترقی میں اہم سنگ میلوں میں سے ایک ہے۔
نتیجہ
خود مستقل مزاجی ان خیالات کا ایک فطری تسلسل ہے جو تھیٹ چین پرامپٹ کے ذریعے متعارف کرائے گئے ہیں۔
ضابطہ کشائی میں جو ایک چھوٹی سی تبدیلی کی طرح لگتا تھا اس کا حیرت انگیز طور پر بڑا اثر ہوا۔ ایک واحد استدلال کے راستے کو متعدد آزاد راستوں سے بدل کر اور متفق ہونے والے جوابات کو منتخب کرنے سے، خود کی مستقل مزاجی ریاضی، عام فہم اور علامتی استدلال کے کاموں میں کارکردگی کو مسلسل بہتر بناتی ہے۔
زیادہ اہم بات یہ ہے کہ یہ ظاہر کرتا ہے کہ بہتر اندازے کے لیے ہمیشہ بڑے ماڈل یا اضافی تربیت کی ضرورت نہیں ہوتی۔ بعض اوقات آپ کو اپنے ماڈل سے مختلف طریقوں سے سوچنے کے لیے کہنا پڑتا ہے۔
ماضی میں، یہ مقالہ بڑے پیمانے پر زبان کے ماڈلز میں تخمینہ کے ارتقاء میں ایک اہم موڑ کی نشاندہی کرتا ہے۔ توجہ تخلیق سے ہٹ گئی۔ شاید شناخت کا راستہ سب سے زیادہ قابل اعتماد متعدد استدلال کے عمل کے درمیان معاہدے کے ذریعے جوابات حاصل کیے جاتے ہیں۔
یہ سادہ خیال ٹیسٹ ٹائم انفرنس، تلاش، توثیق، اور قیاس پر مبنی لینگویج ماڈلز میں بعد میں ہونے والی بہت سی پیشرفتوں کی بنیاد بن گیا، جس نے جدید LLM تخمینہ میں سب سے زیادہ بااثر پیپرز میں سے ایک کے طور پر Self-consistency کا مقام حاصل کیا۔
نیچے دیے گئے انفوگرافک میں ان کلیدی کاغذات کا خلاصہ کیا گیا ہے جنہوں نے جدید اشارہ، تخمینہ، اور ایجنٹ AI کی بنیاد رکھی۔
GPT-3 میں سیاق و سباق سے متعلق سیکھنے کے مظاہرے کے ساتھ شروع کرتے ہوئے، ہم زیرو شاٹ چین آف تھاٹ، چین آف تھاٹ، سیلف کنسسٹینسی، کم سے کم سے زیادہ ترغیب دینے والی، PAL، پروگرام آف تھوٹس، Tree-of-Thought، Rectionf، Rectionf اور Rections سمیت استدلال کی تکنیکوں میں تیزی سے ترقی کی پیروی کرتے ہیں۔
اجتماعی طور پر، یہ شراکتیں یہ ظاہر کرتی ہیں کہ کس طرح تحقیق محض زبان کے نمونوں سے اخذ کرنے والے نظاموں کی طرف منتقل ہوئی ہے جو ساختی استدلال، منصوبہ بندی، آلے کے استعمال، خود عکاسی، اور تیزی سے خودمختار مسائل کو حل کرنے کے قابل ہے۔
وسائل:
مجھ سے رابطہ کریں