AI بینچ مارک سکور پوری کہانی نہیں بتاتے۔ یہاں آپ کو کیا تلاش کرنا چاہئے:

آرٹیفیشل جنرل انٹیلی جنس (AGI) سے مراد ایک ایسا نظام ہے جو بنیادی طور پر کسی بھی علمی کام پر انسانی کارکردگی سے مماثل یا اس سے آگے نکل سکتا ہے، نہ صرف کاموں کی اس تنگ رینج جس کے لیے اسے تربیت دی گئی ہے۔ فرق اہم ہونے کی وجہ یہ ہے کہ ابھی اسی پر بحث ہو رہی ہے۔

جینسن ہوانگ کو اس وقت فتح کا اعلان کرنے کی عادت ہے جب اس کی کمپنی کو مارکیٹ کے اعتماد کی ضرورت ہوتی ہے۔ چنانچہ جب OpenAI نے 3 ستمبر کو GPT-6 Astra لانچ کیا، ہوانگ نے X پر پوسٹ کیا کہ "AGI آ گیا ہے” اور مزید کہا کہ "400K GPUs” "اگلے آن لائن ہوں گے۔”

میں ایک AI انجینئر ہوں اور میں فی الحال ChatMakr بنا رہا ہوں، ایک AI پر مبنی پلیٹ فارم جو سیکنڈوں میں ملٹی ایجنٹ چیٹ بوٹس بناتا ہے۔ میں نے گزشتہ سال یہ دیکھتے ہوئے گزارا ہے کہ ہر ماڈل کے لانچ کو اس ماڈل کے طور پر دوبارہ نامزد کیا جاتا ہے جو آخر کار ہر چیز کو بدل دیتا ہے۔ یہ ہے سچائی۔

Astra اصل میں کیا کرتا ہے

Astra ایک چیٹ بوٹ اپ گریڈ نہیں ہے۔ OpenAI اسے ایک آپریٹر کے طور پر رکھتا ہے، ایک ایسا نظام جو ایکسپلور کرتا ہے، کوڈ کرتا ہے، ملٹی سٹیپ ورک فلوز، بلینڈر میں ماڈلز، اور کم سے کم نگرانی کے ساتھ سائبر سیکیورٹی کے کاموں کو ہینڈل کرتا ہے۔ بینچ مارک نمبر واقعی حیرت انگیز ہیں۔ FrontierMath Tier 4 پر 97.6%، ARC-AGI-3 پر 99.9%، اور ExploitBench پر کامل 100%، اس کے پیشرو GPT-5.6 Sol پر 78.5% سے زیادہ۔ یہ کوئی اضافی فائدہ نہیں ہے۔

خاص طور پر، تاہم، OpenAI نے خود Astra AGI کو کال کرنے سے روک دیا، بجائے اس کے کہ "رفتار اور استعداد” پر زور دیا۔ یہ ماڈل بنانے والی کمپنی کی حد ہے۔

لوگ غیر یقینی کیوں ہیں؟

ردعمل واقعی اس بارے میں نہیں ہے کہ آیا آسٹرا متاثر کن ہے۔ ظاہر ہے ایسا۔ یہ لفظ AGI کے بارے میں ہی ہے۔ وارٹن کے پروفیسر ایتھن مولک کئی مہینوں سے بحث کر رہے ہیں کہ جو کچھ ہم دیکھ رہے ہیں وہ ایک "جگڈ AGI” ہے، ایک ایسا نظام جو کچھ تنگ علاقوں میں مافوق الفطرت ہے اور دوسروں میں ناقابل اعتبار ہے، جو عام ذہانت سے بہت مختلف ہے۔

AGI کے لیے ابھی تک کوئی متفقہ ٹیسٹ نہیں ہے، اس لیے اسے "پہنچ گیا” قرار دینا پیمائش سے زیادہ ایک موضوعی فیصلہ ہے۔ Augmented Mind اور Manolo Remiddi واضح طور پر کہتے ہیں کہ "AGI وہ نقطہ ہے جہاں آپ آؤٹ پٹ کی تصدیق کیے بغیر اس پر بھروسہ کر سکتے ہیں۔ ہم وہاں نہیں ہیں۔”

افسانہ 5.1 کیوں موازنہ اور اسکور جھوٹ بولتے ہیں۔

ان ماڈلز کا استعمال کرتے ہوئے کسی بھی شخص کے لیے، یہ وہ جگہ ہے جہاں یہ دلچسپ ہو جاتا ہے۔ کاغذ پر، Astra اور Anthropic’s Claude Fable 5.1 متعدد کوڈنگ اور انفرنس بینچ مارکس سے موازنہ کرتے ہیں۔ درحقیقت، انجینئرز آؤٹ پٹ کے معیار میں نمایاں فرق کی اطلاع دیتے ہیں۔ Fable کم آؤٹ پٹ ٹوکن کے ساتھ زیادہ پروڈکشن ریڈی کوڈ تیار کرتا ہے، جبکہ Astra کی طاقت کمپیوٹیشنل استعمال اور ملٹی سٹیپ آٹومیشن میں زیادہ ہے۔ Snorkel AI کی جانچ سے پتہ چلتا ہے کہ Fable جس طرح سے کامیاب ہوتا ہے اس سے بنیادی طور پر مختلف نمونوں کے ذریعے ناکام ہوتا ہے، بجٹ ختم ہونے کے بجائے راستے میں درست کام کھو دیتا ہے۔ یہ آپ کی ڈیلیوری ٹیم کے لیے لیڈر بورڈ فیصد سے زیادہ اہم ہے۔

اسی طرح کے اسکور اس طرح کے مختلف نتائج کو چھپانے کی وجہ ایسی چیز میں مضمر ہے جس کے بارے میں زیادہ تر لوگوں نے AI انجینئرنگ سے باہر کبھی نہیں سنا ہوگا: ہارنسز۔

اصل میں ایک "ہارنس” کیا ہے؟

کنٹرول وہ بنیادی ڈھانچہ ہے جو ماڈل کو لپیٹتا ہے۔ اس میں تیزی سے اسمبلی، ٹول تک رسائی، میموری مینجمنٹ، اور خرابی کی بحالی جیسی چیزیں شامل ہیں جو اس بات کا تعین کرتی ہیں کہ خام ماڈل اصل میں کیسا برتاؤ کرتا ہے۔ مائنڈ اسٹوڈیو اس کی وضاحت اس طرح کرتا ہے: "ماڈل انجن ہے۔ ہارنس کار ہے۔ زیادہ تر بینچ مارک کاروں کی جانچ کرتے ہیں۔” اگر آپ ہارنس تبدیل کرتے ہیں تو ایک ہی ماڈل بالکل مختلف نتائج پیدا کرے گا۔ کرسر کی اپنی تحقیق سے معلوم ہوا کہ ایک ماڈل کی درستگی ایک ہارنس میں 46% اور دوسرے میں 80% تھی بغیر کسی ماڈل میں تبدیلی کے۔

Astra کا اپنا بینچ مارک ٹریک ریکارڈ کسی بھی وضاحت کنندہ سے نقطہ کو بہتر بناتا ہے۔ Augmented Mind اور Manolo Remiddi کے مطابق، ARC-AGI-3 میں، Astra نے 62.7% اسکور کیا جو کہ اس کے پیشرو سے بنیادی طور پر جڑا ہوا تھا، اور 99.9% "پرووائیڈر اڈاپٹر” ہارنس کا استعمال کرتے ہوئے جو ہر قدم پر کولڈ ری اسٹارٹ ہونے کی بجائے پہلے کے نتائج کو برقرار رکھتا ہے اور دوبارہ استعمال کر سکتا ہے۔ ایک ہی وزن۔ یہ ایک ہی ماڈل ہے۔ صرف انفراسٹرکچر پر 37 پوائنٹ سوئنگ۔ یہ کوئی چھوٹا فوٹ نوٹ نہیں ہے۔ اس کا مطلب یہ ہے کہ "ماڈل کی بہتری” کے طور پر جو کچھ بھی رپورٹ کیا جاتا ہے وہ درحقیقت استعمال میں بہتری ہے، اور لیڈر بورڈز جو اس پر قابو نہیں رکھتے حقائق کی اطلاع دینے کے بجائے کہانی سنا رہے ہیں۔

کیوں کرسر سال کا سب سے اہم حصول ہے۔

اسی لیے SpaceX کا $60 بلین کرسر کا حصول اس سے کہیں زیادہ اہم ہے جتنا لگتا ہے۔ کرسر ایک ماڈل کمپنی نہیں ہے۔ یہ دنیا کی سرکردہ ہارنس کمپنیوں میں سے ایک ہے، وہ پرت جو اس بات کا تعین کرتی ہے کہ کوڈنگ ماڈل کو اصل میں کس طرح استعمال کیا جاتا ہے۔ اسپیس ایکس کے جی پی یو فیملی میں اس کو شامل کرنا ایک یقین دہانی ہے کہ ایک پرت کا مالک ہونا اتنا ہی قیمتی ہے جتنا کسی ماڈل کا ہونا۔ اوپن اے آئی نے مسک کی کمپنی کے ساتھ اعتماد کے مسائل کی وجہ سے پہلے ہی کرسر کے ماڈلز تک رسائی کو روک دیا ہے۔ یہ آپ کو بتاتا ہے کہ ماڈل فراہم کرنے والے ایک ہی چیز کو دیکھ رہے ہیں۔ جو بھی کنٹرول کو کنٹرول کرتا ہے وہ پروڈکٹ کے تجربے کو کنٹرول کرتا ہے، قطع نظر اس کے نیچے کون سا ماڈل ہے۔

نتیجہ

کوئی بھی اس بات پر سنجیدگی سے اختلاف نہیں کرتا کہ GPT-6 Astra فلیگ شپ ماڈل ہے۔ جو چیز متنازعہ ہے وہ ہے ‘میجر ماڈل’ سے ‘AGI یہاں ہے’ کی چھلانگ۔ اگر آپ اپنے کاروبار کے لیے ان سسٹمز کا جائزہ لے رہے ہیں، تو AGI فریمنگ کو مکمل طور پر نظر انداز کریں۔ آپ کا وینڈر آپ کے ماڈل کے ارد گرد لپیٹنے والے ہارنس پر ایک نظر ڈالیں، پوچھیں کہ یہ کیسے ناکام ہوتا ہے، اور حقیقی ورک فلو میں اس کی جانچ کریں۔ Astra اور Fable 5.1 کے درمیان بینچ مارک فرق نے پہلے ہی ثابت کر دیا ہے کہ اکیلے لیڈر بورڈ نہیں بتا سکتے۔

آرٹیفیشل جنرل انٹیلی جنس (AGI) سے مراد ایک ایسا نظام ہے جو بنیادی طور پر کسی بھی علمی کام پر انسانی کارکردگی سے مماثل یا اس سے آگے نکل سکتا ہے، نہ صرف کاموں کی اس تنگ رینج جس کے لیے اسے تربیت دی گئی ہے۔ فرق اہم ہونے کی وجہ یہ ہے کہ ابھی اسی پر بحث ہو رہی ہے۔

جینسن ہوانگ کو اس وقت فتح کا اعلان کرنے کی عادت ہے جب اس کی کمپنی کو مارکیٹ کے اعتماد کی ضرورت ہوتی ہے۔ چنانچہ جب OpenAI نے 3 ستمبر کو GPT-6 Astra لانچ کیا، ہوانگ نے X پر پوسٹ کیا کہ "AGI آ گیا ہے” اور مزید کہا کہ "400K GPUs” "اگلے آن لائن ہوں گے۔”

میں ایک AI انجینئر ہوں اور میں فی الحال ChatMakr بنا رہا ہوں، ایک AI پر مبنی پلیٹ فارم جو سیکنڈوں میں ملٹی ایجنٹ چیٹ بوٹس بناتا ہے۔ میں نے گزشتہ سال یہ دیکھتے ہوئے گزارا ہے کہ ہر ماڈل کے لانچ کو اس ماڈل کے طور پر دوبارہ نامزد کیا جاتا ہے جو آخر کار ہر چیز کو بدل دیتا ہے۔ یہ ہے سچائی۔