کیوں چیٹ جی پی ٹی ایک صفحہ دوسرے سے زیادہ حوالہ دیتا ہے (1.4 ملین فوری مطالعہ)

ہم سب ChatGPT جوابات میں چھوٹے نمبر والے نیلے لنکس سے واقف ہو گئے ہیں۔ یہ اقتباس بیرونی معلومات کے ساتھ ChatGPT کے جواب کی حمایت کرتا ہے۔

تاہم، جبکہ ChatGPT ایک سوال کا جواب دینے کے لیے درجنوں صفحات کو کرال کرتا ہے، تحقیق سے پتہ چلتا ہے کہ ان میں سے صرف 50% کا حوالہ دیا گیا ہے۔

ایک صفحہ کو کریڈٹ کیوں ملتا ہے، لیکن دوسرا صفحہ جس کی AI نے واضح طور پر تلاش کی تھی اسے کچھ نہیں ملتا؟

اے آئی کے ماہر ڈین پیٹرووک کی تحقیق کے مطابق، جب ChatGPT نتائج تلاش کرتا ہے، تو ہر نتیجہ صفحہ کے عنوان، ایک مختصر ٹکڑا یا خلاصہ، یو آر ایل اور ایک شناختی نمبر کے ساتھ واپس آتا ہے۔

ChatGPT اس ڈیٹا کو یہ فیصلہ کرنے کے لیے استعمال کرتا ہے کہ کون سے صفحات کھولنے کے قابل ہیں اور آخر کار جواب میں حوالہ دیتے ہیں۔

اس کا مطلب ہے کہ گیٹ کیپنگ پرت ہے۔ پہلے چیٹ جی پی ٹی صفحہ کے اصل مواد کو کھولتا اور پڑھتا ہے۔ عنوان، ٹکڑا، اور URL آپ کے ابتدائی فیصلے پر بہت زیادہ اثر انداز ہوں گے۔

تو ہم جاننا چاہتے تھے: واقعی اس فیصلے پر کیا اثر پڑتا ہے؟ کیا صفحہ تلاش کے اعداد و شمار اور صارف کے سوالات کے درمیان زیادہ سے زیادہ معنوی مماثلت حوالہ جات کے امکانات کو بڑھاتی ہے؟ کون سے علاقے سب سے اہم ہیں؟ کیا انسانی پڑھنے کے قابل URLs مبہم URLs سے بہتر کارکردگی کا مظاہرہ کرتے ہیں؟

یہ جاننے کے لیے، ہم نے Ahrefs ڈیٹا سائنسدان Xibeijia Guan کی مدد سے فروری 2025 (ڈیسک ٹاپ) سے 1.4 ملین ChatGPT 5.2 پرامپٹس کا تجزیہ کیا۔

لیکن اس سے پہلے کہ آپ نتائج دیکھیں، آپ کو یہ سمجھنے کی ضرورت ہے کہ ChatGPT دراصل اپنے ذرائع کیسے جمع کرتا ہے۔ اس کی وجہ یہ ہے کہ تمام یو آر ایل اسی طرح سسٹم میں داخل نہیں ہوتے ہیں۔

تمام ذرائع برابر نہیں بنائے گئے ہیں: ref_type درجہ بندی

جب ChatGPT نتائج تلاش کرتا ہے، تو یہ داخلی فیلڈز استعمال کرتا ہے جسے کہا جاتا ہے: ref_type-بنیادی طور پر سرچ چینل کے لیے ایک لیبل جس سے URL گزرا ہے۔

ہمیں پانچ زمرے ملے: سرچ، نیوز، ریڈڈیٹ، یوٹیوب، اور اکیڈمکس۔

ان کے درمیان اقتباس کی شرحیں بہت ناہموار ہیں۔

ref_type	کوٹیشن٪	کل ڈیٹا پوائنٹس
تلاش کریں	88.46%	25,563,589
خبریں	12.01%	3,940,537
reddit	1.93%	16,182,976
یوٹیوب	0.51%	953,693
اکیڈمی	0.40%	185,337

عام "تلاش” انڈیکس حجم اور حوالہ کی شرح دونوں میں حاوی ہے، ChatGPT میں حوالہ کردہ 88% URLs براہ راست تلاش سے آتے ہیں۔

ChatGPT میں حوالہ دینے کے لیے، آپ کو ان کے سرچ سلیکشن پول میں ہونا چاہیے۔ اس کا مطلب ہے کہ آپ کے مواد کو درجہ بندی کرنے کی ضرورت ہے۔

یہ نئی معلومات نہیں ہے۔ اب تک، زیادہ تر لوگ پہلے ہی جان چکے ہیں کہ درجہ بندی ایک اہم کردار ادا کرتی ہے، لیکن اس کا بیک اپ لینے کے لیے مزید ڈیٹا کا ہونا اچھا ہے۔

دوسری طرف، خاص علاقے جیسے YouTube (جیسے youtube.com) اور اکیڈمیا (جیسے arXiv.org) بڑے ہیں لیکن اصل حوالہ جات کے طور پر شاذ و نادر ہی سطح پر ہوتے ہیں۔

"Reddit” اور "YouTube” کو الگ کریں ref_types شاید نمائندگی کرتا ہے۔ اضافی ایک وقف API انضمام کے ذریعے نکالے گئے نتائج، ویب تلاشوں سے پہلے سے واپس کیے گئے نتائج کے علاوہ۔

اس لیے اس چینل کا حجم اتنا زیادہ ہے۔ ChatGPT اپنے تلاش کے نتائج کو Reddit اور YouTube کے مواد کی الگ الگ فیڈز کے ساتھ فراہم کر رہا ہے۔

باقی تجزیہ کی تشریح کے لیے یہ بہت ضروری ہے۔

اوسطاً، ChatGPT کو فی پرامپٹ 16.57 حوالہ دینے والے URLs اور 16.58 غیر حوالہ دینے والے URLs تک ملتے ہیں۔

تاہم، چونکہ ریڈڈیٹ کا 67.8% غیر حوالہ شدہ پول ہے، اس لیے "حوالہ شدہ بمقابلہ غیر حوالہ” کا ایک جامع موازنہ دراصل تلاش کے نتائج کا Reddit API آؤٹ پٹ سے موازنہ کر رہا ہے۔ یہ سیب سے سیب نہیں ہے۔

لہذا، اس پورے مطالعہ میں ہم نے اپنے تجزیوں کو اس طرح الگ کیا: ref_type جتنا ممکن ہو تحریف سے بچیں۔

غیر نقل شدہ URLs میں سے، 67.8% Reddit سے ہیں۔

ڈیٹا سیٹ میں یہ شاید سب سے حیران کن نتیجہ ہے۔

Reddit کا اپنا ایک وقف ہے۔ ref_type چیٹ جی پی ٹی کے سرچ سسٹم کے ڈیٹاسیٹ میں 16 ملین سے زیادہ ڈیٹا پوائنٹس ہیں۔

تاہم، حوالہ کی شرح صرف 1.93٪ ہے۔

دریں اثنا، تمام غیر نقل شدہ URLs میں سے 67.8% Reddit سے آئے ہیں۔

دوسرے لفظوں میں، ChatGPT عنوانات کو سمجھنے، اتفاق رائے کی پیمائش کرنے اور سیاق و سباق کی تعمیر کے لیے Reddit کو بڑے پیمانے پر استعمال کرتا ہے، لیکن شاذ و نادر ہی Reddit کو کریڈٹ دیتا ہے۔

بھیڑ سے سیکھیں اور پھر دوسرے اداروں کا حوالہ دیں۔

غیر حوالہ شدہ صفحات میں 3 گنا زیادہ تلاش کا ڈیٹا ہوتا ہے، لیکن اتنا ہی نہیں…

جیسا کہ مختصراً بیان کیا گیا ہے، جب ChatGPT تلاش کے نتائج کو بازیافت کرتا ہے، تو ہر نتیجہ فیلڈز کا ایک سیٹ لوٹاتا ہے، بشمول عنوان، URL، اور بعض اوقات اسنیپٹس، جو ChatGPT تلاش کے ڈیٹا میں محفوظ کردہ صفحہ کے مواد کے مختصر اقتباسات ہیں۔

ہمیں توقع تھی کہ حوالہ جات کی شرح میں اضافہ ہوگا کیونکہ ان میں سے زیادہ فیلڈز آباد ہیں۔

پہلی نظر میں، مجموعی اعداد و شمار ایک مختلف کہانی سنانے لگے۔ بے حوالہ صفحہ دراصل ہے۔ مزید ChatGPT سرچ ڈیٹا میں درج کردہ فیلڈز سے زیادہ آبادی والے فیلڈز ہیں۔

غیر نقل شدہ URL ہے: ٹکڑے حوالہ کردہ یو آر ایل کے 4.36 فیصد کے مقابلے اس میں 14.81% وقت لگا۔ اشاعت کی تاریخ (92.72% بمقابلہ 35.98%)۔

ہم نے اسے تقریباً ایک تلاش کے طور پر چلایا، لیکن مجھے خوشی ہے کہ ہم نے ایسا نہیں کیا۔

جب ہم نے اس کی چھان بین کی، تو ہم نے پایا کہ یہ تضاد تقریباً مکمل طور پر ایک ساختی نمونہ ہے جو Reddit اور ChatGPT سرچ پائپ لائن کے میکانزم سے چلایا جاتا ہے۔

غیر نقل شدہ پول بہت زیادہ Reddit (67.8%) ہے، اور API کے ذریعے درآمد کردہ Reddit مواد قدرتی طور پر پہنچایا جاتا ہے۔ pub_date میٹا ڈیٹا میں 92.72% اعداد و شمار ایک Reddit آرٹفیکٹ ہے اور یہ اس بات کا اشارہ نہیں ہے کہ ChatGPT عام طور پر ویب صفحات کی جانچ کیسے کرتا ہے۔

ٹکڑوں کے درمیان وقفہ کاری کو مختلف طریقے سے بیان کیا گیا ہے۔ ChatGPT کے تلاش کے عمل میں David McSweeney کی تحقیق سے پتہ چلتا ہے کہ جب ماڈل کسی URL کا حوالہ دینے کا فیصلہ کرتا ہے، تو یہ اصل میں اسنیپٹ فیلڈ (مختصر مواد کو نکالنا) چھوڑ دیتا ہے اور اس کے بجائے پورا صفحہ کھولتا ہے۔

لہذا یہ کوئی مسئلہ نہیں ہے کہ ChatGPT بغیر ٹکڑوں کے صفحات کو ترجیح دیتا ہے۔ حوالہ کردہ صفحات کی کم ٹکڑوں کی شرح ممکنہ طور پر پائپ لائن کے کام کرنے کے طریقہ کار کی ضمنی پیداوار ہے۔

جب ڈیٹا کو صرف "تلاش” سے الگ کیا جاتا ہے۔ ref_typeاگر آپ Reddit، خبریں، یوٹیوب وغیرہ کو ہٹاتے ہیں تو تصویر زیادہ واضح ہوجاتی ہے۔

ref_type تلاش کریں۔	اس کے ٹکڑے ہیں۔	پب_تاریخ ہے۔	کل URLs
حوالہ دیا گیا۔	2.52%	33.79%	22,612,529
حوالہ نہیں دیا	0.09%	49.00%	2,951,060

اسنیپٹ ڈیٹا قابل استعمال سگنل نہیں ہے کیونکہ یہ سرچ فیلڈ میں کسی بھی گروپ میں بطور ڈیفالٹ موجود نہیں ہے۔ اور جب کہ اشاعت کی تاریخ کی شرحیں قریب ہیں، غیر حوالہ شدہ تلاش کے صفحات اب بھی قدرے زیادہ ہیں۔ مزید پورٹیبل ہونے کا امکان ہے۔ pub_date (49%) حوالہ (33.79%) سے زیادہ تھا۔

جن اختلافات کو ہم نے ابتدائی طور پر حوالہ دیا اور غیر حوالہ شدہ یو آر ایل کے درمیان محسوس کیا وہ ڈیٹا آرگنائزیشن اور بازیافت کے طریقہ کار کے ذریعے مسخ شدہ دکھائی دیتے ہیں۔ کوئی بھی سگنل (اگر کوئی ہے) شور کے نیچے دب گیا ہے۔

ایماندارانہ سبق: اس اعداد و شمار کا حوالہ دیتے وقت آپ اس بارے میں مضبوط نتیجہ نہیں نکال سکتے کہ آیا ٹکڑوں یا اشاعت کی تاریخ کے فیلڈز ایک معنی خیز کردار ادا کرتے ہیں۔

یہ بتانے کے قابل ہے کہ یہ مسئلہ دیگر حوالہ جات کے مطالعے پر بھی لاگو ہونے کا امکان ہے۔ ایسے مطالعات جو "حوالہ شدہ اور غیر حوالہ شدہ” URLs کا موازنہ کرتے ہیں اس کی وضاحت کیے بغیر کہ وہ URLs کہاں سے آتے ہیں حقیقی نمونوں کے لیے ڈیٹا میں غلط فہمیوں کا خطرہ چلاتے ہیں۔

عنوان کا فین آؤٹ استفسار سے معنوی طور پر تعلق ہونا چاہیے۔

یہ معلوم کرنے کے لیے کہ "قابل حوالہ” کیا ہے، ChatGPT اس بات کا تعین کرتا ہے کہ آیا مضمون اور استفسار ایک پروسیس کے ذریعے مطابقت کا تخمینہ لگا کر متعلق ہے جسے "سمینٹک اسکورنگ” کہا جاتا ہے۔

ChatGPT ایک بند ماخذ ماڈل ہے، لہذا اس میں کوئی مرئیت نہیں ہے۔ درست طریقے سے کس طرح مطابقت کا تعین اندرونی طور پر کیا جاتا ہے۔

لہذا، اس مطالعہ میں، ہم نے مقدار کا تعین کیا اور اس کا خاکہ پیش کیا کہ ChatGPT اوپن سورس ماڈل سے تیار کردہ ایمبیڈنگز سے کمپیوٹنگ کی گئی کوزائن مماثلت کا استعمال کرتے ہوئے کیسے کام کرتا ہے۔

ChatGPT اپنے "فین آؤٹ سوالات” کے ساتھ یو آر ایل سے میل کھاتا ہے، جو ذیلی سوالات ہیں جو یہ مخصوص حقائق تلاش کرنے کے لیے اندرونی طور پر (صارف کے بیج پرامپٹ سے) پیدا کرتا ہے۔

ڈیٹا اس بات کی تصدیق کرتا ہے کہ فین آؤٹ سوالات سے عنوان کی مطابقت حوالہ جات میں ایک اہم عنصر ہے۔

• فوری اور اقتباس URL عنوان: 0.602
• فوری اور غیر نقل شدہ URL عنوانات: 0.484
• Fanout استفسار اور حوالہ کردہ URL عنوان (زیادہ سے زیادہ میچ*): 0.656

باکس پلاٹ کہانی کو واضح طور پر بتاتے ہیں۔ بھر میں ref_typesحوالہ کردہ URLs مسلسل عنوان اور اصل پرامپٹ کے درمیان اعلیٰ مماثلت دکھاتے ہیں۔

اصل پرامپٹ کی بجائے فین آؤٹ استفسار کے مقابلے میں خلا اور بھی وسیع ہو جاتا ہے۔ اس سے اس بات کو تقویت ملتی ہے کہ ChatGPT کے اندرونی ذیلی سوالات سے متعلق مواد تخلیق کرنا دراصل انتخاب کو آگے بڑھاتا ہے۔

تلاشوں کو الگ کرتے وقت ref_type خاص طور پر، پیٹرن واضح ہو جاتے ہیں. حوالہ کردہ صفحات زیادہ متعلقہ ہیں، اور غیر حوالہ شدہ تقسیم نمایاں طور پر کم ہو گئی ہے۔

مزید برآں، قدرتی زبان کے URL سلگس پر مشتمل تلاش کے نتائج میں شامل ہیں: حوالہ کی شرح 89.78%دوسری صورت میں، یہ 81.11 فیصد پایا گیا تھا.

بالآخر، اگر آپ کا URL اور ٹائٹل AI کے اندرونی فین آؤٹ استفسار سے مماثل نہیں ہیں، تو آپ کے حوالہ کیے جانے کا امکان کم ہے۔

اوسط حوالہ دیا گیا صفحہ 500 دن پرانا ہے (اور اب بھی منتخب کیا جا رہا ہے)۔

یہ عام علم ہے کہ AI کے ذریعہ نئے مواد کا زیادہ حوالہ دیا جاتا ہے۔ درحقیقت، 17 ملین حوالوں پر ہماری اپنی تحقیق اس کی حمایت کرتی ہے۔ ChatGPT نے پایا کہ اس نے Google کے نامیاتی تلاش کے نتائج سے 458 دن پہلے نئے URLs کا حوالہ دیا ہے۔ یہ ان تمام پلیٹ فارمز کی سب سے مضبوط رجعت پسند ترجیح ہے جن کا ہم نے تجربہ کیا ہے۔

یہ مطالعہ اس کہانی سے متصادم نہیں ہے، لیکن اس میں اضافی اہمیت کا اضافہ ہوتا ہے۔

مثال کے طور پر، اگر آپ سرچ انڈیکس پر نظر ڈالتے ہیں، تو حوالہ کردہ صفحات عمر کے گروپوں کی ایک وسیع رینج پر محیط ہیں۔ درمیانی عمر تقریباً 500 دن (~1.3 سال) ہے، کچھ حوالہ جات والے صفحات 2,700 دن (~7.4 سال) سے زیادہ ہیں۔

اوسط عمر درحقیقت اوپر منسلک ابتدائی تازگی کے مطالعے سے بہت کم ہے (جولائی میں 958 دن بمقابلہ اس ڈیٹاسیٹ میں 500 دن)۔ اس سے پتہ چلتا ہے کہ ChatGPT اپنی اقتباس کی ترجیحات میں بہت کم عمر رکھتا ہے۔

اس نے کہا، ہم نے یہ بھی پایا کہ غیر حوالہ شدہ صفحات بہت زیادہ چھوٹے تھے۔

لہٰذا، ایک ہی پرامپٹ کے سرچ سیٹ کے اندر، یہ پرانے، زیادہ قائم شدہ صفحات ہیں جن کا حوالہ دیا جاتا ہے، اور یہ سب سے حالیہ مواد ہے جو ضائع ہو جاتا ہے۔

دوسرے لفظوں میں، ChatGPT نئے مواد کی حمایت کرتا ہے، لیکن نسبتاً "پرانے” مواد کا زیادہ کثرت سے حوالہ دیتا ہے۔ یہ متضاد لگ سکتا ہے، لیکن ایک ہی وقت میں دو چیزیں درست ہو سکتی ہیں۔

AI حوالہ جات کی وسیع آبادی میں، ChatGPT گوگل کے نتائج کے مقابلے میں اور یہاں تک کہ پچھلے سال سے اس کی اپنی اقتباسات کی ترجیحات کے مقابلے میں زیادہ تازہ ترین ہے۔

تاہم، دیے گئے سرچ سیٹ کے اندر صرف تازگی برقرار رکھی جاتی ہے۔ کافی نہیں. مطابقت ایک اہم کام ہے۔

نئے صفحات جو فین آؤٹ استفسار سے اچھی طرح میل کھاتے ہیں ان کا حوالہ دیا گیا ہے۔ نیا صفحہ ہے۔ ایسا نہیں اس کا پتہ چل جاتا ہے لیکن نظر انداز کر دیا جاتا ہے۔

یہ بھی بتانے کے قابل ہے کہ تمام تلاشوں میں غیر حوالہ شدہ صفحات (~3M) کا ایک تالاب ہے۔ ref_type یہ حوالہ کردہ گروپ (~23M) سے بہت چھوٹا ہے، جو اس بات کو محدود کرتا ہے کہ ہم عمر کے فرق کو کتنے اعتماد سے بیان کر سکتے ہیں۔

‘خبر’ وہ جگہ ہے جہاں تازگی سب سے اہم ہے۔

اس زمرے میں، حوالہ کردہ اور غیر حوالہ شدہ صفحات کے لیے عنوان کے متعلقہ اسکور تقریباً ایک جیسے ہیں۔

AI صرف مطابقت کی بنیاد پر فیصلہ نہیں کر سکتا، اس لیے یہ صفحہ زندگی کا استعمال کرتا ہے، جو کہ بنیادی طور پر وقتی فیصلہ کا معیار ہے۔ حوالہ کردہ خبروں کے صفحات چھوٹے ہیں۔

خبروں کے استفسارات کے لیے، چھوٹے صفحات کا واضح فائدہ ہوتا ہے، یہاں تک کہ جب حوالہ اور غیر حوالہ شدہ صفحات کے درمیان مطابقت کے اسکور ایک جیسے ہوں۔

اس کا کیا مطلب ہے "حوالہ جات”

1.4 ملین پرامپٹس ایک بہت واضح تصویر پینٹ کرتے ہیں۔ ChatGPT ایک جارحانہ ایڈیٹر ہے۔ یہ عام تلاش کی اشاریہ سازی کی حمایت کرتا ہے، ذرائع کو منتخب کرنے اور حوالہ دینے کے لیے معنوی مماثلتوں کا استعمال کرتا ہے، اور Reddit کو ایک نصابی کتاب کی طرح برتا جاتا ہے جسے آپ یہ تسلیم کرنے میں شرمندہ ہوں گے کہ آپ نے پڑھا ہے۔

لیکن اعداد و شمار نے ہمیں تجزیاتی احتیاط کے بارے میں ایک سبق بھی سکھایا۔

"حوالہ شدہ” اور "غیر حوالہ شدہ” URLs کے درمیان مجموعی موازنہ گمراہ کن ہو سکتا ہے اگر غیر حوالہ شدہ پول پر اس کے اپنے تلاش کے طریقہ کار کے ساتھ واحد ذریعہ قسم کا غلبہ ہو۔

پہلے جو کچھ تضاد کی طرح لگتا تھا — غیر اصلاحی صفحات کو زیادہ حوالہ جات مل رہے ہیں — ڈیٹا سیٹ کی تعمیر میں ایک مسئلہ بن گیا۔

اگر ہم نے قرنطینہ نہ کیا ہوتا تو ہم ان میں سے ایک کام بہت غلط کرتے۔ ref_type.

بالآخر، جن صفحات کا حوالہ دیا جاتا ہے وہ وہ ہیں جن کا عنوان اور مواد ان سوالات سے ملتا ہے جو ChatGPT پردے کے پیچھے پوچھ رہے ہیں، اور وہ صحیح سرچ چینلز کے ذریعے سامنے آتے ہیں۔