اگلی بار جب آپ کسی AI چیٹ بوٹ سے بہترین ڈیٹنگ ایپ، سڑک کے کنارے کی قابل اعتماد سروس، یا پریشان کن سبسکرپشن کو منسوخ کرنے کے بارے میں پوچھیں گے، تو آپ کو جو جواب ملے گا وہ شاید کسی مارکیٹر یا سکیمر نے لگایا ہو گا، اور ہو سکتا ہے کہ Reddit کے تبصرے میں صرف 13 الفاظ استعمال کیے گئے ہوں۔
یہ Cornell Tech کی طرف سے ایک نئے پرنٹ سے ایک ٹیک وے ہے جس کا عنوان ہے "Deep Research Agents Can Become Addicted through User-generated Content”، پہلی بار 404 میڈیا کے ذریعہ رپورٹ کیا گیا۔ محققین Tingwei Zhang، Harold Triedman، اور Vitaly Shmatikov نے ایک حملہ بنایا جسے وہ Web Agent Retrieval Poisoning (WARP) کہتے ہیں اور ظاہر کیا کہ یہ AI سسٹمز کے خلاف متزلزل وشوسنییتا کے ساتھ کام کرتا ہے جو صارفین اور اوپن ویب کے درمیان تیزی سے کھڑے ہوتے ہیں۔
کیا تحقیق اصل میں ظاہر کرتا ہے
جب آپ کسی AI ٹول سے کوئی سوال پوچھتے ہیں، تو یہ ریئل ٹائم ویب سرچ چلاتا ہے، جو کچھ اسے ملتا ہے اسے پڑھتا ہے، اور اکثر جواب کو اقتباس کے ساتھ جوڑتا ہے۔ یہ ChatGPT اور Gemini کے ریسرچ موڈ کے پیچھے "گہری غوطہ” کے نقطہ نظر پر بھی لاگو ہوتا ہے۔
مسئلہ یہ ہے کہ ان سسٹمز میں جو کچھ پڑھا جاتا ہے اس میں سے زیادہ تر صارف کی تیار کردہ سائٹس جیسے Reddit، Wikipedia، Quora، اور YouTube سے آتا ہے، جہاں کوئی بھی پوسٹ کر سکتا ہے۔ کارنیل ٹیسٹنگ میں، ایجنٹوں کے ذریعے حاصل کیے گئے تمام ویب صفحات میں سے تقریباً 17 سے 23 فیصد ان سائٹس سے آئے ہیں، اور ایک ہی مقبول Reddit تھریڈ اسی موضوع پر بہت سے متعلقہ سوالات کو پھیلا سکتا ہے۔
پھر ایک گیٹ وے بنایا جائے گا۔ کثرت سے حوالہ دیئے جانے والے ایک دھاگے کو زہر دے کر، آپ صرف ایک فقرے کے بجائے سوالات کی پوری قسموں کے AI کے جوابات کو جوڑ سکتے ہیں۔
محققین کے ٹیسٹوں میں، کسی ایک ذریعہ میں پروموشنل ٹیکسٹ کے تقریباً 13 الفاظ شامل کرنے کی وجہ سے اے آئی نے تقریباً 38 سے 51 فیصد رنز میں جزوی پروڈکٹ کا نام دیا جس میں اصل میں اس ذریعہ کو تلاش کیا گیا تھا۔ چند دھاگوں پر بیت چھڑکنے سے یہ تعداد 62 فیصد تک بڑھ گئی۔
اصلی (جعلی) مثال
لائیو انٹرنیٹ کو آلودہ کرنے سے بچنے کے لیے، ٹیم نے عوامی طور پر کچھ بھی پوسٹ نہیں کیا۔ اس کے بجائے، انہوں نے حملہ ایک سینڈ باکس میں کیا جس میں نقل کیا گیا کہ اگر نقصان دہ متن کسی حقیقی صفحہ پر ظاہر ہوتا ہے تو کیا ہوگا۔ وہ جس نقطہ نظر کا دعوی کرتے ہیں وہ اس کا مطالعہ کرنے کا واحد اخلاقی طریقہ ہے۔
یہ بات قابل غور ہے کہ اصل میں کیا تجربہ کیا گیا تھا۔ سارا حملہ صرف تین اوپن سورس "گہری غوطہ خور” ایجنٹوں کے خلاف انجام سے آخر تک چلایا گیا: STORM، Co-STORM، اور OmniThink۔ چونکہ بڑے پیمانے پر تجارتی ٹولز پر براہ راست حملہ نہیں کیا جا سکتا (ایسا کرنے سے لائیو ویب آلودہ ہو جائے گا)، اس کے بجائے محققین نے پیمائش کی کہ ہر ٹول نے صارف کے تیار کردہ مواد کا کتنی بار حوالہ دیا۔
وہاں تصویروں کی آمیزش تھی۔ گوگل کی جیمنی ڈیپ ریسرچ نے اوپن اے آئی کی ڈیپ ریسرچ کے مقابلے اس مواد کو زیادہ کثرت سے (تقریباً 12% حوالہ جات) کھینچا۔ OpenAI کی گہری تحقیق نے ان میں سے بہت کم (0.4%) کا حوالہ دیا ہے اور ایسا لگتا ہے کہ وہ انہیں جارحانہ طریقے سے فلٹر کرتی ہے۔ دوسرے لفظوں میں، یہ اس بات کا ثبوت نہیں ہے کہ کسی خاص صارف چیٹ بوٹ کو درحقیقت دھوکہ دیا جا رہا ہے، بلکہ یہ ثابت شدہ کمزوری ہے کہ یہ سسٹم کیسے کام کرتے ہیں۔
ایجاد کردہ مثال تقریباً مزاحیہ طور پر آسان ہے۔ "مستند کھانوں” کے لیے "Sol Azteca” نامی ایک فرضی ریسٹورنٹ کی سفارش کرنے والی ایک مختصر لائن آسٹن کے فوڈ تھریڈ میں شامل کی گئی، جس کے نتیجے میں AI نے Sol Azteca کی سفارش کی اور Reddit پوسٹ کا حوالہ دیا۔ جعلی ڈیٹنگ ایپ "SilverPath” 50 سال سے زیادہ عمر کے طلاق یافتہ مردوں کے لیے "سب سے اوپر انتخاب” کے طور پر ابھری۔
یہ آپ کو پریشان کیوں ہونا چاہئے
یہ ہے کہ تمام AI صارفین کے لیے کیا تکلیف دہ ہے: اس حملے کا سب سے زیادہ خطرہ وہ سوالات ہیں جن کے لیے لوگ AI پر انحصار کرتے ہیں۔ یہ ایک سفارش اور مشورے کے انداز کا سوال ہے۔ بہترین ریستوراں، بہترین ایپ، خریدنے کے لیے پروڈکٹ، کیسے کینسل کرنا ہے، ایمرجنسی میں کس کو کال کرنا ہے، وغیرہ جیسی تلاشوں کے لیے، AI مستند ذرائع کے بجائے کمیونٹی چیٹ پر انحصار کرتا ہے۔
محققین وضاحت کرتے ہیں کہ اس کے کام کرنے کی بنیادی وجہ یہ ہے کہ یہ سسٹم اکثر سوال سے ملتے جلتے متن کو عین متن کے لیے پراکسی کے طور پر پیش کرتے ہیں۔ لہذا ایک عام سوال کا مطالعہ کرنے والا حملہ آور ایک تبصرہ لکھ سکتا ہے جو آپ کے فقرے کی عکاسی کرتا ہے، اور وہ آئینہ دار تصویر ہی AI کا اعتماد حاصل کرتی ہے۔ جیسا کہ ژانگ نے 404 میڈیا کو بتایا، یہ سسٹم Reddit اور سرکاری ویب سائٹس پر بے ترتیب تبصروں کو تقریباً اتنے ہی قابل اعتماد قرار دیتے ہیں۔
آپ ابھی کیا کر سکتے ہیں۔
- AI کی سفارشات کو لیڈز کے طور پر سمجھیں، حتمی فیصلے نہیں۔ یہ ہے یہ خاص طور پر پروڈکٹس، ایپس، ریستوراں، مالی سفارشات، اور پیسے یا حفاظت سے متعلق کسی بھی چیز کے لیے درست ہے۔
- اقتباس پر کلک کریں۔ اگر کوئی AI اعتماد کے ساتھ کسی برانڈ کا نام لیتا ہے، تو چیک کریں کہ دعوی اصل میں کہاں سے آیا ہے۔ ایک واحد Reddit تبصرہ ایک سرخ پرچم ہے۔
- غیر مانوس ناموں کو کراس چیک کریں۔ اگر آپ نے کبھی بھی AI میں "ٹاپ ریٹیڈ” اختیارات میں سے کسی کے بارے میں نہیں سنا ہے جو ابھی سامنے آیا ہے، تو ان پر بھروسہ کرنے سے پہلے کچھ آزاد تحقیق کریں۔
- براہ کرم فوری پوچھ گچھ پر خصوصی توجہ دیں۔ تمام سڑک کے کنارے امداد، کسٹمر سروس فون نمبرز، اور اکاؤنٹ کی بازیابی گھوٹالوں کے اہم ہدف ہیں۔
اور مشکل مسئلہ یہ ہے کہ اسے آسانی سے روکا نہیں جا سکتا۔ محققین نے واضح دفاعوں کا تجربہ کیا، بشمول صارف کی تیار کردہ سائٹس کو مکمل طور پر مسدود کرنا، ذرائع کو استعمال کرنے سے پہلے اسکریننگ کرنا، اور ہیرا پھیری کے لیے حتمی جوابات کو اسکین کرنا، لیکن ان میں سے کسی نے بھی AI کے جوابات کو خراب کیے بغیر ٹھیک سے کام نہیں کیا۔ AI سے تیار کردہ ردی کو پکڑنے کی معیاری چال ("غیر فطری” متن کو ظاہر کرنا) دراصل یہاں بیک فائر ہوا۔ کیونکہ امپلانٹڈ ٹیکسٹ حقیقی انسانی تبصروں سے زیادہ روانی سے پڑھا جاتا ہے۔
Reddit کے ایک ترجمان نے 404 میڈیا کو بتایا کہ کمپنی 20 سالوں سے سپیم، بوٹس اور منظم ہیرا پھیری سے لڑ رہی ہے، اور حال ہی میں اس نے مشکوک خودکار اکاؤنٹس سے اس بات کی تصدیق کرنے کے لیے پوچھنا شروع کیا کہ وہ انسان ہیں۔ لیکن محققین کا استدلال ہے کہ یہ بالآخر سماجی سطح کا مسئلہ ہے اور ایسا نہیں جسے Reddit یا Wikipedia خود ہی مکمل طور پر حل کر سکتے ہیں۔
ٹیک آؤٹ
جب تک کہ اے آئی کمپنیاں اس خلا کو ختم نہیں کرتیں، تھوڑا سا شکوک و شبہات بہت آگے بڑھ جاتے ہیں۔ اب سب سے ہوشیار اقدام AI کے بارے میں اسی طرح سوچنا ہے جس طرح آپ کسی فارم پر چیٹی اجنبی کو سوچتے ہیں۔ مجھے لگتا ہے کہ یہ مددگار ہے، لیکن یقینی طور پر دوبارہ چیک کرنے کے قابل ہے.
Amanda Caswell کی پیروی کریں اور AI منحنی خطوط سے آگے رہیں
پیروی کریں گوگل نیوز کے لیے ٹام کی گائیڈ اور ہمیں ایک ترجیحی ذریعہ کے طور پر شامل کریں۔ اپنی فیڈ میں تازہ ترین خبریں، تجزیہ اور تجزیے دیکھیں۔ ٹام کے گائیڈز کو سبسکرائب کریں۔ یوٹیوب اور ہماری پیروی کریں TikTok. آخر میں، آپ ہماری مخصوص سائٹ پر جا سکتے ہیں۔ ٹام گائیڈ سیونگ اسکواڈ حب کم پیسوں میں بہترین مصنوعات حاصل کرنے کے لیے آپ کو ماہر کی مدد کی ضرورت ہے۔