AI ایجنٹ کرالر، بوٹس جو جواب کے منتظر لوگوں کی جانب سے ریئل ٹائم میں صفحات حاصل کرتے ہیں، 15 ستمبر سے ویب کے کچھ حصوں پر بطور ڈیفالٹ بلاک کر دیے جائیں گے۔ Cloudflare نے 1 جولائی کو اس تبدیلی کا اعلان کیا، اور اس کے بعد سے زیادہ تر کوریج گوگل پر مرکوز ہے۔ زیادہ مفید حصہ وہ ہے جو آپ ہر بلڈنگ ایجنٹ سے مانگتے ہیں اور بدلے میں آپ انہیں کیا دیتے ہیں۔
Cloudflare نے واحد بلاک-AI-bot سوئچ کو تین زمروں سے بدل دیا: تلاش میں ایسے بوٹس شامل ہوتے ہیں جو بعد میں سوالات کے جوابات دینے کے لیے صفحات کو انڈیکس کرتے ہیں۔ ایجنٹ خودکار نظاموں کا احاطہ کرتے ہیں جو صارفین کے لیے حقیقی وقت میں کام کرتے ہیں، بشمول ChatGPT کے بازیافت بوٹس اور براؤزر سے چلنے والے ایجنٹس۔ ٹریننگ ان کرالروں کا احاطہ کرتی ہے جو مواد کو ماڈل کے وزن میں کھینچتے ہیں۔ کنٹرولز 1 جولائی کو تمام صارفین کے لیے لائیو ہو گئے، بشمول مفت درجے کے صارفین۔
ڈیفالٹ 15 ستمبر سے تبدیل ہو جائے گا۔ تربیت اور مشاورت کو ان صفحات پر بلاک کر دیا جائے گا جہاں اشتہارات دکھائی دیتے ہیں، لیکن پھر بھی براؤزنگ کی اجازت ہوگی۔ نئے ڈیفالٹ کا اطلاق Cloudflare کے نئے آن بورڈڈ ڈومینز، موجودہ صارفین کے ذریعے ترتیب دی گئی نئی سائٹس، اور تمام موجودہ مفت درجے کے صارفین پر ہوتا ہے۔
کوئی بھی جو یہ نہیں چاہتا ہے وہ اس تاریخ سے پہلے اپنی حفاظتی ترتیبات کے ذریعے آپٹ آؤٹ کر سکتا ہے۔
Cloudflare کی منطق یہ ہے کہ اشتہارات اس بات کا ثبوت ہیں کہ صفحہ انسانوں کے دیکھنے کے لیے بنایا گیا تھا۔ سرچ کرالر جو قارئین کو واپس بھیجتے ہیں وہ حوالہ جات ہیں۔ ایک بوٹ جو صفحہ پڑھتا ہے اور جوابات کسی اور کو دیتا ہے ایسا نہیں کرتا۔
AI ایجنٹ کرالر فی الحال کس چیز کا سامنا کر رہے ہیں۔
ایجنٹ کی تعیناتی اس مفروضے پر کی گئی ہے کہ اوپن ویب کھلا رہے گا۔ ریسرچ ایجنٹ حریفوں کی قیمتوں کے صفحات کو کھینچتے ہیں۔ مانیٹرنگ ٹولز سپلائرز سے اعلانات کی جانچ کرتے ہیں۔ کسٹمر سروس کا نمائندہ کارخانہ دار کی وضاحتیں اٹھائے گا۔ اس میں سے کسی کا بھی لائسنسنگ سے کوئی تعلق نہیں ہے، اور اب تک کسی لائسنس کی ضرورت نہیں ہے۔
Cloudflare دنیا کی ویب ٹریفک کا ایک بڑا حصہ بناتا ہے، اور اس کے بلاکس robots.txt کی تجاویز کے بجائے نیٹ ورک کی سطح پر کام کرتے ہیں جنہیں کرالر نظر انداز کر سکتے ہیں۔ اشتہار سے تعاون یافتہ صفحہ بالکل وہی ہے جو ایجنٹ چاہتے ہیں۔ کیونکہ خبریں، جائزے، قیمتیں اور پروڈکٹ کی کوریج یہیں ہیں۔ انٹرپرائز ایجنٹوں کے لیے ناکامی کا طریقہ قانونی چارہ جوئی نہیں ہے۔ یہ خاموشی سے بنایا گیا جواب ہے، ہر اس چیز سے جس تک پہنچا جا سکتا ہے۔
اس میں گوگل کی شکل کی پیچیدگی ہے۔ Googlebot تلاش اور تربیت دونوں کو ایک ہی بوٹ میں کرال کرتا ہے، اس لیے وہ سائٹس جو انتہائی پابندی والے قوانین کے تحت تربیت کو روکتی ہیں وہ بھی Googlebot کو مسدود کر دیں گی۔ کلاؤڈ فلیئر کے سی ای او میتھیو پرنس نے کہا کہ انہیں امید ہے کہ یہ تبدیلی "مکسڈ استعمال کرنے والے کرالر کو ایجنٹ کے استعمال اور تربیت سے الگ تلاش کرنے کی ترغیب دے گی۔” یہ کہنے کا ایک شائستہ طریقہ ہے کہ دباؤ کلیدی ہے۔
AI ایجنٹ کرالر کے لیے اجازتیں حاصل کرنا
جو کوئی بھی ایجنٹ چلا رہا ہے اسے یہ معلوم کرکے شروع کرنا چاہیے کہ ان کے Cloudflare اکاؤنٹس کو ایجنٹ کلاس پڑھے گا۔ چونکہ درجہ بندی رویے پر مبنی ہے، صارف کی پسند پر نہیں، تحقیقی ایجنٹ جو حقیقی وقت میں تلاش کرتے ہیں پکڑے جاتے ہیں اس سے قطع نظر کہ آپریٹرز انہیں کرالر کے طور پر پہچانتے ہیں۔
سراسر ناکامی کے بجائے تنزلی شدہ کوریج کی توقع کریں، کیونکہ بلاکس اشتہار سے تعاون یافتہ صفحات اور پھر باقی صفحات تک پہنچ سکتے ہیں۔ دوبارہ لکھے گئے صارف ایجنٹ سٹرنگ کے بجائے گفت و شنید تک رسائی کا طریقہ ہے۔
ہر پبلشر کے پاس ہوم ورک کی فہرست مختلف ہوتی ہے۔ موجودہ مفت درجے کے صارفین 15 ستمبر کو خود بخود نئے ڈیفالٹ میں منتقل ہو جائیں گے، اس لیے پہلے اپنے درجے کی جانچ کریں۔ زیادہ تر کوریج چھوڑ دی گئی۔ پھر فیصلہ کریں کہ آیا سیکھنے کو روکنا لاگت کے قابل ہے۔ کیونکہ آپ کو Googlebot کے ساتھ تلاش کی مرئیت کی ضرورت ہے۔
ایک قابل ذکر طریقہ کار پیسہ ہے۔ Pay Per Crawl، Ceramic.ai پبلشرز کو جب ان کا مواد AI تلاش کے نتائج میں ظاہر ہوتا ہے اور You.com کے ادائیگی کرنے والے ایجنٹوں کو جب وہ پریمیم مواد تک پہنچتے ہیں تو ادائیگی کرنے کے ساتھ، استعمال کے لیے ادائیگی کا راستہ فراہم کر رہا ہے۔ Cloudflare کا کہنا ہے کہ AI کرالر ٹریفک کا نصف سے زیادہ غیر تبدیل شدہ صفحات کو دوبارہ حاصل کرنے میں خرچ ہوتا ہے، لہذا قیمتوں کا تعین کرنے کے قابل دونوں طرف ضائع ہوتا ہے۔
یہ مواد کی جنگ کا پہلا دور ہے، جہاں مجوزہ جواب رفتار ہے، دیواروں سے نہیں۔
ایک کمزوری خود درجہ بندی میں ہے۔ دریافت، ایجنٹنگ، اور تربیت وہ طرز عمل ہیں جن کا اعلان AI کمپنیاں اپنے بوٹس کے لیے کرتی ہیں، اور کمپنیوں کے لیے واضح ترغیبات ہیں کہ وہ تربیت کے عمل کو تربیت کے طور پر درجہ بندی کرنے سے گریز کریں۔ اعلان اس بات کی وضاحت نہیں کرتا ہے کہ اس سے کیا روکتا ہے۔
اوپن ویب تک رسائی 30 سالوں سے مفت اور غیر محدود ہے، اور اب بلوں کو آئٹمائز کیا گیا ہے۔ ایجنٹ بلڈر جنہوں نے ستمبر سے پہلے اپنی رسائی کو صاف کر لیا تھا ان کے لیے ایک قابل عمل مسئلہ ہے۔ جو لوگ 403 میں تلاش کرتے ہیں وہ مکھی پر دوبارہ تعمیر کریں گے.
حوالہ: ویزا چیٹ جی پی ٹی انضمام AI ایجنٹ کو خوردہ خریداری کے قابل بناتا ہے۔
صنعت کے رہنماؤں سے AI اور بڑے ڈیٹا کے بارے میں مزید جاننا چاہتے ہیں؟ ایمسٹرڈیم، کیلیفورنیا اور لندن میں اے آئی اور بگ ڈیٹا ایکسپو دیکھیں۔ جامع ایونٹ TechEx کا حصہ ہے اور اس کا انعقاد سائبرسیکیوریٹی اور کلاؤڈ ایکسپو سمیت دیگر اہم ٹیکنالوجی ایونٹس کے ساتھ کیا جاتا ہے۔ مزید معلومات کے لیے یہاں کلک کریں۔
AI News آپ کے لیے TechForge Media لایا ہے۔ دیگر آنے والے انٹرپرائز ٹیکنالوجی ایونٹس اور ویبینرز کو یہاں دریافت کریں۔