137,000 سائٹس کا تجزیہ کیا گیا۔ llms.txt فائلوں کا 97% پڑھا نہیں گیا۔

llms.txt کے بارے میں ہر ایک کی رائے ہوتی ہے، لیکن جب بات حقیقی ثبوت کی ہو، تو ہمارے پاس صرف ایک سائٹ لاگ یا عجیب چھوٹا تجربہ ہے۔

ہم نے Ahrefs Web Analytics اور Bot Analytics کا استعمال 137,000 ڈومینز سے سرور لاگز اور ریئل ٹائم ٹریفک کا تجزیہ کرنے کے لیے کیا، ساتھ ہی ساتھ صارف ایجنٹ ان سب کو مار رہے ہیں۔

ہمیں جو ملا وہ یہاں ہے:

کلیدی نتائج

  • 28% Ahrefs Web Analytics استعمال کرنے والے 137,000 ڈومینز میں سے، ہم llms.txt فائل شائع کرتے ہیں۔
  • 97% ان فائلوں میں سے کسی میں بھی مئی 2026 میں کوئی ٹریفک نظر نہیں آئی۔ میں کچھ نہیں لایا۔
  • 96% llms.txt فائل تک پہنچنے والی کچھ درخواستیں بوٹس سے ہیں۔
  • 19.5% درآمدات نامی AI ٹولز سے آئیں (3% فائلوں میں سے جنہیں نظر انداز نہیں کیا گیا تھا)۔ GPTBot #1 ہے اور Claude-Code #2 ہے، تمام AI تلاش اور امدادی بوٹس سے آگے۔
  • 12% زیادہ تر درآمدات صنعت کی اپنی تحقیق سے آتی ہیں، بشمول GEO/AEO ٹولز، llms.txt چیکر ٹولز، اور محققین۔
  • صفر ایک AI بوٹ کی جانب سے ایک غیر موجود llms.txt فائل کے لیے درخواست آئی تھی۔ وہ کبھی نہیں پاتے۔
  • کہ شکریہ Chrome Lighthouse llms.txt 1,000 میں سے تقریباً 1 یونٹ تیار کیے گئے۔

مئی 2026 کے آخر میں، گوگل نے ایک ہفتے سے بھی کم وقت میں llms.txt دلیل کے دونوں فریقوں کو قبول کر لیا۔

تخلیقی AI خصوصیات کو بہتر بنانے کے لیے ایک نئی گائیڈ لفظی طور پر سائٹ کے مالکان کو بتاتی ہے کہ llms.txt جیسی مشین سے پڑھنے کے قابل فائلوں کو تخلیقی AI تلاشوں میں ظاہر کرنے کی ضرورت نہیں ہے، جس کا عنوان "افسوس کو ختم کرنا” ہے۔

کچھ دنوں بعد، کروم ٹیم نے Lighthouse کے تجرباتی ایجنٹ براؤزنگ آڈٹ کے لیے llms.txt کا اسکین بھیجا۔ ہم نے دستاویزات کو شامل کیا ہے جس میں وضاحت کی گئی ہے کہ فائلوں کے بغیر، ایجنٹ آپ کی سائٹ کی ساخت کو سمجھنے کے لیے زیادہ وقت کرال کر سکتے ہیں۔

ایک ویب صفحہ جس کا عنوان ہے۔

جب للی رے نے تضاد کے بارے میں گوگل کے جان مولر پر دباؤ ڈالا تو اس نے وضاحت کی کہ llms.txt "تلاش کے مقاصد کے لیے استعمال نہیں ہوتا ہے۔” یہ AI کوڈنگ ٹولز کے لیے "کچھ ٹوکنز کو بچانے کے لیے ایک عارضی کرچ” ہے جو ڈویلپر کی دستاویزات کو پارس کرتے ہیں، لہذا غیر ڈویلپر سائٹس کو اس کے بارے میں فکر کرنے کی ضرورت نہیں ہے۔

انہوں نے یہ بھی کہا کہ سائٹ کے مالکان اپنے لاگز کی جانچ پڑتال کرتے ہوئے شاید ہی کبھی AI ایجنٹ ٹریفک کو دیکھیں گے۔

جان مولر کے ٹویٹر تھریڈ کا اسکرین شاٹ۔ نمایاں متن یہ ہے: جان مولر کے ٹویٹر تھریڈ کا اسکرین شاٹ۔ نمایاں متن یہ ہے:

یہ وہی ہے جو ہم نے ٹیسٹ کرنے کا فیصلہ کیا.

llms.txt کیا ہے (اور کیا نہیں ہے)

اس سے پہلے کہ ہم مزید آگے بڑھیں، آئیے واضح کریں کہ llms.txt اصل میں کیا ہے۔ ہوں Llms.txt ایک واحد انڈیکس فائل ہے جسے مارک ڈاؤن میں لکھا جاتا ہے اور آپ کی سائٹ کے روٹ میں رکھا جاتا ہے۔ Answer.AI اور fast.ai کے شریک بانی جیریمی ہاورڈ کی طرف سے 2024 میں تجویز کیا گیا، اس کا خلاصہ یہ ہے کہ سائٹ کس چیز کے بارے میں ہے اور سب سے اہم مواد سے منسلک ہے۔ خیال یہ ہے کہ LLMs اور ایجنٹس اس معلومات کو استعمال کر سکتے ہیں اپنے بیرنگ حاصل کرنے کے لیے ہر چیز کو رینگنے کے بغیر۔ llms.txt کے ارد گرد "AI visibility” فریم کو بعد میں SEO انڈسٹری نے منسلک کر دیا کیونکہ قیاس آرائیاں پھیل گئیں کہ AI پلیٹ فارم فائل کو انعام دیں گے۔ دو چیزیں جو اکثر الجھ جاتی ہیں اور کون سی نہیں۔

  • یہ ویب صفحہ کی مارک ڈاؤن کاپی شائع کرنے کا رواج نہیں ہے۔ یہ اپنے مسائل کے ساتھ ایک الگ حکمت عملی ہے۔
  • اور فائل کے نام کے باوجود، یہ robots.txt طرز کی ہدایت نہیں ہے۔ یہ کسی چیز کو کنٹرول نہیں کرتا اور نہ ہی کسی چیز کو روکتا ہے۔

اس مطالعہ میں، ہم انڈیکس فائلوں اور صرف انڈیکس فائلوں کی پیمائش کرتے ہیں۔

ہمارا مطالعہ Ahrefs Web Analytics کے تمام 137,210 ڈومینز پر مرکوز ہے جنہیں مئی 2026 میں ٹریفک موصول ہوا۔

ہم نے HTTP 200 واپس کرنے والے llms.txt کے ہر ڈومین روٹ کی نشاندہی کی، پھر پوری آبادی میں /llms.txt راستے کی تمام درخواستوں کا معائنہ کرنے کے لیے Ahrefs Bot Analytics کا استعمال کیا، انہیں HTTP جواب (200 بمقابلہ 404) کے ذریعے تقسیم کیا، اور چینل اور انفرادی صارف ایجنٹ کے ذریعے درجہ بندی کی۔

نرم 404s اور فینٹم فائلوں کو مسترد کرنے کے لیے، ہم نے تصدیق کی کہ ہر فائل HTML کے بجائے اصل مارک ڈاؤن تھی اور "404” یا "صفحہ نہیں ملا” جیسے نقص سگنلز کے لیے عنوان اور مواد کا معائنہ کیا۔

مندرجہ ذیل کو نوٹ کرنا ضروری ہے:

  • Ahrefs Web Analytics کے صارفین عموماً ویب کے مقابلے ٹیکنالوجی اور SEO کے بارے میں زیادہ واقف ہوتے ہیں، اس لیے ہم 28% کو اپنانے کو بالائی حد سمجھتے ہیں۔
  • ہم نے واضح طور پر اس بات کا مطالعہ نہیں کیا ہے کہ آیا فائل llms.txt تفصیلات کے لیے درست فارمیٹ میں ہے۔

28% ڈومینز llms.txt شائع کرتے ہیں۔

گوگل سرچ کی ہدایات کا کہنا ہے کہ آپ اسے چھوڑ سکتے ہیں، کروم ٹیم اس کی تعریف کرتی ہے، اور مولر اسے کوڈنگ ٹول کے لیے ایک سٹاپ گیپ قرار دیتا ہے۔

تو، تمام ملے جلے پیغامات میں سے، llms.txt واقعی کتنا مقبول ہے؟ ہمارے مطالعہ میں حصہ لینے والے 137,000 ڈومینز میں سے 28% نے ان فائلوں کو شائع کیا۔

ہماری آبادی (38,000) میں چار میں سے ایک سے زیادہ ڈومینز نے llms.txt کو اپنایا ہے، حالانکہ کسی بڑے AI پلیٹ فارم نے اسے پڑھنے کا عزم نہیں کیا ہے۔

گود لینے کو قیاس آرائیوں کے ذریعہ کارفرما کیا گیا ہے کہ AI پلیٹ فارم فائلوں کو استعمال کرنا شروع کر سکتے ہیں۔ کرو.

پائی چارٹ: 28% سائٹس ایک درست llms.txt (38,360 ڈومینز) شائع کرتی ہیں، 72% نہیں کرتی ہیں (98,640 ڈومینز)۔پائی چارٹ: 28% سائٹس ایک درست llms.txt (38,360 ڈومینز) شائع کرتی ہیں، 72% نہیں کرتی ہیں (98,640 ڈومینز)۔

97% llms.txt فائلوں کی کبھی بھی درخواست نہیں کی جاتی ہے۔

ہمارے مطالعے میں تقریباً تمام llms.txt فائلیں نہیں پڑھی گئیں۔

درست فائلوں والے تقریباً 38,000 ڈومینز میں سے 97% کو مئی میں کوئی درخواست موصول نہیں ہوئی۔

کوئی بوٹس نہیں ہیں۔ انسان نہیں ہیں۔ کچھ نہیں

بار چارٹ 137,000 ڈومینز پر احرف کی تحقیق کو ظاہر کرتا ہے۔ 97% llm.txt فائلوں کی درخواست نہیں کی گئی ہے۔بار چارٹ 137,000 ڈومینز پر احرف کی تحقیق کو ظاہر کرتا ہے۔ 97% llm.txt فائلوں کی درخواست نہیں کی گئی ہے۔

بقیہ 3% (1,100 ڈومینز) کو تمام llms.txt ٹریفک موصول ہوئی جس کی ہم نے پیمائش کی۔

ہمارے اعداد و شمار سے پتہ چلتا ہے کہ جان مولر درست تھے۔ نہ صرف آپ کو شاذ و نادر ہی ملے گا۔ اے آئی ٹریفک اس فائل کے نتیجے میں آپ کو شاید بہت کم ٹریفک ملے گی۔

اگر آپ آج اپنی llms.txt فائل پوسٹ کرتے ہیں، تو اس بات کا زیادہ امکان ہے کہ اسے ابھی تک کچھ نہیں ملے گا۔

تاہم، پڑھی جانے والی فائلوں میں سے 3% دلچسپ زائرین پڑھتے ہیں۔

ہم اپنے باقی مطالعہ کے لیے ان پر توجہ مرکوز کریں گے۔

llms.txt فائل کے لیے 96% درخواستیں بوٹس سے آتی ہیں۔

Llms.txt فائل کمپیوٹرز کے لیے لکھی گئی ہے، اور اسے صرف کمپیوٹر ہی پڑھ سکتے ہیں۔

ٹریفک موصول ہونے والی فائلوں میں، 96% درخواستیں بوٹس سے آئیں۔

انسانوں کی تعداد 4% تھی، جن میں سے کچھ SEOs دکھائی دیتے ہیں جو چیٹ ایپس میں llms.txt لنکس کا اشتراک کر رہے ہیں، جہاں سے کھولے جانے والے بوٹس فرض کے ساتھ لنکس کو کھینچتے ہیں۔

Slackbot اکیلے llms.txt فائل کو PerplexityBot سے زیادہ بار درآمد کرتا ہے۔

Perplexity ان AI سرچ انجنوں میں سے ایک ہے جس کی مدد کے لیے llms.txt کو ڈیزائن کیا گیا ہے، اس لیے حقیقت یہ ہے کہ چیٹ ایپ کا لنک پیش نظارہ بوٹ اس سے بہتر کارکردگی کا مظاہرہ کرتا ہے یہ اس بات کے بارے میں بات کرتا ہے کہ یہ فائلیں اصل میں AI تلاش میں کتنی دلچسپی پیدا کرتی ہیں۔

llms.txt پڑھنے والے 77% بوٹس AI ٹولز سے نہیں آتے ہیں۔

بہت سی سائٹیں llms.txt کو بالکل ٹھیک پوسٹ کرتی ہیں کیونکہ ان کے خیال میں یہ ChatGPT جوابات میں ظاہر ہونے، پرپلیکسٹی حوالہ جات حاصل کرنے، یا AI جائزہ جیتنے کے امکانات کو بڑھا دے گا۔

لیکن ہمارا ڈیٹا ایک مختلف کہانی سناتا ہے۔ 77% بوٹس جو llms.txt کو بازیافت کرتے ہیں وہ بالکل بھی AI ٹولز نہیں ہیں۔

یہ سمجھنے کے لیے کہ کون سا بوٹ ہے۔ تھا ہم نے llms.txt کی درخواست کی اور تمام صارف ایجنٹوں کو 12 زمروں میں تقسیم کیا۔

زمرہ زمرہ درخواست کل کا %
SEO آڈٹ ٹولllms.txt میں کوئی خاص دلچسپی کے بغیر موجودہ SEO اسٹیٹس کو چیک کرنے کے لیے سائٹ کو کرال کریں۔مثالیں: SiteAuditBot، WebPageTest شکریہ 4,776 21.7%
دوسرے اور نامعلومگمنام SDK ڈیفالٹس اور بوٹس جن کے مقصد یا آپریٹر کا تعین نہیں کیا جا سکتامثال: نوڈ، سیٹرک-انڈیکسر نامعلوم 3,278 14.9%
عام ویب کرالربغیر کسی بیان کردہ AI ایجنٹ کے استعمال کے کیس کے تلاش اور مصنوعات کی دریافت کے لیے ویب کو انڈیکس کریں۔مثال: گوگل بوٹ، ایمیزون بوٹ رینگنا 2,871 13.1%
تکنیکی پروفائلنگ ٹولزآپ کے ٹکنالوجی اسٹیک اور کاروباری انٹیلی جنس ڈیٹا کی شناخت کے لیے آپ کی سائٹ کو کرال کرنامثال: BuildWith، Dataprovider پروفائلنگ 2,546 11.6%
AI ایجنٹس اور ایجنٹ کا بنیادی ڈھانچہAI ایجنٹس جو آپ کی طرف سے کام کرتے ہیں اور آپ کی خدمت کے لیے بنائے گئے کرالر اور ٹولز۔مثالیں: Claude-Code، IbouBot اے آئی 2,302 10.5%
GEO/AEO ٹولزاپنی ویب سائٹ کو اسکین کریں اور AI تلاش اور ایجنٹ کی دریافت کے لیے اس کی تیاری کا اندازہ لگائیں۔مثالیں: CairotReadinessBot، AuditMetricBot llms.txt کا مطالعہ کریں۔ 1,278 5.8%
AI تربیت یافتہ کرالرماڈل بنانے کے لیے ڈیٹا اکٹھا کریں۔مثالیں: GPTBot، ClaudeBot اے آئی 1,179 5.3%
llms.txt دریافت کرنے والا بوٹخاص طور پر، یہ llms.txt فائل کو اسکین، تصدیق یا کیٹلاگ کرتا ہے۔مثال: LLMS-Txt-Scanner, txtfeed-bot llms.txt کا مطالعہ کریں۔ 793 3.6%
خدمات اور سماجی بوٹسمیسجنگ ایپس اور سوشل پلیٹ فارمز میں لنک کے پیش نظارہ بنانے کے لیے URL بازیافت کریں۔مثال: Slackbot، Skype URI کا پیش نظارہ معاشرے کے 645 2.9%
ریسرچ بوٹتعلیمی یا تحقیقی مقاصد کے لیے رینگنا، بشمول سیکیورٹی ریسرچمثال: ریپڈ انجیکشن سروے، ریسرچ پروجیکٹ llms.txt کا مطالعہ کریں۔ 585 2.7%
اے آئی اسسٹنٹایک سوال کے جواب میں اپنی طرف سے ویب کو براؤز کریں۔مثال: ChatGPT-User، Claude-User اے آئی 559 2.5%
AI سرچ بوٹریئل ٹائم صارف کے سوالات کا جواب دینے کے لیے AI سرچ پروڈکٹس سے صفحات حاصل کریں۔مثالیں: OAI-SearchBot، PerplexityBot اے آئی 233 1.1%

انفرادی طور پر، AI بوٹس زمرہ ٹاپ فور نہیں بناتا۔

SEO آڈٹ ٹولز (21.7%)، دوسرے اور نامعلوم (14.9%)، عام ویب کرالر (13.1%)، اور تکنیکی پروفائلنگ ٹولز (11.6%) سبھی ایک AI بوٹ سے زیادہ درخواستیں بھیجتے ہیں۔

سائیڈ نوٹ۔

اس سرفہرست زمرے میں کروم کا لائٹ ہاؤس آڈٹ بھی شامل ہے، ایک ایسا چیک جس نے llms.txt بحث کو دوبارہ شروع کیا۔ 22 درخواستیں تھیں، یا تقریباً 1000 میں سے 1۔

AI ایجنٹس، جو سب سے بڑا اسٹینڈ لون AI زمرہ ہے، 10.5% پر پانچویں نمبر پر ہے۔

تاہم، جب آپ چار AI کیٹیگریز (تربیت یافتہ کرالر، سرچ بوٹس، اسسٹنٹ، اور ایجنٹس) کو یکجا کرتے ہیں، تو AI بوٹس 19.5% پر واحد سب سے بڑی بالٹی بن جاتے ہیں۔

بوٹ ٹریفک کو تین منزلوں میں تقسیم کیا گیا ہے۔

  1. AI بوٹس استعمال کرنے والی فائلیں (19.5%)
  2. گمنام کھرچنے والوں کی لمبی دم (14.9%)
  3. انڈسٹری اس کا آڈٹ کر رہی ہے (12.1%)

آئیے ذیل میں ان میں سے کچھ کو قریب سے دیکھیں۔

19.5% درخواستیں AI بوٹس سے آتی ہیں۔

درخواستوں کے درمیان کرو AI بوٹس کی زد میں آنے والی llms.txt فائلوں کا فیصد 19.5% ہے۔

AI بوٹس llms.txt کے سب سے بڑے قابل شناخت قارئین ہیں، لیکن AI کی طرف سے درجہ بندی بوٹ کی قسم یہ ظاہر کرتا ہے کہ فائل AI ٹولز فراہم نہیں کرتی ہے جو زیادہ تر لوگوں کے ذہن میں ہے۔

ہم انہیں چار طریقوں سے درجہ بندی کرتے ہیں:

  • AI ایجنٹس اور ایجنٹ کا بنیادی ڈھانچہ وہ آپ کی طرف سے کام کرنے یا ایسے ایجنٹوں کو خدمات فراہم کرنے کے لیے کرال کیے جاتے ہیں۔
  • AI تربیت یافتہ کرالر ماڈل بلڈنگ کے لیے ڈیٹا اکٹھا کرنا
  • اے آئی اسسٹنٹ ایک ایسی خدمت جو صارف کی جانب سے حقیقی وقت میں ویب کو براؤز کرتی ہے۔
  • AI سرچ بوٹ ایک سروس جو ریئل ٹائم صارف کے سوالات کا جواب دینے کے لیے AI پلیٹ فارم سے صفحات حاصل کرتی ہے۔

سائز تبدیل کرنے کا طریقہ یہاں ہے…

بار چارٹ AI بوٹ کی درخواستیں دکھا رہا ہے۔ ایجنٹ (نیلا) 10.5%، ٹریننگ کرالر (نارنج) 5.3%، اسسٹنٹ (سرخ) 2.5%، سرچ بوٹ (سبز) 1.1%۔ GPTBot سب سے زیادہ 4.51% ہے۔بار چارٹ AI بوٹ کی درخواستیں دکھا رہا ہے۔ ایجنٹ (نیلا) 10.5%، ٹریننگ کرالر (نارنج) 5.3%، اسسٹنٹ (سرخ) 2.5%، سرچ بوٹ (سبز) 1.1%۔ GPTBot سب سے زیادہ 4.51% ہے۔

اسٹیٹ اسپیس انڈیکسر: آپریٹر کی شناخت اسٹیٹ اسپیس (ایجنٹ انفراسٹرکچر) کے طور پر کی گئی ہے، آئی پی رینج کی شناخت نہیں کی گئی ہے۔

سائیڈ نوٹ۔

فوری نوٹ: یہ تجزیہ 3% فائلوں کا احاطہ کرتا ہے جنہیں کوئی درخواست موصول نہیں ہوئی، مجموعی طور پر 137,000 ڈومینز سے نہیں۔ یہ تقریباً 1.1,000 ڈومینز اور کل 22,000 درخواستوں کے مساوی ہے، اس لیے ہم ابھی بھی صرف ایک چھوٹے پول کا مطالعہ کر رہے ہیں۔ نیز، "لائے” کا مطلب "پڑھنا” نہیں ہے۔ ہو سکتا ہے کہ بہت سے بوٹس نے اندر موجود مواد کے بارے میں کچھ کیے بغیر llms.txt فائل کو درآمد کیا ہو۔ لہذا، اس مطالعہ کے تمام اعداد و شمار اصل llms.txt استعمال کی حد ہیں۔ مثال کے طور پر، AI کی 19.5% درخواستیں سب سے زیادہ فراخدلی سے پڑھنا ممکن ہیں۔ اصل AI کی کھپت اس کے آس پاس یا اس سے کم ہے۔

ایجنٹ ویب اصل صارف ہے جو 10.5% درخواستیں بھیجتا ہے۔

AI ایجنٹس اور ان کی خدمت کے لیے بنایا گیا انفراسٹرکچر 10.5% llms.txt درخواستوں کو چلاتا ہے، جو کہ کسی بھی دوسری قسم کے AI بوٹ سے زیادہ ہے۔

یہ نتائج صنعت میں بہت سے لوگوں کے اندر پہلے سے موجود وجدان کے مطابق ہیں۔

ہم نے جان مولر سے پہلے سنا تھا کہ llms.txt AI کوڈنگ ایجنٹس کے لیے بہترین حوالہ جاتی مواد ہے۔

نیکٹیو کے بانی کرس لانگ نے کہا کہ یہاں تک کہ اگر llms.txt گوگل کی تلاش میں مدد نہیں کرتا ہے، فائل مفید ہے اگر صارفین "سفارشات حاصل کرنے کے لیے کلاڈ کوڈ کا استعمال کریں”۔

LLMs.txt کے بارے میں کرس لانگ کی لنکڈ ان پوسٹ اور گوگل سرچ سے آگے SEO سے اس کی مطابقت (متن کو نمایاں کیا گیا)LLMs.txt کے بارے میں کرس لانگ کی لنکڈ ان پوسٹ اور گوگل سرچ سے آگے SEO سے اس کی مطابقت (متن کو نمایاں کیا گیا)

ہمارا Bot Analytics ڈیٹا دونوں خیالات کی حمایت کرتا ہے۔

آپ دیکھیں گے کہ llms.txt فائلوں کو تلاش اور AI بوٹس کے ذریعے بہت کم کھینچا جاتا ہے جو بظاہر مرئیت کے لیے ذمہ دار ہوتے ہیں، اور زیادہ کثرت سے ایجنٹ ٹولز جو ساختی معلومات تلاش کرتے ہیں یا صارف کی جانب سے کارروائی کرتے ہیں۔

بار چارٹ مختلف ایجنٹوں کی طرف سے تصدیق شدہ AI بوٹ کی درخواستوں کا فیصد دکھا رہا ہے (کل 10.5%)۔ بار چارٹ مختلف ایجنٹوں کی طرف سے تصدیق شدہ AI بوٹ کی درخواستوں کا فیصد دکھا رہا ہے (کل 10.5%)۔

اسٹیٹ اسپیس انڈیکسر: آپریٹر کی شناخت اسٹیٹ اسپیس (ایجنٹ انفراسٹرکچر) کے طور پر کی گئی ہے، آئی پی رینج کی شناخت نہیں کی گئی ہے۔

Statespace-indexer اور GPTBot کے علاوہ، Claude-Code (Anthropic’s Coding Agent) نے تمام AI سرچ بوٹس، تمام AI معاونین، اور تمام AI تربیت یافتہ کرالر سے بہتر کارکردگی کا مظاہرہ کیا۔

ٹریننگ کرالر 5.3% پر دوسری سب سے بڑی AI کیٹیگری ہے۔

Llms.txt فائل آپ کے تربیتی مواد کے لیے AI تلاش کی تلاش سے زیادہ معلومات فراہم کرتی ہے۔

درحقیقت، AI تربیت یافتہ کرالر AI سرچ بوٹ سے تقریباً 5 گنا زیادہ llms.txt بازیافت کرتا ہے۔

بار چارٹ یہ ظاہر کرتا ہے کہ AI بوٹ کی 5.3% درخواستیں AI تربیت یافتہ کرالر سے آئی ہیں۔ GPTBot 4.51% پر ہے اور ClaudeBot 0.8% پر ہے۔بار چارٹ یہ ظاہر کرتا ہے کہ AI بوٹ کی 5.3% درخواستیں AI تربیت یافتہ کرالر سے آئی ہیں۔ GPTBot 4.51% پر ہے اور ClaudeBot 0.8% پر ہے۔

لہذا، اگر llms.txt کسی بھی طرح سے آپ کے برانڈ کی AI مرئیت کو متاثر کرنے جا رہا ہے، تو امکان ہے کہ یہ تلاش کے مقام کی بجائے اوپر کی طرف ہو گا۔

تمام تربیتی کرالروں میں سے، GPTBot وہ ہے جو llms.txt کو سب سے زیادہ درآمد کرتا ہے۔

آپ کو اس فہرست میں جیمنی کرالر نہیں ملے گا کیونکہ یہ موجود نہیں ہے۔

Google باقاعدہ Googlebot کے ذریعے کھینچے گئے مواد پر Gemini کو تربیت دیتا ہے اور اس کی بنیاد رکھتا ہے، اور Google-Extended آپٹ آؤٹ پبلشرز کے ذریعے استعمال کیا جاتا ہے نہ کہ اس کے اپنے صارف ایجنٹ کے ساتھ ایک کرالر کے بجائے ایک robots.txt ٹوکن۔

Googlebot نے مئی میں 900 بار llms.txt فائل حاصل کی، لیکن یہ بازیافتیں llms.txt میں کسی خاص دلچسپی کی نشاندہی نہیں کرتی ہیں، کیونکہ Googlebot باقاعدگی سے آپ کی سائٹ پر ملنے والے تمام URLs کو اپنی باقاعدہ تلاش کے اشاریہ سازی کے حصے کے طور پر بازیافت کرتا ہے۔ Googlebot فائلوں کو اسی طرح کرال کرتا ہے جس طرح یہ سائٹ کے نقشوں یا دیگر صفحات کو کرال کرتا ہے۔

یہ ہمیں نظر نہیں آتا کہ آیا وہ مواد جیمنی کو فراہم کیا گیا ہے۔

AI سرچ بوٹس بمشکل تمام درخواستوں کے 1.1% پر رجسٹر ہوتے ہیں۔

ہمارے ڈیٹا کے مطابق، AI سرچ بوٹس AI بوٹ کی درخواستوں میں سے صرف 1.1% ہیں۔

یہاں تک کہ جب AI معاونین اور AI سے تربیت یافتہ کرالر کے ساتھ استعمال کیا جاتا ہے، تب بھی یہ بوٹس صرف 8.9% درخواستیں بناتے ہیں (AI ایجنٹوں سے 1.6% کم)۔

OAI-SearchBot، PerplexityBot، اور Claude کے سرچ کرالر کو یکجا کرنے کے نتیجے میں ہزاروں سائٹس سے صرف چند سو بازیافت ہوتے ہیں۔

بار چارٹ ظاہر کرتا ہے کہ AI بوٹ کی 1.1% درخواستیں AI سرچ بوٹس سے آتی ہیں۔ OAI-SearchBot 0.74% کے ساتھ آگے ہے۔بار چارٹ ظاہر کرتا ہے کہ AI بوٹ کی 1.1% درخواستیں AI سرچ بوٹس سے آتی ہیں۔ OAI-SearchBot 0.74% کے ساتھ آگے ہے۔

اگر آپ AI حوالہ جات کو بڑھانے کے لیے llms.txt بنانے کا منصوبہ بنا رہے ہیں، تو آپ دوبارہ سوچنا چاہیں گے۔

12% درخواستیں ان ٹولز سے آتی ہیں جو llms.txt استعمال کیے بغیر مطالعہ کرتے ہیں۔

llms.txt معیار کی آڈیٹنگ، اسکورنگ، توثیق اور تحقیق کے ارد گرد ایک پورا ماحولیاتی نظام تشکیل پا چکا ہے اس سے پہلے کہ ہمیں یہ بھی معلوم ہو کہ آیا بڑے AI پلیٹ فارمز اسے پڑھتے ہیں۔

تین کیٹیگریز تمام درخواستوں کا 12% حصہ ہیں۔

پائی چارٹ 12% درخواستوں کا مطالعہ llms.txt معیار دکھا رہا ہے۔ ریسرچ بوٹس: 2.7%، llms.txt کی دریافت: 3.6%، GEO/AEO ٹولز: 5.8%۔پائی چارٹ 12% درخواستوں کا مطالعہ llms.txt معیار دکھا رہا ہے۔ ریسرچ بوٹس: 2.7%، llms.txt کی دریافت: 3.6%، GEO/AEO ٹولز: 5.8%۔

GEO/AEO ٹولز 5.8% درخواستیں بھیجتے ہیں۔

تجارتی ٹولز ویب سائٹ کو اسکین کرتے ہیں اور llms.txt کی موجودگی کو بہت سے سگنلز میں سے ایک کے طور پر استعمال کرتے ہیں تاکہ AI اسکیننگ اور ایجنٹ کی دریافت کے لیے اس کی تیاری کا اندازہ لگایا جا سکے۔

سب سے زیادہ فعال CairrotReadinessBot کا تعلق Cairrot سے ہے، جو 2025 کے آخر میں شروع کیا گیا ورڈپریس پر مبنی AEO پلیٹ فارم ہے۔

پھر، مرکزی دھارے کی ویب سائٹ بنانے والے جیسے Framer, Lovable، اور Wix سبھی اپنی مصنوعات پر AI کی تیاری کی جانچ کا اطلاق کرتے ہیں۔

ویب ماسٹرز کے ایسا کرنے کا فیصلہ کرنے سے پہلے Lms.txt کو اپنانا پلیٹ فارم ڈیفالٹ بن گیا۔

llms.txt سرچ بوٹ 3.6% درخواستوں کو پورا کرتا ہے۔

llms.txt فائلوں کے ذریعے ترتیب دینے کے لیے ٹولز کا ایک ماحولیاتی نظام ہے جسے تقریباً کوئی نہیں پڑھتا۔

خاص طور پر llms.txt فائلوں کے لیے بنائے گئے ڈیڈیکیٹڈ اسکینرز، تصدیق کنندگان اور ڈائریکٹریز AI سرچ بوٹس اور AI معاونین سے زیادہ درخواستیں بھیجتی ہیں۔

ریسرچ بوٹس 2.7% درخواستیں بھیجتے ہیں۔

ڈیٹاسیٹ میں سب سے بڑا واحد ریسرچ کرالر اپنی شناخت پرامپٹ انجیکشن سروے/1.0 کے طور پر کرتا ہے۔

کوئی شخص منظم طریقے سے انجیکشن کے تیز مواقع کے لیے llms.txt کا مطالعہ کر رہا ہے جنہیں AI ایجنٹوں کے ذریعے جمع کرنے اور ان پر بھروسہ کرنے کے لیے ڈیزائن کیا گیا ہے۔

بڑے پیمانے پر llms.txt فائل پر بھروسہ کرنے والے ایجنٹوں کے حفاظتی مضمرات پر بہت کم تبادلہ خیال کیا گیا ہے، لیکن ممکنہ نقصان دہ اداکار پہلے ہی اس معاملے میں ہیں۔

زیرو AI بوٹ ایک غیر موجود llms.txt فائل کو "تلاش کرتا ہے”

AI ٹولز کو کبھی بھی غیر موجود llms.txt فائل نہیں ملے گی، اس لیے فائل کو شائع کرنے سے آپ AI ریڈار کے سامنے نہیں آئیں گے۔

ہم نے /llms.txt پاتھ کی تمام درخواستوں کا تجزیہ کیا جس نے 404 کو واپس کیا تاکہ ہم نے بوٹ ڈیٹا میں دیکھا تھا۔ ایک طرف، درست فائلوں نے بوٹ ٹریفک کا 96 فیصد حصہ لیا، جب کہ گمشدہ فائلوں نے انسانی ٹریفک کا 98 فیصد حصہ لیا۔ میرے پاس ایک بوٹ ہے۔ 404 کا حصہ 0 تھا۔

جو لوگ گمشدہ llms.txt فائل کو تلاش کرتے ہیں وہی لوگ اپنے براؤزر میں URL ٹائپ کرتے ہیں۔ شاید SEO آپ کے حریفوں کی جانچ کر رہا ہے۔

اس سے یہ مفروضہ ٹوٹ جاتا ہے کہ AI سسٹم llms.txt فائل کو فعال طور پر تلاش کرے گا اور فائل کے بغیر سائٹس دروازے پر دستک دینے کے لمحے سے محروم رہیں گی۔

AI ٹولز llms.txt حاصل کرتے ہیں جب انہیں مطلع کیا جاتا ہے کہ llms.txt کسی لنک، انڈیکس، یا صارف کی ہدایات کے ذریعے موجود ہے۔

اپنے llms.txt بوٹ ٹریفک کو کیسے چیک کریں۔

اگر آپ یہ دیکھنا چاہتے ہیں کہ کون سا بوٹ دراصل آپ کے حملے کی زد میں ہے۔ llms.txt فائل کو کھولیں اور فلٹرز شامل کرنے کے لیے احرفس بوٹ تجزیات پر جائیں۔ صفحہ کا URL → شامل کریں → llms.txtپھر لاگو کریں.

احریفس بوٹ تجزیہ سے llmstxt درآمد کا مطالعہ کرنااحریفس بوٹ تجزیہ سے llmstxt درآمد کا مطالعہ کرنا

یہ آپ تک پہنچنے والی درخواستوں تک ہر چیز کو محدود کر دیتا ہے۔ llms.txt ایک فائل (یا URL میں "llms.txt” والا کوئی صفحہ، جیسے اس کے بارے میں بلاگ پوسٹ)

Ahrefs سائٹ پر کوئی llms.txt فائل نہیں ہے، لیکن کچھ بوٹس اس صفحہ پر جا رہے ہیں جیسا کہ 404 اسٹیٹس سے ظاہر ہوتا ہے۔

یہاں آپ تلاش کر سکتے ہیں:

  • وقت کے ساتھ دورہ کریں گے۔ کے درمیان سوئچ کریں بوٹ کے ذریعے اور زمرہ کے لحاظ سے یہ دیکھنے کے لیے چیک کریں کہ آیا ٹریفک بڑھ رہا ہے، فلیٹ ہے یا بڑھ رہا ہے۔
  • بوٹ ٹیبل۔ دیکھیں کوئی بھی صحیح بوٹ فائل کو کھینچ رہا ہے۔
  • کرال شدہ صفحہ کی آخری حالت۔ اسٹیٹس کوڈ چیک کریں۔ کوئی راستہ نہیں 404 کو /llms.txt اس کا مطلب ہے کہ ایک بوٹ ہے۔ سوال ان فائلوں کے بارے میں جو وہاں نہیں ہیں۔

آخری نکتہ ایک مفید گٹ چیک ہے۔ بہت سی سائٹیں بوٹ کی درخواستیں وصول کرتی ہیں۔ llms.txt انہوں نے کبھی شائع نہیں کیا۔ ٹریفک حقیقی ہے۔ فائلیں نہیں ہیں۔

آپ بھی استعمال کر سکتے ہیں: اے آئی بوٹ صفحہ کے اوپری حصے میں موجود فلٹرز آپ کو دوسرے کرالرز کو ہٹانے اور صرف LLM سے متعلقہ دیکھنے کی اجازت دیتے ہیں۔

اور یاد رکھیں: بوٹ llms.txt کچھ بھی ثبوت نہیں ہے پڑھیں یا کام کیا کہ یہ صرف آپ کو بتاتا ہے کہ فائل درآمد کی گئی ہے۔

تو کیا میں llms.txt فائل بناؤں؟

اگر آپ کا مقصد ChatGPT، Perplexity، یا AI Overview میں ظاہر ہوتا ہے تو llms.txt فائل زیادہ تر کاسمیٹک ہوتی ہے۔

AI سرچ بوٹس کو شاذ و نادر ہی فائلیں ملتی ہیں، AI سسٹم فائلیں نہیں ڈھونڈ پاتے، اور 97% موجودہ فائلیں کسی بھی قسم کے ریڈر کو اپنی طرف متوجہ نہیں کرتی ہیں۔

اور یاد رکھیں کہ درخواست یہ ایک فراخدلی اقدام ہے۔ آیا بوٹ اس پر عمل کرتا ہے جو اسے لاتا ہے یہ ایک اور سوال ہے۔

آئیے ساتھ ساتھ فوائد اور نقصانات کی فہرست بناتے ہیں۔

میرٹ نقصان
llms.txt کی اشاعت سستی ہے۔ Wix جیسے پلیٹ فارم زیادہ سے زیادہ کام کریں گے۔ بنیادی شرح سفاکانہ ہے۔ موجودہ llms.txt فائلوں میں سے 97% کسی بھی قسم کے قاری کے لیے کوئی دلچسپی نہیں رکھتی ہیں۔
ہمارے ڈیٹا میں، مطلوبہ سامعین کے قریب ترین چیز کوڈنگ ایجنٹ ہے۔ اگر کوئی گاہک کوڈنگ ایجنٹ استعمال کرتا ہے، یا اگر کوئی ایجنٹ سائٹ پر کام کر رہا ہے، تو فائلیں اصل میں پڑھی جا سکتی ہیں۔ یہ آج AI تلاش کی مرئیت میں مدد نہیں کرتا ہے۔ AI سرچ بوٹس شاذ و نادر ہی ان فائلوں کو اٹھاتے ہیں، اور ہمارے AI سسٹم غیر مطبوعہ فائلوں کو تلاش نہیں کرتے ہیں۔
یہ مستقبل کی آپ کی حکمت عملی کا ثبوت ہے۔ گوگل نے واضح کیا ہے کہ سرچ کا مستقبل ان کا ہے۔ llms.txt ایجنٹ کی پرت کے ذریعے AI کی مرئیت کو متاثر کر سکتا ہے کیونکہ ایجنٹ براہ راست صفحات کو حاصل کرنے والے بوٹس کا پتہ لگانے کے بجائے AI تلاشوں میں ثالثی کرتے ہیں۔ اشاعت صرف آدھا کام ہے۔ ایجنٹ اندازہ لگانے کی بجائے ہدایت کرنے پر llms.txt کھینچتا ہے، اس لیے غیر لنک شدہ فائلوں کے منتخب ہونے کا امکان نہیں ہے۔
یہ سیکیورٹی رسک ہے۔ ایجنٹ کو اس فائل پر بھروسہ کرنے کے لیے بنایا گیا ہے، اور ممکنہ نقصان دہ اداکار پہلے سے ہی فوری انجیکشن کے لیے llms.txt کی جانچ کر رہے ہیں۔ پرانی یا خراب فائلیں کسی بھی ایجنٹ کو گمراہ کرتی ہیں جو انہیں پڑھتے ہیں۔

میرا فیصلہ: نقصانات ابھی پیشہ سے کہیں زیادہ ہیں۔ اگر آپ AI تلاشوں میں دکھانا چاہتے ہیں، تو اس فائل کے مقابلے آپ کی مرئیت کو بڑھانے کے زیادہ قابل اعتماد طریقے ہیں۔

لیکن اگر آپ اب بھی llms.txt بنانے کے بارے میں سوچ رہے ہیں، تو آپ کو ان مراحل پر عمل کرنے کی ضرورت ہے:

  1. مزید سرمایہ کاری کرنے سے پہلے اپنا لاگ چیک کریں۔ بغیر پڑھنے والوں کی بنیادی شرح 97% ہے۔
  2. اپنے لیے ویب سائٹ بنانے کا پلیٹ فارم حاصل کریں۔ Wix پہلے ہی یہ فائلیں بنا چکا ہے، اور Framer اور Lovable ان کی تلاش کر رہے ہیں۔ ایک سال میں، llms.txt کا ہونا آپ کے CMS کے لیے اتنا ہی طے شدہ ہو سکتا ہے جتنا کہ سائٹ کا نقشہ ہونا۔ اگر نتیجہ غیر یقینی ہے، تو کوشش کو کم سے کم کرنا سمجھ میں آتا ہے۔
  3. ایجنٹوں کو اس مقام تک روٹ کریں۔ اپنے HTML میں فائل سے لنک کریں، اپنی دستاویزات میں اس کا حوالہ دیں، یا جب بھی آپ کے ایجنٹوں کو آپ کی سائٹ کے بارے میں ہدایات موصول ہوں تو اس کا ذکر کریں۔ ایجنٹ اندازہ لگانے کے بجائے ہدایات دینے پر llms.txt بازیافت کرتے ہیں۔
  4. تیزی سے اندراج کے خطرے کو دور کرنے کے لیے llms.txt کو کوڈ کی طرح سمجھیں۔ کنٹرول ورژن، محدود کریں کہ کون ترمیم کر سکتا ہے، غیر مجاز تبدیلیوں کے لیے انتباہات مرتب کریں، مواد کو سادہ لنکس اور وضاحتوں کے طور پر رکھیں (کوئی کمانڈ فارمیٹ نہیں)، صرف اپنے کنٹرول والے وسائل سے لنک کریں، اور پلیٹ فارم آپ کے لیے خود بخود تیار کردہ ہر چیز کا جائزہ لیں۔

یہ مطالعہ اس بارے میں جوابات فراہم کرتا ہے کہ کتنی سائٹیں llms.txt شائع کرتی ہیں اور کون اسے پڑھتا ہے۔

تاہم، مزید تحقیق کے قابل کئی دوسرے سوالات ہیں جو اس مطالعے کے دائرہ کار سے باہر ہیں۔

  1. کیا ایجنٹ زیادہ کثرت سے ڈویلپر کی دستاویزات کھینچتے ہیں؟ کیا Claude-Code کی llms.txt توجہ دستاویز کے راستوں جیسے /docs/ اور /api/ پر مرکوز ہے، جیسا کہ مولر کی فریمنگ کی پیش گوئی ہے؟
  2. بوٹ کو عمل میں آزمائیں۔ کارروائی انہوں نے کیا پڑھا اس کے بارے میں؟ جب AI ایجنٹ llms.txt درآمد کرتا ہے، تو کیا یہ وہ وسائل درآمد کرتا ہے جن سے فائل منسلک ہے؟ SEO کنسلٹنٹ David McSweeney، Queryburst کے بانی، پہلے سے ہی تجربہ کر رہے ہیں: وہ AI صارف ایجنٹوں کو ٹیسٹ سائٹس کے کنڈینسڈ، ایجنٹ کے موافق خلاصے فراہم کر رہا ہے، گہرے مواد کی درخواست کرنے کے لیے ہدایات کے ساتھ مکمل، اور یہ ٹریک کر رہا ہے کہ آیا ایجنٹ اصل میں کارکردگی کا مظاہرہ کر رہے ہیں۔ اس کے نتائج قابل قدر ہیں۔

مولر نے llms.txt کو ایک عارضی بیساکھی کہا۔

لیکن ایسا لگتا ہے کہ اس کی اپنی سپلائی چین پہلے سے ہی موجود ہے۔ پلیٹ فارمز جو llms.txt فائلیں تیار کرتے ہیں، وہ صنعت جو ان کا آڈٹ کرتی ہے، اور سیکیورٹی محققین جو ان کا مطالعہ کرتے ہیں، یہ سب "قارئین” کے اصل میں آنے سے پہلے ہوا تھا۔

ہم یا تو ایک حقیقی معیار کے ابتدائی مراحل کو دیکھ رہے ہیں، یا ہم SEO انڈسٹری کو یہ ثابت کرتے ہوئے دیکھ رہے ہیں کہ یہ کچھ بھی پیدا کر سکتی ہے۔ ہمارا پیسہ دونوں پر ہے۔

اوپر تک سکرول کریں۔