بڑی زبان کا ماڈل (LLM) خاموشی سے کرپٹ دستاویزات میں ترمیم کرتا ہے۔ یہ نتائج ہیں:

کلیدی ٹیک ویز

• مائیکروسافٹ ریسرچ کے ڈیلیگیٹ-52 مطالعہ نے 52 خصوصی ڈومینز میں 20 ترمیمی تعاملات سے زیادہ دستاویزی ترمیمی کاموں پر 19 LLM کا تجربہ کیا۔
• یہاں تک کہ اس وقت کے بہترین LLMs، بشمول Gemini 3.1 Pro، Claude 4.6 Opus، اور GPT 5.4، نے ایک طویل ترمیمی ورک فلو کے اختتام تک دستاویز کے مواد کا اوسطاً 25% خراب کر دیا۔
• ٹیسٹ کیے گئے 19 LLMs میں، کارکردگی میں اوسط گراوٹ 50% تک پہنچ گئی۔
• غلطیاں نایاب ہیں لیکن سنگین ہیں۔ نتیجے میں آنے والی چند تبدیلیاں جو کہ بہت سی چھوٹی غلطیوں کے بجائے گرائمر کے لحاظ سے درست پڑھی جاتی ہیں۔
• ایل ایل ایم کو ڈیفالٹ ایجنٹ ہارنس فراہم کرنے کے لیے فائل ٹول کا استعمال کرنے سے کارکردگی قدرے سست ہوتی ہے (تقریباً 6% بدتر) اور 2-5 گنا زیادہ ان پٹ ٹوکن استعمال کرتا ہے۔
• Python واحد ڈومین تھا جس میں زیادہ تر LLMs نے مطالعہ کی 98% درستگی کی حد کو پاس کیا۔ یہاں تک کہ بہترین کارکردگی کا مظاہرہ کرنے والا ماڈل بھی ٹیسٹ کیے گئے 52 ڈومینز میں سے صرف 11 میں اس معیار تک پہنچ گیا۔

بڑے لینگویج ماڈلز (LLMs) کچھ خاص قسم کی غلطیاں کرتے ہیں جو دستاویزات میں ترمیم کرتے وقت فریب سے زیادہ خطرناک ہو سکتی ہیں۔ یہ ایک عام جائزے کو پاس کرنے کے لیے کافی لطیف ہے، کافی نقصان دہ ہے، اور کافی سیسٹیمیٹک ہے کہ ایک سے زیادہ ایڈیٹنگ سیشنز میں جمع ہو جائے۔

17 اپریل 2026 کو شائع ہونے والی مائیکروسافٹ ریسرچ اسٹڈی اس پر مشکل نمبر فراہم کرتی ہے۔ ان نتائج کو ہر مواد کی ٹیم کے اپنے ادارتی ورک فلو میں AI کے مقام کے بارے میں سوچنے کا طریقہ بدلنا چاہیے۔

تحقیق نے اصل میں کیا پایا

مائیکروسافٹ کے محققین نے دستاویزات کے ساتھ کام کرنے کے لیے لوگوں کے LLMs کے استعمال کے طریقے کی نقل کرنے کے لیے DELEGATE-52 بنایا۔ یک طرفہ ترامیم پر توجہ مرکوز کرنے کے بجائے، LLM طویل، کثیر سیشن ورک فلوز پر توجہ مرکوز کرتا ہے جو نظرثانی اور بہتری کے سلسلے کو سنبھالتے ہیں۔

ٹیم کو 19 LLM پیشہ ورانہ دستاویزات پیش کی گئیں جن میں 52 شعبوں پر محیط تھا، بشمول کوڈنگ، کرسٹالوگرافی، میوزک نوٹیشن، اکاؤنٹنگ ریکارڈ، اور ترکیبیں، اور پھر 20 ادارتی تعاملات مکمل کرنے کو کہا گیا۔ ان ڈومینز میں انتہائی ساختہ فارمیٹس (کوڈ، ڈیٹا بیس اسکیماس) اور قدرتی زبان کی تحریر (ناول، ای میل) دونوں شامل ہیں اور دونوں میں سمجھوتہ دیکھا گیا ہے۔ یہی وہ نمونے تخلیق کرتا ہے جو ان سے متعلق ہوتے ہیں جو نثر سے بھرپور مضمون کے مواد کی ٹیمیں تیار کرتی ہیں۔

فرنٹیئر LLMs، جو سب سے زیادہ قابل سمجھے جاتے ہیں، نے انٹرایکٹیویٹی کی وجہ سے اپنے دستاویزی مواد کا اوسطاً 25% خراب کر دیا۔ 20. غیر فرنٹیئر ماڈلز کی کارکردگی بدتر تھی، تمام 19 ماڈلز کی اوسط 50% تک گر گئی۔ Python واحد ڈومین تھا جس میں زیادہ تر ماڈلز نے مطالعہ کی 98% درستگی کی حد کو پاس کیا۔ یہاں تک کہ بہترین کارکردگی کا مظاہرہ کرنے والا ماڈل، Gemini 3.1 Pro، ٹیسٹ کیے گئے 52 ڈومینز میں سے 11 میں صرف اس معیار تک پہنچا۔

ذریعہ

خامی کے کچھ نمونے اس تلاش کو عملی طور پر اہم بناتے ہیں۔ مطالعہ غلطیوں کو "نایاب لیکن سنگین” کہتا ہے۔ ایل ایل ایم بہت سی چھوٹی غلطیوں کے بجائے چند بڑی غلطیاں کرنے کے بارے میں ہے۔ مواد کی ٹیمیں جس قسم کی دستاویزات پر کام کرتی ہیں، ان میں جن غلطیوں کے بارے میں ایڈیٹرز پہلے ہی سب سے زیادہ فکر مند ہیں وہ ہیں اعداد و شمار کو نمبروں پر منتقل کیا جانا، شقوں کو جملے کے وسط میں چھوڑ دیا جانا، یا نام یا خصوصیات کو باریک بینی سے تبدیل کیا جانا ہے۔ چونکہ یہ غلطیاں گرامر کے لحاظ سے درست پڑھی جاتی ہیں، اس لیے وہ معیاری پروف ریڈنگ کے عمل میں چھوٹ سکتی ہیں۔ اسے حاصل کرنے کے لیے، آپ کو ایک جائزہ لینے والے کی ضرورت ہے جو جانتا ہو کہ اصل کیا ہے۔

ایجنٹ کی دریافت بھی اتنی ہی اہم ہے۔ فائل ٹول (ایک قسم کا سیٹ اپ جو LLM کی کارکردگی کو بہتر بناتا ہے) کا استعمال کرتے ہوئے LLM کو بیس ایجنٹ ہارنس میں لپیٹنے سے DELEGATE-52 پر تقریباً 6% بدتر کارکردگی ہوتی ہے اور 2-5x زیادہ ان پٹ ٹوکن استعمال ہوتے ہیں۔ "ایجنٹ ورژن اس کو سنبھالے گا” ہمارے نتائج کا جواب ڈیٹا کے مطابق نہیں ہے۔

طویل شکل والے مواد کے لیے یہ کیوں زیادہ اہم ہے۔

DELEGATE-52 میں بیان کردہ خرابی کا نمونہ مواد کی اس قسم کے لیے سب سے زیادہ خطرناک ہے جہاں حقیقت میں ساکھ کو نقصان پہنچا ہے کیونکہ لوگوں کو غلط استعمال کیا جاتا ہے یا دعوے بدل جاتے ہیں۔ سفید کاغذات، نمایاں صفحات، ایگزیکٹو سوچ کی قیادت، کسٹمر کیس اسٹڈیز، تحقیقی رپورٹس، اور قانونی یا تعمیل دستاویزات کے بارے میں سوچیں۔

یہ وہ فارمیٹ ہے جس میں ٹیموں کو پوری دستاویز LLM کے حوالے کرنے اور ان سے "اس حصے کو صاف کرنے” یا "اس حصے کو پالش کرنے” کے لیے کہا جاتا ہے۔ اوپن ملٹی روٹیشن ایڈیٹ کی درخواستیں بالکل وہی منظر نامہ ہیں جس کا DELEGATE-52 نے تجربہ کیا، اور یہیں پر یہ ٹولز ان طریقوں سے ناکام ہو جاتے ہیں جو سطح پر اچھے لگتے ہیں۔

مختصر، تنگ ترامیم کے لیے، خطرہ بہت کم ہے۔ کرپشن یکساں نہیں بلکہ مجموعی ہے۔ انٹرایکٹیویٹی کے ذریعے تعامل پیدا کریں اور اسے دستاویز کی لمبائی کے ساتھ جوڑیں۔ 20 تعاملات کے بعد، 1,000 ٹوکن دستاویز کی درستگی تقریباً 91% تھی، جب کہ 10,000 ٹوکن دستاویز کی درستگی تقریباً 60% تک گر گئی۔

مخصوص پیراگراف، متعین دلائل، یا سنگل سیکشنز میں جراحی کی ترامیم کھلی ہوئی "پوری دستاویز کو بہتر بنائیں” کی ہدایات سے کہیں کم غلطیاں پیدا کرتی ہیں۔ درخواست کا دائرہ کار اور دستاویز کا سائز براہ راست خطرے کی سطح کا تعین کرتا ہے۔

خطرے کو کم کرنے کے لیے ورک فلو میں تین تبدیلیاں

مطالعہ تین مخصوص تبدیلیوں کی طرف اشارہ کرتا ہے کہ کس طرح LLMs کو مواد کی تخلیق کے ورک فلو میں استعمال کیا جاتا ہے۔

• سرجیکل ایڈیٹنگ کے لیے LLM استعمال کریں، اوپن پاس نہیں۔ ایل ایل ایم کی تدوین مخصوص پیراگراف، متعین دلائل، یا واحد حصوں کے لیے مناسب ہو سکتی ہے۔ دائرہ کار کی درخواستیں مکمل درخواستوں سے کہیں زیادہ محفوظ ہیں۔ جس چیز کو تبدیل کرنے کی ضرورت ہے اس کی تشریح کرنے کے لیے ماڈل میں جتنی زیادہ گنجائش ہے، ٹھیک ٹھیک غلطیاں ہونے کا امکان اتنا ہی زیادہ ہے۔

• کام کے بہاؤ میں بعد میں انسانی جائزے کو زیادہ وزن دیں۔ زیادہ تر مواد کی ٹیموں کی موجودہ مشق پہلے مسودے کو جانچ کا ایک لمحہ اور اس کے بعد ادارتی تعاملات کو کم داؤ پر سمجھتی ہے۔ DELEGATE-52 کے نتائج اس منطق کو چیلنج کرتے ہیں۔ خامیاں خاموشی سے ایک موڑ سے دوسرے موڑ تک مل جاتی ہیں، اس لیے راؤنڈ 2، 3، اور 4 راؤنڈ 1 کے مقابلے میں زیادہ خطرہ جمع کرتے ہیں۔ جب محققین نے اپنی جانچ کو 100 تعاملات تک بڑھایا، تو کارکردگی میں انحطاط بڑھتا ہی چلا گیا اور ایسا کوئی نقطہ نظر نہیں آیا جس پر ماڈل سطح مرتفع ہو۔ جائزے کی شدت میں اضافہ ہونا چاہیے کیونکہ دستاویز میں LLM تعاملات جمع ہوتے ہیں، نہ کہ صرف ختم ہوتے ہیں۔

• LLM کی طرف سے متعارف کرائی گئی غلطی کی اقسام کے لیے ٹارگٹڈ QA چیک پوائنٹس شامل کریں۔ معیاری پروف ریڈنگ ٹائپ کی غلطیاں، گرائمر کی غلطیاں، اور حقیقت کے واضح دعووں کو پکڑتی ہے۔ ہو سکتا ہے اس میں شفٹ کیے گئے نمبرز نہ پکڑے جائیں جو صحیح طریقے سے پڑھے گئے ہوں، حذف شدہ شقیں جو گرائمر کو توڑے بغیر معنی بدل دیں، یا خاموشی سے تبدیل شدہ خصوصیات۔ LLM درخواست کے مواد کے لیے کسی بھی QA عمل کو خاص طور پر خطرے والے علاقوں کی جانچ کرنی چاہیے، بشمول نمبرز، نام کی خصوصیات، ڈیٹا پوائنٹس، اور حوالہ کردہ مواد۔

جہاں خطرہ سب سے زیادہ ہے۔

کم خطرے والے مواد کے لیے، یہ ناکامی کے طریقے زندہ رہنے کے قابل ہیں۔ کسی سماجی پوسٹ کے الفاظ کو تبدیل کرنا یا بلاگ کے مسودے میں معمولی ساختی تبدیلیاں تکلیف دہ ہوسکتی ہیں۔ تاہم، بعض مواد کے زمروں میں، ایک ہی غلطی کے پیٹرن کے نتیجے میں بہت زیادہ نتائج برآمد ہوتے ہیں۔

قانونی اور تعمیل دستاویزات سب سے واضح مثال ہے۔ معاہدے کے خلاصے سے ہٹائے گئے دفعات یا سروس کے خلاصے کی شرائط سے بدلی گئی تعریفیں اہم قانونی نمائش کا باعث بن سکتی ہیں۔ معیاری انشانکن ان خرابیوں کو نہیں پکڑ سکتا۔ کیونکہ یہ مناسب نثر کے ساتھ پڑھتا ہے اور ارد گرد کے سیاق و سباق میں صفائی کے ساتھ فٹ بیٹھتا ہے۔

کسٹمر سروے اور انتساب ایک اور اعلی خطرے والے زمرے ہیں۔ وائٹ پیپرز، کیس اسٹڈیز اور سوچنے والی قیادت کا مواد جو مخصوص اعدادوشمار یا اقتباسات کو صارفین یا ڈیٹا کے ذرائع سے منسوب کرتے ہیں اگر ان میں سے کوئی بھی انتساب غائب ہو تو شہرت کے لیے خطرات لاحق ہو سکتے ہیں۔ وہ صارفین جو اپنے نام کے ساتھ ایک مطالعہ دیکھتے ہیں جو اس ڈیٹا پوائنٹ کے ساتھ منسلک ہوتا ہے جو انہوں نے فراہم نہیں کیا تھا یا اس میں قدرے تبدیل شدہ نتائج ہوتے ہیں انہیں اعتماد میں خرابی کا سامنا کرنا پڑتا ہے جس کا پلٹنا مشکل ہوتا ہے۔

ایگزیکٹو اور ترجمان کا مواد مختلف سطحوں پر ایک جیسے خطرات کا حامل ہے۔ کسی تقریر، ادارتی، یا عوامی بیان کی LLM ترمیمات جو کہ جائزے کے متعدد دوروں میں دہرائی جاتی ہیں، ہر ایک میں چھوٹی، بظاہر بے ضرر تبدیلیوں کی ایک سیریز کے ذریعے انتظامیہ کے اصل ارادے سے معنی خیز طور پر ہٹ سکتی ہے۔ مجموعی بہاؤ، 10 سے 20 ترمیمی تعاملات پر ماپا جاتا ہے، وہی ہے جسے ڈیلیگیٹ-52 مقدار دیتا ہے۔

ان تمام قسم کے مواد کے لیے، تحقیق سے ابھرنے والا اصل اصول یہ ہے کہ LLM کسی دستاویز پر جتنی دیر کام کرے گا، حتمی ورژن کے لیے اتنی ہی زیادہ تحقیق کی ضرورت ہوگی۔

اس کا کیا مطلب نہیں ہے۔

یہ مطالعہ اس بات کی دلیل نہیں ہے کہ LLMs کو مواد کے ورک فلو سے ہٹا دیا جانا چاہیے۔ وہ تحقیق، مسودہ سازی، ساختی تجاویز اور ابتدائی مسودے کو حقیقی اہمیت دیتے ہیں۔ AI مواد کے کام کے بہاؤ میں قدر کا اضافہ کرتا ہے جس کے لیے انسانی فیصلے کو کنٹرول کرنے کی ضرورت ہوتی ہے۔ یہ خاص طور پر سچ ہے جب کام کے لیے خام مال حقیقی مہارت اور موضوع کی معلومات کے ساتھ انسانوں سے آتا ہے۔

نتائج خاص طور پر تفویض کردہ ترمیم سے متعلق ہیں۔ اس کا مطلب ہے ایک دستاویز کو ماڈل کو منتقل کرنا اور اسے متعدد سیشنز میں خود مختاری سے ترمیم کے عمل کو سنبھالنے کے لیے کہنا ہے۔ استعمال کے کچھ معاملات ایسے ہوتے ہیں جہاں خراب کارکردگی کے نمونے سامنے آتے ہیں۔ LLM کو ایک خود مختار ایڈیٹر کے بجائے ایک مسودہ سازی اور تجویز کے آلے کے طور پر استعمال کرنا، اس بات کو یقینی بنانا کہ تمام نظرثانی کے فیصلوں کا انتظام درست ادارتی فیصلے کے ساتھ کسی شخص کے ذریعے کیا جائے، مطالعہ میں نشاندہی کی گئی پریشانیوں سے بچا جا سکتا ہے۔

یاد رکھیں کہ غلطیاں ہمیشہ آؤٹ پٹ میں ظاہر نہیں ہوتیں۔ LLM کے ذریعے خراب شدہ مواد ٹھیک لگتا ہے۔ یہ گرائمر چیک پاس کرتا ہے۔ یہ روانی سے پڑھتا ہے۔ نقصان صرف اس وقت ہوتا ہے جب کوئی جو اصل کو جانتا ہے اس کا موازنہ براہ راست اس ماڈل سے کرتا ہے۔

اکثر پوچھے گئے سوالات

نتیجہ

DELEGATE-52 کے نتائج تجربہ کار مواد ایڈیٹرز کے ذریعے کیے گئے غیر رسمی مشاہدات کی تصدیق کرتے ہیں۔ اس کا مطلب یہ ہے کہ ایک توسیع شدہ ورک فلو میں LLM ایڈیٹنگ میں ایسی خرابیاں آتی ہیں جنہیں معیاری جائزہ کے عمل سے نہیں پکڑا جا سکتا۔ تحقیق اس خطرے کی شدت کا اندازہ لگا سکتی ہے۔

LLM دستاویز پر حتمی اختیار نہیں ہونا چاہئے۔ داؤ بہت زیادہ ہے اور غلطیاں بہت باریک ہیں۔ معروف مواد کے حقیقی نتائج ہوتے ہیں۔ مواد کی تخلیق میں LLM کے لیے صحیح کردار انسانی ایڈیٹر کے ساتھ ایک قابل اسسٹنٹ کے طور پر ہے جو نظر ثانی کے تمام فیصلوں کو کنٹرول کر سکتا ہے۔