یہی وجہ ہے کہ AI ٹولز دراصل کچھ بھی یاد رکھتے ہیں۔

کاروباری شراکت داروں کی طرف سے اظہار رائے ان کی اپنی ہوتی ہے۔

کلیدی ٹیک ویز

  • یہ عام طور پر سادہ شروع کرنے کے لئے سمجھدار ہے. ایک بنیادی کیش سستا، تیز ہے، اور آپ کو بتاتا ہے کہ اعلی درجے کی خصوصیات بنانے سے پہلے لوگ واقعی کیا چاہتے ہیں۔
  • سادہ کیشے میں ایک کمزوری ہے۔ اس کا مطلب یہ ہے کہ ایک سوال صرف اس صورت میں پہچانا جاتا ہے جب اسے اسی طرح سے پوچھا جائے۔ اس لمحے جب کوئی کسی ایسی چیز کی وضاحت کرتا ہے جو مسلسل ہوتا ہے، آپ کو وہ جواب یاد آسکتا ہے جو آپ تکنیکی طور پر پہلے سے جانتے ہیں۔
  • ایک ذہین میموری سسٹم کو چلانے کے لیے تھوڑا سا زیادہ لاگت آسکتی ہے اور یہ تھوڑا سست محسوس کر سکتا ہے، لیکن یہ اس کے قابل ہے۔ اس سے کوئی فرق نہیں پڑتا ہے کہ لوگ اس کا اظہار کیسے کریں، وہ اسے سمجھیں گے، اسے زیادہ دیر تک یاد رکھیں گے، اور اسے دوسرے پروجیکٹس میں دوبارہ استعمال کریں گے۔

اس سال کے ورلڈ کپ کے دوران، میں نے Rune Score، ایک کھیلوں کے تجزیاتی چیٹ بوٹ بنایا۔ سطح پر، یہ ایک سادہ چیٹ بوٹ کی طرح لگتا ہے۔ اندرونی طور پر، یہ ایک تقسیم شدہ نظام ہے جسے کھیلوں کے ڈیٹا کی تازہ کاری، صارف کی تبدیلیوں، نکالنے میں ناکامیوں، LLM کرنسی کے اخراجات، سٹریمنگ، میموری، فال بیک، اور سیکیورٹی کو سنبھالنا چاہیے۔ اس کی تعمیر کے دوران میں نے جو کچھ سیکھا اس کا اطلاق تقریباً کسی بھی AI پروڈکٹ پر ہوتا ہے جسے بیک وقت تیز، سستا اور درست ہونا ضروری ہے۔

اس سے پہلے کہ ہم مزید آگے بڑھیں، میں دو سادہ تعریفیں بتاتا ہوں۔ اس کی وجہ یہ ہے کہ دونوں ٹولز کے غیر عام نام ہیں۔ Redis ایک "اوپن سورس، ان میموری ڈیٹا اسٹرکچر اسٹور ہے جو ڈیٹا بیس، کیشے، میسج بروکر، اور اسٹریمنگ انجن کے طور پر کام کرتا ہے” اور AI پروڈکٹس میں ایک تیز کیش کے طور پر سب سے زیادہ استعمال ہوتا ہے جو ایک درست جواب کو ایک درست لیبل کے تحت اسٹور کرتا ہے۔ RAG، جس کا مطلب ہے Retrieval-Augmented Generation، AWS کی طرف سے اس طرح کی تعریف کی گئی ہے کہ "بیرونی ڈیٹا جیسے کہ کمپنی کے اندرونی دستاویزات کے ساتھ بڑے پیمانے پر لینگویج ماڈلز (LLMs) کو بڑھانے کے لیے استعمال ہونے والی ٹیکنالوجی”۔ عین مطابق لیبلز سے مماثل ہونے کے بجائے، یہ درست الفاظ کے بجائے معنی کا استعمال کرتے ہوئے ایک وسیع علمی بنیاد تلاش کرتا ہے۔ Redis درست، سستا، لیکن مضبوط ہے۔ RAGs زیادہ لچکدار اور پائیدار ہوتے ہیں، لیکن چلانے میں زیادہ لاگت آتی ہے۔

میں نے RAG کیوں شروع نہیں کیا۔

میرا پہلا اقدام ویکٹر ڈیٹا بیس نہیں تھا ، بلکہ ایک ریڈیس کیش تھا جو لیبلنگ کے آسان اصولوں کے گرد بنایا گیا تھا۔ یعنی ایک جیسی درخواستوں کو ایک جیسی چابیاں ملتی ہیں۔ یہ ارجنٹائن بمقابلہ سپین فٹ بال میچ کی طرح ہے۔ لاگت کی بچت فوری تھی۔ جیسا کہ میں نے Rune سکور کے بارے میں اپنے LinkedIn آرٹیکل میں لکھا تھا، "کیشے کے بغیر ایک تازہ نکالنے اور تجزیہ 23,000 تک ان پٹ ٹوکن استعمال کر سکتا ہے، بشمول سکریپ شدہ مواد، سیاق و سباق اور تاریخ۔ اسی کلید سے مطابقت رکھنے والے کیش کے ساتھ، یہ تعداد تقریباً 5,000 ٹوکن تک گر جاتی ہے۔” یہ پائپ لائن کے واحد مہنگے حصے میں 4.5x کمی ہے۔

AI کے اخراجات عام طور پر کاموں کی غیر ضروری تکرار سے پیدا ہوتے ہیں۔ اگر 10 لوگ مناسب وقت میں آپ کے پروڈکٹ کے ایک جیسے سوالات پوچھ رہے ہیں، تو پوری مہنگی پائپ لائن کو 10 بار دوبارہ چلانا محض بغیر کسی وجہ کے پیسے ضائع کرنا ہے۔

جہاں ریڈیس ٹوٹ جاتا ہے۔

لوگ مقررہ الفاظ میں بات نہیں کرتے۔ آپ ‘FC Barcelona vs Real Madrid’ یا ‘Barca – Madrid’ لکھ سکتے ہیں اور Strict Cache ہر تغیر کو بالکل مختلف درخواست کے طور پر پیش کرے گا۔ اس کا مطلب ہے بے کار کام، پہلے سے موجود جوابات غائب، یا پوری پائپ لائن کا مہنگا غیر ضروری دوبارہ چلنا صرف اس وجہ سے کہ الفاظ مماثل نہیں ہیں۔

یہ وہ جگہ ہے جہاں RAG اپنے اندر آتا ہے، ایک تکنیک کے ذریعے جسے ایمبیڈنگ کہتے ہیں۔ گوگل کلاؤڈ دستاویزات کے مطابق، "جتنے قریب اشیاء سرایت کرنے کی جگہ میں ہوں گی، وہ اتنی ہی زیادہ سیمنٹی طور پر ملتی جلتی ہوں گی، جب کہ فاصلہ جتنا زیادہ ہوگا، معنوی فرق بھی اتنا ہی زیادہ ہوگا۔” سیدھے الفاظ میں، ایک علمی بنیاد اس طرح بنائی گئی ہے جو درست الفاظ کے بجائے معنی کے لحاظ سے تلاش کرتا ہے، لہذا آپ ماضی کے جوابات حاصل کر سکتے ہیں چاہے سوال کے الفاظ بالکل مختلف ہوں۔

وہ حصہ جو اصل میں معیار کو کم کرتا ہے۔

آپ جو کچھ بھی بنا رہے ہیں اس سے قطع نظر، اندرونی بنانے کے قابل یہاں کچھ اسباق ہیں۔ RAG سسٹمز میں سب سے بڑی کوالٹی رکاوٹ عام طور پر خود سرچ ٹیکنالوجی نہیں ہوتی ہے۔ یہی اسے کھلاتا ہے۔ یہ ایک کلاسک کمپیوٹنگ آئیڈیا ہے جسے TechTarget garbage in, garbage out, یا GIGO سے تعبیر کرتا ہے۔ "خیال یہ ہے کہ کسی بھی نظام میں آؤٹ پٹ کا معیار ان پٹ کے معیار سے طے ہوتا ہے۔” میری پائپ لائن میں، جب بھی میں نے ماخذ سے نکالے گئے مواد کی مقدار کو نظر انداز کیا، تجزیہ کے نتائج نمایاں طور پر نیچے کی طرف بڑھے۔

یہی منطق اس پر بھی لاگو ہوتی ہے کہ نظام کس طرح مطابقت رکھتا ہے۔ کسی ایک متعلقہ اسکور پر بھروسہ کرنا نازک ہے۔ ریڈیس کا اپنا انجینئرنگ بلاگ واضح طور پر اس کی وضاحت کرتا ہے: "ان مطالعات میں ایک مستقل طریقہ یہ ہے کہ بازیافت کرنے والوں کو یکجا کرنے سے کسی بھی طریقے سے زیادہ متعلقہ نتائج برآمد ہوتے ہیں۔” مطلوبہ الفاظ کے عین مطابق مماثلت، معنوی بنیاد پر تلاش، اور معلومات کتنی تازہ ترین ہیں کو یکجا کرنا اور پھر انہیں ایک درجہ بندی میں ضم کرنا صرف ایک سگنل پر انحصار کرنے سے بہتر ہے۔

RAG کی قیمت زیادہ ہے، لیکن یہ ٹھیک ہے۔

Rune سکور کے ساتھ ہمارے تجربات میں، ایک RAG نے درخواستوں کو 20,000 سے 8,000 ٹوکن تک کم کر دیا، جو کہ 60% کمی ہے۔ عین مطابق Redis ہٹ سے 80% کمی کے مقابلے میں، یہ کم اقتصادی اور قدرے سست ہے، لیکن یہ فرق RAG کے لیے کوئی دھچکا نہیں ہے۔ اس کے بجائے آپ جو چیز خریدتے ہیں وہ ہے رواداری جس طرح سے لوگ چیزوں کی نمائندگی کرتے ہیں، میموری جو کیشے کی میعاد ختم ہونے سے زیادہ دیر تک رہتی ہے، اور ایک فن تعمیر جو آپ کے بنائے ہوئے ایک پروڈکٹ سے آگے دوبارہ قابل استعمال ہے۔

نتیجہ

Redis اور RAG مسابقتی انتخاب نہیں ہیں۔ وہ ترتیب وار ہیں۔ بہترین ری فیکٹرنگ نظریاتی طور پر درست نہیں ہے۔ اگر اصل میٹرکس کو برقرار نہیں رکھا جاتا ہے تو سیکنڈوں میں واپس آنے کی صلاحیت۔ پہلے ایک سستا، تیز کیش بنائیں، اپنے صارفین کو بتائیں کہ انہیں واقعی کس چیز کی ضرورت ہے، اور پھر ان معاملات کے لیے مکمل بازیافت کے نظام میں سرمایہ کاری کریں جن کو کیش ساختی طور پر سنبھالنے سے قاصر ہے۔

کلیدی ٹیک ویز

  • یہ عام طور پر سادہ شروع کرنے کے لئے سمجھدار ہے. ایک بنیادی کیش سستا، تیز ہے، اور آپ کو بتاتا ہے کہ اعلی درجے کی خصوصیات بنانے سے پہلے لوگ واقعی کیا چاہتے ہیں۔
  • سادہ کیشے میں ایک کمزوری ہے۔ اس کا مطلب یہ ہے کہ ایک سوال صرف اس صورت میں پہچانا جاتا ہے جب اسے اسی طرح سے پوچھا جائے۔ اس لمحے جب کوئی کسی ایسی چیز کی وضاحت کرتا ہے جو مسلسل ہوتا ہے، آپ کو وہ جواب یاد آسکتا ہے جو آپ تکنیکی طور پر پہلے سے جانتے ہیں۔
  • ایک ذہین میموری سسٹم کو چلانے کے لیے کچھ زیادہ لاگت آسکتی ہے اور یہ تھوڑا سست محسوس کر سکتا ہے، لیکن یہ اس کے قابل ہے۔ اس سے کوئی فرق نہیں پڑتا ہے کہ لوگ اس کا اظہار کیسے کریں، وہ اسے سمجھیں گے، اسے زیادہ دیر تک یاد رکھیں گے، اور اسے دوسرے پروجیکٹس میں دوبارہ استعمال کریں گے۔

اس سال کے ورلڈ کپ کے دوران، میں نے Rune Score، ایک کھیلوں کے تجزیاتی چیٹ بوٹ بنایا۔ سطح پر، یہ ایک سادہ چیٹ بوٹ کی طرح لگتا ہے۔ اندرونی طور پر، یہ ایک تقسیم شدہ نظام ہے جسے کھیلوں کے ڈیٹا کی تازہ کاری، صارف کی تبدیلیوں، نکالنے میں ناکامیوں، LLM کرنسی کے اخراجات، سٹریمنگ، میموری، فال بیک، اور سیکیورٹی کو سنبھالنا چاہیے۔ اس کی تعمیر کے دوران میں نے جو کچھ سیکھا اس کا اطلاق تقریباً کسی بھی AI پروڈکٹ پر ہوتا ہے جسے بیک وقت تیز، سستا اور درست ہونا ضروری ہے۔

اس سے پہلے کہ ہم مزید آگے بڑھیں، میں دو سادہ تعریفیں بتاتا ہوں۔ اس کی وجہ یہ ہے کہ کسی بھی ٹول کا مشترکہ نام نہیں ہے۔ Redis ایک "اوپن سورس، ان میموری ڈیٹا اسٹرکچر اسٹور ہے جو ڈیٹا بیس، کیشے، میسج بروکر، اور اسٹریمنگ انجن کے طور پر کام کرتا ہے” اور AI پروڈکٹس میں ایک تیز کیش کے طور پر سب سے زیادہ استعمال ہوتا ہے جو ایک درست جواب کو ایک درست لیبل کے تحت اسٹور کرتا ہے۔ RAG، جس کا مطلب ہے Retrieval-Augmented Generation، AWS کی طرف سے اس طرح کی تعریف کی گئی ہے کہ "بیرونی ڈیٹا جیسے کہ کمپنی کے اندرونی دستاویزات کے ساتھ بڑے پیمانے پر لینگویج ماڈلز (LLMs) کو بڑھانے کے لیے استعمال ہونے والی ٹیکنالوجی”۔ عین مطابق لیبلز سے مماثل ہونے کے بجائے، یہ درست الفاظ کے بجائے معنی کا استعمال کرتے ہوئے ایک وسیع علمی بنیاد تلاش کرتا ہے۔ Redis درست، سستا، لیکن مضبوط ہے۔ RAGs زیادہ لچکدار اور پائیدار ہوتے ہیں، لیکن چلانے میں زیادہ لاگت آتی ہے۔

میں نے RAG کیوں شروع نہیں کیا۔

میرا پہلا اقدام ویکٹر ڈیٹا بیس نہیں تھا ، بلکہ ایک ریڈیس کیش تھا جو لیبلنگ کے آسان اصولوں کے گرد بنایا گیا تھا۔ یعنی ایک جیسی درخواستوں کو ایک جیسی چابیاں ملتی ہیں۔ یہ ارجنٹائن بمقابلہ سپین فٹ بال میچ کی طرح ہے۔ لاگت کی بچت فوری تھی۔ جیسا کہ میں نے Rune سکور کے بارے میں اپنے LinkedIn آرٹیکل میں لکھا تھا، "کیشے کے بغیر ایک تازہ نکالنے اور تجزیہ 23,000 تک ان پٹ ٹوکن استعمال کر سکتا ہے، بشمول سکریپ شدہ مواد، سیاق و سباق اور تاریخ۔ اسی کلید سے مطابقت رکھنے والے کیش کے ساتھ، یہ تعداد تقریباً 5,000 ٹوکن تک گر جاتی ہے۔” یہ پائپ لائن کے واحد مہنگے حصے میں 4.5x کمی ہے۔

Scroll to Top