CNN، RNN، اور ٹرانسفارمر کی وضاحت: کلیدی گہری سیکھنے کے تصورات کے لیے ذہنی ماڈل

ٹھیک ہے، پاپ کوئز: نیورل نیٹ ورک کیا ہے؟ گہری تعلیم کیا ہے؟ کیا کچھ ذہن میں آتا ہے؟

میں اس احساس کو جانتا ہوں – ہاں، آپ اس وقت کیا محسوس کر رہے ہیں۔ مجھے یقین ہے کہ آپ جانتے ہیں کہ میں کیا پوچھ رہا ہوں، یا اس کی کمی ہے۔ فکر مت کرو دوست: میں تمہیں سمجھ گیا ہوں۔

اس ٹیوٹوریل میں، میں ہر وہ چیز بتاؤں گا جو آپ کو گہری سیکھنے، نیورل نیٹ ورکس کے بارے میں جاننے کی ضرورت ہے، اور آپ کو کیراس نامی اس زبردست ٹول کے بارے میں کیوں جاننا چاہیے۔

شرائط:

یہ ایک تصوراتی مضمون ہے، اس لیے آپ کو اس پر عمل کرنے کے لیے کسی گہرے تعلیمی پس منظر کی ضرورت نہیں ہے۔ بالکل وہی جو آپ کو یہاں ملتا ہے۔

Python کا بنیادی علم مددگار ہے، لیکن اس مضمون کے لیے ضروری نہیں ہے۔ تاہم، اگر آپ مستقبل میں خود Keras کو آزمانا چاہتے ہیں، تو آپ آسانی سے Python 3.9+ اور pip انسٹال کرکے تجربہ کرنا شروع کر سکتے ہیں۔

انڈیکس

1. گہری تعلیم کیا ہے؟

2. تو نیورل نیٹ ورک کیا ہے؟

3. اعصابی نیٹ ورک کیسے کام کرتے ہیں اس کے لیے ایک مشابہت

4. CNNs، RNNs اور ٹرانسفارمرز کیا ہیں؟

5. CNNs کیسے کام کرتے ہیں۔

6. RNNs کیسے کام کرتے ہیں۔

7. ٹرانسفارمرز کیسے کام کرتے ہیں۔

8. ایم ایل ماڈل بنانے کے لیے کیراس

9. ختم

گہری تعلیم کیا ہے؟

گہری سیکھنے کی وضاحت کرنے کے لیے، ہم فرض کرتے ہیں کہ آپ مصنوعی ذہانت (AI) اور مشین لرننگ (ML) سے پہلے ہی واقف ہیں۔ یہ اصطلاحات شاید آپ کے کانوں میں نئی ​​نہیں ہیں، خاص طور پر ان دنوں۔

لیکن خلاصہ کرنے کے لیے، AI ایک ایسی ٹیکنالوجی ہے جو کمپیوٹرز کو انسانی علمی صلاحیتوں، جیسے سیکھنے اور سمجھنا، مسئلہ حل کرنے، تخلیقی صلاحیتوں اور خود مختاری کی نقل کرنے کی اجازت دیتی ہے۔

ایم ایل مصنوعی ذہانت کا ایک ذیلی سیٹ ہے۔ یہ الگورتھم کی ترقی سے متعلق ہے جو پیٹرن کو پہچان سکتے ہیں، تربیتی ڈیٹا سے سیکھ سکتے ہیں، اور پھر واضح طور پر پروگرام کیے بغیر نئے ڈیٹا کے بارے میں درست اندازہ لگا سکتے ہیں۔

ڈیپ لرننگ مشین لرننگ کا ایک ذیلی سیٹ ہے جو ملٹی لیئر نیورل نیٹ ورکس پر مبنی ہے جس کا ڈیزائن انسانی دماغ کی ساخت سے متاثر ہے۔

بصری احساس حاصل کرنے کے لیے کہ یہ تصورات کس طرح تہہ دار ہیں، نیچے دیے گئے خاکے پر ایک نظر ڈالیں۔

تصویری ماخذ – ریسرچ گیٹ

اس کتاب کے مطابق جو میں فی الحال ڈیپ لرننگ ان پائتھون کے نام سے فرانسوا چولیٹ کی پڑھ رہا ہوں، لفظ "گہرا” یہ ڈیپ لرننگ میں اس تصور کے ذریعے حاصل کی گئی کسی بھی قسم کی گہری تفہیم کا حوالہ نہیں ہے۔ بلکہ، یہ اعداد و شمار کی نمائندگی کی یکے بعد دیگرے پرتوں کے خیال سے مراد ہے۔ یہ نمائندگی کی تہوں کو ایک ماڈل کے ذریعے سیکھا جاتا ہے جسے نیورل نیٹ ورک کہا جاتا ہے، جو ایک دوسرے کے اوپر اسٹیک شدہ لغوی تہوں پر مشتمل ہوتا ہے۔

اس تہہ بندی کی ایک واضح مثال دیکھنے کے لیے نیچے دی گئی تصویر کو دیکھیں۔

تصویری ماخذ – ریسرچ گیٹ

ایک دلچسپ مفروضہ جو Chollet واضح کرتا ہے وہ یہ ہے کہ گہری سیکھنے کے ماڈل (عصبی نیٹ ورک) دماغ کے ماڈل نہیں ہیں۔ بلکہ، گہری سیکھنے کے کچھ اہم حصے دماغ کے بارے میں ہماری سمجھ سے متاثر ہوتے ہیں، خاص طور پر بصری پرانتستا۔

لیکن کیا آپ جانتے ہیں کہ بصری پرانتستا کیا ہے؟ براہ کرم نیچے دی گئی تصویر کا حوالہ دیں (سبز دائرے والا علاقہ):

بصری پرانتستا دماغ کا وہ حصہ ہے جو آنکھیں دیکھتی چیزوں پر کارروائی کرتی ہے۔ 1960 کی دہائی میں نیورو سائنسدانوں ہیبل اور ویزل نے اس کا مطالعہ کرتے ہوئے ایک حیران کن چیز دریافت کی۔ خیال یہ ہے کہ بصری پرانتستا میں گہرائی میں نیوران پوری اشیاء کو براہ راست جواب نہیں دیتے ہیں۔ اس کے بجائے، پہلے نیوران صرف سادہ کاموں کے لیے فعال تھے، جیسے مخصوص زاویوں پر لکیریں۔ صرف بعد کے مراحل میں نیوران ان سادہ سگنلز کو زیادہ پیچیدہ شکلوں کے ردعمل میں جوڑتے تھے۔

دوسرے لفظوں میں، دماغ قدم بہ قدم "چیزیں دیکھنے” بناتا ہے۔ پہلے سادہ پیٹرن، پھر زیادہ پیچیدہ۔ یہ مرحلہ وار ڈھانچہ CNN فلٹر تہوں کو اسٹیک کرنے کے طریقہ کے لیے ایک موٹا الہام ہے۔ ہم اسے جلد ہی دیکھیں گے۔

اب جب آپ سمجھ گئے ہیں، آئیے کچھ دلچسپ اور حیران کن نیورل نیٹ ورک کے تصورات پر ایک نظر ڈالتے ہیں۔

نوٹ: نیورل نیٹ ورکس ایک نیا تصور ہے، اس لیے یہ شروع میں الجھا ہوا ہو سکتا ہے۔ اگر آپ اسے سمجھنے کے لیے وقت نکالیں گے تو آپ کے لیے یہ آسان ہو جائے گا۔

تو نیورل نیٹ ورک کیا ہے؟

سب سے پہلے، نیورل نیٹ ورک گہری سیکھنے کا ایک تصور ہے۔ نام میں "عصبی” انسانی دماغ کے نیوران سے ماخوذ ہے۔

نیورل نیٹ ورک پر مشتمل ہے: منسلک اکائیاں یا نوڈس جنہیں مصنوعی نیوران کہتے ہیں۔یہ دماغ میں نیوران کو ڈھیلے طریقے سے ماڈل بناتا ہے۔

سنجیدہ اور تکنیکی تعریف یہ ہے:

نیورل نیٹ ورکس مشین لرننگ ماڈل ہیں جو سادہ "نیورونز” کو تہوں میں اسٹیک کرکے اور ڈیٹا سے پیٹرن کی شناخت کے وزن اور تعصبات کو سیکھ کر آؤٹ پٹس پر ان پٹ کا نقشہ بناتے ہیں۔ (IBM بلاگ سے اقتباس )

اب یہاں ایک آسان اور زیادہ دلچسپ تعریف ہے:

ایک نیورل نیٹ ورک ایک وقت میں اندازہ لگانے/پیٹرن کی شناخت/تجزیہ کی غلطیوں کو درست کرنے کی ایک مشین ہے۔

عصبی نیٹ ورک مختلف فن تعمیر/قسم میں آتے ہیں:

1. CNN (Convolutional Neural Network)

2. آر این این (بار بار ہونے والا نیورل نیٹ ورک)

3. ٹرانسفارمر

ہم اسے بعد میں اس مضمون میں دریافت کریں گے، لیکن ابھی کے لیے، سمجھیں کہ جو چیز انہیں مختلف بناتی ہے وہ صرف وہی ہے جس پر وہ نمونوں کا اندازہ لگانے یا پہچاننے یا تجزیہ فراہم کرنے سے پہلے توجہ مرکوز کرنے کا انتخاب کرتے ہیں۔

اعصابی نیٹ ورک کیسے کام کرتے ہیں اس کے لیے ایک مشابہت

تصویر کا ذریعہ

تصور کریں کہ آپ آنکھوں پر پٹی باندھ کر ڈارٹ پھینکنا سیکھ رہے ہیں، اور جب بھی آپ پھینکیں گے، کوئی آپ کو ایک چیز بتا سکتا ہے۔ مثال کے طور پر "چھ انچ بہت دور بائیں اور دو انچ بہت کم۔” آپ کو آپ کی ٹارگٹ پوزیشن یا ڈارٹ گرفت کے بارے میں وجوہات یا لیکچر نہیں بتایا جائے گا۔ بس فاصلے اور سمت میں ترمیم کریں۔

لہذا، اصلاحی تاثرات کی بنیاد پر، آپ اپنے بازو کا زاویہ (ہلکی حرکت یا موڑ) کو جھکا سکتے ہیں اور دوبارہ پھینک سکتے ہیں اور آپ کو ایک نئی اصلاح ملے گی۔ پھر آگے بڑھتے رہیں (!) جب تک آپ اپنے مقصد تک نہ پہنچ جائیں۔

وقت گزرنے کے ساتھ، یہ آپ کے بازوؤں کی مدد کرے گا۔ "سیکھو” (اس حصے کو انڈر لائن کریں) – اس لیے نہیں کہ کسی نے آپ کو ڈارٹس پھینکنے کی فزکس سمجھائی۔ ہر تھرو کے ساتھ چھوٹی مخصوص ترمیم کی گئی تھی۔ اور ہم نے ہدف کے چھوٹ جانے کے امکانات کو کم کرنے کے لیے اصلاحات کا اطلاق جاری رکھا۔

نیورل نیٹ ورک اس طرح کام کرتے ہیں۔

اب، آئیے اوپر دی گئی تشبیہ کو کچھ تکنیکی اصطلاحات سیکھنے کے لیے استعمال کریں جسے ہم نیورل نیٹ ورکس کے بارے میں بات کرنے کے لیے استعمال کریں گے۔

ہم ہدایات یا اشارے دیتے ہیں جیسے کہ "اپنے بازو کو اس طرف اور اس طرف جھکاؤ۔” میلان. ڈھلوان درست کرنے کے لیے سمت اور سائز/فاصلہ/رفتار کی نشاندہی کرتی ہے، اس کے ساتھ ساتھ نقصان کے کام کو کم کرنے کے لیے وزن اور تعصبات کو کتنی جلدی ایڈجسٹ کیا جانا چاہیے۔

مثال کے طور پر، تصحیح کی تفصیل جو کہ بائیں سے 6 انچ بہت دور ہے۔ یہ ایک نقصان ہے. نیورل نیٹ ورک کا نقصان کا فنکشن ایک ریاضیاتی ٹول ہے جو پیمائش کرتا ہے کہ ماڈل کی پیشین گوئیاں اصل ہدف کی اقدار سے کتنی اچھی طرح ملتی ہیں۔

اسے ہم تصحیح کا مسلسل اطلاق کہتے ہیں جس کا مقصد غلطیوں یا غلطیوں کو کم کرنا ہے۔ تدریجی نزول۔ یہ ایک اصلاحی الگورتھم (مرحلہ وار عمل) ہے جسے نیورل نیٹ ورک یہ معلوم کرنے کے لیے استعمال کرتا ہے کہ کس سمت میں جانا ہے اور صحیح قدر تک پہنچنے کے لیے کتنا فاصلہ (قدم کا سائز) درکار ہے۔ اس تناظر میں، نزول اس کا مطلب بالکل وہی ہے جو سادہ انگریزی میں ہے۔ نیچے جانے کا عمل۔

بازو میں پٹھوں کی میموری کوآرڈینیشن وزن کی تازہ کاری. وزن عددی اقدار ہیں۔ یہ نیٹ ورک کے اندر موجود ہر نوڈ کو فیصلہ کرنے میں مدد کرتا ہے کہ کون سے عوامل دوسروں سے زیادہ اہم ہیں۔

اب… ایک لمحے کے لیے رکیں اور سمجھیں۔ اس سے پہلے کہ ہم آگے بڑھیں، اگر آپ چاہیں تو اس تمثیل کو دوبارہ پڑھ سکتے ہیں۔

CNNs، RNNs اور ٹرانسفارمرز کیا ہیں؟

مجھے امید ہے کہ آپ اب بھی میرے ساتھ ہیں… کیونکہ آپ کو بھی اس اصطلاح کو سمجھنا ہوگا۔ یاد رکھیں کہ سی این این، آر این این، اور ٹرانسفارمر سادہ فن تعمیر یا مختلف قسم کے نیورل نیٹ ورکس ہیں۔ ان کا سیکھنے کا عمل ایک جیسا ہے، آنکھوں پر پٹی باندھتے ہوئے ڈارٹس پھینکنے کی طرح۔ اندازہ لگائیں اور پھر پیمائش کی غلطی/نقصان کے بعد جھٹکیں۔ نیچے لوپ.

فرق یہ ہے کہ اندازہ/پیش گوئی/نتیجہ فراہم کرنے سے پہلے آپ کس معلومات پر توجہ مرکوز کرنے کا انتخاب کرتے ہیں۔

میں تفصیل سے بتاتا ہوں۔

• سی این این (Convolutional Neural Networks) یہ صرف چھوٹے قریبی پیچ کو دیکھتا ہے، ان کا تجزیہ کرتا ہے، اور پھر اگلے پیچ پر چلا جاتا ہے۔ اسے صرف ایک نقطے پر اشارہ کرنے والی چھوٹی ٹیوب کے ذریعے ڈارٹ بورڈ کو دیکھنے کے بارے میں سوچیں۔

• RNNs (ریکرنٹ نیورل نیٹ ورک) چیزوں کو ترتیب سے دیکھتا ہے اور سمری جیسے جیسے آگے بڑھتا ہے یاد رکھتا ہے۔ اس کے بارے میں سوچیں جیسے کسی کہانی کو بائیں سے دائیں پڑھنا اور ہر جملے کے بعد پلاٹ کا اپنا ذہنی خلاصہ اپ ڈیٹ کرنا۔

• کے ساتھ ٹرانسفارمرنیورل نیٹ ورکس ایک ساتھ ہر چیز کو دیکھتے ہیں اور فوری طور پر پتہ لگاتے ہیں کہ سب سے اہم کیا ہے۔ اس کے بارے میں سوچیں جیسے ایک نظر میں پورے صفحے کو پڑھنا اور فیصلہ کرنا کہ کون سے الفاظ ایک دوسرے سے جڑتے ہیں۔

آئیے ہر قسم کے نیورل نیٹ ورک پر گہری نظر ڈالتے ہیں۔

CNNs کیسے کام کرتے ہیں۔

یہ ایک قسم کا نیورل نیٹ ورک ہے جو مقامی ساخت کے ساتھ ڈیٹا کے لیے بنایا گیا ہے، جیسے کہ تصاویر۔ یہ نمبروں کے چھوٹے گرڈ (جیسے 3×3) کے ساتھ کام کرتا ہے جسے فلٹر کہتے ہیں۔ وہ نمبر وزن ہیں، ابتدائی طور پر بے ترتیب اور بے معنی ہیں۔

قیاس آرائیوں، پیمائش کی غلطیوں، اور نڈ لوپس کے ذریعے، یہ بے ترتیب نمبر آہستہ آہستہ تصویر کے مخصوص نمونوں (مثلاً عمودی کناروں، مخصوص رنگوں وغیرہ) پر سخت ردعمل ظاہر کرنے میں ماہر ہو جاتے ہیں۔

نوٹ: فلٹر کو کوئی نہیں بتاتا کہ کیا تلاش کرنا ہے۔ یہ اپنے آپ کو تربیت کے ذریعے اسی طرح دریافت کرتا ہے جس طرح یہاں زیر بحث کسی بھی نیٹ ورک میں دیگر تمام وزن۔

اس کے بعد فلٹر ایک وقت میں چند پکسلز کی تصویر پر سلائیڈ کرتا ہے، ہر مقام پر ایک چھوٹا سا راستہ دیکھتا ہے اور ایک نمبر تیار کرتا ہے۔ یہ اس بات کا پیمانہ ہے کہ فلٹر نے جس پیٹرن کا پتہ لگانا سیکھا ہے وہ کتنا مضبوط ہے۔

جیسا کہ فلٹر پوری تصویر پر سلائیڈ کرتا ہے، آپ کو نمبروں کا ایک گرڈ ملتا ہے جو حقیقت میں نقشہ بناتا ہے کہ پوری تصویر میں پتہ چلا پیٹرن کہاں ظاہر ہوتا ہے۔

نوٹ: پیرامیٹر شیئرنگ کہلانے والی تکنیک اس بات کو یقینی بناتی ہے کہ ایک جیسے فلٹرز کی ایک ہی تعداد کو ہر ایک جگہ پر دوبارہ استعمال کیا جائے۔ لہذا، CNN کی کارکردگی ہے

تصویر میٹرکس پر سلائیڈنگ فلٹر کی ذیل میں مثال دیکھیں۔

تصویر کا ذریعہ

ایک حقیقی CNN میں، فلٹر کی تہوں کو ایک دوسرے کے اوپر اسٹیک کیا جاتا ہے، اور ہر پرت پچھلی پرت کے آؤٹ پٹ پر بنتی ہے۔ ابتدائی پرتیں جو براہ راست خام پکسلز سے کام کرتی ہیں ان میں بہت آسان آئٹمز کا انتخاب ہوتا ہے جیسے کہ کناروں یا رنگوں کے پیچ۔ چونکہ اگلی پرت خام پکسلز کی بجائے پہلی پرت کے آؤٹ پٹ کو دیکھتی ہے، اس لیے یہ ان سادہ کناروں کو قدرے پیچیدہ شکلوں میں جوڑ سکتی ہے، جیسے کہ منحنی خطوط یا کونے۔

تہہ در تہہ، شکلیں حصوں میں جوڑ دی جاتی ہیں (جیسے کان یا سرگوشیاں)، اور اس کے بعد حصوں کو ایک ایسی چیز میں جوڑ دیا جاتا ہے جسے نیٹ ورک ایک بلی کی طرح پوری چیز کے طور پر پہچان سکتا ہے۔

یہ فلٹرز کی تہوں کو اسٹیک کرنے کا اصل فائدہ ہے۔ اس میں سے کوئی بھی ایک قدم میں نہیں ہوتا ہے، اور ہر پرت کو صرف اسی چھوٹے مسئلے کا تھوڑا سا مشکل ورژن حل کرنا ہوتا ہے۔

یہاں ایک تصویر ہے جس میں CNN کا پورا عمل دکھایا گیا ہے:

تصویر کا ذریعہ

CNNs کے استعمال کے کچھ معاملات میں شامل ہیں:

• میڈیکل امیجنگ: CNN طبی اسکینوں کا تجزیہ کرکے، جیسے کہ سینے کے ایکسرے، اور جائزے کے لیے ممکنہ اسامانیتاوں کو نشان زد کرکے طبی ماہرین کی مدد کرتا ہے۔

• تصویر بنائیں: CNN نئی تصاویر بنا سکتے ہیں یا موجودہ تصاویر میں ہیرا پھیری کر سکتے ہیں۔

• خود مختار نظام: CNNs کا استعمال خود مختار نظاموں میں کیا جا سکتا ہے جیسے کہ لین کا پتہ لگانے، رکاوٹ کا پتہ لگانے، اور ٹریفک کے نشان کی شناخت کے لیے خود سے چلنے والی کاریں۔

آپ یہاں مزید جان سکتے ہیں۔

اب، ایک لمحے کے لیے توقف کریں اور اہم اہم نکات کو نوٹ کریں: فلٹرز اور پیرامیٹرز کا اشتراک۔

RNNs کیسے کام کرتے ہیں۔

RNNs ترتیب وار ترتیب شدہ ڈیٹا پر کارروائی کرتے ہیں جہاں آرڈر خود معنی بیان کرتا ہے۔ کہانی بنانے کے لیے آڈیو ڈیٹا اور جملوں کے ساتھ آنے کے بارے میں سوچیں۔

CNNs کے برعکس، جو کسی خاص ترتیب میں تصویری پیچ کے ذریعے پھسلتے ہیں، RNNs کو انہیں ایک وقت میں ایک قدم پڑھنا چاہیے۔

مثال کے طور پر، جملے کو ترتیب سے پڑھا جاتا ہے، ایک وقت میں ایک لفظ، کیونکہ جو پہلے جائزہ لیا گیا تھا اس پر اثر انداز ہوتا ہے کہ نیورل نیٹ ورک کس طرح سمجھتا ہے کہ آگے کیا ہوتا ہے۔ یہ ترتیب وار بہاؤ بڑے ڈیٹا سیٹس کے جائزے کو سست کر دیتا ہے۔

RNN ایک رننگ سمری کو اس طرح برقرار رکھتا ہے: پوشیدہ حالت.

نوٹ: اسے ایک چھوٹی نوٹ بک کے طور پر سوچیں جہاں آپ ان تمام اہم چیزوں کو لکھتے ہیں جو آپ اب تک سمجھ چکے ہیں۔ اس سے پہلے کہ کچھ بھی پڑھا جا سکے، نوٹ بک ابتدائی طور پر بنیادی طور پر خالی ہوتی ہے (ابتدائی پوشیدہ حالت، عام طور پر تمام صفر)۔

ایک سادہ فن تعمیر مندرجہ ذیل ہے:

تصویر کا ذریعہ

لہذا پوشیدہ حالت ہر چیز کی تلاش کی میز نہیں ہے جو RNN نے دیکھی ہے۔ یہ ایک واحد رننگ سمری ہے جو ہر قدم پر اوور رائٹ ہوتی ہے، اور صرف وہی سیکھتی ہے جو نیٹ ورک کے لیے برقرار رکھنے کے قابل ہوتی ہے۔

نوٹ: RNNs کا منفی پہلو یہ ہے کہ اگر ترتیب طویل ہے، تو جائزہ لیا گیا ابتدائی معلومات تقریباً مکمل طور پر غائب ہو سکتی ہیں، جس کی وجہ سے RNN پہلے سے نظرثانی شدہ مواد کے سیاق و سباق سے محروم ہو جاتا ہے۔ RNN اس مسئلے کو حل کرتا ہے۔ غائب ہونے والی تدریجی مسئلہ.

RNNs کے استعمال کے معاملات میں شامل ہیں:

• آواز کی شناخت: RNNs کو وقت کے ساتھ آڈیو پر کارروائی کرنے کے لیے اسپیچ ریکگنیشن سسٹم میں استعمال کیا جاتا ہے۔ اس سے ماڈل کو یہ سمجھنے میں مدد ملتی ہے کہ آوازیں الفاظ اور جملے کیسے بنتی ہیں۔

• وائس اے آئی سسٹم: صوتی کام کے بہاؤ میں، RNN ترتیب وار آڈیو ڈیٹا پر کارروائی کرنے میں مدد کرتے ہیں۔ ٹیکسٹ ٹو اسپیچ جیسی ٹیکنالوجیز کے ساتھ مل کر، یہ فطری اسپیچ جنریشن پائپ لائن میں حصہ ڈالتی ہے۔

• ٹائم سیریز کی پیشن گوئی: فنانس یا موسم کی پیشن گوئی میں، RNNs امکانی طریقوں کا استعمال کرتے ہوئے مستقبل کے نتائج کی پیش گوئی کرنے کے لیے ماضی کے ڈیٹا کا تجزیہ کرتے ہیں۔

• متن بنائیں: RNN پچھلے لفظ کی بنیاد پر اگلے لفظ کی پیشین گوئی کر کے متن تیار کر سکتے ہیں۔ یہ چیٹ بوٹس اور جنریٹیو AI سے چلنے والے ٹولز کے لیے مفید ہے۔

یہاں کچھ ویڈیوز ہیں جو آپ RNNs کے بارے میں مزید جاننے کے لیے دیکھ سکتے ہیں:

اب ایک لمحے کے لیے توقف کریں اور اہم کلیدی نکات پر دھیان دیں: پوشیدہ حالتیں اور RNNs کی خرابی: غائب ہونے والے گریڈینٹ۔

ٹرانسفارمرز کیسے کام کرتے ہیں۔

2017 میں، گوگل برین کے محققین کے ایک گروپ نے ایک مختصر لیکن زمین کو ہلا دینے والا مقالہ شائع کیا جس کا نام تھا "توجہ صرف آپ کی ضرورت ہے۔”

متعارف کرایا ٹرانسفارمر زبان کی پروسیسنگ کے لیے ایک نیا فن تعمیر جس نے خاموشی سے AI انجینئرنگ کے طریقے کو تبدیل کر دیا ہے۔ تب سے، ٹرانسفارمرز تقریباً ہر بڑے بڑے زبان کے ماڈل کی ریڑھ کی ہڈی بن گئے ہیں، بشمول Gemini۔

آسان فن تعمیر مندرجہ ذیل ہے:

تصویر کا ذریعہ

سیدھے الفاظ میں، ایک ٹرانسفارمر ایک ہی وقت میں ڈیٹا کے متعدد ٹکڑوں کو کھینچتا ہے (RNNs کے برعکس، جو ڈیٹا کو ترتیب وار ترتیب میں کھینچتا ہے)۔

ٹرانسفارمر کئی بنیادی تصورات پر مبنی ہے۔ سب سے پہلے، وہاں ہے. ذاتی مفادڈیٹا کا ہر عنصر ہوتا ہے۔ مقام انکوڈنگ اس سے کنورٹر کو عناصر کی ترتیب جاننے میں مدد ملتی ہے۔ دوسرا، وہاں ہے سرایت کرنا اس سے ہر لفظ کے معنی اور تمام ڈیٹا عناصر کے درمیان سیاق و سباق کے تعلقات کو پکڑنے میں مدد ملتی ہے۔ ایمبیڈنگز ٹرانسفارمر کو دوسرے قسم کے عصبی نیٹ ورکس کے مقابلے میں تیزی سے ڈیٹا پر کارروائی کرنے کی اجازت دیتی ہیں۔

نوٹ: ٹرانسفارمر آرکیٹیکچر RNNs میں موجود گریڈینٹ ختم ہونے کے مسئلے کو کم کرتا ہے۔

کنورٹر کے استعمال کے معاملات میں شامل ہیں:

• نیچرل لینگویج پروسیسنگ (NLP) کے کام: خود توجہ دینے کا طریقہ کار پورے متن کے موثر اور مکمل تجزیہ کو قابل بنا کر مشین لرننگ ماڈلز کی لسانی صلاحیتوں کو بہتر بناتا ہے۔

• کمپیوٹر ویژن: تصویری شناخت کے ماڈلز میں پیشرفت بتاتی ہے کہ مضبوطی اور عمومیت کو بڑھانے میں خود توجہ ایک اہم جز ہے۔

آپ اس ویڈیو میں ٹرانسفارمرز کے بارے میں مزید جان سکتے ہیں۔

اب ایک لمحے کے لیے توقف کریں اور اہم اہم نکات کو نوٹ کریں: خود توجہ، ایمبیڈنگ، لوکیشن انکوڈنگ، اور ڈیٹا بیک وقت اکٹھا اور پروسیس کیا جاتا ہے۔

ایم ایل ماڈل بنانے کے لیے کیراس

تصویر کا ذریعہ

اب جب کہ آپ عصبی نیٹ ورکس کی مختلف اقسام اور ہر ایک کے لیے استعمال کے معاملات کو سمجھتے ہیں، تو آپ سوچ رہے ہوں گے کہ آپ ماڈل کی تعمیر کیسے شروع کر سکتے ہیں۔

Keras کیا ہے؟

بہت سارے اختیارات ہیں، لیکن میں جس ٹول کی سب سے زیادہ تعریف کرتا ہوں وہ ہے Keras۔ اسے گوگل یوٹیوب تجویز انجن اور وائیمو سیلف ڈرائیونگ کار جیسے پروجیکٹس میں استعمال کیا گیا ہے۔

Keras ایک اوپن سورس ہائی لیول نیورل نیٹ ورک API ہے جسے صارف دوست، ماڈیولر، اور قابل توسیع بنانے کے لیے ڈیزائن کیا گیا ہے۔ ابتدائی طور پر آزادانہ طور پر تیار کیا گیا، یہ بیک اینڈز جیسے کہ TensorFlow، Theano، یا CNTK کے اوپر چل سکتا ہے۔

2019 سے، یہ TensorFlow (TensorFlow 2.0+) کے لیے باضابطہ اعلیٰ سطح کا API رہا ہے، جو اعلیٰ سطح کے APIs (ترتیباتی اور فعال) فراہم کرتا ہے اور عام تہوں، اصلاح کرنے والوں اور نقصان کے افعال کے لیے مقامی مدد فراہم کرتا ہے۔

سادہ لفظوں میں، Keras آپ کو AI/ML ماڈلز جلدی اور آسانی سے بنانے کی اجازت دیتا ہے۔

Keras گہری سیکھنے کے ماڈل بنانے کے لیے ایک مکمل ٹول کٹ فراہم کرتا ہے۔ گہرے سیکھنے کے ماڈلز کی تعمیر، تربیت، تشخیص، اور تعینات کرنا کبھی بھی آسان نہیں تھا۔

نیا ورژن – کیراس 3.0

ایک حالیہ اہم پیشرفت Keras 3.0 ہے۔ ایک مکمل دوبارہ لکھنا جو Keras ورک فلو کو JAX، TensorFlow، PyTorch، اور OpenVINO (صرف تخمینہ) کے اوپر چلنے کی اجازت دیتا ہے، بجائے اس کے کہ انہیں صرف TensorFlow سے باندھا جائے۔

یہاں وہ چیز ہے جو Keras کو صرف "نیورل نیٹ ورک کوڈ لکھنے کا ایک اور طریقہ” سے بالکل مختلف بناتی ہے:

• آپ صرف CNNs، RNNs، یا ٹرانسفارمرز نہیں بنا سکتے۔ آپ تینوں کو استعمال کرکے بنا سکتے ہیں: ایک ہی پیٹرن.

• ٹریننگ لوپ جو اسے لپیٹتا ہے (وہی اندازہ، پیمائش کی خرابی، نڈ لوپ جس کے بارے میں ہم اس مضمون میں بات کر رہے ہیں) کبھی تبدیل نہیں ہوتا ہے۔ کیراس اس لوپ کو ظاہر کرنے کا صرف ایک مستقل طریقہ ہے، چاہے آپ کس فن تعمیر کا حوالہ دے رہے ہوں۔

ایک بار جب آپ اپنا ماڈل بنا لیں، تو آپ اس فریم ورک کا انتخاب کر سکتے ہیں جو آپ کے لیے بہترین ہو۔ یہاں تک کہ آپ اپنے موجودہ اہداف کی بنیاد پر ایک ماڈل سے دوسرے ماڈل میں تبدیل ہو سکتے ہیں بغیر خود ماڈل کو دوبارہ لکھے۔

اور لچک صرف نظریاتی نہیں ہے۔ یہ کارکردگی کے لیے بھی اہم ہے۔

Keras کے اپنے معیارات میں، JAX عام طور پر GPUs، TPUs، اور CPUs پر بہترین تربیت اور تخمینہ کارکردگی فراہم کرتا ہے، لیکن نتائج ماڈلز کے درمیان مختلف ہوتے ہیں۔

ماڈل کوڈ کو چھوئے بغیر بیک اینڈز کو تبدیل کرنے کے قابل ہونے کا مطلب ہے کہ آپ پروجیکٹ شروع کرتے وقت تیز ترین فریم ورک سے منسلک نہیں ہیں۔

ختم

میں یہاں اس کا خلاصہ کروں گا۔ مجھے امید ہے کہ اب آپ کو اچھی طرح سمجھ آگئی ہو گی کہ CNNs، RNNs، Transformers، اور گہری سیکھنے کا فریم ورک Keras ان سب میں کہاں فٹ ہے۔

یہ ذہنی ماڈل ہے۔ ایک سیکھنے کا عمل، بنائے گئے ڈیٹا کی بنیاد پر بنائے گئے تین فن تعمیر، اور ان فن تعمیرات کو بنانے کے لیے ایک API: Keras۔ اگر آپ اس میں سے ایک چیز لیں اندازہ لگائیں → پیمائش کی خرابی → نوج لوپ۔ یہ ہر چیز کی بنیاد ہے جو آپ گہری تعلیم کے بارے میں سیکھیں گے۔

کیا یہ معلومات مددگار تھی؟ مجھ سے ای میل یا LinkedIn کے ذریعے رابطہ کریں اور مجھے بتائیں کہ آپ کے لیے کیا نمایاں ہے اور آپ آگے کیا سیکھنے کی توقع رکھتے ہیں۔

چیئرز