AI پیپر ریویو: ڈیٹا کی تقسیم کی ڈھلوان کا تخمینہ لگا کر جنریٹو ماڈلنگ

آج، ڈفیوژن ماڈل جنریٹیو اے آئی سسٹمز کے سب سے زیادہ بااثر خاندانوں میں سے ایک بن گئے ہیں۔ یہ امیج کمپوزٹنگ اور ایڈیٹنگ سے لے کر ویڈیو تخلیق، سائنسی دریافت، اور ملٹی موڈل مواد کی تخلیق تک متعدد ایپلی کیشنز کو سپورٹ کرتا ہے۔

ان کی متاثر کن خصوصیات کے باوجود، ان ماڈلز کے پیچھے آئیڈیا حیران کن حد تک سادہ ہے۔ ہم خالص شور کے ساتھ شروع کرتے ہیں اور آہستہ آہستہ اسے حقیقت پسندانہ ڈیٹا میں تبدیل کرتے ہیں۔

یہ سادہ سی وضاحت فوری طور پر گہرے سوالات کو جنم دیتی ہے۔ اگر ماڈل صرف بے ترتیب شور کے ساتھ شروع ہوتا ہے، تو یہ کیسے جانتا ہے کہ ہر قدم پر کہاں جانا ہے؟ کیا آپ کو بتاتا ہے کہ اگر ایک چھوٹی سی تبدیلی کسی تصویر کو زیادہ حقیقت پسندانہ بناتی ہے یا اسے ڈیٹا کی تقسیم سے مزید دور لے جاتی ہے؟

2019 میں، یانگ سونگ اور سٹیفانو ایرمون نے ایک نیا تناظر تجویز کیا جو اس سوال کا جواب ایک خوبصورت اور ریاضی کے اصولی انداز میں دیتا ہے۔ پورے ڈیٹا کی تقسیم کی براہ راست نمائندگی کرنے کا طریقہ سیکھنے کے بجائے، ان کے فریم ورک نے مقامی ہدایات کو سیکھنے پر توجہ مرکوز کی جو شور مچانے والے نمونوں کو حقیقت پسندانہ نمونوں تک لے جا سکتی ہیں۔

نقطہ نظر میں یہ بظاہر معمولی تبدیلی جدید سکور پر مبنی جنریٹو ماڈلنگ کی بنیادی تصوراتی بنیادوں میں سے ایک بن گئی اور اس نے ڈفیوژن ماڈلز کے بعد کی ترقی پر بڑا اثر ڈالا۔

ذیل میں انفوگرافک ان تصوراتی تبدیلیوں کی وضاحت کرتا ہے جنہوں نے بازی ماڈل کو تبدیل کر دیا ہے۔ نسل کو شور کو تبدیل کرنے کے مشکل کام کے طور پر دیکھنے کے بجائے، یانگ سونگ اور سٹیفانو ایرمون دکھاتے ہیں کہ کس طرح انہوں نے اس مسئلے سے سیکھ کر اسے دوبارہ منظم کیا۔ سکورایک مقامی سمت جو زیادہ حقیقت پسندانہ ڈیٹا کی طرف اشارہ کرتی ہے۔

اس وجدان کے بعد، انفوگرافک حوصلہ افزائی، بولی سکور ماڈلنگ کے چیلنجز، نوائس کنڈیشنل سکور نیٹ ورکس (NCSN) کا تعارف، annealed Langevin dynamics کا کردار، اور دکھاتا ہے کہ کس طرح چھوٹے دشاتمک اپ ڈیٹس کا سلسلہ آہستہ آہستہ خالص شور کو حقیقت پسندانہ تصویر میں تبدیل کر سکتا ہے۔

مقالہ کا خاکہ

ڈیٹا ڈسٹری بیوشن (2019) کے تخمینے والے گریڈیئنٹس کے ذریعے جنریٹو ماڈلنگ اسکور پر مبنی جنریٹو ماڈلنگ متعارف کراتی ہے، یہ ایک نیا نمونہ ہے جو خود تقسیم کے بجائے ڈیٹا کی تقسیم کا سکور سیکھتا ہے۔

اسکور کے تخمینے کے ارد گرد تخلیقی ماڈلنگ کو دوبارہ ترتیب دے کر، یہ مقالہ قابل اعتماد اصلاح اور قابلِ تعلیم سیکھنے کے مقاصد کے ساتھ لچکدار فن تعمیر کو یکجا کر کے امکانات پر مبنی ماڈلز اور GANs کا ایک اصولی متبادل فراہم کرتا ہے۔

اس خیال نے جدید سکور پر مبنی جنریٹو ماڈلز کی بنیاد رکھی اور آج کے ڈفیوژن ماڈلز کے ظہور میں مرکزی کردار ادا کیا۔

ذیل میں اس کا ایک مختصر انفوگرافک ہے جس کا احاطہ ہم اس پورے جائزے میں کریں گے، جس میں کاغذ کے بنیادی خیالات، طریقہ کار، اور دیرپا اثرات کو اجاگر کیا جائے گا۔

اشاریہ:

خلاصہ

اس مقالے میں، ہم جنریٹو ماڈلنگ کا ایک نیا نمونہ متعارف کراتے ہیں جو سیکھنے کے مقصد کو ڈیٹا کی تقسیم کے ماڈلنگ سے بدل دیتا ہے۔ اس کے بجائے، یہ ایک سکور سیکھتا ہے، جو کہ لاگ ڈیٹا کی کثافت کا میلان ہے، جو زیادہ امکان والے علاقوں کی طرف مقامی سمت کی نشاندہی کرتا ہے۔ ایک بار جب یہ اسکور فیلڈ سیکھ لیا جاتا ہے، تو نئے نمونے بے ترتیب شور سے شروع ہوتے ہوئے اور Langevin حرکیات کے ذریعے سیکھی گئی سمت کی پیروی کرتے ہوئے پیدا کیے جا سکتے ہیں۔

لیکن مصنفین ظاہر کرتے ہیں کہ یہ بظاہر سادہ نظریہ ٹوٹ جاتا ہے جب براہ راست حقیقی ڈیٹا پر لاگو ہوتا ہے۔ یہ بڑے پیمانے پر خیال کیا جاتا ہے کہ قدرتی تصاویر ایک کم جہتی کئی گنا پر ہوتی ہیں جو ایک اعلی جہتی جگہ میں سرایت کرتی ہیں، جو اعداد و شمار کے کئی گنا سے باہر اسکور کی خراب تعریف کی طرف لے جاتی ہے۔

ایک ہی وقت میں، کم کثافت والے علاقوں میں اسکور کا درست اندازہ لگانا خاص طور پر تربیتی ڈیٹا کی کمی کی وجہ سے مشکل ہے، حالانکہ یہ وہ علاقے ہیں جہاں نمونے لینے کا عمل شروع ہوتا ہے۔ یہ مسائل بولی سکور پر مبنی جنریٹو ماڈلنگ کو قابل اعتماد نمونے تیار کرنے سے روک سکتے ہیں۔

ان حدود کو دور کرنے کے لیے، یہ مقالہ گاوسی شور کی متعدد سطحوں کے ساتھ ڈیٹا کو پریشان کرنے کا ایک طریقہ تجویز کرتا ہے جو ڈیٹا کو کم جہتی کئی گنا سے آگے اور آس پاس کی جگہ میں پھیلاتا ہے، تربیت کی تقسیم کو بڑھاتا ہے اور عصبی نیٹ ورک کو پہلے سے کم آبادی والے علاقوں میں معلوماتی سیکھنے کے سگنل فراہم کرتا ہے۔ اس کے بعد ماڈل تمام نتیجے میں تقسیم کے اسکور جاننے کے لیے ایک ہی شور کنڈیشنل اسکور نیٹ ورک (NCSN) کا استعمال کرتا ہے۔

نمونے لینے کے دوران، ماڈل ایک انتہائی پریشان نمونے سے شروع ہونے والی اور آہستہ آہستہ شور کی سطح کو کم کرنے والی اینیلڈ لینگیوین ڈائنامکس کا استعمال کرتا ہے۔ ہر قدم پر، متعلقہ اسکور کے تخمینے نمونوں کو ڈیٹا کی تقسیم کے بڑھتے ہوئے حقیقت پسندانہ علاقوں میں رہنمائی کرتے ہیں، آخر کار اعلیٰ معیار کے ڈیٹا کو بازیافت کرتے ہیں۔

اس فریم ورک کی ایک خوبی اس کی تصوراتی سادگی ہے۔ یہ مخالفانہ تربیت سے گریز کرتا ہے، اصلاح کے دوران نمونے لینے کی ضرورت نہیں رکھتا، نیٹ ورک کے فن تعمیر پر کوئی پابندی نہیں لگاتا، اور قابل تربیت مقاصد فراہم کرتا ہے جو ماڈلز کے درمیان بامعنی مقداری موازنہ کو قابل بناتا ہے۔

MNIST، CelebA، اور CIFAR-10 پر تجربات سے پتہ چلتا ہے کہ مجوزہ طریقہ ایسے نمونے تیار کرتا ہے جو جدید ترین GAN اور امکانات پر مبنی ماڈلز کے ساتھ مسابقتی ہیں، اشاعت کے وقت CIFAR-10 پر 8.87 کا جدید ترین ابتدائی اسکور حاصل کرتے ہیں۔

امیج جنریشن کے علاوہ، سیکھے گئے اسکور کی نمائندگی موثر تصویر میں پینٹنگ کے قابل بناتی ہے، جس کا مطلب ہے کہ ماڈل ڈیٹا کی بنیادی تقسیم کے بارے میں بھرپور ساختی معلومات حاصل کرتا ہے۔

تعارف

جنریٹو ماڈل جدید مشین لرننگ کے کلیدی شعبوں میں سے ایک بن گئے ہیں، ایسے نظام کو فعال کرتے ہیں جو حقیقت پسندانہ امیجز کی ترکیب کر سکتے ہیں، تقریر اور موسیقی پیدا کر سکتے ہیں، نیم زیر نگرانی سیکھنے کو بہتر بنا سکتے ہیں، بے ضابطگیوں کا پتہ لگا سکتے ہیں، ماہر کے رویے کی نقل کر سکتے ہیں، اور کمک سیکھنے کی تلاش میں معاونت کر سکتے ہیں۔

سالوں کے دوران، دو بڑے نمونوں نے جنریٹو ماڈلنگ پر غلبہ حاصل کیا ہے: امکانات پر مبنی ماڈلز اور جنریٹو ایڈورسریل نیٹ ورکس (GANs)۔ دونوں ہی ناقابل یقین حد تک کامیاب رہے ہیں، لیکن ہر ایک کے بنیادی فائدے اور نقصانات ہیں۔

امکانات پر مبنی ماڈلز کو اکثر پابندیوں والے فن تعمیر یا مہنگے اندازوں کی ضرورت ہوتی ہے، جبکہ GAN غیر مستحکم مخالفانہ تربیت پر انحصار کرتے ہیں۔ نتیجے کے طور پر، نہ ہی کوئی ایسا متحد فریم ورک فراہم کرتا ہے جو اعلیٰ معیار کی نسل، قابل اعتماد اصلاح، تعمیراتی لچک، اور قابلِ تعلیم سیکھنے کے مقاصد کو یکجا کرتا ہے۔

اس فرق نے بالآخر یانگ سونگ اور سٹیفانو ایرمون کی طرف سے سکور پر مبنی جنریٹو ماڈلنگ کی ترقی کی حوصلہ افزائی کی۔

یہ مضمون اس سوال کے ساتھ شروع ہوتا ہے کہ کیا یہ تجارت درحقیقت ضروری ہے؟ موجودہ تخلیقی ماڈل کی ایک اور قسم کو ڈیزائن کرنے کے بجائے، مصنفین اس مسئلے پر ایک بنیادی طور پر مختلف نقطہ نظر پیش کرتے ہیں۔

ان کی کلیدی بصیرت یہ ہے کہ امکانات پر مبنی ماڈلز کے برعکس، اعلیٰ معیار پیدا کرنے کے لیے ڈیٹا کی تقسیم کو براہ راست سیکھنے کی ضرورت نہیں ہے۔ اس کے بجائے صرف سیکھنا ہی کافی ہے۔ سکورلاگ ڈیٹا کثافت کا میلان ماڈل کو ان علاقوں کی طرف جانے کی مقامی سمت بتاتا ہے جہاں حقیقی ڈیٹا موجود ہونے کا زیادہ امکان ہوتا ہے۔

اس خیال کی بنیاد پر، یہ مقالہ ایک مکمل سکور پر مبنی جنریٹو ماڈلنگ فریم ورک تیار کرتا ہے جو اصولی سیکھنے کے مقاصد اور نمونے لینے کے ایک موثر طریقہ کار کو یکجا کرتا ہے۔ راستے میں، مصنفین ان نظریاتی اور عملی چیلنجوں کی نشاندہی کرتے ہیں جو ان خیالات کو حقیقی دنیا کے ڈیٹا سیٹس پر لاگو کرتے وقت پیدا ہوتے ہیں اور فریم ورک کو قابل اعتماد اور توسیع پذیر بنانے کے لیے حل کا ایک سیٹ تجویز کرتے ہیں۔

نتیجہ اگلی نسل کا نمونہ ہے جو مخالفانہ اصلاح سے گریز کرتا ہے، محدود امکانی ماڈلز کی ضرورت کو ختم کرتا ہے، اور تربیت اور تشخیص کے لیے قابل عمل مقاصد فراہم کرتا ہے۔

مزید اہم بات یہ ہے کہ یہاں متعارف کرائے گئے آئیڈیاز سکور پر مبنی ڈفیوژن ماڈلز کی تصوراتی بنیاد بن گئے جو کہ آنے والے سالوں میں جنریٹو AI کو تیزی سے نئی شکل دیں گے۔

اس سے پہلے کہ ہم کاغذ کی گہرائی میں جائیں، ان وسیع تر حالات کو سمجھنا مددگار ہے جنہوں نے اس کام کو متحرک کیا۔ نیچے دی گئی انفوگرافک ان دو غالب تمثیلوں سے متصادم ہے جنہوں نے اس مقالے سے پہلے جنریٹو ماڈلنگ کی شکل دی اور ان خلاء کو اجاگر کیا جو دونوں میں سے کوئی بھی پوری طرح سے حل نہیں کر سکا ہے۔ یہ کاغذ کا مرکزی مقصد بھی متعارف کراتا ہے۔ مقصد ایک ایسا عملی ڈھانچہ تلاش کرنا ہے جو نمائندگی کی تخلیق، قابل اعتماد اصلاح، اور بغیر سمجھوتہ کے بامعنی تربیتی مقاصد کو یکجا کرے۔

بائیں طرف، ہم امکانات پر مبنی ماڈلز کی حدود کا خلاصہ کرتے ہیں جو کہ محدود ماڈلنگ کے مفروضوں یا سروگیٹ آپٹیمائزیشن کے مقاصد پر انحصار کرتے ہیں۔

دائیں طرف GAN کی طاقتوں اور کمزوریوں کو اجاگر کرتا ہے۔ GANs کی مخالفانہ تربیت اکثر حقیقت پسندانہ نمونے تیار کرتی ہے، لیکن غیر مستحکم اور مقداری طور پر جانچنا مشکل ہو سکتا ہے۔

مرکز میں موجود انفوگرافک ان دو طریقوں کے درمیان تصوراتی فرق کو واضح کرتا ہے اور اس مقالے میں تجویز کردہ اسکور پر مبنی نقطہ نظر کو ایک متبادل کے طور پر متعارف کرایا جاتا ہے، جس کا مقصد ایک فریم ورک کے اندر لچک، استحکام، اور قابل عمل اصلاح کو یکجا کرنا ہے۔

2. اسکور پر مبنی جنریٹو ماڈلنگ

اس مقالے کے دل میں نقطہ نظر کی ایک سادہ لیکن طاقتور تبدیلی ہے۔ روایتی جنریٹو ماڈلز خود ڈیٹا کی تقسیم کو سیکھنے کی کوشش کرتے ہیں، جو کہ اکثر ریاضی کے لحاظ سے ایک پیچیدہ یا کمپیوٹیشنل طور پر محدود کام ہوتا ہے۔

اس کے بجائے، مصنفین سیکھنے کا مشورہ دیتے ہیں۔ سکوراس کی تعریف لوگارتھمک کثافت کی ڈھلوان کے طور پر کی گئی ہے۔ ہر نقطہ کے امکان کا اندازہ لگانے کے بجائے، ماڈل مقامی سمتوں کو سیکھتا ہے جو ڈیٹا کے زیادہ ممکنہ علاقوں کی طرف اشارہ کرتی ہے۔

یہ نقطہ نظر تخلیقی ماڈلنگ کو اسکور تخمینہ کے مسئلے میں بدل دیتا ہے۔ نیورل نیٹ ورکس کو سکور میچنگ کے ذریعے تربیت دی جاتی ہے تاکہ اعداد و شمار سے براہ راست اسکور فنکشن کا اندازہ لگایا جا سکے۔ ایک بار جب یہ ویکٹر فیلڈ سیکھ لیا جاتا ہے، تو نئے نمونے بے ترتیب شور سے شروع ہو کر اور Langevin حرکیات کا استعمال کرتے ہوئے سیکھی ہوئی سمت کی پیروی کرتے ہوئے پیدا کیے جا سکتے ہیں۔

لہذا، فریم ورک قدرتی طور پر دو تکمیلی مراحل میں تقسیم ہوتا ہے: تربیت کے دوران سکور فیلڈ سیکھنا اور سیکھے ہوئے فیلڈ کا استعمال کرتے ہوئے اندازہ لگانے کے دوران نمونے لینے کی رہنمائی کرنا۔

سکور کی تجریدی تعریف پہلے تو متضاد معلوم ہو سکتی ہے کیونکہ یہ امکان کو میلان سے بدل دیتی ہے۔

نیچے دی گئی انفوگرافک اعداد و شمار کی تقسیم کا پہاڑی مناظر سے موازنہ کر کے وجدان پیدا کرتی ہے۔ ہر مقام کی اونچائی کی پیمائش کرنے کے بجائے، ماڈل کو صرف یہ سیکھنے کی ضرورت ہے کہ کون سی سمت اوپر کی طرف جاتی ہے۔

یہ سادہ مشابہت اسکور پر مبنی جنریٹو ماڈلنگ کی کلیدی بصیرت کو حاصل کرتی ہے اور یہ بتاتی ہے کہ کیوں سیکھنے کے میلان پورے امکانی تقسیم کو ماڈل کرنے سے کہیں زیادہ عملی ہیں۔

انفوگرافک کا بائیں جانب لاگ کثافت والے ماحول کا تخمینہ لگانے کے روایتی مقصد کو ظاہر کرتا ہے، یہ ایک غیر حقیقت پسندانہ کام ہے کیونکہ نارملائزیشن کنسٹنٹ کو کمپیوٹنگ کرنا عام طور پر پیچیدہ ہوتا ہے۔

مرکزی پینل ایک اسکور فنکشن کو ویکٹر فیلڈ کے طور پر متعارف کراتا ہے جس میں تیر ہمیشہ زیادہ امکان والے علاقوں کی طرف اشارہ کرتے ہیں، جس سے ماڈل کو واضح طور پر کثافت کا اندازہ کیے بغیر تقسیم کو تلاش کرنے کی اجازت ملتی ہے۔

دائیں طرف ان وجدانوں کو اسکور میچنگ سے جوڑتا ہے، جہاں ایک عصبی نیٹ ورک کو تربیت دی جاتی ہے کہ وہ براہ راست ان سمتوں کی پیشن گوئی کرے۔ ایک بار جب سکور کا میدان سیکھ لیا جاتا ہے، Langevin dynamics قدم بہ قدم پیشین گوئی شدہ ویکٹر کی پیروی کرتا ہے، بتدریج بے ترتیب شور کو حقیقت پسندانہ ڈیٹا کے نمونوں میں منتقل کرتا ہے۔

2.1 اسکور کے تخمینہ کے لیے اسکور کی مماثلت

ایک بار جب اسکور فنکشن کو دلچسپی کی مقدار کے طور پر پہچانا جاتا ہے، تو اگلا کام اسے براہ راست ڈیٹا سے سیکھنا ہے۔

سکور میچ اتنا ہی فراہم کرتا ہے۔ امکانات کی کثافت کا تخمینہ لگانے اور بعد میں اس میں فرق کرنے کے بجائے، یہ طریقہ ایک اعصابی نیٹ ورک کو تربیت دیتا ہے تاکہ اسکور فنکشن کا اندازہ لگایا جا سکے۔ یہ لینگوین ڈائنامکس کے ذریعے نئے نمونے تیار کرنے کے لیے درکار معلومات کی بازیافت کے دوران واضح کثافت کے تخمینے سے گریز کرتا ہے۔

اس مقالے میں اختیار کیے گئے فارمولیشن کا ایک عملی فائدہ یہ ہے کہ اسکور کو توانائی پر مبنی ماڈل کے میلان تک محدود رہنے کے بجائے براہ راست ماڈل بنایا گیا ہے۔ یہ ڈیزائن آپٹیمائزیشن کے دوران مہنگے ہائی آرڈر ڈیریویٹیوز کی ضرورت کو ختم کرتا ہے، جس سے سیکھنے کا طریقہ کار بہت زیادہ موثر ہوتا ہے۔ یہ واضح ہے کہ ہلکی باقاعدگی کے حالات میں اسکور کے مماثل مقصد کو کم سے کم کرنے سے حقیقی اسکور فنکشن بحال ہوجاتا ہے۔

اس کی خوبصورت نظریاتی بنیاد کے باوجود، اصل اسکور سے مماثلت کا مقصد جدید گہرے نیورل نیٹ ورکس تک نہیں پہنچتا۔ اصلاح کے لیے سکور نیٹ ورک کے جیکوبیئن ٹریس کی کمپیوٹنگ کی ضرورت ہوتی ہے، ایسا کام جس کی کمپیوٹیشنل لاگت ڈیٹا کی جہت کے ساتھ تیزی سے بڑھ جاتی ہے۔ ہائی ریزولوشن امیجز اور گہرے فن تعمیر کے لیے، یہ تیزی سے ناقابل عمل ہو جاتا ہے۔

اس کمپیوٹیشنل رکاوٹ کو دور کرنا اس مقالے کے اگلے بڑے اقدامات میں سے ایک ہے اور اگلے حصے میں متعارف کرائے جانے والے اسکور ایبل سکور میچنگ کے طریقہ کار کی حوصلہ افزائی کرتا ہے۔

2.2 شور ہٹانا اور سلائس سکور میچنگ

اصل اسکور میچنگ مقصد اسکور فنکشن کو سیکھنے کا ایک خوبصورت طریقہ فراہم کرتا ہے، لیکن اس کی کمپیوٹیشنل لاگت اسے جدید گہری سیکھنے کے لیے ناقابل عمل بناتی ہے۔

ان حدود پر قابو پانے کے لیے، مصنفین دو توسیع پذیر متبادلات پر تبادلہ خیال کرتے ہیں جو مہنگے جیکوبیئن ٹریس کمپیوٹیشن سے گریز کرتے ہوئے اسکور لرننگ کے بنیادی خیال کو برقرار رکھتے ہیں۔ اگرچہ دونوں طریقے مختلف مقاصد کو بہتر بناتے ہیں، لیکن وہ بالآخر ایک ہی مقصد کو حاصل کرتے ہیں: بنیادی امکانی کثافت کو واضح طور پر ماڈلنگ کیے بغیر اسکور فنکشن کا تخمینہ لگانا۔

Denoising Score Matching (DSM) ہر تربیتی نمونے کو Gaussian شور سے پریشان کرتا ہے اور نتیجے میں شور کی تقسیم کے اسکور کی پیشن گوئی کرنے کے لیے ایک نیٹ ورک کو تربیت دیتا ہے۔ یہ تعمیر نو جیکوبیئن ٹریس کی گنتی کرنے کی ضرورت کو ختم کرتی ہے، جس سے اصلاح بہت آسان اور اسکیل ایبلٹی میں بہتری آتی ہے۔ جب شور کی سطح کافی کم ہوتی ہے، تو سیکھا ہوا اسکور اصل ڈیٹا کی تقسیم کے اسکور تک پہنچ جاتا ہے، جو ایک موثر اندازا فراہم کرتا ہے جو عملی طور پر اچھی کارکردگی کا مظاہرہ کرتا ہے۔

سلائسڈ اسکور میچنگ (SSM) ایک ہی کمپیوٹیشنل مسئلہ کو مختلف نقطہ نظر سے حل کرتا ہے۔ شور کو شامل کرنے کے بجائے، ہم فارورڈ خودکار تفریق کے ذریعے شمار کیے گئے بے ترتیب تخمینے کا استعمال کرتے ہوئے جیکوبیئن ٹریس کا تخمینہ لگاتے ہیں۔

یہ مکمل کمپیوٹیشنل لاگت سے گریز کرتے ہوئے اصل اسکور کے مماثل ہدف کا غیر جانبدارانہ تخمینہ تیار کرتا ہے۔ تاہم، یہ DSM سے کہیں زیادہ مہنگا ہے اور اس کے لیے تقریباً چار گنا زیادہ کمپیوٹیشنز کی ضرورت ہوتی ہے، جس سے DSM کو اس کاغذ کے بقیہ حصے کے لیے ترجیحی انتخاب بنایا جاتا ہے۔

دونوں طریقے ایک ہی مسئلے کو حل کرنے کے لیے بنائے گئے ہیں، لیکن مسئلے تک پہنچنے کے لیے بہت مختلف راستے اختیار کرتے ہیں۔ نیچے دی گئی انفوگرافک تربیت کے مقاصد، کمپیوٹیشنل تقاضوں، اور عملی فوائد اور نقصانات کا موازنہ کرتی ہے تاکہ یہ ظاہر کیا جا سکے کہ ڈینوائزنگ سکور میچنگ آخر کار اس کام میں اختیار کی گئی پہلے سے طے شدہ تربیتی حکمت عملی کیوں بن گئی۔

بائیں طرف سلائس سکور ملاپ دکھاتا ہے، جو بے ترتیب پروجیکشن ڈائریکشنز کا استعمال کرتے ہوئے مہنگے جیکوبیئن کا تخمینہ لگاتا ہے اور اصل مقصد کو زیادہ کمپیوٹیشنل لاگت پر برقرار رکھتا ہے۔

دائیں طرف Denoising Score Matching ہے، جو گاوسی شور کے ساتھ ڈیٹا کو پریشان کرتا ہے اور شور کی تقسیم سے متعلقہ سکور کی پیشن گوئی کرنے کے لیے نیٹ ورک کو تربیت دیتا ہے۔

مرکزی موازنہ دونوں طریقوں کے درمیان اہم فرق کو نمایاں کرتا ہے۔ SSM اصل مقصد کا غیر جانبدارانہ تخمینہ فراہم کرتا ہے لیکن اس کے لیے بہت زیادہ حساب کی ضرورت ہوتی ہے، جب کہ DSM ایک بہت آسان اور قابل توسیع اصلاح کا طریقہ کار فراہم کرتا ہے۔

ان اختلافات کے باوجود، دونوں طریقے ایک ہی بنیادی اسکور فنکشن کو سیکھتے ہیں اور ڈیٹا کی کثافت کے واضح حساب کتاب کی ضرورت نہیں ہے۔

2.3 Langevin Dynamics کے ساتھ نمونے لینا

سکور فنکشن سیکھنا فریم ورک کا صرف نصف ہے۔ باقی کام سیکھی ہوئی معلومات کو نئے نمونے بنانے کے لیے استعمال کرنا ہے۔ Langevin میکانکس تخمینہ شدہ اسکور فیلڈ کو نمونے لینے کے ایک حقیقی طریقہ کار میں تبدیل کر کے اس گمشدہ لنک کو فراہم کرتا ہے۔

ایک بے ترتیب ابتدا کے ساتھ شروع کرتے ہوئے، Langevin حرکیات ہر تکرار پر گاوسی شور کی ایک چھوٹی سی مقدار انجیکشن کرتے ہوئے تخمینہ شدہ اسکورز کی تکراری طور پر پیروی کرتی ہے۔ اسکور زیادہ امکان والے خطوں میں نمونوں کی رہنمائی کرتا ہے، جب کہ انجکشن شدہ شور تلاش کی حوصلہ افزائی کرتا ہے اور خراب مقامی علاقوں میں رفتار کو پھنسنے سے روکتا ہے۔

ایک ساتھ، یہ اپ ڈیٹس بتدریج بے ترتیب شور کو نمونوں میں دوبارہ تشکیل دیتے ہیں جو بنیادی ڈیٹا کی تقسیم سے مشابہت رکھتے ہیں۔

نظریاتی نقطہ نظر سے، Langevin dynamics لامحدود چھوٹے قدموں کے سائز اور لامحدود طور پر بہت سے تکرار کی حد میں ہدف کی تقسیم میں بدل جاتی ہے، بشرطیکہ اسکور فنکشن کا درست اندازہ لگایا جائے۔

عملی طور پر، یہ مثالی حالات حاصل نہیں کیے جاسکتے ہیں، اس لیے یہ مقالہ فرض کرتا ہے کہ کافی چھوٹے قدم کے سائز اور کافی تکرار نمونے لینے کے لیے ایک اچھا تخمینہ فراہم کرتے ہیں۔

لہذا، اسکور میچنگ اور لینگیوین ڈائنامکس فریم ورک کے اندر تکمیلی کردار ادا کرتے ہیں۔ پہلا ایک ویکٹر فیلڈ سیکھتا ہے جو یہ بتاتا ہے کہ نمونے کو کس طرح منتقل ہونا چاہئے، اور دوسرا سیکھے ہوئے فیلڈز کے ساتھ نئے ڈیٹا کی ترکیب کرتا ہے۔ ایک ساتھ، وہ اسکور پر مبنی جنریٹو ماڈلنگ کے بنیادی اصول قائم کرتے ہیں جو کاغذ کے بقیہ حصے کو تشکیل دیتے ہیں۔

3. سکور پر مبنی جنریٹو ماڈلنگ کے چیلنجز

ابھی تک، پیپر نے سکور میچنگ کے ذریعے سکور کے افعال سیکھنے اور Langevin ڈائنامکس کا استعمال کرتے ہوئے نئے نمونے تیار کرنے کے لیے ایک مضبوط فریم ورک بنایا ہے۔

پہلی نظر میں، ایسا لگتا ہے کہ یہ جنریٹو ماڈلنگ کا مکمل حل فراہم کرتا ہے۔ تاہم، مصنفین ظاہر کرتے ہیں کہ اس فریم ورک کو براہ راست حقیقی ڈیٹا پر لاگو کرنا غیر متوقع مشکلات پیش کرتا ہے۔

مجوزہ حل کو متعارف کرانے سے پہلے، یہ مقالہ دو بنیادی چیلنجوں کا جائزہ لیتا ہے جو بولی سکور پر مبنی جنریٹو ماڈلنگ کو عملی طور پر قابل اعتماد طریقے سے کام کرنے سے روکتے ہیں۔ ان حدود کو سمجھنا ضروری ہے کیونکہ وہ اس مقالے کے بقیہ حصے میں متعارف کرائی گئی دو کلیدی اختراعات کے ڈیزائن کو براہ راست متحرک کرتے ہیں: شور مشروط اسکور نیٹ ورکس اور اینیلڈ لینگیوین ڈائنامکس۔

3.1 کئی گنا مفروضہ

پہلی رکاوٹ اسکور کی مماثلت اور اصل اعداد و شمار کے ڈھانچے کے پیچھے مفروضوں کے درمیان مماثلت سے پیدا ہوتی ہے۔

کلاسک سکور کی مماثلت یہ مانتی ہے کہ ڈیٹا کی تقسیم یہ ہے: مکمل حمایت اس بات کو یقینی بناتا ہے کہ آس پاس کی پوری جگہ میں اسکور کی اچھی طرح سے تعریف کی گئی ہے۔

تاہم، حقیقی تصاویر ان مفروضوں کو پورا نہیں کرتی ہیں۔ اس کے بجائے، بڑے پیمانے پر یہ خیال کیا جاتا ہے کہ وہ بہت زیادہ جہتی جگہ میں سرایت شدہ کم جہتی کئی گنا میں پڑے ہیں۔

یہ اسکور پر مبنی جنریٹو ماڈلنگ کے لیے ایک بنیادی مشکل پیش کرتا ہے۔ اسکور کو آس پاس کی جگہ کے لوگارتھمک کثافت کے میلان کے طور پر بیان کیا گیا ہے اور اس وجہ سے ڈیٹا کئی گنا سے باہر غیر متعینہ ہے، جہاں امکانی کثافت مؤثر طریقے سے صفر ہے۔ نتیجے کے طور پر، سکور کے معاہدے کی نظریاتی ضمانتیں مزید برقرار نہیں رہیں گی، اور بے ترتیب ڈیٹا سے براہ راست اسکور سیکھنا غیر مستحکم اور متضاد اندازے پیدا کر سکتا ہے۔

اس مسئلے کو ظاہر کرنے کے لیے، مصنفین براہ راست CIFAR-10 امیجز پر ایک سلائس سکور مماثل ماڈل کو تربیت دیتے ہیں۔ تربیت کا نقصان سیکھنے کے دوران اتار چڑھاؤ آتا ہے، اصلاح کو تبدیل ہونے سے روکتا ہے۔

اس کے بعد تجربہ کو گاوسی شور کی تقریباً ناقابل تصور مقدار کے ساتھ ڈیٹا کو پریشان کرنے کے بعد دہرایا جاتا ہے۔ یہ چھوٹی سی ہچکچاہٹ ڈیٹا کی تقسیم کو ارد گرد کی جگہ پر پھیلا دیتی ہے، مکمل تعاون اور ہر جگہ اچھی طرح سے طے شدہ اسکور کو بحال کرتی ہے۔ ان حالات میں، تربیت مستحکم ہوتی ہے اور آسانی سے بدل جاتی ہے۔

یہ تجربہ کاغذ کی سب سے اہم بصیرت فراہم کرتا ہے۔ گاوسی شور کی ایک چھوٹی سی مقدار کو شامل کرنا صرف ایک عددی چال نہیں ہے۔ سکور کے ملاپ کے لیے درکار ریاضیاتی مفروضوں کو بحال کریں۔ یہ مشاہدہ اگلے حصے میں متعارف کرائے گئے شور کے حالات کے فریم ورک کی بنیاد بناتا ہے۔

کئی گنا مفروضے تجریدی تصورات ہیں جن کا تصور کرنا مشکل ہو سکتا ہے۔ نیچے دی گئی انفوگرافک سے پتہ چلتا ہے کہ جب اعداد و شمار ایک اعلیٰ جہتی جگہ میں صرف ایک پتلی سطح پر محیط ہوتے ہیں تو اسکور کی مماثلت کیوں ناکام ہو جاتی ہے، اور یہ ظاہر کرتی ہے کہ کس طرح گاوسی شور کی ایک چھوٹی سی مقدار مستحکم سیکھنے کے لیے ضروری حالات کو بحال کرتی ہے۔

بائیں طرف کئی گنا مفروضے کو ظاہر کرتا ہے، جس میں کہا گیا ہے کہ حقیقی تصاویر صرف ایک چھوٹی، کم جہتی سطح پر محیط ہوتی ہیں جو آس پاس کی بہت بڑی جگہ میں سرایت کرتی ہیں۔ چونکہ اسکور اس سطح سے آگے غیر متعینہ ہیں، اس لیے اسکور کی مماثلت کو براہ راست لاگو کرنے کا نتیجہ غیر مستحکم اصلاح کا باعث بنے گا، جیسا کہ اوپری دائیں پینل میں اتار چڑھاؤ والے تربیتی نقصان میں دیکھا جا سکتا ہے۔

نیچے کا نصف کاغذ کے اہم مشاہدات کو ظاہر کرتا ہے۔ گاوسی شور کی تھوڑی مقدار کو شامل کرنے سے ڈیٹا کی تقسیم کئی گنا سے زیادہ پھیل جاتی ہے، ارد گرد کی پوری جگہ پر مکمل تعاون فراہم کرتا ہے۔ اس سے سکور کے ملاپ کی تاثیر بحال ہو جاتی ہے، جو مستحکم کنورجنسنس کا باعث بنتا ہے اور شور سے مشروط سکور نیٹ ورکس کے لیے ریاضیاتی بنیاد رکھتا ہے۔

3.2 کم کثافت والے علاقے

کم کثافت والے علاقوں سے تربیتی اعداد و شمار کی کمی اسکور کی مماثلت اور Langevin ڈائنامکس کے ذریعے نمونے لینے کے ذریعے اسکور کا تخمینہ زیادہ مشکل بناتی ہے۔

3.2.1 اسکور کے ملاپ کی وجہ سے اسکور کا غلط تخمینہ

مختلف مسائل کو حل کرنے کے بعد بھی، کم کثافت والے علاقوں میں اسکور کا تخمینہ لگانا اب بھی مشکل ہے، جو کہ ڈیٹا کی جگہ کا ایک اور اہم حصہ ہے۔ ان علاقوں میں تربیتی نمونے بہت کم ہیں یا کوئی نہیں۔ اس کا مطلب یہ ہے کہ اگر امکانی کثافت بہت کم ہے، تو ماڈل کی بمشکل نگرانی کی جاتی ہے۔ نتیجے کے طور پر، سیکھے گئے اسکور بالکل ناقابل اعتبار بن سکتے ہیں جہاں درست رہنمائی کی سب سے زیادہ ضرورت ہوتی ہے۔

مصنفین سادہ گاوسی مرکب کا استعمال کرتے ہوئے ان حدود کی وضاحت کرتے ہیں۔ سیکھا ہوا اسکور پرچر ٹریننگ ڈیٹا کے ساتھ گھنے موڈ کے ارد گرد اصل اسکور سے قریب سے میل کھاتا ہے۔

تاہم، ان طریقوں کے درمیان، تخمینوں کا معیار خراب ہو جاتا ہے کیونکہ ماڈل کے پاس درست ڈھلوان کا اندازہ لگانے کے لیے بہت کم معلومات ہوتی ہیں۔ یہ غلط اندازے والے علاقے نمونے لینے کے دوران خاص طور پر پریشانی کا شکار ہیں۔ اس کی وجہ یہ ہے کہ Langevin کی حرکیات عام طور پر کئی گنا ڈیٹا سے بہت دور شروع ہوتی ہیں اور اصل نمونے تک پہنچنے سے پہلے ان کو کم کثافت والے علاقوں سے گزرنا چاہیے۔

یہ مشاہدہ ظاہر کرتا ہے کہ اعداد و شمار کے قریب اسکور کا درست تخمینہ کافی نہیں ہے۔ اسکور پر مبنی جنریٹو ماڈلنگ کے کامیاب ہونے کے لیے، ماڈل کو نمونے لینے کے پورے راستے میں قابل اعتماد میلان سیکھنا چاہیے، بشمول وہ علاقے جہاں بہت کم یا کوئی ڈیٹا نہیں دیکھا جاتا ہے۔

اس مسئلے کو حل کرنا اس مقالے میں بعد میں متعارف کرائے گئے شور کنٹرول فریم ورک کے اہم محرکات میں سے ایک بن جاتا ہے۔

3.2.2 Langevin Dynamics کے ساتھ آہستہ مکسنگ

یہاں تک کہ درست اندازے کے اسکور کے باوجود، اگر ڈیٹا کی تقسیم میں متعدد، اچھی طرح سے امتیازی طریقوں پر مشتمل ہو تو نمونے لینا اب بھی مشکل ہے۔ اس کی وجہ یہ ہے کہ یہ صرف اسکور فراہم کرتا ہے۔ مقامی یہ اس سمت کے بارے میں معلومات ہے جس میں امکان بڑھتا ہے۔ یہ نمونہ لینے والے کو بتاتا ہے کہ موڈ کے اندر کیسے جانا ہے، لیکن دور کے طریقوں کے رشتہ دار امکانی بڑے پیمانے کی نشاندہی نہیں کرتا، جو بڑے کم کثافت والے علاقوں سے الگ ہوتے ہیں۔

نتیجے کے طور پر، Langevin کی حرکیات کو طریقوں کے درمیان منتقل ہونے میں دشواری ہو سکتی ہے اور غلط اختلاط کے تناسب کے ساتھ نمونے تیار کر سکتے ہیں۔ جب موڈ مکمل طور پر منقطع ہو جاتے ہیں، تو ایک موڈ کے اندر موجود سکور میں دوسرے موڈ کی موجودگی یا وزن کے بارے میں کوئی معلومات نہیں ہوتی ہیں۔ یہاں تک کہ جب طریقوں کو کمزور طور پر جوڑا جاتا ہے، درمیانی کم کثافت والے خطے میں منتقلی انتہائی نایاب ہوتی ہے، جس میں نمونہ لینے والے کے درست اسٹیشنری تقسیم تک پہنچنے سے پہلے بہت چھوٹے قدموں کے سائز اور بہت سے تکرار کی ضرورت ہوتی ہے۔

یہ کاغذ گاوسی مرکب کی مثال کا استعمال کرتے ہوئے اس طرز عمل کی وضاحت کرتا ہے۔ یہاں تک کہ اگر Langevin dynamics کو ایک درست سکور کا فنکشن دیا جاتا ہے، تو یہ ہر موڈ کو تفویض کردہ نمونوں کے حقیقی تناسب کو بحال نہیں کرتا ہے۔ یہ تجربہ ظاہر کرتا ہے کہ یہ حدود صرف اسکور کے غلط تخمینے کی وجہ سے نہیں ہیں۔ اس کے بجائے، یہ ان موروثی سست اختلاط کے مسائل کی عکاسی کرتا ہے جو اس وقت پیدا ہوتے ہیں جب بھی نمونے لینے کو بڑے، کم کثافت والے علاقوں سے گزرنا ہوتا ہے۔

پچھلے حصے سے پتہ چلتا ہے کہ اسکور کا تخمینہ ان خطوں میں ناقابل بھروسہ ہے جہاں تربیتی ڈیٹا بہت کم ہے۔ نیچے دی گئی انفوگرافک وضاحت کرتی ہے کہ یہ حدود نمونے لینے اور اگلے مراحل کو کیسے متاثر کرتی ہیں۔ ایک وسیع سمندر سے الگ تھلگ جزیرے کی تشبیہ کا استعمال کرتے ہوئے، ہم وضاحت کرتے ہیں کہ کیوں صرف مقامی ڈھلوان کی معلومات ہی دور کے طریقوں کے درمیان درست توازن کو بحال کرنے کے لیے ناکافی ہے۔

انفوگرافک اعلی کثافت کے موڈ کا موازنہ بڑے کم کثافت والے علاقوں سے الگ جزیرے سے کرتا ہے۔ ہر موڈ کے قریب سکور فیلڈ اس کے اعلی امکان کی نشاندہی کرتا ہے، لیکن دور کے طریقوں کی نسبتہ اہمیت کے بارے میں کوئی معلومات فراہم نہیں کرتا ہے۔ نتیجے کے طور پر، Langevin حرکیات کو ایک ہی علاقے میں محدود کیا جا سکتا ہے اور کم کثافت والے "صحرا” سے شاذ و نادر ہی گزرنا ممکن ہے۔

گاوسی مرکب کی مثال اس اثر کو ظاہر کرتی ہے۔ یہاں تک کہ اگر آپ ایک حقیقی اسکور فنکشن استعمال کرتے ہیں، تو نمونہ لینے والا صحیح اختلاط تناسب کو دوبارہ پیش نہیں کر سکے گا۔ یہ مشاہدات نمونے لینے کی حکمت عملیوں کی ضرورت کو تحریک دیتے ہیں جو کہ مکمل طور پر مقامی میلان پر انحصار کرنے کے بجائے پوری تقسیم کو قابل اعتماد طریقے سے تلاش کر سکیں۔

4. مجوزہ حل:

پچھلے حصے میں زیر بحث دو چیلنجز ایک ہی نتیجے کی طرف اشارہ کرتے ہیں۔ صرف اصل ڈیٹا کی تقسیم سے سیکھا گیا سکور فنکشن قابل اعتماد جنریٹو ماڈلنگ کے لیے کافی نہیں ہے۔

مصنفین دونوں حدود کو ایک مربوط حکمت عملی کے ذریعے حل کرتے ہیں جس کی بنیاد پر گاوسی شور کی متعدد سطحوں کے لیے سیکھنے کے اسکور ہوتے ہیں۔

4.1 شور والا مشروط اسکور نیٹ ورک

Gaussian شور کو شامل کرنے سے ڈیٹا کی تقسیم کی جیومیٹری کو بنیادی طور پر تبدیل کر دیا جاتا ہے۔ یہاں تک کہ معمولی الجھنیں بھی اس بات کو یقینی بناتی ہیں کہ تقسیم آس پاس کی جگہ کے لیے مکمل تعاون فراہم کرتی ہے، اسکور کے ملاپ کے لیے درکار ریاضیاتی مفروضوں کو بحال کرتی ہے۔

جیسے جیسے شور کی سطح میں اضافہ ہوتا ہے، پہلے خالی، کم کثافت والے علاقے تربیتی نمونوں سے بھر جاتے ہیں، جس سے ماڈل کو پوری جگہ پر معنی خیز اسکور کے تخمینے سیکھنے کی اجازت ملتی ہے، نہ صرف ڈیٹا کئی گنا کے قریب۔

اس خیال کو مؤثر طریقے سے استعمال کرنے کے لیے، مصنفین نے شور مشروط اسکور نیٹ ورک (NCSN) متعارف کرایا ہے۔ ہر پریشان کن تقسیم کے لیے ایک الگ ماڈل کی تربیت دینے کے بجائے، ایک واحد نیورل نیٹ ورک پورے شور کے اسپیکٹرم میں ایک متعلقہ سکور فنکشن سیکھتا ہے، شدید طور پر خراب نمونوں سے لے کر جو شور کی سطح کے مطابق ہوتے ہیں اور ماڈل میں آسان ہوتے ہیں، قدرے پریشان ہونے والے نمونوں تک جو اصل ڈیٹا سے ملتے جلتے ہیں۔

یہ سیکھے گئے سکور فیلڈز ایک درجہ بندی بناتے ہیں جو آہستہ آہستہ سادہ شور کی تقسیم کو حقیقی ڈیٹا کی تقسیم سے جوڑتا ہے۔

امیج جنریشن کے لیے، یہ مقالہ وسیع قبول کرنے والے شعبوں کے ساتھ گھنی پیشین گوئیوں کو یکجا کرنے کے لیے خستہ حال کنوولوشنز کے ساتھ U-Net طرز کے فن تعمیر کو اپناتا ہے۔ نیٹ ورک مشروط مثال کے طور پر نارملائزیشن کے ذریعے موجودہ شور کی سطح کو ایڈجسٹ کرتا ہے، جس سے ایک ہی ماڈل کو اپنی داخلی نمائندگی کو ایڈجسٹ کرنے اور گاوسی ہنگامہ آرائی کی ہر سطح کے لیے مناسب اسکور کی پیشن گوئی کرنے کی اجازت ملتی ہے۔

نمونے لینے کے دوران، پیداوار بلند ترین شور کی سطح کے ساتھ منسلک سکور فیلڈ سے شروع ہوتی ہے، جس میں تشریف لانا آسان ہوتا ہے، اور آہستہ آہستہ کم شور کی سطح پر منتقل ہوتا ہے کیونکہ نمونہ تیزی سے تشکیل پاتا ہے۔

چونکہ پے در پے شور کی سطحیں اسی طرح کی تقسیم کی وضاحت کرتی ہیں، اس لیے ہر قدم قدرتی طور پر اگلے مرحلے کو شروع کرتا ہے، جس سے ماڈل کو موٹے ڈھانچے کو حقیقت پسندانہ تصاویر میں بہتر کرنے کی اجازت ملتی ہے۔ نمونے لینے کی اس ترقی پسند حکمت عملی کو اینیلیڈ لینگیوین ڈائنامکس کے نام سے باقاعدہ شکل دی گئی ہے۔

نیچے دی گئی انفوگرافک اس پورے فریم ورک کا خلاصہ کرتی ہے۔ یہ ظاہر کرتا ہے کہ کس طرح بتدریج پریشان ہونے والی تصاویر کا ایک سلسلہ متعدد تربیتی تقسیم کو متعین کرتا ہے، کس طرح ایک NCSN کسی بھی شور کی سطح سے مطابقت رکھنے والے اسکور فیلڈ کو سیکھتا ہے، اور کس طرح ویٹڈ ڈینوائزنگ سکور میچنگ مقصد، نیٹ ورک آرکیٹیکچر، اور منی بیچ ٹریننگ کا طریقہ کار ایک ساتھ مل کر قابل بھروسہ گراڈینٹ سیکھنے کے لیے کام کرتا ہے اور اس کے بعد پورے ڈیٹا کو درست نہیں بناتا۔ تقسیم

4.2 سکور میچنگ کے ذریعے NCSN سیکھنا

مصنفین ایک شور مشروط سکور نیٹ ورک (NCSN) کو استعمال کرتے ہوئے تربیت دیتے ہیں: شور میں کمی کا سکور میچتاہم، انہوں نے اطلاع دی ہے کہ سلائس سکور میچنگ اسی طرح کی کارکردگی کو حاصل کرتی ہے۔

ہر گاؤسائی شور کی سطح کے لیے، نیٹ ورک ایک الگ ڈینوائزنگ مقصد کے ساتھ متعلقہ ہنگامہ خیز تقسیم کا سکور سیکھتا ہے۔ ان مقاصد کو پھر ایک ہی وزنی نقصان میں جوڑا جا سکتا ہے، جس سے ایک نیٹ ورک بیک وقت شور کی سطح کی پوری ترتیب کے سکور کا تخمینہ لگا سکتا ہے۔

چونکہ مجموعی مقصد صرف انفرادی نقصانات کا ایک وزنی مجموعہ ہے، اس لیے اسے بہتر بنانے سے تمام پریشان کن تقسیموں کے لیے درست سکور کا فنکشن بحال ہو جائے گا۔

تربیت کے دوران شور کی مختلف سطحوں کے تعاون کو متوازن کرنے کے لیے، ہر ہدف کو اس کے شور کے معیاری انحراف کے مربع، σ² سے وزن کیا جاتا ہے۔ یہ وزن بڑی شور والی تقسیم کو اصلاح پر غلبہ حاصل کرنے سے روکتے ہیں جبکہ اس بات کو یقینی بناتے ہیں کہ قدرے پریشان نمونے بااثر رہیں۔

نتیجہ خیز مقصد کو بہتر بنانا آسان ہے، قدرتی طور پر گہرے عصبی نیٹ ورکس تک پھیلا ہوا ہے، اور ایک قابل عمل نقصان فراہم کرتا ہے جسے مقداری ماڈل کے مقابلے کے لیے استعمال کیا جا سکتا ہے۔

4.3 اینیلڈ لینگیوین ڈائنامکس کے ساتھ این سی ایس این کا اندازہ

ایک بار شور کے مشروط اسکور نیٹ ورک نے شور کی تمام سطحوں پر اسکور سیکھ لیے، نئے نمونے استعمال کرکے تیار کیے جاتے ہیں: ٹیمپرڈ لینگوین میکینکس.

تھوڑا شور کے ساتھ ڈیٹا کی تقسیم سے براہ راست نمونہ لینے کی کوشش کرنے کے بجائے، الگورتھم خالص گاوسی شور سے شروع ہوتا ہے اور آہستہ آہستہ شور کی سطح کو کم کرنے کے سلسلے میں آگے بڑھتا ہے۔ ہر قدم پر، Langevin میکانکس اگلے مرحلے پر منتقل کرنے سے پہلے نمونے کو بہتر کرنے کے لیے موجودہ شور کی سطح کے مطابق اسکور کا استعمال کرتا ہے۔ جیسے جیسے شور آہستہ آہستہ کم ہوتا جاتا ہے، نمونے کسی نہ کسی طرح کے بے ترتیب نمونوں سے حقیقت پسندانہ ڈیٹا پوائنٹس کی طرف تیار ہوتے ہیں۔

یہ تدریجی حکمت عملی صرف حتمی شور کی سطح پر لینگوِن ڈائنامکس کو لاگو کرنے سے زیادہ قابل اعتماد ہونے کی اجازت دیتی ہے۔ زیادہ شور کی تقسیم ہموار اور نیویگیٹ کرنے میں آسان ہے، جس سے نمونہ لینے والے کو مختلف طریقوں کے درمیان آزادانہ طور پر منتقل ہونے اور پھر تیزی سے بہتر تفصیلات پر توجہ مرکوز کرنے کی اجازت ملتی ہے۔ چونکہ ملحقہ شور کی سطحیں اسی طرح کی تقسیم کی وضاحت کرتی ہیں، اس لیے ہر قدم اگلے مرحلے کے لیے ایک مضبوط آغاز فراہم کرتا ہے، جس سے عالمی ریسرچ سے درست تعمیر نو کی طرف ہموار منتقلی ہوتی ہے۔

پورے عمل کے دوران مستحکم اپ ڈیٹس کو برقرار رکھنے کے لیے، قدم کے سائز کو موجودہ شور کی سطح کے مربع کے طور پر ایڈجسٹ کیا جاتا ہے، جس سے سگنل سے شور کے تناسب کو پورے اینیلنگ شیڈول میں تقریباً مستقل رکھا جاتا ہے۔

یہ کاغذ گاوسی مرکب ماڈلز میں ان فوائد کو ظاہر کرتا ہے۔ جب کہ معیاری Langevin dynamics مختلف طریقوں کے درست تناسب کو بحال کرنے کے لیے جدوجہد کر رہی ہے، annealed Langevin dynamics کامیابی کے ساتھ اعلیٰ شور میں تلاش کی اجازت دے کر صحیح تقسیم کو محفوظ رکھتی ہے اس سے پہلے کہ شور کے کم ہوتے ہی نمونے کو بتدریج بہتر کیا جائے۔

مندرجہ ذیل جدول اس مقالے میں تجویز کردہ معیاری Langevin میکانکس اور annealed ورژن کے درمیان اہم فرق کو اجاگر کرتا ہے اور بتاتا ہے کہ قابل اعتماد سکور پر مبنی نسل کے لیے annealing کیوں ضروری ہے۔

مندرجہ ذیل انفوگرافک سے پتہ چلتا ہے کہ کس طرح annealed Langevin dynamics خالص شور کو حقیقت پسندانہ نمونوں میں تبدیل کرتا ہے۔ ہم پوری انفرنس پائپ لائن سے گزرتے ہیں، یہ بتاتے ہیں کہ شور کی مختلف سطحوں پر نمونے لینے سے کیسے ترقی ہوتی ہے، کیوں انتہائی پریشان کن تقسیم کے ساتھ شروع کرنے سے ایکسپلوریشن میں بہتری آتی ہے، اور کس طرح پروگریسو ڈینوائزنگ ماڈل کو ہر قدم پر تصویر کی تفصیل کو بہتر بناتے ہوئے درست موڈ ریشوز کو بحال کرنے کی اجازت دیتی ہے۔

انفوگرافکس ایک اعلیٰ سطحی وجدان سے شروع ہوتا ہے جہاں شور کی سطح کم ہونے کے ساتھ ہی تصادفی طور پر شور والی تصاویر آہستہ آہستہ واضح ہوتی جاتی ہیں۔ اس کے بعد ہم annealed Langevin dynamics algorithm پیش کرتے ہیں اور دکھاتے ہیں کہ کس طرح ہر شور کی سطح نمونے کو اگلی کم شور والی تقسیم میں منتقل کرنے سے پہلے متعدد Langevin اپ ڈیٹس انجام دیتی ہے۔

سینٹر پینل وضاحت کرتا ہے کہ یہ بتدریج شیڈول معیاری لینگیوِن ڈائنامکس کے غلط اختلاط کے رویے سے کیوں گریز کرتا ہے، جب کہ نیچے والا پینل ظاہر کرتا ہے کہ موٹے مجموعی ڈھانچے کو پہلے کیسے ظاہر ہوتا ہے، جس میں باریک بصری تفصیلات صرف آخری ڈینوائزنگ مرحلے میں ظاہر ہوتی ہیں۔

یہ مثالیں ظاہر کرتی ہیں کہ کیوں اینیلنگ نمونے لینے کے ایک مشکل مسئلے کو بہت آسان مسائل کے سلسلے میں تبدیل کرتی ہے، جس سے اسکور پر مبنی نسل قابل اعتماد اور موثر ہوتی ہے۔

4.4 اختتام سے آخر تک فن تعمیر کا جائزہ

اب تک ہم نے فریم ورک کے انفرادی حصوں پر بات کی ہے۔ ہم نے چھان بین کی کہ ماڈل کس طرح ایک سے زیادہ شور کی سطحوں میں اسکور کا فنکشن سیکھتا ہے اور سیکھے ہوئے اسکور کو بعد میں نئے نمونے بنانے کے لیے کیسے استعمال کیا جاتا ہے۔ اگلا مرحلہ ان اجزاء کو ایک واحد مربوط پائپ لائن کے طور پر دیکھنا ہے۔

نیچے دی گئی انفوگرافک وائٹ پیپر میں تجویز کردہ مجموعی فن تعمیر کا خلاصہ کرتی ہے، شروع سے آخر تک تربیت اور انفرنس ورک فلو کے بعد۔

ہم یہ دکھاتے ہیں کہ حقیقی تصاویر گاوسی شور سے کس طرح پریشان ہوتی ہیں، کس طرح شور سے مشروط اسکور نیٹ ورک ہر شور کی سطح کے مطابق اسکور فنکشن سیکھتا ہے، اور کیسے سیکھے گئے اسکورز کو بعد میں اینیلڈ لینگیوین ڈائنامکس کے ذریعے دوبارہ استعمال کیا جاتا ہے تاکہ خالص گاوسی شور کو حقیقت پسندانہ تصاویر میں تبدیل کیا جا سکے۔

فریم ورک کے سب سے خوبصورت پہلوؤں میں سے ایک سیکھنے اور نسل کے درمیان واضح علیحدگی ہے۔ تربیت کے دوران، نیٹ ورک براہ راست تصاویر کی ترکیب کرنے کی کوشش نہیں کرتا ہے۔ اس کے بجائے، ہم سکور کے افعال کی ایک سیریز سیکھتے ہیں، ہر ایک مختلف سطح کے شور سے منسلک ہوتا ہے۔ تخمینہ کے دوران، یہ سیکھے گئے اسکور کے تخمینے ہی نمونے لینے کے لیے درکار واحد رہنمائی بن جاتے ہیں، جس سے annealed Langevin dynamics کو آہستہ آہستہ شور کو دور کرنے کی اجازت ملتی ہے جب تک کہ حقیقت پسندانہ نمونے سامنے نہ آجائیں۔

لہٰذا، پورا جنریٹو عمل تربیت کے دوران سیکھے گئے اسی سکور فیلڈ پر انحصار کرتا ہے، جس کے نتیجے میں ایک سادہ اور مستقل تخلیقی ماڈل بنتا ہے۔

خاکہ کا بائیں جانب تربیت کے دوران ڈیٹا کے بہاؤ کو ظاہر کرتا ہے۔ حقیقی تصویر کو شور سے مشروط اسکور نیٹ ورک پر منتقل کرنے سے پہلے منتخب گاوسی شور کی سطح سے پریشان کیا جاتا ہے جو متعلقہ سکور ویکٹر فیلڈ کی پیش گوئی کرتا ہے۔ اس کے بعد پیشین گوئی کے اسکور کا موازنہ اسکور کے میچنگ مقصد سے کیا جاتا ہے اور نیٹ ورک کے پیرامیٹرز کو وزنی تربیتی مقصد کے ذریعے اپ ڈیٹ کیا جاتا ہے۔

دائیں طرف تخمینہ کا طریقہ کار دکھاتا ہے۔ نسل حقیقی تصویر کے بجائے خالص گاوسی شور سے شروع ہوتی ہے۔ Annealed Langevin dynamics کئی مراحل میں نمونوں کو بار بار سیکھے ہوئے اسکور کے تخمینے لگا کر بہتر کرتا ہے جبکہ آخری ڈیٹا کی تقسیم تک شور کی سطح کو آہستہ آہستہ کم کرتا ہے۔

یہ دو ورک فلو یہ ظاہر کرتے ہیں کہ کس طرح ایک ہی سیکھا ہوا سکور فنکشن ٹریننگ اور سیمپلنگ کو ایک مربوط جنریٹو فریم ورک سے جوڑتا ہے۔

5. تجربہ

تجربات اس بات کا جائزہ لیتے ہیں کہ آیا مجوزہ فریم ورک اپنے نظریاتی فوائد کو عملی پیداواری کارکردگی میں ترجمہ کر سکتا ہے۔ تصویر کے معیار کی پیمائش کرنے کے علاوہ، مصنفین اس بات کی تحقیقات کرتے ہیں کہ آیا شور شرابہ کنڈیشنل سکور نیٹ ورک (NCSN) اور اینیلڈ لینگیوین ڈائنامکس کا امتزاج پہلے سے شناخت شدہ مسائل کو کامیابی کے ساتھ حل کرتا ہے، مستحکم تربیت، قابل اعتماد نمونے لینے، اور متعدد ڈیٹاسیٹس میں مسابقتی امیج جنریشن پیدا کرتا ہے۔

تجزیہ MNIST، CelebA، اور CIFAR-10 پر کاغذ میں متعارف کرائی گئی کثیر شور والی تربیتی حکمت عملی کا استعمال کرتے ہوئے کیا جاتا ہے۔ مصنفین تیار کردہ نمونوں، انٹرمیڈیٹ ڈینوائزنگ ٹریجیکٹریز، امیج انپینٹنگ، قریبی پڑوسی کی تلاش، اور جدید ترین امکانات پر مبنی ماڈلز اور GANs کے ساتھ موازنہ کر کے معیار اور مقداری دونوں کارکردگی کا جائزہ لیتے ہیں۔ مجوزہ تربیتی اہداف اور نمونے لینے کی حکمت عملیوں کا آزادانہ طور پر جائزہ لینے کے لیے اضافی ایبلیشن اسٹڈیز ہر جزو کی شراکت کو الگ تھلگ کر سکتے ہیں۔

نتائج مستقل طور پر مجوزہ ڈیزائن کی حمایت کرتے ہیں۔ نمونے خالص شور سے حقیقت پسندانہ تصاویر تک بغیر کسی رکاوٹ کے تیار ہوتے ہیں، جب کہ قریبی پڑوسی کے تجزیہ سے پتہ چلتا ہے کہ ماڈل ٹریننگ سیٹ کو یاد رکھنے کے بجائے ڈیٹا کی بامعنی نمائندگی سیکھتا ہے۔

ابلیشن کے تجربات مزید بتاتے ہیں کہ ایک شور کی سطح کے ساتھ تربیت یا اینیلنگ کی حکمت عملی کو ہٹانے سے نمونے کے معیار کو نمایاں طور پر کم کیا جاتا ہے، اس بات کی تصدیق ہوتی ہے کہ ملٹی شور لرننگ اور اینیلڈ لینگیوین ڈائنامکس فریم ورک کے لازمی حصے ہیں۔

مقداری طور پر، ماڈل مندرجہ ذیل جدید ترین ابتدائی اسکور حاصل کرتا ہے: 8.87 اشاعت کے وقت CIFAR-10 کے لیے مقابلہ FID 25.32ہم یہ ظاہر کرتے ہیں کہ اسکور پر مبنی جنریٹو ماڈلنگ مخالف تربیت کی ضرورت کے بغیر سرکردہ جنریٹو ماڈلز کا مقابلہ کر سکتی ہے۔

ذیل میں انفوگرافک مقالے میں پیش کردہ تجرباتی تشخیص کا خلاصہ کرتا ہے۔ ہم یہ واضح کرنے کے لیے کہ مجوزہ فریم ورک عملی طور پر کیسے کام کرتا ہے اور کیوں ہر جزو مجموعی کامیابی میں حصہ ڈالتا ہے، ہم معیار کی مثالیں، مقداری معیارات، اور کم بیانی کے مطالعے کو اکٹھا کرتے ہیں۔

اعداد و شمار پورے نسل کے عمل کو دکھا کر شروع ہوتا ہے، جہاں نمونہ آہستہ آہستہ خالص گاوسی شور سے حقیقت پسندانہ اعداد، چہروں اور قدرتی امیجز تک تیار ہوتا ہے جیسے جیسے شور کی سطح کم ہوتی ہے۔ اس کے بعد ہم MNIST، CelebA، اور CIFAR-10 کے کلیدی تجرباتی نتائج کا خلاصہ کرتے ہیں، ان کے مسابقتی امیج کوالٹی اور کامیاب امیج ان پینٹنگ کو اجاگر کرتے ہیں۔

نیچے والا پینل مقداری میٹرکس کا جدید جنریٹو ماڈلز کے ساتھ موازنہ کرتا ہے اور ایک ایبیشن اسٹڈی پیش کرتا ہے جس سے یہ ظاہر ہوتا ہے کہ قابل اعتماد، اعلیٰ معیار کی نسل کے لیے کثیر شور کی تربیت اور اینیلڈ لینگیوین ڈائنامکس دونوں کی ضرورت ہے۔

یہ نتائج تجرباتی ثبوت فراہم کرتے ہیں کہ مجوزہ فریم ورک بامعنی سکور کی نمائندگی سیکھنے اور حقیقت پسندانہ نمونے تیار کرنے میں موثر ہے۔

تصویر میں پینٹنگ

غیر مشروط تصویر بنانے کے علاوہ، مصنفین یہ ظاہر کرتے ہیں کہ شور کنڈیشنل اسکور نیٹ ورک (NCSN) تصویر میں پینٹنگ بھی انجام دے سکتا ہے۔

annealed Langevin حرکیات میں قدرے ترمیم کرکے، ماڈل نمونے لینے کے پورے عمل میں مشاہدہ شدہ پکسلز کو محفوظ رکھتے ہوئے تصادفی طور پر گمشدہ شکلوں کے ساتھ خطوں کی تشکیل نو کرتا ہے۔

PixelCNN جیسے خود بخود اپروچ کے برعکس، جو ایک فکسڈ راسٹر اسکین آرڈر کے ساتھ امیجز تیار کرتے ہیں، NCSN قدرتی طور پر فاسد ماسک کو بغیر کسی پہلے سے طے شدہ جنریشن آرڈر کے ہینڈل کرتا ہے۔

یہ نتائج ظاہر کرتے ہیں کہ سیکھا ہوا سکور فیلڈ ڈیٹا کی تقسیم کے بارے میں کافی ساختی معلومات حاصل کرتا ہے تاکہ حقیقت پسندانہ تصویری ترکیب اور تصویر کی لچکدار بحالی دونوں کو سپورٹ کیا جا سکے۔

خام ڈیٹا سے حتمی نتائج تک

اس موقع پر، کاغذ نے ایک مکمل سکور پر مبنی جنریٹو فریم ورک متعارف کرایا اور دکھایا کہ یہ عملی طور پر کام کرتا ہے۔ کسی اختتامی بحث کی طرف بڑھنے سے پہلے، ایک قدم پیچھے ہٹنا اور ڈیٹا کی تیاری سے لے کر حتمی پیدا شدہ نتائج تک، ایک ہی ورک فلو کے طور پر پوری تجرباتی پائپ لائن کو دیکھنا مفید ہے۔

ذیل میں انفوگرافک پورے وائٹ پیپر میں استعمال ہونے والی عمل درآمد پائپ لائن کا خلاصہ کرتا ہے۔ نیٹ ورک کے اندرونی کاموں پر توجہ مرکوز کرنے کے بجائے، ہم خود ڈیٹا کے بہاؤ کی پیروی کرتے ہیں۔ ایک بینچ مارک ڈیٹاسیٹ تیار کیا جاتا ہے، کئی گاوسی شور لیولز بنائے جاتے ہیں، ماڈل کو ڈینوائزنگ سکور میچنگ کے ساتھ تربیت دی جاتی ہے، اور سیکھے ہوئے سکور فنکشن کو آخر میں اینیلڈ لینگیوین ڈائنامکس سے تصاویر بنانے اور بحال کرنے کے لیے استعمال کیا جاتا ہے۔ عمل کو آخر سے آخر تک دیکھنے سے انفرادی اجزاء کو ایک مربوط ٹریننگ اور انفرنس پائپ لائن میں جوڑنے میں مدد ملتی ہے۔

ورک فلو پورے کاغذ میں استعمال ہونے والے تین بینچ مارک ڈیٹاسیٹس سے شروع ہوتا ہے: MNIST، CelebA، اور CIFAR-10۔ سادہ پری پروسیسنگ کے بعد، بشمول پکسل نارملائزیشن اور ڈیٹا کو بڑھانے کے بعد، جہاں مناسب ہو، گاؤشیائی شور کی سطحوں کا ایک ہندسی ترتیب تیار کیا جاتا ہے تاکہ تربیت کی ایک پریشان کن تقسیم پیدا کی جا سکے۔ اس کے بعد ہم پہلے متعارف کرائے گئے وزن کے اہداف سے مماثل ڈینوائزنگ اسکور استعمال کرتے ہوئے ماڈل کو تربیت دیتے ہیں۔

تربیت مکمل ہونے کے بعد، سیکھے گئے اسکور کے فنکشن کا اندازہ مقداری میٹرکس جیسے Inception Score اور FID کا استعمال کرتے ہوئے کیا جاتا ہے، اس کے ساتھ معیار کے تجزیے بشمول پروگریسو ڈینوائزنگ، قریبی پڑوسی کی تلاش، اور امیج ان پینٹنگ۔

آخری مرحلہ فریم ورک کے ذریعہ تیار کردہ آؤٹ پٹ کو پیش کرتا ہے اور یہ ظاہر کرتا ہے کہ کس طرح ایک ہی ٹریننگ سکور فیلڈ غیر مشروط تصویر بنانے اور تصویر کی بحالی دونوں کی حمایت کرتا ہے۔

مصنفین مارکوف چین پر مبنی جنریٹو ماڈلز کے ایک وسیع خاندان کے اندر Noise Conditional Score Network (NCSN) کو پوزیشن دیتے ہیں، اسکور پر مبنی سیکھنے کے ذریعے متعارف کردہ تصوراتی تبدیلیوں پر زور دیتے ہیں۔

بہت سے موجودہ نقطہ نظر امکانات پر مبنی مقاصد کو بہتر بناتے ہیں یا تربیت کے دوران مہنگے مارکوف چین سمیولیشنز پر انحصار کرتے ہیں۔ دوسری طرف، NCSN سکور کی مماثلت کے ذریعے اسکور فنکشن کو براہ راست سیکھتا ہے اور اصلاح کے دوران تکراری نمونے لینے کی ضرورت کو ختم کرتے ہوئے، تخمینہ لگانے کے لیے نمونے لینے کو مکمل طور پر موخر کر دیتا ہے۔

تربیت اور نمونے لینے کے درمیان یہ علیحدگی زیادہ لچک فراہم کرتی ہے۔ مختلف اسکور کے تخمینے کے مقاصد کو بنیادی فریم ورک کو تبدیل کیے بغیر مختلف میلان پر مبنی نمونے لینے والے الگورتھم کے ساتھ ملایا جا سکتا ہے، جس سے تربیت کے طریقہ کار اور انفرنس الگورتھم کو آزادانہ طور پر تیار کیا جا سکتا ہے۔

مصنفین یہ بھی نوٹ کرتے ہیں کہ یہ فارمولیشن قدرتی طور پر توانائی پر مبنی ماڈلز تک پھیلی ہوئی ہے جس کے ذریعے اسکور فنکشن کو براہ راست سیکھ کر واضح امکانی تخمینہ کی ضرورت ہوتی ہے۔

اس مقالے میں، ہم NCSN کو پچھلے سکور کی مماثلت، متضاد ڈائیورجن، اور ٹرانزیشن آپریٹر کے طریقوں سے مزید ممتاز کرتے ہیں۔ یہ نقطہ نظر میلان یا مارکوف چینز پر بھی انحصار کرتے ہیں، لیکن بہت سے لوگوں کو تربیت کے دوران کمپیوٹیشنل طور پر مہنگے نمونے لینے کی ضرورت ہوتی ہے یا دوسرے مقاصد کے لیے تیار کیے گئے تھے۔

اسی طرح، جبکہ اینیلنگ کی پچھلی تکنیکوں کو آٹو اینکوڈرز کو ختم کرنے اور نمائندگی سیکھنے کے لیے تلاش کیا گیا ہے، مجوزہ اینیلڈ لینگیوین ڈائنامکس کو خاص طور پر اسکور پر مبنی جنریٹو ماڈلنگ کے لیے ڈیزائن کیا گیا ہے، جہاں یہ اعلیٰ معیار کے نمونے تیار کرنے میں مرکزی کردار ادا کرتا ہے۔

7. میراث: یہ دستاویز کیوں اہمیت رکھتی ہے۔

اگرچہ اس مقالے نے جنریٹو ماڈلنگ کے لیے ایک نیا طریقہ متعارف کرایا، لیکن اس کی سب سے بڑی شراکت کئی سال بعد تک ظاہر نہیں ہوئی۔ ایک الگ تھلگ تحقیقی نظریہ رہنے کے بجائے، اس نے بنیادی طور پر محققین کے شور سے پیدا ہونے کے طریقے کو تبدیل کر دیا ہے۔

یہ ظاہر کرتے ہوئے کہ متعدد شور کی سطحوں کے لیے سیکھنے کے سکور کے افعال براہ راست کثافت کے تخمینے کی جگہ لے سکتے ہیں، ہم ایک نئی سمت قائم کرتے ہیں جو جلد ہی تخلیقی AI میں غالب نمونوں میں سے ایک بن جائے گی۔

ذیل میں انفوگرافک اس کام کو ایک وسیع تر تاریخی تناظر میں رکھتا ہے۔ اس سے پتہ چلتا ہے کہ یہ مقالہ کس طرح دو اہم تحقیقی موضوعات کو جوڑتا ہے۔ ایک غیر متوازن تھرموڈینامکس اور بیک ڈفیوژن سے ماخوذ ہے، اور دوسرا شور مشروط اسکور نیٹ ورکس کے ذریعے سکور پر مبنی سیکھنے کو متعارف کرایا ہے۔

یہ خیالات سکور پر مبنی سٹاکسٹک تفریق مساوات (Score-SDE) کے فریم ورک میں تبدیل ہو گئے، جو ایک عام ریاضیاتی فارمولیشن کے تحت بازی کے ماڈلز اور سکور میچنگ کو مربوط کرتا ہے۔ ایک ہی وقت میں، انہی اصولوں نے Denoising Diffusion Probabilistic Models (DDPM) کو متاثر کیا ہے، جو ایک ہی بنیادی عمل کے متبادل مجرد وقتی فارمولیشن فراہم کرتے ہیں۔

انفوگرافک کاغذ کی اہم تکنیکی کامیابیوں کو بھی نمایاں کرتا ہے۔ ہم ایک ایسا عملی فریم ورک متعارف کراتے ہیں جو قابل اعتماد اصلاح، توسیع پذیر تربیت، اور اعلیٰ معیار کی امیج جنریشن کو بغیر کسی مخالفانہ تعلیم کے یکجا کرتا ہے۔ متعدد شور کی تربیت اور بہتر Langevin حرکیات کے ذریعے متنوع اور سست اختلاط کے مسئلے کو حل کرکے، یہ کاغذ اسکور پر مبنی جنریٹو ماڈلنگ کو ایک خوبصورت نظریاتی تصور سے عملی سیکھنے کے فریم ورک میں تبدیل کرتا ہے۔

شاید سب سے اہم پیغام یہ ہے کہ جدید ڈفیوژن ماڈلز کو ایک ہی بنیادی خیال پر مختلف نقطہ نظر کے طور پر بہترین طور پر دیکھا جاتا ہے۔ جبکہ ڈی ڈی پی ایم نسل کو آگے بڑھنے والے شور کے عمل کو ریورس کرنے کے طور پر بیان کرتا ہے، اسکور پر مبنی ماڈل ایک گریڈینٹ فیلڈ سیکھتے ہیں جو اس پسماندہ رفتار کی رہنمائی کرتا ہے۔ اگرچہ ان فارمولوں میں مختلف ریاضیاتی تاثرات ہوتے ہیں، لیکن یہ بالآخر ایک ہی پیدا کرنے والے طریقہ کار کو بیان کرتے ہیں اور بعد میں اسٹاکسٹک تفریق مساوات کے ذریعے متحد ہو گئے۔

آج کے بہت سے بااثر تخلیقی ماڈلز اپنی تصوراتی بنیادوں کو اس مقالے میں متعارف کرائے گئے خیالات سے پیچھے ہٹتے ہیں۔ کلاسیفائر گائیڈنس، کلاسیفائر فری گائیڈنس، سکور-ایس ڈی ای ماڈلز، امیجن، سٹیبل ڈفیوژن، اور بہت سے بعد کے ڈفیوژن سسٹم جیسی تکنیکیں یہاں قائم کردہ سکور پر مبنی اصولوں پر بنائی گئی ہیں۔ اس وجہ سے، اس کام کو وسیع پیمانے پر بنیادی کاغذات میں سے ایک سمجھا جاتا ہے جس نے جدید پھیلاؤ ماڈل ماحولیات کو تشکیل دیا۔

انفوگرافک کا بائیں جانب ڈفیوژن اسٹڈیز کے تاریخی ارتقاء کو ظاہر کرتا ہے، جس سے یہ ظاہر ہوتا ہے کہ کس طرح غیر متوازن تھرموڈینامکس میں ابتدائی کام اور اس مقالے کی اسکور پر مبنی فارمولیشنز نے اسکور-SDE اور DDPM کو آج کی ڈفیوژن ایکولوجی تک توسیع دینے سے پہلے ابھرا۔

دائیں طرف کاغذ کی کلیدی شراکتوں کا خلاصہ کرتا ہے اور اسکور پر مبنی اور پھیلاؤ کے نقطہ نظر کا موازنہ کرتا ہے، اس بات پر زور دیتے ہوئے کہ دونوں فریم ورک مختلف ریاضیاتی فارمولیشنوں کے ذریعے ایک ہی تخلیقی عمل کو بیان کرتے ہیں۔

ایک ٹائم لائن اور تصوراتی موازنہ کے ذریعے، ہم وضاحت کرتے ہیں کہ یہ کاغذ جدید تخلیقی AI کا سنگ بنیاد کیوں بن گیا۔

8. نتیجہ

اس مقالے میں، ہم اسکور پر مبنی جنریٹو ماڈلنگ کو امکانات پر مبنی ماڈلز اور جنریٹو ایڈورسریل نیٹ ورکس کے عملی متبادل کے طور پر سیکھنے کے لیے اسکور کی مماثلت اور نمونے لینے کے لیے Langevin حرکیات کو ملا کر قائم کرتے ہیں۔

اس فریم ورک کو حقیقی اعداد و شمار پر مؤثر طریقے سے لاگو کرنے کے لیے، مصنفین شور شرابہ کنڈیشنل سکور نیٹ ورک (NCSN) اور annealed Langevin dynamics متعارف کراتے ہیں تاکہ متعدد شور کی تربیت اور ترقی پسند نمونے لینے کے ذریعے سادہ سکور پر مبنی طریقوں کی حدود کو دور کیا جا سکے۔

نتیجہ خیز فریم ورک تربیت کے دوران مخالفانہ اصلاح اور نمونے لینے کی ضرورت کو ختم کرتا ہے جبکہ نیٹ ورک کے فن تعمیر کے لحاظ سے لچک کو برقرار رکھتا ہے اور قابل سیکھنے کے مقاصد فراہم کرتا ہے۔ MNIST، CelebA، اور CIFAR-10 پر تجربات ظاہر کرتے ہیں کہ یہ خیالات مسابقتی پیداواری کارکردگی میں ترجمہ کرتے ہیں، اشاعت کے وقت CIFAR-10 پر 8.87 کا جدید ترین ابتدائی اسکور حاصل کرتے ہیں۔

زیادہ اہم بات یہ ہے کہ اس مطالعے کی اہمیت تجرباتی نتائج سے کہیں زیادہ ہے۔ یہ ظاہر کرتے ہوئے کہ ایک سے زیادہ شور کی سطحوں پر سیکھنے کے سکور کے فنکشنز قابل توسیع پیدا کرنے والے ماڈلز کی بنیاد کے طور پر کام کر سکتے ہیں، اس مقالے نے کلیدی اصول متعارف کرائے جو بعد میں جدید ترین سکور پر مبنی ڈفیوژن ماڈلز میں تبدیل ہوں گے اور آج کی تخلیقی AI تحقیق پر بہت زیادہ اثر ڈالیں گے۔

9. اس کاغذ سے آگے: بازی ماڈلز کا ارتقاء

یہ جائزہ سونگ اور ایرمون کے 2019 کے مقالے پر مرکوز ہے، لیکن کہانی یہیں ختم نہیں ہوتی۔ یہاں متعارف کرائے گئے فریم ورک نے جنریٹو ماڈلنگ میں ایک اہم موڑ کا نشان لگایا، جس نے آنے والے سالوں میں اس شعبے کو نئی شکل دینے والی تیز رفتار ترقیوں کو متاثر کیا۔ ایک سے زیادہ شور کی سطحوں پر سکور کے فنکشن سیکھنے کے طریقے کے طور پر جو شروع ہوا وہ بالآخر پھیلاؤ والے ماڈلز کے خاندان میں تیار ہوا جو آج کے سب سے زیادہ قابل جنریٹو AI سسٹمز کو طاقت دیتا ہے۔

نیچے دی گئی ٹائم لائن اس دستاویز کو وسیع تر تاریخی پیشرفت کے اندر رکھتی ہے۔ یہ 2015 میں غیر متوازن تھرموڈینامکس پر فزکس سے متاثر کام کے ساتھ شروع ہوتا ہے، 2019 میں نوائس کنڈیشنل اسکور نیٹ ورکس کے تعارف کے ساتھ جاری رہتا ہے، اور ایک اہم سنگ میل کی پیروی کرتا ہے جس نے ایک عملی اور قابل توسیع نمونہ کے طور پر بازی ماڈلنگ کو قائم کیا۔ ان میں بڑے پیمانے پر ٹیکسٹ ٹو امیج ماڈلز جیسے DDPM, DDIM, Score-SDE، بہتر DDPM، درجہ بندی کرنے والے اور درجہ بندی سے پاک ہدایات، اویکت پھیلاؤ، امیجین، اور DALL·E 2 شامل ہیں۔

الگ تھلگ پیش رفتوں کی نمائندگی کرنے کے بجائے، یہ مقالے ایک جاری تحقیقی راستہ بناتے ہیں جس میں ہر نسل پچھلی نسل کی مختلف حدود کو دور کرتی ہے۔ ابتدائی کام نے ایک نظریاتی بنیاد قائم کی، اس مقالے نے دکھایا کہ سکور پر مبنی سیکھنے کو کس طرح عملی بنایا جا سکتا ہے، بعد میں کام نے ایک عام ریاضیاتی فریم ورک کے تحت مختلف فارمولیشنز کو مربوط کیا، اور بعد میں ہونے والی پیش رفت نے نمونے لینے کی شرح، تصویر کے معیار، کنٹرول کی صلاحیت، اور اسکیل ایبلٹی کو بہتر بنانے پر توجہ مرکوز کی۔

ایک ساتھ مل کر، یہ پیشرفت یہ ظاہر کرتی ہے کہ کس طرح ایک واحد تصوراتی تبدیلی — واضح امکانی کثافت کے بجائے سیکھنے کے میلان — جدید مشین لرننگ میں سب سے زیادہ اثر انگیز نمونوں میں سے ایک بن گئے۔

جدید پھیلاؤ کے نظام میں استعمال ہونے والی بہت سی تکنیکوں کا براہ راست اس مقالے میں متعارف کردہ اصولوں سے پتہ لگایا جا سکتا ہے، جس سے یہ تخلیقی AI کی تاریخ میں اہم سنگ میلوں میں سے ایک ہے۔

10. وسائل:

• PyTorch پھیلاؤ کا نفاذ (GitHub)

• اینیلڈ امپورٹنس سیمپلنگ (نیل، 2001)

• کم از کم امکان بہاؤ سیکھنا (Sohl-Dickstein، Battaglino & DeWeese، 2009)

• اسٹاکسٹک گریڈینٹ لینگیوین ڈائنامکس کے ساتھ بایسیئن سیکھنا (ویلنگ اینڈ ٹیہ، 2011)

• جنریٹیو ماڈل کے طور پر جنرلائزڈ ڈینوائزنگ آٹو اینکوڈر (Bengio et al.، 2013)

• غیر متوازن تھرموڈینامکس (Sohl-Dickstein et al.، 2015) کا استعمال کرتے ہوئے گہری غیر زیر نگرانی سیکھنے

• انجیکشن ٹریننگ کے ذریعے شور سے نمونے تیار کرنا سیکھنا (بورڈز، ہوناری اور ونسنٹ، 2017)

• A-NICE-MC: MCMC کے لیے مخالفانہ تربیت (گانا، زاؤ اور ایرمون، 2017)

• تغیراتی واک بیک: سٹوکاسٹک ریکرنٹ نیٹ کے ساتھ ٹرانزیشن آپریٹرز سیکھنا (گوئل ایٹ ال۔، 2017)

• گہری توانائی کا تخمینہ لگانے والا نیٹ ورک (ساریمی وغیرہ، 2018)

• توانائی پر مبنی ماڈلز کی مضمر تخلیق اور عام کرنا (Du & Mordatch، 2019)

• توانائی پر مبنی ماڈلز کے MCMC پر مبنی زیادہ سے زیادہ امکان سیکھنے کا تجزیہ (Nijkamp et al.، 2019)

• سلائس سکور کی مماثلت: کثافت اور اسکور کے تخمینے کے لیے ایک قابل توسیع نقطہ نظر (Song et al.، 2019)

مجھ سے رابطہ کریں