{"id":26033,"date":"2026-06-30T01:24:29","date_gmt":"2026-06-30T01:24:29","guid":{"rendered":"https:\/\/umang.pk\/2026\/06\/30\/%d8%ae%d9%88%d8%af%da%a9%d8%a7%d8%b1-%d8%aa%d8%ad%d9%82%db%8c%d9%82-%da%a9%db%92-%d8%b3%d8%a7%d8%aa%da%be-%d8%a7%d9%be%d9%86%db%92-llm-%d8%aa%d8%ac%d8%b1%d8%a8%d8%a7%d8%aa-%da%a9%d9%88-%da%86%d9%84\/"},"modified":"2026-06-30T01:24:31","modified_gmt":"2026-06-30T01:24:31","slug":"%d8%ae%d9%88%d8%af%da%a9%d8%a7%d8%b1-%d8%aa%d8%ad%d9%82%db%8c%d9%82-%da%a9%db%92-%d8%b3%d8%a7%d8%aa%da%be-%d8%a7%d9%be%d9%86%db%92-llm-%d8%aa%d8%ac%d8%b1%d8%a8%d8%a7%d8%aa-%da%a9%d9%88-%da%86%d9%84","status":"publish","type":"post","link":"https:\/\/umang.pk\/ur\/2026\/06\/30\/%d8%ae%d9%88%d8%af%da%a9%d8%a7%d8%b1-%d8%aa%d8%ad%d9%82%db%8c%d9%82-%da%a9%db%92-%d8%b3%d8%a7%d8%aa%da%be-%d8%a7%d9%be%d9%86%db%92-llm-%d8%aa%d8%ac%d8%b1%d8%a8%d8%a7%d8%aa-%da%a9%d9%88-%da%86%d9%84\/","title":{"rendered":"\u062e\u0648\u062f\u06a9\u0627\u0631 \u062a\u062d\u0642\u06cc\u0642 \u06a9\u06d2 \u0633\u0627\u062a\u06be \u0627\u067e\u0646\u06d2 LLM \u062a\u062c\u0631\u0628\u0627\u062a \u06a9\u0648 \u0686\u0644\u0627\u0646\u06d2 \u06a9\u06d2 \u0644\u06cc\u06d2 AI \u0627\u06cc\u062c\u0646\u0679 \u06a9\u06cc\u0633\u06d2 \u0628\u0646\u0627\u06cc\u0627 \u062c\u0627\u0626\u06d2\u06d4"},"content":{"rendered":"\n
\n

\u0627\u0646\u062f\u0631\u06cc\u062c \u06a9\u0627\u0631\u067e\u0627\u062a\u06be\u06cc \u06a9\u0648 \u0686\u0646\u062f \u0645\u0627\u06c1 \u0642\u0628\u0644 \u0631\u06c1\u0627 \u06a9\u06cc\u0627 \u06af\u06cc\u0627 \u062a\u06be\u0627\u06d4 \u062e\u0648\u062f\u06a9\u0627\u0631 \u062a\u062d\u0642\u06cc\u0642\u0627\u062a<\/strong>. \u06cc\u06c1 \u0627\u06cc\u06a9 \u0627\u0648\u067e\u0646 \u0633\u0648\u0631\u0633 \u067e\u0627\u0626\u062a\u06be\u0648\u0646 \u0679\u0648\u0644 \u06c1\u06d2 \u062c\u0648 AI \u0627\u06cc\u062c\u0646\u0679\u0648\u06ba \u06a9\u0648 \u0627\u06cc\u06a9 GPU \u067e\u0631 \u062a\u062c\u0631\u0628\u0627\u062a \u0686\u0644\u0627\u0646\u06d2 \u06a9\u06cc \u0627\u062c\u0627\u0632\u062a \u062f\u06cc\u062a\u0627 \u06c1\u06d2 \u062c\u0628 \u06a9\u06c1 \u0635\u0627\u0631\u0641\u06cc\u0646 \u067e\u06cc\u0686\u06be\u06d2 \u0628\u06cc\u0679\u06be \u06a9\u0631 \u0646\u062a\u0627\u0626\u062c \u06a9\u0627 \u0627\u0646\u062a\u0638\u0627\u0631 \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4<\/p>\n

\u062d\u0627\u0644 \u06c1\u06cc \u0645\u06cc\u06ba\u060c \u0645\u06cc\u06ba \u0646\u06d2 \u0679\u0648\u06cc\u0679\u0631 \u067e\u0631 \u0644\u0648\u06af\u0648\u06ba \u06a9\u0648 \u06cc\u06c1 \u0628\u062d\u062b \u06a9\u0631\u062a\u06d2 \u06c1\u0648\u0626\u06d2 \u062f\u06cc\u06a9\u06be\u0627 \u06c1\u06d2 \u06a9\u06c1 \u0622\u06cc\u0627 AI \u0627\u06cc\u062c\u0646\u0679\u0633 \u0627\u067e\u0646\u0627 \u0646\u0638\u0627\u0645 \u062e\u0648\u062f \u0628\u0646\u0627 \u0633\u06a9\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4 "\u0645\u0644\u06cc\u0646 \u0688\u0627\u0644\u0631 \u06a9\u0627 \u0622\u0626\u06cc\u0688\u06cc\u0627”<\/em> \u06cc\u0627 \u06a9\u0633\u06cc \u0686\u06cc\u0632 \u06a9\u06d2 \u0628\u0627\u0631\u06d2 \u0645\u06cc\u06ba \u06a9\u06be\u0644\u0627 \u067e\u0646\u062c\u06c1<\/em>. \u062a\u0627\u06c1\u0645\u060c \u0627\u06cc\u0633\u06d2 \u0630\u062e\u06cc\u0631\u06d2 \u0645\u0648\u062c\u0648\u062f \u06c1\u06cc\u06ba \u062c\u06c1\u0627\u06ba \u0622\u067e \u0627\u06cc\u06a9 \u062d\u0642\u06cc\u0642\u06cc GPT \u0679\u0631\u06cc\u0646\u0646\u06af \u0633\u06cc\u0679 \u0627\u067e \u06a9\u0633\u06cc \u0627\u06cc\u062c\u0646\u0679 \u06a9\u06d2 \u062d\u0648\u0627\u0644\u06d2 \u06a9\u0631 \u0633\u06a9\u062a\u06d2 \u06c1\u06cc\u06ba \u0627\u0648\u0631 \u0627\u0646 \u0633\u06d2 \u0627\u067e\u0646\u06cc \u062a\u062d\u0642\u06cc\u0642 \u062e\u0648\u062f \u06a9\u0631\u0646\u06d2 \u06a9\u0648 \u06a9\u06c1\u06c1 \u0633\u06a9\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4<\/p>\n

\u0622\u067e \u0628\u0646\u06cc\u0627\u062f\u06cc \u0637\u0648\u0631 \u067e\u0631 \u06a9\u0648\u0688 \u0645\u06cc\u06ba \u062a\u0631\u0645\u06cc\u0645 \u06a9\u0631\u0646\u06d2\u060c \u062a\u0631\u0628\u06cc\u062a \u062f\u06cc\u0646\u06d2\u060c \u0646\u0642\u0635\u0627\u0646\u0627\u062a \u06a9\u0648 \u067e\u0691\u06be\u0646\u06d2 \u0627\u0648\u0631 \u0646\u062a\u0627\u0626\u062c \u06a9\u06d2 \u0628\u0627\u0631\u06d2 \u0645\u06cc\u06ba \u0641\u06cc\u0635\u0644\u06c1 \u06a9\u0631\u0646\u06d2 \u06a9\u06d2 \u0639\u0645\u0644 \u06a9\u0648 \u062f\u06c1\u0631\u0627\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4 \u0627\u0648\u0631 \u06cc\u06c1 \u0633\u0628 \u06a9\u0686\u06be \u0627\u0633 \u0648\u0642\u062a \u06c1\u0648\u062a\u0627 \u06c1\u06d2 \u062c\u0628 \u0622\u067e \u0633\u0648 \u0631\u06c1\u06d2 \u06c1\u0648\u06ba \u06cc\u0627 \u06a9\u0648\u0626\u06cc \u0627\u0648\u0631 \u06a9\u0627\u0645 \u06a9\u0631 \u0631\u06c1\u06d2 \u06c1\u0648\u06ba\u06d4 \u0627\u0648\u0631 \u062d\u06cc\u0631\u062a \u0627\u0646\u06af\u06cc\u0632 \u0637\u0648\u0631 \u067e\u0631\u060c \u06cc\u06c1 \u0627\u0635\u0644 \u0645\u06cc\u06ba \u06a9\u0627\u0645 \u06a9\u0631\u062a\u0627 \u06c1\u06d2.<\/p>\n

12 \u0646\u0627\u0646\u0648 \u0686\u06cc\u0679 \u0628\u06cc\u0633 \u0644\u0627\u0626\u0646 \u06a9\u06cc \u06af\u06c1\u0631\u0627\u0626\u06cc \u0645\u06cc\u06ba (\u0645\u0632\u06cc\u062f "\u06af\u06c1\u0631\u0627\u0626\u06cc” \u06a9\u0627 \u0645\u0637\u0644\u0628 \u0628\u0639\u062f \u0645\u06cc\u06ba)\u060c \u0645\u06cc\u06ba \u0646\u06d2 \u06a9\u0627\u0631\u067e\u062a\u06be\u06cc \u06a9\u0648 \u062a\u0642\u0631\u06cc\u0628\u0627\u064b \u062f\u0648 \u062f\u0646 \u0686\u0644\u0646\u06d2 \u062f\u06cc\u0627\u06d4 \u062a\u0642\u0631\u06cc\u0628\u0627\u064b 700 \u062a\u062c\u0631\u0628\u0627\u062a \u0633\u06d2\u060c \u0627\u06cc\u062c\u0646\u0679 \u0646\u06d2 \u062a\u0642\u0631\u06cc\u0628\u0627\u064b 20 \u062a\u0628\u062f\u06cc\u0644\u06cc\u0627\u06ba \u062f\u0631\u06cc\u0627\u0641\u062a \u06a9\u06cc\u06ba \u062c\u0646\u06c1\u0648\u06ba \u0646\u06d2 \u0627\u0635\u0644 \u0645\u06cc\u06ba \u0645\u0627\u0688\u0644 \u06a9\u0648 \u0628\u06c1\u062a\u0631 \u06a9\u06cc\u0627\u060c \u0627\u0648\u0631 \u06cc\u06c1 \u062a\u0628\u062f\u06cc\u0644\u06cc\u0627\u06ba \u0627\u06cc\u06a9 \u062f\u0648\u0633\u0631\u06d2 \u06a9\u06d2 \u0633\u0627\u062a\u06be \u0627\u0648\u0648\u0631\u0644\u06cc\u067e \u06c1\u0648\u0626\u06cc\u06ba\u06d4<\/p>\n

\u0627\u0633 \u0645\u0636\u0645\u0648\u0646 \u0645\u06cc\u06ba\u060c \u06c1\u0645 \u062f\u06cc\u06a9\u06be\u06cc\u06ba \u06af\u06d2 \u06a9\u06c1 \u062e\u0648\u062f\u06a9\u0627\u0631 \u062a\u0641\u062a\u06cc\u0634 \u06a9\u06cc\u0627 \u06c1\u06d2\u060c \u06cc\u06c1 \u06a9\u06cc\u0648\u06ba \u0636\u0631\u0648\u0631\u06cc \u06c1\u06d2 \u06a9\u06c1 \u0622\u067e \u06a9\u0627\u0645\u06cc\u0627\u0628\u06cc \u06a9\u06cc \u067e\u06cc\u0645\u0627\u0626\u0634 \u06a9\u06cc\u0633\u06d2 \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba\u060c \u0622\u067e \u06a9\u06d2 \u0630\u062e\u06cc\u0631\u06d2 \u0645\u06cc\u06ba \u0645\u0648\u062c\u0648\u062f \u06c1\u0631 \u0641\u0627\u0626\u0644 \u062f\u0631\u0627\u0635\u0644 \u06a9\u06cc\u0627 \u06a9\u0631\u062a\u06cc \u06c1\u06d2\u060c \u0627\u06cc\u062c\u0646\u0679 \u06a9\u0648 \u06a9\u06cc\u0627 \u0631\u062c\u062d\u0627\u0646\u0627\u062a \u062f\u0631\u06cc\u0627\u0641\u062a \u06c1\u0648\u062a\u06d2 \u06c1\u06cc\u06ba\u060c \u0627\u0648\u0631 \u0627\u0633\u06d2 \u062e\u0648\u062f \u06a9\u0631\u0646\u06d2 \u06a9\u06d2 \u0644\u06cc\u06d2 \u0645\u0631\u062d\u0644\u06c1 \u0648\u0627\u0631 \u06af\u0627\u0626\u06cc\u0688\u06d4 \u0622\u062e\u0631 \u06a9\u0627\u0631\u060c \u0622\u067e \u0627\u06cc\u062c\u0646\u0679 \u06a9\u0648 \u0627\u067e\u0646\u06d2 GPU \u06a9\u06cc \u0637\u0631\u0641 \u0627\u0634\u0627\u0631\u06c1 \u06a9\u0631 \u06a9\u06d2 \u0627\u0633\u06d2 \u0686\u0644\u0627 \u0633\u06a9\u06cc\u06ba \u06af\u06d2\u06d4<\/p>\n

\u0627\u0646\u0688\u06cc\u06a9\u0633<\/strong><\/h2>\n

\u0634\u0631\u0637\u06cc\u06ba<\/strong><\/h2>\n

\u06cc\u06c1 \u0645\u0636\u0645\u0648\u0646 \u0627\u0633 \u0645\u062e\u0632\u0646 \u06a9\u06cc \u0645\u06a9\u0645\u0644 \u0648\u0627\u06a9 \u062a\u06be\u0631\u0648 \u06c1\u06d2\u06d4 \u0645\u0642\u0635\u062f \u0622\u062e\u0631 \u06a9\u0627\u0631 \u06cc\u06c1 \u0633\u0645\u062c\u06be\u0646\u0627 \u06c1\u06d2 \u06a9\u06c1 \u062e\u0648\u062f\u06a9\u0627\u0631 \u062a\u062d\u0642\u06cc\u0642 \u06a9\u06cc\u0627 \u06c1\u06d2 \u0627\u0648\u0631 \u0627\u0633\u06d2 \u0627\u067e\u0646\u06d2 \u06a9\u0645\u067e\u06cc\u0648\u0679\u0631 \u067e\u0631 \u06a9\u06cc\u0633\u06d2 \u0686\u0644\u0627\u06cc\u0627 \u062c\u0627\u0626\u06d2\u06d4<\/p>\n

\u0622\u067e \u06a9\u0648 \u067e\u06c1\u0644\u06d2 \u0633\u06d2 ML \u062a\u062d\u0642\u06cc\u0642\u06cc \u062a\u062c\u0631\u0628\u06d2 \u06a9\u06cc \u0636\u0631\u0648\u0631\u062a \u0646\u06c1\u06cc\u06ba \u06c1\u06d2\u060c \u0644\u06cc\u06a9\u0646 \u0627\u06af\u0631 \u0622\u067e \u0627\u06cc\u0633\u0627 \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba\u060c \u062a\u0648 \u0645\u06cc\u06ba \u0646\u06d2 \u062c\u0648 \u06af\u06c1\u0631\u06d2 \u062d\u0635\u06d2 \u0644\u06a9\u06be\u06d2 \u06c1\u06cc\u06ba \u0648\u06c1 \u0632\u06cc\u0627\u062f\u06c1 \u0645\u0639\u0646\u06cc \u062e\u06cc\u0632 \u06c1\u0648\u06ba \u06af\u06d2\u06d4 GPUs \u062c\u06cc\u0633\u06d2 GPU\u060c VRAM \u0627\u0648\u0631 H100\/A100\/4090 \u06a9\u0627 \u0628\u0646\u06cc\u0627\u062f\u06cc \u0639\u0644\u0645 \u06a9\u0627\u0641\u06cc \u06c1\u06d2\u06d4 \u0644\u06cc\u06a9\u0646 \u067e\u0631\u06cc\u0634\u0627\u0646 \u0646\u06c1 \u06c1\u0648\u06ba\u060c \u0645\u06cc\u06ba \u0646\u06d2 \u0627\u0646 \u062a\u0645\u0627\u0645 \u0627\u0635\u0637\u0644\u0627\u062d\u0627\u062a \u06a9\u06cc \u0648\u0636\u0627\u062d\u062a \u06a9\u06d2 \u0644\u06cc\u06d2 \u0630\u06cc\u0644 \u0645\u06cc\u06ba \u0645\u062a\u0646 \u06a9\u0627 \u062d\u0648\u0627\u0644\u06c1 \u062f\u06cc\u0627 \u06c1\u06d2 \u062c\u0648 \u0645\u06cc\u0631\u06d2 \u062e\u06cc\u0627\u0644 \u0645\u06cc\u06ba \u0627\u0628\u062a\u062f\u0627\u0626\u06cc \u0627\u0641\u0631\u0627\u062f \u06a9\u0648 \u0633\u0645\u062c\u06be\u0646\u0627 \u0686\u0627\u06c1\u06cc\u06d2\u06d4<\/p>\n

\u062e\u0648\u062f\u06a9\u0627\u0631 \u062a\u0641\u062a\u06cc\u0634 \u06a9\u06cc\u0627 \u06c1\u06d2\u061f<\/h2>\n

\u0633\u06cc\u062f\u06be\u06d2 \u0627\u0644\u0641\u0627\u0638 \u0645\u06cc\u06ba\u060c \u062e\u0648\u062f\u06a9\u0627\u0631 \u062a\u062d\u0642\u06cc\u0642 \u0635\u0631\u0641 \u0627\u06cc\u06a9 \u0645\u062e\u0635\u0648\u0635 \u062e\u06cc\u0627\u0644 \u06c1\u06d2 \u062c\u0648 \u0635\u0641\u0627\u0626\u06cc \u06a9\u06d2 \u0633\u0627\u062a\u06be \u0627\u0646\u062c\u0627\u0645 \u062f\u06cc\u0627 \u062c\u0627\u062a\u0627 \u06c1\u06d2\u06d4 \u0627\u06cc\u06a9 \u0686\u06be\u0648\u0679\u0627 \u0644\u06cc\u06a9\u0646 \u062d\u0642\u06cc\u0642\u062a \u067e\u0633\u0646\u062f\u0627\u0646\u06c1 LLM \u0679\u0631\u06cc\u0646\u0646\u06af \u0633\u06cc\u0679 \u0627\u067e \u0644\u06cc\u06ba\u060c \u0627\u0633\u06d2 \u0627\u06cc\u06a9 Python \u0641\u0627\u0626\u0644 \u0645\u06cc\u06ba \u0645\u062d\u0641\u0648\u0638 \u06a9\u0631\u06cc\u06ba\u060c \u0627\u0648\u0631 AI \u0627\u06cc\u062c\u0646\u0679 \u06a9\u0648 \u0627\u0633 \u0641\u0627\u0626\u0644 \u0645\u06cc\u06ba \u062a\u0631\u0645\u06cc\u0645 \u06a9\u0631\u0646\u06d2 \u062f\u06cc\u06ba\u06d4<\/p>\n

\u0627\u06cc\u062c\u0646\u0679 \u0641\u0627\u0626\u0644 \u0686\u0644\u0627\u062a\u0627 \u06c1\u06d2 \u0627\u0648\u0631 \u06a9\u06be\u0648\u0626\u06d2 \u06c1\u0648\u0626\u06d2 \u0645\u0648\u0627\u062f \u06a9\u0648 \u067e\u0691\u06be\u062a\u0627 \u06c1\u06d2\u06d4 \u0632\u0628\u0627\u0646 \u06a9\u06d2 \u0645\u0627\u0688\u0644 \u06a9\u06cc \u062a\u0631\u0628\u06cc\u062a \u06a9\u0631\u062a\u06d2 \u0648\u0642\u062a\u060c "\u0646\u0642\u0635\u0627\u0646” \u0635\u0631\u0641 \u0627\u06cc\u06a9 \u0639\u062f\u062f \u06c1\u0648\u062a\u0627 \u06c1\u06d2 \u062c\u0633 \u0633\u06d2 \u0627\u0646\u062f\u0627\u0632\u06c1 \u06c1\u0648\u062a\u0627 \u06c1\u06d2 \u06a9\u06c1 \u0645\u0627\u0688\u0644 \u0645\u062a\u0646 \u06a9\u06d2 \u0627\u06af\u0644\u06d2 \u062d\u0635\u06d2 \u06a9\u06cc \u06a9\u062a\u0646\u06cc \u0628\u0631\u06cc \u0637\u0631\u062d \u067e\u06cc\u0634 \u06af\u0648\u0626\u06cc \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u06d4 \u0632\u06cc\u0627\u062f\u06c1 \u0646\u0645\u0628\u0631 \u06a9\u0627 \u0645\u0637\u0644\u0628 \u06c1\u06d2 \u0646\u0627\u0642\u0635 \u0627\u0646\u062f\u0627\u0632\u06c1\u060c \u0627\u0648\u0631 0 \u06a9\u06d2 \u0642\u0631\u06cc\u0628 \u0646\u0645\u0628\u0631 \u06a9\u0627 \u0645\u0637\u0644\u0628 \u062a\u0642\u0631\u06cc\u0628\u0627\u064b \u0645\u06a9\u0645\u0644 \u0627\u0646\u062f\u0627\u0632\u06c1 \u06c1\u06d2\u06d4<\/p>\n

\u0679\u0631\u06cc\u0646\u0646\u06af \u0627\u06cc\u06a9 \u0645\u0627\u0688\u0644 \u06a9\u06d2 \u0644\u0627\u06a9\u06be\u0648\u06ba \u0627\u0646\u062f\u0631\u0648\u0646\u06cc \u0648\u0632\u0646 \u06a9\u0648 \u06a9\u0645 \u06a9\u0631\u0646\u06d2 \u06a9\u0627 \u0639\u0645\u0644 \u06c1\u06d2 \u062a\u0627\u06a9\u06c1 \u0627\u0633 \u062a\u0639\u062f\u0627\u062f \u06a9\u0648 \u06a9\u0645 \u06a9\u06cc\u0627 \u062c\u0627 \u0633\u06a9\u06d2\u06d4 \u0644\u06c1\u0630\u0627 \u062c\u0628 \u06a9\u0648\u0626\u06cc \u0627\u06cc\u062c\u0646\u0679 \u06a9\u06c1\u062a\u0627 \u06c1\u06d2 \u06a9\u06c1 \u0648\u06c1 "\u0646\u0642\u0635\u0627\u0646 \u067e\u0691\u06be\u062a\u06d2 \u06c1\u06cc\u06ba”\u060c \u062a\u0648 \u0627\u0633 \u06a9\u0627 \u0645\u0637\u0644\u0628 \u06c1\u06d2 \u06a9\u06c1 \u0648\u06c1 \u0627\u0633 \u0627\u0633\u06a9\u0648\u0631 \u06a9\u0648 \u062f\u06cc\u06a9\u06be\u062a\u06d2 \u06c1\u06cc\u06ba \u062a\u0627\u06a9\u06c1 \u06cc\u06c1 \u062a\u0639\u06cc\u0646 \u06a9\u06cc\u0627 \u062c\u0627 \u0633\u06a9\u06d2 \u06a9\u06c1 \u0627\u0646 \u06a9\u06cc \u062a\u0628\u062f\u06cc\u0644\u06cc\u0648\u06ba \u0646\u06d2 \u0645\u062f\u062f \u06a9\u06cc \u06cc\u0627 \u0646\u0642\u0635\u0627\u0646 \u067e\u06c1\u0646\u0686\u0627\u06cc\u0627\u06d4<\/p>\n

\u0627\u0633 \u0633\u06a9\u0648\u0631 \u06a9\u06cc \u0628\u0646\u06cc\u0627\u062f \u067e\u0631\u060c \u0627\u06cc\u062c\u0646\u0679 \u062a\u0639\u06cc\u0646 \u06a9\u0631\u062a\u0627 \u06c1\u06d2 \u06a9\u06c1 \u0622\u06cc\u0627 \u062a\u0628\u062f\u06cc\u0644\u06cc \u0645\u062f\u062f\u06af\u0627\u0631 \u062a\u06be\u06cc \u0627\u0648\u0631 \u067e\u06be\u0631 \u062a\u0628\u062f\u06cc\u0644\u06cc \u06a9\u0648 \u0628\u0631\u0642\u0631\u0627\u0631 \u0631\u06a9\u06be\u062a\u0627 \u06c1\u06d2 \u06cc\u0627 \u0648\u0627\u067e\u0633 \u06a9\u0631 \u062f\u06cc\u062a\u0627 \u06c1\u06d2\u06d4 \u067e\u06be\u0631 \u0645\u06cc\u06ba \u06a9\u0686\u06be \u0627\u0648\u0631 \u06a9\u0648\u0634\u0634 \u06a9\u0631\u062a\u0627 \u06c1\u0648\u06ba\u06d4<\/p>\n

\u0628\u06c1\u0627\u0624 \u0627\u0648\u067e\u0631 \u0633\u06d2 \u0646\u06cc\u0686\u06d2 \u06a9\u06cc \u0637\u0631\u0641 \u0627\u0633 \u0637\u0631\u062d \u062c\u0627\u062a\u0627 \u06c1\u06d2: \u0627\u06cc\u06a9 \u0627\u0646\u0633\u0627\u0646 (\u0622\u067e) \u0627\u06cc\u06a9 \u067e\u0644\u06d2 \u0628\u06a9 \u0644\u06a9\u06be\u062a\u0627 \u06c1\u06d2 (\u0627\u06cc\u06a9 \u0645\u0627\u0631\u06a9 \u0688\u0627\u0624\u0646 \u0641\u0627\u0626\u0644 \u062c\u0633\u06d2 program.md \u06a9\u06c1\u062a\u06d2 \u06c1\u06cc\u06ba) \u062c\u0648 \u0642\u0648\u0627\u0639\u062f \u06a9\u06cc \u0648\u0636\u0627\u062d\u062a \u06a9\u0631\u062a\u06cc \u06c1\u06d2\u06d4 AI \u0627\u06cc\u062c\u0646\u0679 \u0627\u0633 \u067e\u0644\u06d2 \u0628\u06a9 \u06a9\u0648 \u067e\u0691\u06be\u062a\u0627 \u06c1\u06d2 \u0627\u0648\u0631 \u062a\u062c\u0631\u0628\u06c1 \u0644\u0648\u067e \u0634\u0631\u0648\u0639 \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u06d4<\/p>\n

\u0644\u0648\u067e \u0645\u06cc\u06ba \u06c1\u0631 \u067e\u0627\u0633 \u067e\u0631\u060c \u0627\u06cc\u062c\u0646\u0679 \u0646\u0626\u06d2 \u0622\u0626\u06cc\u0688\u06cc\u0627\u0632 \u06a9\u06d2 \u0633\u0627\u062a\u06be \u0679\u0631\u06cc\u0646\u0646\u06af \u06a9\u0648\u0688 \u0645\u06cc\u06ba \u062a\u0631\u0645\u06cc\u0645 \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u060c 5 \u0645\u0646\u0679 \u062a\u06a9 \u0679\u0631\u06cc\u0646 \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u060c \u0646\u062a\u06cc\u062c\u06d2 \u0645\u06cc\u06ba \u0622\u0646\u06d2 \u0648\u0627\u0644\u06d2 \u0627\u0633\u06a9\u0648\u0631 \u067e\u0691\u06be\u062a\u0627 \u06c1\u06d2\u060c \u0641\u06cc\u0635\u0644\u06c1 \u06a9\u0631\u062a\u0627 \u06c1\u06d2 \u06a9\u06c1 \u062a\u0628\u062f\u06cc\u0644\u06cc\u0648\u06ba \u06a9\u0648 \u0628\u0631\u0642\u0631\u0627\u0631 \u0631\u06a9\u06be\u0646\u0627 \u06c1\u06d2 \u06cc\u0627 \u06a9\u0627\u0644\u0639\u062f\u0645 \u06a9\u0631\u0646\u0627\u060c \u0627\u0648\u0631 \u0646\u062a\u0627\u0626\u062c \u06a9\u0648 \u0646\u062a\u0627\u0626\u062c \u06a9\u06cc \u0641\u0627\u0626\u0644 \u0645\u06cc\u06ba \u0644\u06a9\u06be\u062a\u0627 \u06c1\u06d2\u06d4 \u067e\u06be\u0631 \u0648\u0627\u067e\u0633 \u0644\u0648\u067e \u06a9\u0631\u06cc\u06ba \u0627\u0648\u0631 \u0627\u06af\u0644\u0627 \u062e\u06cc\u0627\u0644 \u0622\u0632\u0645\u0627\u0626\u06cc\u06ba\u06d4<\/p>\n

\u0645\u06cc\u06ba \u06cc\u06c1 \u0627\u06cc\u06a9 \u06af\u06be\u0646\u0679\u06d2 \u0645\u06cc\u06ba \u0627\u06cc\u06a9 \u062f\u0631\u062c\u0646 \u0628\u0627\u0631 \u0627\u067e\u0646\u06d2 \u0633\u0627\u062a\u06be \u06a9\u0631\u062a\u0627 \u06c1\u0648\u06ba\u06d4 \u0644\u06c1\u0630\u0627 \u0627\u06af\u0631 \u0622\u067e \u0631\u0627\u062a \u0628\u06be\u0631 \u0633\u0648\u062a\u06d2 \u06c1\u06cc\u06ba\u060c \u062a\u0648 \u0622\u067e \u062a\u0642\u0631\u06cc\u0628\u0627\u064b 100 \u062a\u062c\u0631\u0628\u0627\u062a \u06a9\u0631 \u0633\u06a9\u062a\u06d2 \u06c1\u06cc\u06ba \u0627\u0648\u0631\u060c \u0627\u06af\u0631 \u0622\u067e \u062e\u0648\u0634 \u0642\u0633\u0645\u062a \u06c1\u06cc\u06ba\u060c \u062a\u0648 \u0635\u0628\u062d \u062a\u06a9 \u0627\u06cc\u06a9 \u0646\u0645\u0627\u06cc\u0627\u06ba \u0637\u0648\u0631 \u067e\u0631 \u0628\u06c1\u062a\u0631 \u0645\u0627\u0688\u0644 \u062d\u0627\u0635\u0644 \u06a9\u0631 \u0633\u06a9\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4<\/p>\n

\u0630\u062e\u06cc\u0631\u06c1 \u0627\u0633 \u0637\u0631\u062d \u0631\u06a9\u06be\u0627 \u06af\u06cc\u0627 \u06c1\u06d2 \u06a9\u06c1 \u0628\u0627\u0644\u06a9\u0644 \u0627\u06cc\u06a9 \u0646\u0648\u0628 \u06c1\u06d2 \u062c\u0633\u06d2 \u0627\u06cc\u062c\u0646\u0679 \u0645\u0648\u0691 \u0633\u06a9\u062a\u0627 \u06c1\u06d2\u06d4 \u0622\u067e \u0646\u0626\u06d2 \u067e\u06cc\u06a9\u062c\u0632 \u0627\u0646\u0633\u0679\u0627\u0644 \u0646\u06c1\u06cc\u06ba \u06a9\u0631 \u0633\u06a9\u062a\u06d2 \u06cc\u0627 \u0688\u06cc\u0679\u0627 \u06a9\u0648 \u0644\u0648\u0688 \u06a9\u0631\u0646\u06d2 \u06cc\u0627 \u0646\u0642\u0635\u0627\u0646 \u06a9\u06cc \u067e\u06cc\u0645\u0627\u0626\u0634 \u06a9\u0631\u0646\u06d2 \u06a9\u0627 \u0637\u0631\u06cc\u0642\u06c1 \u062a\u0628\u062f\u06cc\u0644 \u0646\u06c1\u06cc\u06ba \u06a9\u0631 \u0633\u06a9\u062a\u06d2\u06d4 \u06cc\u06c1 \u0633\u0628 \u062c\u0627\u0646 \u0628\u0648\u062c\u06be \u06a9\u0631 \u0628\u0646\u062f \u06a9\u0631 \u062f\u06cc\u0627 \u06af\u06cc\u0627 \u06c1\u06d2\u06d4 \u0635\u0631\u0641 \u0648\u06c1\u06cc \u0641\u0627\u0626\u0644\u06cc\u06ba \u062c\u0646 \u0645\u06cc\u06ba \u0627\u06cc\u062c\u0646\u0679 \u062a\u0631\u0645\u06cc\u0645 \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba: train.py<\/code> \u06cc\u06c1 \u0645\u0627\u0688\u0644 \u0622\u0631\u06a9\u06cc\u0679\u06cc\u06a9\u0686\u0631\u060c \u0622\u067e\u0679\u06cc\u0645\u0627\u0626\u0632\u0631\u060c \u0628\u06cc\u0686 \u0633\u0627\u0626\u0632\u060c \u0633\u06cc\u06a9\u06be\u0646\u06d2 \u06a9\u06cc \u0634\u0631\u062d\u060c \u0627\u0648\u0631 \u062e\u0648\u062f \u0679\u0631\u06cc\u0646\u0646\u06af \u0644\u0648\u067e \u06a9\u06cc \u0633\u0627\u062e\u062a \u067e\u0631 \u0645\u0634\u062a\u0645\u0644 \u06c1\u06d2\u06d4<\/p>\n

\u0627\u0633 \u0688\u06cc\u0632\u0627\u0626\u0646 \u06a9\u06d2 \u06a9\u0627\u0645 \u06a9\u0631\u0646\u06d2 \u06a9\u06cc \u0648\u062c\u06c1 \u06cc\u06c1\u06cc \u06c1\u06d2 \u06a9\u06c1 \u06a9\u0646\u0679\u0631\u0648\u0644 \u0634\u062f\u06c1 \u062a\u062c\u0631\u0628\u0627\u062a \u062a\u0645\u0627\u0645 \u0634\u0639\u0628\u0648\u06ba \u0645\u06cc\u06ba \u06a9\u0627\u0645 \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4 \u0627\u06af\u0631 \u0622\u067e \u06a9\u0627 \u0688\u06cc\u0679\u0627\u060c \u0645\u06cc\u0679\u0631\u06a9\u0633\u060c \u0627\u0648\u0631 \u0628\u062c\u0679 \u0633\u0628 \u0637\u06d2 \u0634\u062f\u06c1 \u06c1\u06cc\u06ba\u060c \u062a\u0648 \u0622\u067e \u06a9\u06d2 \u0646\u062a\u0627\u0626\u062c \u0645\u06cc\u06ba \u06a9\u0648\u0626\u06cc \u0628\u06be\u06cc \u062a\u0628\u062f\u06cc\u0644\u06cc \u0622\u067e \u06a9\u06d2 \u0627\u06cc\u062c\u0646\u0679\u0648\u06ba \u06a9\u06cc \u062a\u0628\u062f\u06cc\u0644\u06cc\u0648\u06ba \u0633\u06d2 \u06c1\u0648\u0646\u06cc \u0686\u0627\u06c1\u06cc\u06d2\u06d4 \u0627\u06cc\u062c\u0646\u0679 \u0627\u06cc\u06a9 \u0645\u062d\u062a\u0627\u0637 \u0645\u062d\u0642\u0642 \u06a9\u06cc \u0637\u0631\u062d \u0633\u0627\u0626\u0646\u0633 \u0686\u0644\u0627\u062a\u0627 \u06c1\u06d2\u060c \u0644\u06cc\u06a9\u0646 \u062a\u06be\u06a9\u06d2 \u0628\u063a\u06cc\u0631 \u0627\u0648\u0631 \u062f\u0648\u067e\u06c1\u0631 \u06a9\u06d2 \u06a9\u06be\u0627\u0646\u06d2 \u06a9\u06cc \u0636\u0631\u0648\u0631\u062a \u06a9\u06d2 \u0628\u063a\u06cc\u0631\u06d4<\/p>\n

\u06cc\u06c1 \u06a9\u06cc\u0648\u06ba \u0627\u06c1\u0645\u06cc\u062a \u0631\u06a9\u06be\u062a\u0627 \u06c1\u06d2\u06d4<\/h2>\n

\u0627\u0633\u06d2 \u0635\u0631\u0641 \u0627\u06cc\u06a9 \u0627\u0648\u0631 \u0627\u06cc\u062c\u0646\u0679 \u0688\u06cc\u0645\u0648 \u06a9\u06d2 \u0637\u0648\u0631 \u067e\u0631 \u067e\u0691\u06be\u0646\u0627 \u067e\u0631\u06a9\u0634\u0634 \u06c1\u06d2\u06d4 \u0644\u06cc\u06a9\u0646 \u0627\u06cc\u0633\u0627 \u0646\u06c1\u06cc\u06ba \u06c1\u06d2\u06d4 \u0648\u062c\u06c1 \u0645\u06cc\u0679\u0631\u06a9\u0633 \u0645\u06cc\u06ba \u06c1\u06d2\u06d4 \u0627\u0633 \u0645\u06cc\u0679\u0631\u06a9 \u06a9\u0648 val_bpb \u06a9\u06c1\u0627 \u062c\u0627\u062a\u0627 \u06c1\u06d2\u060c \u062c\u0633 \u06a9\u0627 \u0645\u0637\u0644\u0628 \u06c1\u06d2 \u062a\u0648\u062b\u06cc\u0642 \u0628\u0679\u0633 \u0641\u06cc \u0628\u0627\u0626\u0679\u06d4 \u06cc\u06c1 \u0627\u0633\u06a9\u0648\u0631 \u06a9\u0631\u0646\u06d2 \u06a9\u0627 \u0627\u06cc\u06a9 \u0645\u062e\u0635\u0648\u0635 \u0637\u0631\u06cc\u0642\u06c1 \u06c1\u06d2 \u06a9\u06c1 \u0627\u06cc\u06a9 \u0645\u0627\u0688\u0644 \u0645\u062a\u0646 \u06a9\u06cc \u06a9\u062a\u0646\u06cc \u0627\u0686\u06be\u06cc \u0637\u0631\u062d \u067e\u06cc\u0634 \u06af\u0648\u0626\u06cc \u06a9\u0631\u062a\u0627 \u06c1\u06d2 \u062c\u0633 \u0646\u06d2 \u062a\u0631\u0628\u06cc\u062a \u06a9\u06d2 \u062f\u0648\u0631\u0627\u0646 \u06a9\u0628\u06be\u06cc \u0646\u06c1\u06cc\u06ba \u062f\u06cc\u06a9\u06be\u0627 ("\u062a\u0648\u062b\u06cc\u0642” \u0633\u06cc\u0679)\u06d4<\/p>\n

\u06c1\u0645 \u0627\u06af\u0644\u06d2 \u062d\u0635\u06d2 \u0645\u06cc\u06ba \u062d\u0633\u0627\u0628 \u06a9\u06cc \u0645\u0632\u06cc\u062f \u062a\u0641\u0635\u06cc\u0644 \u0633\u06d2 \u0648\u0636\u0627\u062d\u062a \u06a9\u0631\u06cc\u06ba \u06af\u06d2\u060c \u0644\u06cc\u06a9\u0646 \u0627\u06cc\u06a9 \u0633\u0637\u0631\u06cc \u0648\u0631\u0698\u0646 \u067e\u06cc\u0645\u0627\u0626\u0634 \u06a9\u0631\u062a\u0627 \u06c1\u06d2 \u06a9\u06c1 \u0645\u0627\u0688\u0644 \u06a9\u0648 \u0645\u062a\u0646 \u06a9\u06d2 \u06c1\u0631 \u0628\u0627\u0626\u0679 \u06a9\u0648 \u0627\u0646\u06a9\u0648\u0688 \u06a9\u0631\u0646\u06d2 \u06a9\u06d2 \u0644\u06cc\u06d2 \u0627\u0648\u0633\u0637\u0627\u064b \u06a9\u062a\u0646\u06d2 \u0628\u0679\u0633 \u06a9\u06cc \u0645\u0639\u0644\u0648\u0645\u0627\u062a \u06a9\u06cc \u0636\u0631\u0648\u0631\u062a \u06c1\u06d2\u06d4 \u062c\u062a\u0646\u0627 \u06a9\u0645 \u06c1\u0648 \u0627\u062a\u0646\u0627 \u06c1\u06cc \u0627\u0686\u06be\u0627\u06d4 \u06a9\u0645 val_bpb \u06a9\u0627 \u0645\u0637\u0644\u0628 \u06c1\u06d2 \u06a9\u06c1 \u0645\u0627\u0688\u0644 \u0627\u0635\u0644 \u0645\u062a\u0646 \u0633\u06d2 \u06a9\u0645 \u062d\u06cc\u0631\u0627\u0646 \u06c1\u0648\u062a\u0627 \u06c1\u06d2\u060c \u062c\u0648 \u06a9\u06c1 \u0645\u062c\u0645\u0648\u0639\u06cc \u0645\u0642\u0635\u062f \u06c1\u06d2\u06d4<\/p>\n

\u06a9\u0627\u0631\u067e\u06cc\u062a\u06be\u06cc \u06a9\u06cc \u0648\u062c\u06c1 \u0633\u06d2 \u062a\u0631\u0628\u06cc\u062a \u0645\u06cc\u06ba \u06a9\u0645\u06cc \u06a9\u06d2 \u0628\u062c\u0627\u0626\u06d2 \u0628\u0679\u0633 \u0641\u06cc \u0628\u0627\u0626\u0679 \u0627\u0633\u062a\u0639\u0645\u0627\u0644 \u06c1\u0648\u062a\u06cc \u06c1\u06d2 \u06a9\u06cc\u0648\u0646\u06a9\u06c1 \u0627\u0644\u0641\u0627\u0638 \u06a9\u0648 \u062a\u0628\u062f\u06cc\u0644 \u06a9\u0631\u0646\u06d2 \u0633\u06d2 \u0628\u0679\u0633 \u0641\u06cc \u0628\u0627\u0626\u0679 \u0646\u06c1\u06cc\u06ba \u0628\u062f\u0644\u062a\u06d2\u060c \u0627\u0633 \u0644\u06cc\u06d2 \u062f\u0648 \u0628\u0627\u0644\u06a9\u0644 \u0645\u062e\u062a\u0644\u0641 \u0645\u0627\u0688\u0644\u0632 \u06a9\u0627 \u0627\u0628 \u0628\u06be\u06cc \u06a9\u0627\u0641\u06cc \u0645\u0648\u0627\u0632\u0646\u06c1 \u06a9\u06cc\u0627 \u062c\u0627 \u0633\u06a9\u062a\u0627 \u06c1\u06d2\u06d4 "\u0646\u0686\u0644\u0627 \u0628\u06c1\u062a\u0631 \u06c1\u06d2” \u062d\u0635\u06c1 \u0627\u0648\u0631 "\u0644\u063a\u062a \u0633\u06d2 \u0622\u0632\u0627\u062f” \u062d\u0635\u06c1 \u062f\u0648 \u0627\u0644\u06af \u0627\u0644\u06af \u062e\u0635\u0648\u0635\u06cc\u0627\u062a \u06c1\u06cc\u06ba\u06d4 \u062f\u0648\u0646\u0648\u06ba \u0645\u06cc\u0679\u0631\u06a9\u0633 \u06c1\u06cc\u06ba\u06d4<\/p>\n

\u062c\u0628 \u06c1\u0645 \u06a9\u06c1\u062a\u06d2 \u06c1\u06cc\u06ba \u06a9\u06c1 \u0627\u0633 \u0631\u06cc\u067e\u0648\u0632\u0679\u0631\u06cc \u0645\u06cc\u06ba \u0688\u06cc\u0641\u0627\u0644\u0679 \u0645\u0627\u0688\u0644 "\u062a\u0642\u0631\u06cc\u0628\u0627\u064b 1.00 bpb \u062a\u06a9 \u067e\u06c1\u0646\u0686 \u062c\u0627\u062a\u0627 \u06c1\u06d2”\u060c \u062a\u0648 \u06c1\u0645\u0627\u0631\u0627 \u0645\u0637\u0644\u0628 \u06c1\u06d2 \u06a9\u06c1 5 \u0645\u0646\u0679 \u06a9\u06d2 \u0644\u06cc\u06d2 \u0688\u06cc\u0641\u0627\u0644\u0679 \u0628\u06cc\u0626\u0631 \u0628\u0648\u0646\u0632 \u0679\u0631\u06cc\u0646\u0646\u06af \u0627\u0633\u06a9\u0631\u067e\u0679 \u06a9\u0648 \u0686\u0644\u0627\u0646\u06d2 \u06a9\u06d2 \u0646\u062a\u06cc\u062c\u06d2 \u0645\u06cc\u06ba \u0645\u0627\u0688\u0644 \u0627\u0633 \u0645\u06cc\u0679\u0631\u06a9 \u06a9\u06d2 \u0644\u06cc\u06d2 \u062a\u0642\u0631\u06cc\u0628\u0627\u064b 1.00 \u06a9\u0627 \u0633\u06a9\u0648\u0631 \u067e\u06cc\u062f\u0627 \u06a9\u0631\u06d2 \u06af\u0627\u060c \u062c\u06cc\u0633\u0627 \u06a9\u06c1 \u062a\u0648\u062b\u06cc\u0642 \u06a9\u06d2 \u0645\u062a\u0646 \u067e\u0631 \u0645\u0627\u067e\u0627 \u062c\u0627\u062a\u0627 \u06c1\u06d2\u06d4 \u06cc\u06c1 \u0622\u067e \u06a9\u06cc \u0627\u0628\u062a\u062f\u0627\u0626\u06cc \u0644\u0627\u0626\u0646 \u06c1\u06d2\u06d4<\/p>\n

\u0648\u06c1\u0627\u06ba \u0633\u06d2\u060c 0.005bpb (\u062a\u0642\u0631\u06cc\u0628\u0627\u064b 0.995 \u067e\u0648\u0627\u0626\u0646\u0679\u0633) \u06a9\u06cc \u0628\u06c1\u062a\u0631\u06cc \u0627\u06cc\u06a9 \u0686\u06be\u0648\u0679\u06cc \u0644\u06cc\u06a9\u0646 \u062d\u0642\u06cc\u0642\u06cc \u062c\u06cc\u062a \u06c1\u06d2\u060c \u0627\u0648\u0631 \u0648\u06c1 \u0642\u0633\u0645 \u062c\u0648 \u0627\u06cc\u062c\u0646\u0679\u0648\u06ba \u06a9\u0648 \u0627\u06a9\u062b\u0631 \u0645\u0644\u062a\u06cc \u06c1\u06d2\u06d4 0.05 \u06a9\u06cc \u0628\u06c1\u062a\u0631\u06cc (0.95 \u06a9\u06d2 \u0642\u0631\u06cc\u0628 \u0627\u0633\u06a9\u0648\u0631) \u0628\u06c1\u062a \u0628\u0691\u06cc \u06c1\u0648\u06af\u06cc\u06d4 \u06cc\u06c1 \u0627\u06cc\u06a9 \u0686\u06be\u0644\u0627\u0646\u06af \u06c1\u06d2 \u062c\u0648 \u0639\u0627\u0645 \u0637\u0648\u0631 \u067e\u0631 \u0635\u0631\u0641 \u0628\u06c1\u062a \u0628\u0691\u06d2 \u0645\u0627\u0688\u0644\u0632 \u06cc\u0627 \u0632\u06cc\u0627\u062f\u06c1 \u0644\u0645\u0628\u06cc \u0679\u0631\u06cc\u0646\u0646\u06af \u0631\u0646\u0632 \u06a9\u06d2 \u0633\u0627\u062a\u06be \u062d\u0627\u0635\u0644 \u06a9\u06cc \u062c\u0627\u0633\u06a9\u062a\u06cc \u06c1\u06d2\u06d4 \u0644\u06c1\u0630\u0627 \u062a\u0639\u062f\u0627\u062f \u0686\u06be\u0648\u0679\u06cc \u0644\u06af \u0633\u06a9\u062a\u06cc \u06c1\u06d2\u060c \u0644\u06cc\u06a9\u0646 \u0627\u0633 \u067e\u06cc\u0645\u0627\u0646\u06d2 \u067e\u0631\u060c \u0641\u06cc \u06c1\u0632\u0627\u0631 \u06a9\u06d2 \u062d\u0635\u06d2 \u0648\u0627\u0642\u0639\u06cc \u0627\u06c1\u0645 \u06c1\u06cc\u06ba.<\/p>\n

\u06cc\u06c1\u0627\u06ba \u06cc\u06c1 \u06c1\u06d2 \u06a9\u06c1 \u0627\u0633 \u0645\u062e\u0635\u0648\u0635 \u0646\u0645\u0628\u0631 \u06a9\u0648 \u0628\u06c1\u062a\u0631 \u0628\u0646\u0627\u0646\u0627 \u06a9\u06cc\u0648\u06ba \u0636\u0631\u0648\u0631\u06cc \u06c1\u06d2: \u0627\u06cc\u062c\u0646\u0679 \u0645\u0635\u0646\u0648\u0639\u06cc \u0644\u06cc\u0688\u0631 \u0628\u0648\u0631\u0688\u0632 \u06a9\u0627 \u067e\u06cc\u0686\u06be\u0627 \u0646\u06c1\u06cc\u06ba \u06a9\u0631 \u0631\u06c1\u0627 \u06c1\u06d2 \u062c\u0648 \u0645\u062d\u0642\u0642\u06cc\u0646 \u0646\u06d2 \u06af\u06cc\u0645 \u06a9\u06be\u06cc\u0644\u0646\u06d2 \u06a9\u06d2 \u0633\u0627\u0644\u0648\u06ba \u0645\u06cc\u06ba \u0628\u0646\u0627\u0626\u06d2 \u06c1\u06cc\u06ba\u06d4 2019 \u0645\u06cc\u06ba GPT-2 \u06a9\u06d2 \u0628\u0639\u062f \u0633\u06d2\u060c \u062a\u0645\u0627\u0645 \u0628\u0691\u06d2 \u0644\u06cc\u0646\u06af\u0648\u06cc\u062c \u0645\u0627\u0688\u0644\u0632 \u0627\u0633\u06cc \u0642\u0633\u0645 \u06a9\u06d2 \u062a\u0635\u062f\u06cc\u0642\u06cc \u0646\u0642\u0635\u0627\u0646 \u06a9\u06d2 \u0648\u06a9\u0631 \u06a9\u0648 \u06a9\u0645 \u06a9\u0631 \u0631\u06c1\u06d2 \u06c1\u06cc\u06ba \u062c\u0633 \u067e\u0631 \u0627\u0646\u06c1\u06cc\u06ba \u062a\u0631\u0628\u06cc\u062a \u062f\u06cc \u06af\u0626\u06cc \u062a\u06be\u06cc\u06d4<\/p>\n

"\u0646\u0642\u0635\u0627\u0646 \u06a9\u0627 \u0645\u0646\u062d\u0646\u06cc \u062e\u0637\u0648\u0637” \u062a\u0631\u0628\u06cc\u062a \u06a9\u06d2 \u062f\u0648\u0631\u0627\u0646 \u0622\u067e \u06a9\u06d2 \u06af\u0631\u0646\u06d2 \u0648\u0627\u0644\u06d2 \u0627\u0633\u06a9\u0648\u0631 \u06a9\u0627 \u0635\u0631\u0641 \u0627\u06cc\u06a9 \u067e\u0644\u0627\u0679 \u06c1\u06d2\u060c \u0627\u0648\u0631 "\u062c\u06cc \u067e\u06cc \u0679\u06cc-2 \u06a9\u06d2 \u0628\u0639\u062f \u0627\u06cc\u0644 \u0627\u06cc\u0644 \u0627\u06cc\u0645 \u06a9\u06cc \u0644\u06c1\u0631” \u0627\u0633 \u062d\u0642\u06cc\u0642\u062a \u06a9\u0627 \u0634\u0627\u0631\u0679 \u06c1\u06cc\u0646\u0688 \u06c1\u06d2 \u06a9\u06c1 \u0628\u0646\u06cc\u0627\u062f\u06cc \u0637\u0648\u0631 \u067e\u0631 GPT-2 \u0633\u06d2 \u0644\u06d2 \u06a9\u0631 \u0622\u062c \u06a9\u06d2 \u0641\u0631\u0646\u0679\u06cc\u0626\u0631 \u0645\u0627\u0688\u0644\u0632 \u062a\u06a9 \u062a\u0645\u0627\u0645 \u062a\u0631 \u067e\u06cc\u0634\u0631\u0641\u062a \u0627\u0646 \u0644\u0648\u06af\u0648\u06ba \u06a9\u06cc \u0637\u0631\u0641 \u0633\u06d2 \u06c1\u0648\u0626\u06cc \u06c1\u06d2 \u062c\u0648 \u0627\u0633\u06cc \u0645\u0642\u062f\u0627\u0631 \u06a9\u06d2 \u062d\u0633\u0627\u0628 \u0633\u06d2 \u0648\u06a9\u0631 \u06a9\u0648 \u062a\u06cc\u0632 \u06cc\u0627 \u06a9\u0645 \u06a9\u0631\u0646\u06d2 \u06a9\u06d2 \u0637\u0631\u06cc\u0642\u06d2 \u062a\u0644\u0627\u0634 \u06a9\u0631 \u0631\u06c1\u06d2 \u06c1\u06cc\u06ba\u06d4 \u0627\u06cc\u062c\u0646\u0679 \u0628\u0627\u0644\u06a9\u0644 \u0627\u0633\u06cc \u0637\u0631\u062d \u06a9\u06d2 \u0645\u0633\u0627\u0626\u0644 \u06a9\u0648 \u0686\u06be\u0648\u0679\u06d2\u060c \u062a\u06cc\u0632 \u0627\u0648\u0631 \u0633\u0633\u062a\u06d2 \u067e\u06cc\u0645\u0627\u0646\u06d2 \u067e\u0631 \u062d\u0644 \u06a9\u0631 \u0631\u06c1\u06d2 \u06c1\u06cc\u06ba\u06d4<\/p>\n

\u06cc\u06c1 \u0648\u06c1\u06cc \u06c1\u06d2 \u062c\u0648 \u0627\u06af\u0644\u06d2 \u062d\u0635\u06d2 \u06a9\u0648 \u0628\u06c1\u062a \u062d\u06cc\u0631\u0627\u0646 \u06a9\u0646 \u0628\u0646\u0627\u062a\u0627 \u06c1\u06d2\u06d4 \u0627\u0633 \u06a9\u0627 \u0645\u0637\u0644\u0628 \u06c1\u06d2 12 \u0645\u0627\u0688\u0644 \u06a9\u06cc \u0627\u06cc\u06a9 \u0686\u06be\u0648\u0679\u06cc \u0633\u06cc \u06af\u06c1\u0631\u0627\u0626\u06cc \u062c\u06c1\u0627\u06ba \u062a\u0631\u0645\u06cc\u0645 \u06a9\u06cc \u0627\u062c\u0627\u0632\u062a \u062f\u06cc \u062c\u0627\u062a\u06cc \u06c1\u06d2 \u062c\u0628 \u0627\u06cc\u062c\u0646\u0679 \u06a9\u0648 "\u06cc\u06c1\u0627\u06ba” \u0628\u06c1\u062a\u0631\u06cc \u06a9\u0627 \u067e\u062a\u06c1 \u0686\u0644\u062a\u0627 \u06c1\u06d2\u06d4 "\u06af\u06c1\u0631\u0627\u0626\u06cc” \u0645\u0627\u0688\u0644 \u067e\u0631 \u0627\u0633\u0679\u06cc\u06a9 \u0634\u062f\u06c1 \u0679\u0631\u0627\u0646\u0633\u0641\u0627\u0631\u0645\u0631 \u067e\u0631\u062a\u0648\u06ba \u06a9\u06cc \u062a\u0639\u062f\u0627\u062f \u06c1\u06d2\u06d4 12 \u06a9\u06cc \u06af\u06c1\u0631\u0627\u0626\u06cc \u0627\u06cc\u06a9 \u0686\u06be\u0648\u0679\u0627 \u0645\u0627\u0688\u0644 \u06c1\u06d2\u060c \u0627\u0648\u0631 24 \u06a9\u06cc \u06af\u06c1\u0631\u0627\u0626\u06cc \u0627\u06cc\u06a9 \u0645\u0627\u0688\u0644 \u06c1\u06d2 \u062c\u0633 \u06a9\u06cc \u062a\u06c1\u0648\u06ba \u06a9\u06cc \u062a\u0639\u062f\u0627\u062f \u062f\u06af\u0646\u06cc \u06c1\u06d2\u06d4<\/p>\n

\u06a9\u0627\u0631\u067e\u06cc\u062a\u06be\u06cc \u0646\u06d2 \u062a\u0642\u0631\u06cc\u0628\u0627\u064b 20 \u0627\u06cc\u0688\u062c\u0633\u0679\u0645\u0646\u0679\u0633 \u06a9\u0627 \u0627\u0637\u0644\u0627\u0642 \u06a9\u06cc\u0627 \u062c\u0648 \u0627\u06cc\u062c\u0646\u0679 \u0646\u06d2 \u0686\u06be\u0648\u0679\u06cc \u06af\u06c1\u0631\u0627\u0626\u06cc-12 \u0645\u0627\u0688\u0644 \u0645\u06cc\u06ba \u0628\u0691\u06cc \u06af\u06c1\u0631\u0627\u0626\u06cc-24 \u0645\u0627\u0688\u0644 \u0645\u06cc\u06ba \u062f\u0631\u06cc\u0627\u0641\u062a \u06a9\u06cc\u06ba\u06d4 \u0635\u0627\u0641 \u0633\u062a\u06be\u0631\u0627 \u0627\u0633\u0679\u06cc\u06a9 \u06a9\u0631\u0646\u06d2 \u06a9\u0627 \u0645\u0637\u0644\u0628 \u06c1\u06d2 \u0628\u06cc\u06a9 \u0648\u0642\u062a \u062f\u0648 \u0686\u06cc\u0632\u06cc\u06ba\u06d4 \u0628\u06c1\u062a\u0631\u06cc \u0627\u0636\u0627\u0641\u06cc \u062a\u06be\u06cc (\u062a\u0645\u0627\u0645 20 \u06a9\u0648 \u0622\u0646 \u06a9\u0631\u0646\u06d2 \u0633\u06d2 \u0627\u06cc\u06a9 \u062f\u0648\u0633\u0631\u06d2 \u06a9\u0648 \u0645\u0646\u0633\u0648\u062e \u06a9\u0631\u0646\u06d2 \u06a9\u06d2 \u0628\u062c\u0627\u0626\u06d2 \u0627\u0646\u0641\u0631\u0627\u062f\u06cc \u0641\u0648\u0627\u0626\u062f \u06a9\u0627 \u0645\u062c\u0645\u0648\u0639\u06c1 \u0645\u0644\u0627)\u06d4 \u0627\u0648\u0631 \u0645\u0646\u062a\u0642\u0644 (\u0686\u06be\u0648\u0679\u06d2 \u0645\u0627\u0688\u0644 \u0645\u06cc\u06ba \u067e\u0627\u0626\u06d2 \u062c\u0627\u0646\u06d2 \u0648\u0627\u0644\u06d2 \u0641\u0648\u0627\u0626\u062f \u0627\u0628 \u0628\u06be\u06cc \u0628\u0691\u06d2 \u0645\u0627\u0688\u0644 \u0645\u06cc\u06ba \u0646\u0638\u0631 \u0622\u062a\u06d2 \u06c1\u06cc\u06ba)\u06d4<\/p>\n

\u06cc\u06c1 \u0627\u0633 \u0628\u0627\u062a \u06a9\u06cc \u0639\u0644\u0627\u0645\u062a \u06c1\u06d2 \u06a9\u06c1 \u0627\u06cc\u062c\u0646\u0679 \u06a9\u0648 \u062a\u0631\u0628\u06cc\u062a \u0645\u06cc\u06ba \u062d\u0642\u06cc\u0642\u06cc \u0628\u0635\u06cc\u0631\u062a \u0645\u0644\u06cc \u06c1\u06d2\u060c \u0646\u06c1 \u06a9\u06c1 \u0635\u0631\u0641 \u0627\u06cc\u06a9 \u062e\u0648\u0634 \u0642\u0633\u0645\u062a \u062e\u0635\u0648\u0635\u06cc\u062a \u062c\u0648 \u0635\u0631\u0641 \u0627\u06cc\u06a9 \u062e\u0627\u0635 \u067e\u06cc\u0645\u0627\u0646\u06d2 \u067e\u0631 \u0645\u062f\u062f \u06a9\u0631\u062a\u06cc \u06c1\u06d2\u06d4 \u0645\u0644 \u06a9\u0631\u060c \u06c1\u0645 \u0646\u06d2 \u06a9\u0627\u0631\u067e\u062a\u06be\u06cc \u06a9\u06d2 "GPT-2 \u06a9\u0627 \u0648\u0642\u062a” \u0628\u06cc\u0646\u0686 \u0645\u0627\u0631\u06a9 \u06a9\u0648 2.02 \u06af\u06be\u0646\u0679\u06d2 \u0633\u06d2 \u06a9\u0645 \u06a9\u0631 \u06a9\u06d2 1.80 \u06af\u06be\u0646\u0679\u06d2 \u06a9\u0631 \u062f\u06cc\u0627\u06d4 \u06cc\u06c1 \u06a9\u0648\u0688 \u067e\u0631 \u062a\u0642\u0631\u06cc\u0628\u0627\u064b 11% \u0627\u0633\u067e\u06cc\u0688 \u0627\u067e \u06c1\u06d2 \u062c\u0633\u06d2 \u0648\u06c1 \u067e\u06c1\u0644\u06d2 \u06c1\u06cc \u06a9\u0627\u0641\u06cc \u0639\u0631\u0635\u06d2 \u0633\u06d2 \u062e\u0648\u062f \u06a9\u0648 \u0679\u0648\u0626\u06cc\u06a9 \u06a9\u0631 \u0631\u06c1\u0627 \u06c1\u06d2\u06d4<\/p>\n

\u0627\u06cc\u06a9 \u0627\u0648\u0631 \u0627\u06c1\u0645 \u0686\u06cc\u0632 \u0628\u062c\u0679 \u06c1\u06d2\u06d4 \u06c1\u0631 \u062a\u062c\u0631\u0628\u06c1 \u0628\u0627\u0644\u06a9\u0644 5 \u0645\u0646\u0679 \u062a\u06a9 \u0686\u0644\u062a\u0627 \u06c1\u06d2\u060c \u0632\u06cc\u0627\u062f\u06c1 \u0646\u06c1\u06cc\u06ba\u060c \u06a9\u0645 \u0646\u06c1\u06cc\u06ba\u06d4 \u06cc\u06c1 \u0622\u067e \u06a9\u0648 \u0641\u06cc \u06af\u06be\u0646\u0679\u06c1 \u062a\u0642\u0631\u06cc\u0628\u0627\u064b 12 \u062a\u062c\u0631\u0628\u0627\u062a\u060c \u06cc\u0627 8 \u06af\u06be\u0646\u0679\u06d2 \u06a9\u06d2 \u0646\u06cc\u0646\u062f \u06a9\u06d2 \u0686\u06a9\u0631 \u0645\u06cc\u06ba \u062a\u0642\u0631\u06cc\u0628\u0627\u064b 100 \u062a\u062c\u0631\u0628\u0627\u062a \u0641\u0631\u0627\u06c1\u0645 \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u06d4<\/p>\n

\u0631\u06cc\u067e\u0648\u0632\u0679\u0631\u06cc \u0646\u06cc\u0648\u06cc\u06af\u06cc\u0634\u0646<\/h3>\n

\u0627\u0628 \u062c\u0628 \u0622\u067e \u06a9\u0633\u06cc \u0631\u06cc\u067e\u0648\u0632\u0679\u0631\u06cc \u06a9\u0648 \u06a9\u0644\u0648\u0646 \u06a9\u0631\u06cc\u06ba \u06af\u06d2 \u062a\u0648 \u06cc\u06c1 \u0641\u0627\u0626\u0644\u0648\u06ba \u06a9\u06cc \u0627\u06cc\u06a9 \u0686\u06be\u0648\u0679\u06cc \u0633\u06cc \u062a\u0639\u062f\u0627\u062f \u0628\u0646\u0627\u0626\u06d2 \u06af\u06cc\u06d4 \u0627\u0633 \u0645\u06cc\u06ba \u0632\u06cc\u0627\u062f\u06c1 \u062a\u0631 \u067e\u0644\u0645\u0628\u0646\u06af \u06a9\u0627 \u06a9\u0627\u0645 \u06c1\u06d2\u06d4 \u0627\u0646 \u0645\u06cc\u06ba \u0633\u06d2 \u062a\u06cc\u0646 \u0646\u0638\u0627\u0645 \u06a9\u0627 \u0645\u0631\u06a9\u0632 \u06c1\u06cc\u06ba\u060c \u0641\u0631\u0642 \u06cc\u06c1 \u06c1\u06d2 \u06a9\u06c1 \u06a9\u0648\u0646 \u06a9\u06cc\u0627 \u062a\u0631\u0645\u06cc\u0645 \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u06d4<\/p>\n

\u0635\u0631\u0641 \u062a\u06cc\u0646 \u0641\u0627\u0626\u0644\u06cc\u06ba \u0627\u06c1\u0645 \u06c1\u06cc\u06ba \u0627\u0648\u0631 \u0627\u0633 \u067e\u0631 \u0645\u0646\u062d\u0635\u0631 \u06c1\u06d2 \u06a9\u06c1 \u0627\u0646 \u0645\u06cc\u06ba \u06a9\u0648\u0646 \u062a\u0631\u0645\u06cc\u0645 \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u06d4<\/p>\n

    \n
  1. \n

    train.py \u0648\u06c1 \u0641\u0627\u0626\u0644 \u06c1\u06d2 \u062c\u0633 \u0645\u06cc\u06ba \u0627\u06cc\u062c\u0646\u0679 \u0646\u06d2 \u062a\u0631\u0645\u06cc\u0645 \u06a9\u06cc \u06c1\u06d2\u06d4 \u0627\u0633 \u0645\u06cc\u06ba \u062c\u06cc \u067e\u06cc \u0679\u06cc \u0645\u0627\u0688\u0644\u060c \u0627\u06cc\u06a9 \u0622\u067e\u0679\u06cc\u0645\u0627\u0626\u0632\u0631\u060c \u0627\u0648\u0631 \u0679\u0631\u06cc\u0646\u0646\u06af \u0644\u0648\u067e \u06c1\u06d2\u060c \u0627\u0648\u0631 \u0627\u0633 \u0645\u06cc\u06ba \u0645\u0648\u062c\u0648\u062f \u06c1\u0631 \u0686\u06cc\u0632 \u0645\u0646\u0635\u0641\u0627\u0646\u06c1 \u06af\u06cc\u0645 \u06c1\u06d2\u06d4<\/p>\n<\/li>\n

  2. \n

    ready.py \u0641\u06a9\u0633\u0688 \u0628\u06cc\u0633\u0688 \u06c1\u06d2 \u0644\u06c1\u0630\u0627 \u0686\u0644\u062a\u06d2 \u0648\u0642\u062a \u06a9\u0648\u0626\u06cc \u0628\u06be\u06cc \u0627\u0633 \u0645\u06cc\u06ba \u062a\u0631\u0645\u06cc\u0645 \u0646\u06c1\u06cc\u06ba \u06a9\u0631\u0633\u06a9\u062a\u0627\u06d4 \u0688\u06cc\u0679\u0627 \u0688\u0627\u0624\u0646 \u0644\u0648\u0688 \u06a9\u0631\u06cc\u06ba\u060c \u0679\u0648\u06a9\u0646\u0627\u0626\u0632\u0631 \u06a9\u0648 \u062a\u0631\u0628\u06cc\u062a \u062f\u06cc\u06ba\u060c \u0627\u0648\u0631 \u0627\u067e\u0646\u06d2 \u0645\u06cc\u0679\u0631\u06a9\u0633 \u06a9\u06cc \u0648\u0636\u0627\u062d\u062a \u06a9\u0631\u06cc\u06ba\u06d4<\/p>\n<\/li>\n

  3. \n

    program.md \u0627\u06cc\u06a9 \u0641\u0627\u0626\u0644 \u06c1\u06d2 \u062c\u0633\u06d2 \u0627\u0646\u0633\u0627\u0646\u0648\u06ba \u0646\u06d2 \u0627\u06cc\u0688\u0679 \u06a9\u06cc\u0627 \u06c1\u06d2\u06d4 \u06cc\u06c1 \u0642\u0648\u0627\u0639\u062f \u06a9\u06cc \u0627\u06cc\u06a9 \u067e\u0644\u06d2 \u0628\u06a9 \u06c1\u06d2 \u062c\u0633 \u067e\u0631 \u0627\u06cc\u062c\u0646\u0679 \u0639\u0645\u0644 \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u06d4<\/p>\n<\/li>\n<\/ol>\n

    \u0628\u0627\u0642\u06cc \u0641\u0627\u0626\u0644\u06cc\u06ba (README.md, pyproject.toml, uv.lock, .gitignore, .python-version, analyze.ipynb \u0646\u0648\u0679 \u0628\u06a9\u060c \u0627\u0648\u0631 Progress.png \u0627\u0645\u06cc\u062c) \u067e\u0644\u0645\u0628\u0646\u06af \u0627\u0648\u0631 \u062f\u0633\u062a\u0627\u0648\u06cc\u0632\u0627\u062a \u06c1\u06cc\u06ba \u062c\u0646 \u067e\u0631 \u0639\u0645\u0644 \u062f\u0631\u0622\u0645\u062f \u06a9\u06d2 \u062f\u0648\u0631\u0627\u0646 \u0646\u06c1 \u062a\u0648 \u0635\u0627\u0631\u0641 \u0627\u0648\u0631 \u0646\u06c1 \u06c1\u06cc \u0627\u06cc\u062c\u0646\u0679 \u06a9\u0648 \u0686\u06be\u0648\u0646\u06d2 \u06a9\u06cc \u0636\u0631\u0648\u0631\u062a \u06c1\u06d2\u06d4<\/p>\n

    \"\u062a\u06cc\u0646<\/p>\n

    \u0631\u06cc\u067e\u0648\u0632\u0679\u0631\u06cc \u0645\u06cc\u06ba \u06a9\u0626\u06cc \u062f\u0648\u0633\u0631\u06cc \u0641\u0627\u0626\u0644\u06cc\u06ba \u06c1\u06cc\u06ba \u062c\u0646 \u06a9\u0648 \u0686\u0644\u0627\u0646\u06d2 \u06a9\u06d2 \u062f\u0648\u0631\u0627\u0646 \u0635\u0627\u0631\u0641 \u06cc\u0627 \u0627\u06cc\u062c\u0646\u0679 \u06a9\u06cc \u062a\u0648\u062c\u06c1 \u06a9\u06cc \u0636\u0631\u0648\u0631\u062a \u0646\u06c1\u06cc\u06ba \u06c1\u06d2\u06d4<\/p>\n

    \u06cc\u06c1 \u0628\u0627\u0644\u06a9\u0644 \u06a9\u06cc\u0627 \u06c1\u06d2\u061f val_bpb<\/code>?<\/h2>\n

    \u0645\u0632\u06cc\u062f \u062c\u0627\u0646\u06d2 \u0633\u06d2 \u067e\u06c1\u0644\u06d2\u060c \u06cc\u06c1 \u0633\u0645\u062c\u06be\u0646\u0627 \u0645\u062f\u062f\u06af\u0627\u0631 \u06c1\u0648\u06af\u0627 \u06a9\u06c1 val_bpb \u06a9\u06cc\u0627 \u06c1\u06d2\u06d4 \u0627\u06af\u0631 \u0622\u067e \u0646\u06d2 LLM \u06a9\u06d2 \u062f\u06cc\u06af\u0631 \u0645\u0636\u0627\u0645\u06cc\u0646 \u067e\u0691\u06be\u06d2 \u06c1\u06cc\u06ba\u060c \u062a\u0648 \u0622\u067e \u0646\u06d2 \u0634\u0627\u06cc\u062f \u0627\u0633 \u0637\u0631\u062d \u06a9\u06cc \u0627\u0635\u0637\u0644\u0627\u062d\u0627\u062a \u062f\u06cc\u06a9\u06be\u06cc \u06c1\u0648\u06ba \u06af\u06cc: "\u0634\u0631\u0645\u0646\u062f\u06af\u06cc”<\/strong> \u06cc\u0627 "\u06a9\u0631\u0627\u0633 \u0627\u06cc\u0646\u0679\u0631\u0648\u067e\u06cc \u0646\u0642\u0635\u0627\u0646”<\/strong> \u0627\u0633\u06d2 \u067e\u06be\u06cc\u0646\u06a9 \u062f\u06cc\u0627 \u06af\u06cc\u0627\u06d4<\/p>\n

    \u0628\u0679\u0633 \u0641\u06cc \u0628\u0627\u0626\u0679 \u0627\u0646 \u06a9\u06d2 \u06a9\u0632\u0646 \u06a9\u06cc \u0637\u0631\u062d \u06c1\u06cc\u06ba\u06d4 \u062c\u0628 \u0627\u06cc\u06a9 \u0632\u0628\u0627\u0646 \u06a9\u0627 \u0645\u0627\u0688\u0644 \u0645\u062a\u0646 \u06a9\u06cc \u067e\u06cc\u0634\u06cc\u0646 \u06af\u0648\u0626\u06cc \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u060c \u062a\u0648 \u06cc\u06c1 \u0627\u06af\u0644\u06d2 \u0622\u0646\u06d2 \u0648\u0627\u0644\u06d2 \u0645\u062a\u0646 \u06a9\u0648 \u0627\u06cc\u06a9 \u0627\u0645\u06a9\u0627\u0646 \u062a\u0641\u0648\u06cc\u0636 \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u06d4 \u0627\u06af\u0631 \u0622\u067e \u06a9\u0627 \u0645\u0627\u0688\u0644 \u067e\u0631 \u0627\u0639\u062a\u0645\u0627\u062f \u0627\u0648\u0631 \u062f\u0631\u0633\u062a \u06c1\u06d2 \u062a\u0648 \u0622\u067e \u06a9\u06d2 \u0646\u0642\u0635\u0627\u0646\u0627\u062a \u06a9\u0645 \u06c1\u0648\u06ba \u06af\u06d2\u06d4 \u0627\u06af\u0631 \u0622\u067e \u062d\u062f \u0633\u06d2 \u0632\u06cc\u0627\u062f\u06c1 \u067e\u0631 \u0627\u0639\u062a\u0645\u0627\u062f \u06c1\u06cc\u06ba \u0627\u0648\u0631 \u063a\u0644\u0637 \u06c1\u06cc\u06ba \u062a\u0648 \u0622\u067e \u06a9\u0648 \u0628\u0691\u06d2 \u0646\u0642\u0635\u0627\u0646\u0627\u062a \u0627\u0648\u0631 \u0628\u0691\u06d2 \u062c\u0631\u0645\u0627\u0646\u06d2 \u06c1\u0648\u06ba \u06af\u06d2\u06d4 \u0627\u0646 \u0633\u0632\u0627\u0624\u06ba \u06a9\u0648 \u062a\u0645\u0627\u0645 \u0645\u062a\u0646 \u0645\u06cc\u06ba \u0634\u0627\u0645\u0644 \u06a9\u0631\u0646\u06d2 \u06a9\u06d2 \u0646\u062a\u06cc\u062c\u06d2 \u0645\u06cc\u06ba \u0645\u0627\u0688\u0644 \u06a9\u0627 \u0645\u06a9\u0645\u0644 \u0646\u0642\u0635\u0627\u0646 \u06c1\u0648\u062a\u0627 \u06c1\u06d2\u06d4 \u0644\u0648\u0626\u0631 \u0628\u06c1\u062a\u0631 \u06c1\u06d2 \u06a9\u06cc\u0648\u0646\u06a9\u06c1 \u06a9\u0645 \u06a9\u0644 \u06a9\u0627 \u0645\u0637\u0644\u0628 \u06c1\u06d2 \u06a9\u06c1 \u0645\u0627\u0688\u0644 \u0646\u06d2 \u0627\u0635\u0644 \u0645\u06cc\u06ba \u0638\u0627\u06c1\u0631 \u06c1\u0648\u0646\u06d2 \u0648\u0627\u0644\u06d2 \u0627\u0644\u0641\u0627\u0638 \u06a9\u0648 \u0632\u06cc\u0627\u062f\u06c1 \u0627\u0645\u06a9\u0627\u0646 \u062a\u0641\u0648\u06cc\u0636 \u06a9\u06cc\u0627 \u06c1\u06d2\u06d4<\/p>\n

    \u06a9\u0631\u0627\u0633 \u0627\u06cc\u0646\u0679\u0631\u0648\u067e\u06cc \u0646\u0642\u0635\u0627\u0646 \u062a\u0631\u0628\u06cc\u062a\u06cc \u0644\u06cc\u0646\u06af\u0648\u06cc\u062c \u0645\u0627\u0688\u0644\u0632 \u06a9\u06d2 \u0644\u06cc\u06d2 \u0627\u06cc\u06a9 \u0645\u0639\u06cc\u0627\u0631\u06cc \u0627\u0633\u06a9\u0648\u0631 \u0641\u0646\u06a9\u0634\u0646 \u06c1\u06d2\u06d4 \u06c1\u0631 \u0679\u0648\u06a9\u0646 \u06a9\u06d2 \u0644\u06cc\u06d2\u060c \u0645\u0627\u0688\u0644 \u06c1\u0631 \u0645\u0645\u06a9\u0646\u06c1 \u0627\u06af\u0644\u06d2 \u0679\u0648\u06a9\u0646 \u06a9\u06d2 \u0644\u06cc\u06d2 \u0627\u06cc\u06a9 \u0627\u0645\u06a9\u0627\u0646 \u062a\u0641\u0648\u06cc\u0636 \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u060c \u0627\u0648\u0631 \u0646\u0642\u0635\u0627\u0646 \u062f\u0631\u062d\u0642\u06cc\u0642\u062a \u0627\u0633 \u0627\u0645\u06a9\u0627\u0646 \u06a9\u0627 \u0645\u0646\u0641\u06cc \u0644\u0627\u06af\u0627\u0631\u062a\u06be\u0645 \u06c1\u06d2 \u062c\u0648 \u0627\u0633 \u0646\u06d2 \u0627\u06af\u0644\u06d2 \u0622\u0646\u06d2 \u0648\u0627\u0644\u06d2 \u0679\u0648\u06a9\u0646 \u06a9\u0648 \u062a\u0641\u0648\u06cc\u0636 \u06a9\u06cc\u0627 \u06c1\u06d2\u06d4 \u0627\u06af\u0631 \u0622\u067e \u0627\u0639\u062a\u0645\u0627\u062f \u06a9\u06d2 \u0633\u0627\u062a\u06be \u062f\u0631\u0633\u062a \u0679\u0648\u06a9\u0646 \u06a9\u06cc \u067e\u06cc\u0634\u06cc\u0646 \u06af\u0648\u0626\u06cc \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba\u060c \u062a\u0648 \u0622\u067e \u06a9\u0627 \u0646\u0642\u0635\u0627\u0646 \u0635\u0641\u0631 \u06a9\u06d2 \u0642\u0631\u06cc\u0628 \u06c1\u0648\u06af\u0627\u06d4 \u062f\u0631\u0633\u062a \u0679\u0648\u06a9\u0646 \u06a9\u0648 \u06a9\u0645 \u0627\u0645\u06a9\u0627\u0646 \u062a\u0641\u0648\u06cc\u0636 \u06a9\u0631\u0646\u06d2 \u06a9\u06d2 \u0646\u062a\u06cc\u062c\u06d2 \u0645\u06cc\u06ba \u0632\u06cc\u0627\u062f\u06c1 \u0646\u0642\u0635\u0627\u0646 \u06c1\u0648\u06af\u0627\u06d4 \u0645\u0627\u0688\u0644 \u06a9\u0627 \u06a9\u0644 \u0646\u0642\u0635\u0627\u0646 \u062a\u0645\u0627\u0645 \u0679\u0648\u06a9\u0646\u0632 \u06a9\u0627 \u0627\u0648\u0633\u0637 \u06c1\u06d2\u06d4<\/p>\n

    \u06a9\u0631\u0627\u0633 \u0627\u06cc\u0646\u0679\u0631\u0648\u067e\u06cc \u0646\u0642\u0635\u0627\u0646 \u0646\u06cc\u0679 \u0645\u06cc\u06ba \u0627\u0633 \u06a9\u06cc \u067e\u06cc\u0645\u0627\u0626\u0634 \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u06d4 nat \u0648\u06c1 \u0627\u06a9\u0627\u0626\u06cc \u06c1\u06d2 \u062c\u0648 \u0622\u067e \u06a9\u0648 \u062d\u0627\u0635\u0644 \u06c1\u0648\u062a\u06cc \u06c1\u06d2 \u062c\u0628 \u0622\u067e \u0644\u0648\u06af\u0627\u0631\u062a\u06be\u0645 \u06a9\u0648 \u0628\u06cc\u0633 2 \u06a9\u06d2 \u0628\u062c\u0627\u0626\u06d2 e (\u0642\u062f\u0631\u062a\u06cc \u0644\u0648\u06af\u0627\u0631\u062a\u06be\u0645) \u067e\u0631 \u0644\u06cc\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4 \u06cc\u06c1 \u0645\u062e\u062a\u0644\u0641 \u067e\u06cc\u0645\u0627\u0646\u06d2 \u067e\u0631 "\u062d\u06cc\u0631\u062a \u0627\u0646\u06af\u06cc\u0632” \u06a9\u06cc \u0627\u062a\u0646\u06cc \u06c1\u06cc \u0645\u0642\u062f\u0627\u0631 \u06a9\u06cc \u067e\u06cc\u0645\u0627\u0626\u0634 \u06a9\u0631\u062a\u0627 \u06c1\u06d2 (1 \u0646\u06cc\u0679 \u062a\u0642\u0631\u06cc\u0628\u0627\u064b 1.44 \u0628\u0679\u0633 \u06c1\u06d2)\u06d4 \u0646\u0642\u0635\u0627\u0646 \u06a9\u0648 2 \u06a9\u06d2 \u0641\u0637\u0631\u06cc \u0644\u0648\u06af\u0627\u0631\u062a\u06be\u0645 \u0633\u06d2 \u062a\u0642\u0633\u06cc\u0645 \u06a9\u0631\u0646\u06d2 \u0633\u06d2 \u0646\u06cc\u0679 \u06a9\u0648 \u0628\u0679\u0633 \u0645\u06cc\u06ba \u062a\u0628\u062f\u06cc\u0644 \u06a9\u06cc\u0627 \u062c\u0627\u062a\u0627 \u06c1\u06d2\u060c \u062c\u0648 \u06a9\u06c1 \u0627\u06cc\u06a9 \u0628\u0679 \u0641\u06cc \u0628\u0627\u0626\u0679 \u06a9\u0646\u0648\u0631\u0698\u0646 \u06c1\u06d2\u06d4<\/p>\n

    \u0628\u0679\u0633 \u0641\u06cc \u0628\u0627\u0626\u0679 \u0627\u0633 \u0646\u0642\u0635\u0627\u0646 \u06a9\u0648 \u0644\u06cc\u062a\u0627 \u06c1\u06d2\u060c \u0627\u0633\u06d2 \u0645\u062a\u0646 \u0645\u06cc\u06ba \u0645\u0648\u062c\u0648\u062f \u0628\u0627\u0626\u0679\u0633 \u06a9\u06cc \u062a\u0639\u062f\u0627\u062f \u0633\u06d2 \u062a\u0642\u0633\u06cc\u0645 \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u060c \u0627\u0648\u0631 \u067e\u06be\u0631 \u0627\u0633\u06d2 \u0644\u0627\u06af \u0628\u06cc\u0633 2 \u0645\u06cc\u06ba \u062a\u0628\u062f\u06cc\u0644 \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u06d4 \u0646\u062a\u06cc\u062c\u06c1 \u0627\u06cc\u06a9 \u0627\u06cc\u0633\u0627 \u0646\u0645\u0628\u0631 \u06c1\u06d2 \u062c\u0648 \u0622\u067e \u06a9\u0648 \u0628\u062a\u0627\u062a\u0627 \u06c1\u06d2 \u06a9\u06c1 \u0645\u0627\u0688\u0644 \u06a9\u0648 \u0645\u062a\u0646 \u06a9\u06d2 \u06c1\u0631 \u0628\u0627\u0626\u0679 \u06a9\u0648 \u0627\u0646\u06a9\u0648\u0688 \u06a9\u0631\u0646\u06d2 \u06a9\u06d2 \u0644\u06cc\u06d2 \u0627\u0648\u0633\u0637\u0627\u064b \u06a9\u062a\u0646\u06d2 \u0628\u0679\u0633 \u06a9\u06cc \u0645\u0639\u0644\u0648\u0645\u0627\u062a \u06a9\u06cc \u0636\u0631\u0648\u0631\u062a \u06c1\u06d2\u06d4<\/p>\n

    \u0627\u06cc\u06a9 \u06a9\u0627\u0645\u0644 \u0645\u0627\u0688\u0644 0 \u06a9\u06d2 \u0642\u0631\u06cc\u0628 \u06c1\u0648\u0646\u0627 \u0686\u0627\u06c1\u06cc\u06d2\u060c \u0644\u06cc\u06a9\u0646 \u0627\u06cc\u06a9 \u0628\u06d2 \u062a\u0631\u062a\u06cc\u0628 \u0645\u0627\u0688\u0644 \u06a9\u06d2 \u0644\u06cc\u06d2 \u062a\u0642\u0631\u06cc\u0628\u0627\u064b 8 \u0628\u0679\u0633 \u0641\u06cc \u0628\u0627\u0626\u0679 \u06a9\u06cc \u0636\u0631\u0648\u0631\u062a \u06c1\u0648\u06af\u06cc (\u0686\u0648\u0646\u06a9\u06c1 \u0627\u06cc\u06a9 \u0628\u0627\u0626\u0679 8 \u0628\u0679\u0633 \u06c1\u06d2)\u06d4<\/p>\n

    \u06a9\u0627\u0631\u067e\u062a\u06cc \u0646\u06d2 \u0633\u0627\u062f\u06c1 \u06a9\u0631\u0627\u0633 \u0627\u06cc\u0646\u0679\u0631\u0648\u067e\u06cc \u06a9\u06d2 \u0628\u062c\u0627\u0626\u06d2 bpb \u06a9\u0627 \u0627\u0646\u062a\u062e\u0627\u0628 \u06a9\u0631\u0646\u06d2 \u06a9\u06cc \u0648\u062c\u06c1 \u06cc\u06c1 \u06c1\u06d2 \u06a9\u06c1 bpb \u0627\u0644\u0641\u0627\u0638 \u06a9\u06d2 \u0633\u0627\u0626\u0632 \u0633\u06d2 \u0622\u0632\u0627\u062f<\/strong>. \u0627\u06af\u0631 \u0627\u06cc\u062c\u0646\u0679 \u0679\u0648\u06a9\u0646\u0627\u0626\u0632\u0631 \u06cc\u0627 \u0627\u0644\u0641\u0627\u0638 \u06a9\u0648 \u062a\u0628\u062f\u06cc\u0644 \u06a9\u0631\u0646\u06d2 \u06a9\u0627 \u0641\u06cc\u0635\u0644\u06c1 \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u060c \u062a\u0648 \u06a9\u0631\u0627\u0633 \u0627\u06cc\u0646\u0679\u0631\u0648\u067e\u06cc \u0646\u0642\u0635\u0627\u0646 \u0628\u0627\u0644\u06a9\u0644 \u0645\u062e\u062a\u0644\u0641 \u06c1\u0648\u06af\u0627 \u06cc\u06c1\u0627\u06ba \u062a\u06a9 \u06a9\u06c1 \u0627\u06cc\u06a9 \u06c1\u06cc \u0645\u0627\u0688\u0644 \u06a9\u06d2 \u0645\u0639\u06cc\u0627\u0631 \u06a9\u06d2 \u0644\u06cc\u06d2\u06d4 \u0628\u0679\u0633 \u0641\u06cc \u0628\u0627\u0626\u0679 \u0627\u0633 \u06a9\u0648 \u0645\u0639\u0645\u0648\u0644 \u067e\u0631 \u0644\u0627\u062a\u06d2 \u06c1\u06cc\u06ba\u060c \u0644\u06c1\u0630\u0627 8192 \u06a9\u06d2 \u0627\u0644\u0641\u0627\u0638 \u06a9\u06d2 \u0633\u0627\u062a\u06be \u06af\u06c1\u0631\u0627\u0626\u06cc 8 \u0645\u0627\u0688\u0644 \u0627\u0648\u0631 16384 \u06a9\u06d2 \u0627\u0644\u0641\u0627\u0638 \u06a9\u06d2 \u0633\u0627\u062a\u06be \u06af\u06c1\u0631\u0627\u0626\u06cc 12 \u0645\u0627\u0688\u0644 \u0628\u0631\u0627\u06c1 \u0631\u0627\u0633\u062a \u0645\u0648\u0627\u0632\u0646\u06c1 \u06a9\u0631 \u0633\u06a9\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4<\/p>\n

    \u0641\u0646\u06a9\u0634\u0646 \u062c\u0648 \u0627\u0633 \u06a9\u0627 \u062d\u0633\u0627\u0628 \u0644\u06af\u0627\u062a\u0627 \u06c1\u06d2\u060c \u062a\u062e\u0645\u06cc\u0646\u06c1_bpb\u060c ready.py \u0645\u06cc\u06ba \u06c1\u06d2\u060c \u062c\u0633\u06d2 \u0627\u06cc\u062c\u0646\u0679 \u062a\u0631\u0645\u06cc\u0645 \u0646\u06c1\u06cc\u06ba \u06a9\u0631 \u0633\u06a9\u062a\u0627\u06d4 \u0622\u067e \u0635\u0631\u0641 train.py \u062a\u06a9 \u0631\u0633\u0627\u0626\u06cc \u062d\u0627\u0635\u0644 \u06a9\u0631 \u0633\u06a9\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4 \u0686\u0648\u0646\u06a9\u06c1 \u0645\u06cc\u0679\u0631\u06a9 \u06a9\u06cc \u062a\u0639\u0631\u06cc\u0641\u06cc\u06ba \u0627\u06cc\u06a9 \u0641\u0627\u0626\u0644 \u0645\u06cc\u06ba \u06c1\u06cc\u06ba \u062c\u0633 \u0645\u06cc\u06ba \u0627\u06cc\u062c\u0646\u0679 \u062a\u0631\u0645\u06cc\u0645 \u0646\u06c1\u06cc\u06ba \u06a9\u0631 \u0633\u06a9\u062a\u0627\u060c \u0627\u0633\u06a9\u0648\u0631 \u06a9\u0648 \u062e\u0627\u0645\u0648\u0634\u06cc \u0633\u06d2 \u062a\u0628\u062f\u06cc\u0644 \u06a9\u0631 \u06a9\u06d2 \u0627\u0633\u06a9\u0648\u0631 \u06a9\u0648 \u06a9\u0645 \u0646\u06c1\u06cc\u06ba \u06a9\u06cc\u0627 \u062c\u0627 \u0633\u06a9\u062a\u0627 \u062c\u0633 \u0637\u0631\u062d \u0627\u0633\u06a9\u0648\u0631 \u06a9\u0627 \u062d\u0633\u0627\u0628 \u0644\u06af\u0627\u06cc\u0627 \u062c\u0627\u062a\u0627 \u06c1\u06d2\u06d4 \u0627\u0633\u06a9\u0648\u0631\u0646\u06af \u06a9\u06d2 \u0627\u0635\u0648\u0644 \u062a\u0645\u0627\u0645 \u062a\u062c\u0631\u0628\u0627\u062a \u0645\u06cc\u06ba \u06cc\u06a9\u0633\u0627\u06ba \u0631\u06c1\u062a\u06d2 \u06c1\u06cc\u06ba\u060c \u0645\u0648\u0627\u0632\u0646\u06c1 \u06a9\u0648 \u0627\u06cc\u0645\u0627\u0646\u062f\u0627\u0631 \u0628\u0646\u0627\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4<\/p>\n

    5 \u0645\u0646\u0679 \u06a9\u0627 \u0627\u0635\u0648\u0644<\/h3>\n

    \u062e\u0648\u062f\u06a9\u0627\u0631 \u062a\u062d\u0642\u06cc\u0642 \u06a9\u06d2 \u067e\u0627\u0633 \u0627\u06cc\u06a9 \u0688\u06cc\u0632\u0627\u0626\u0646 \u06a9\u0627 \u0627\u0646\u062a\u062e\u0627\u0628 \u06c1\u06d2 \u062c\u0648 \u0627\u0633 \u06a9\u06d2 \u0627\u067e\u0646\u06d2 \u062d\u0635\u06d2 \u06a9\u0627 \u0645\u0633\u062a\u062d\u0642 \u06c1\u06d2\u06d4 \u06a9\u06cc\u0648\u0646\u06a9\u06c1 \u06cc\u06c1 \u0648\u06c1 \u0627\u0646\u062a\u062e\u0627\u0628 \u06c1\u06d2 \u062c\u0648 \u062d\u0642\u06cc\u0642\u062a \u0645\u06cc\u06ba \u06cc\u06c1 \u0633\u0628 \u06a9\u0627\u0645 \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u06d4 \u062a\u0645\u0627\u0645 \u062a\u062c\u0631\u0628\u0627\u062a \u0648\u0627\u0644 \u06a9\u0644\u0627\u06a9 \u0679\u0631\u06cc\u0646\u0646\u06af \u0679\u0627\u0626\u0645 \u06a9\u06d2 \u0628\u0627\u0644\u06a9\u0644 5 \u0645\u0646\u0679 \u062a\u06a9 \u0686\u0644\u062a\u06d2 \u06c1\u06cc\u06ba\u060c \u0642\u0637\u0639 \u0646\u0638\u0631 \u0627\u0633 \u06a9\u06d2 \u06a9\u06c1 \u0627\u06cc\u062c\u0646\u0679 \u06a9\u06cc\u0627 \u06a9\u0631 \u0631\u06c1\u0627 \u06c1\u06d2\u06d4<\/p>\n

    \u0648\u0627\u0644 \u06a9\u0644\u0627\u06a9 \u0679\u0627\u0626\u0645 \u0633\u06d2 \u0645\u0631\u0627\u062f \u0627\u0635\u0644 \u06af\u0632\u0631\u0627 \u06c1\u0648\u0627 \u0648\u0642\u062a \u06c1\u06d2\u06d4 \u06cc\u0639\u0646\u06cc \u062f\u06cc\u0648\u0627\u0631 \u067e\u0631 \u0644\u06af\u06cc \u06af\u06be\u0691\u06cc \u0648\u0642\u062a \u06a9\u06cc \u067e\u06cc\u0645\u0627\u0626\u0634 \u06a9\u0631\u062a\u06cc \u06c1\u06d2\u060c \u062a\u0631\u0628\u06cc\u062a\u06cc \u0645\u0631\u0627\u062d\u0644 \u06cc\u0627 \u067e\u0631\u0648\u0633\u06cc\u0633 \u0634\u062f\u06c1 \u0679\u0648\u06a9\u0646 \u06a9\u06cc \u062a\u0639\u062f\u0627\u062f \u0646\u06c1\u06cc\u06ba\u06d4 \u0648\u0627\u0644 \u06a9\u0644\u0627\u06a9 \u06a9\u06d2 \u067e\u0627\u0646\u0686 \u0645\u0646\u0679 \u06a9\u0627 \u0648\u0642\u062a \u0644\u0641\u0638\u06cc \u0637\u0648\u0631 \u067e\u0631 \u067e\u0627\u0646\u0686 \u0645\u0646\u0679 \u06c1\u06d2\u060c \u0686\u0627\u06c1\u06d2 \u0622\u067e \u06a9\u0627 \u0645\u0627\u0688\u0644 \u06a9\u062a\u0646\u0627 \u06c1\u06cc \u06a9\u0627\u0645 \u06a9\u0631\u06d2\u06d4<\/p>\n

    \u0627\u0633 \u06a9\u06d2 \u0628\u062c\u0627\u0626\u06d2\u060c \u0627\u06af\u0631 \u0627\u06cc\u06a9 \u0645\u0642\u0631\u0631\u06c1 \u062a\u0639\u062f\u0627\u062f \u0645\u06cc\u06ba \u0627\u0642\u062f\u0627\u0645\u0627\u062a \u06a9\u06d2 \u0644\u06cc\u06d2 \u062a\u0631\u0628\u06cc\u062a \u062f\u06cc \u062c\u0627\u062a\u06cc \u06c1\u06d2\u060c \u062a\u0648 \u0627\u06cc\u062c\u0646\u0679 \u0645\u0627\u0688\u0644 \u06a9\u0648 \u0628\u06c1\u062a \u0686\u06be\u0648\u0679\u0627 \u0628\u0646\u0627 \u06a9\u0631 \u0627\u0648\u0631 \u0628\u06cc\u0633 \u0644\u0627\u0626\u0646 \u0633\u06d2 \u0632\u06cc\u0627\u062f\u06c1 \u0627\u0642\u062f\u0627\u0645\u0627\u062a \u06a9\u0631 \u06a9\u06d2 "\u062c\u06cc\u062a” \u0633\u06a9\u062a\u0627 \u06c1\u06d2\u06d4 \u0627\u06af\u0631 \u0679\u0648\u06a9\u0646 \u06a9\u06cc \u0627\u06cc\u06a9 \u0645\u0642\u0631\u0631\u06c1 \u062a\u0639\u062f\u0627\u062f \u067e\u0631 \u062a\u0631\u0628\u06cc\u062a \u062f\u06cc \u062c\u0627\u0626\u06d2 \u062a\u0648\u060c \u0627\u06cc\u062c\u0646\u0679 \u062a\u0631\u062a\u06cc\u0628 \u06a9\u06cc \u0644\u0645\u0628\u0627\u0626\u06cc \u06a9\u0648 \u06a9\u0645 \u06a9\u0631 \u06a9\u06d2 \u062c\u06cc\u062a \u0633\u06a9\u062a\u0627 \u06c1\u06d2\u06d4<\/p>\n

    \u0627\u06cc\u062c\u0646\u0679 \u062f\u0648\u0633\u0631\u06d2 \u0627\u06cc\u062c\u0646\u0679\u0648\u06ba \u06a9\u06d2 \u0633\u0627\u062a\u06be \u0645\u0642\u0627\u0628\u0644\u06c1 \u0646\u06c1\u06cc\u06ba \u06a9\u0631\u062a\u06d2 \u062c\u06cc\u0633\u0627 \u06a9\u06c1 \u06c1\u0645 \u0633\u0648\u0686 \u0633\u06a9\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4 \u0648\u0627\u062d\u062f \u0645\u0642\u0635\u062f \u06cc\u06c1 \u06c1\u06d2 \u06a9\u06c1 \u0627\u0633 \u0639\u06cc\u0646 \u062a\u0631\u062a\u06cc\u0628 \u067e\u0631 val_bpb \u06a9\u0648 \u0627\u0633 \u06a9\u06d2 \u067e\u0686\u06be\u0644\u06d2 \u0633\u0628 \u0633\u06d2 \u0632\u06cc\u0627\u062f\u06c1 \u0627\u0633\u06a9\u0648\u0631 \u0633\u06d2 \u0646\u06cc\u0686\u06d2 \u062d\u0627\u0635\u0644 \u06a9\u06cc\u0627 \u062c\u0627\u0626\u06d2\u06d4 \u0644\u06c1\u0630\u0627 ‘\u062c\u06cc\u062a\u0646\u06d2’ \u06a9\u0627 \u0645\u0637\u0644\u0628 \u06c1\u06d2 \u06a9\u0645 \u0627\u0633\u06a9\u0648\u0631 \u06a9\u0648 \u062a\u0631\u06a9 \u06a9\u0631\u0646\u0627\u060c \u0627\u0648\u0631 \u0622\u067e \u0631\u062c\u0639\u062a \u067e\u0633\u0646\u062f \u0634\u0627\u0631\u0679 \u06a9\u0679\u0633 \u06a9\u06d2 \u0630\u0631\u06cc\u0639\u06d2 \u0627\u067e\u0646\u06d2 \u0627\u0633\u06a9\u0648\u0631 \u06a9\u0648 \u06a9\u0645 \u06a9\u0631\u0646\u06d2 \u06a9\u0627 \u062e\u0637\u0631\u06c1 \u0686\u0644\u0627\u062a\u06d2 \u06c1\u06cc\u06ba \u062c\u0648 \u062d\u0642\u06cc\u0642\u06cc \u06a9\u0627\u0631\u06a9\u0631\u062f\u06af\u06cc \u062d\u0627\u0635\u0644 \u06a9\u0631\u0646\u06d2 \u06a9\u06d2 \u0628\u062c\u0627\u0626\u06d2 \u0622\u067e \u06a9\u06d2 \u0645\u0646\u062a\u062e\u0628 \u06a9\u0631\u062f\u06c1 \u0628\u062c\u0679 \u06a9\u06d2 \u0633\u0627\u062a\u06be \u06a9\u06be\u06cc\u0644\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4 \u0627\u06af\u0631 \u0622\u067e \u06a9\u0646\u0648\u0631\u062c\u0646\u0633 \u06c1\u0648\u0646\u06d2 \u062a\u06a9 \u062a\u0631\u0628\u06cc\u062a \u062f\u06cc\u062a\u06d2 \u06c1\u06cc\u06ba\u060c \u062a\u0648 \u0627\u06cc\u062c\u0646\u0679 \u06a9\u0648 \u0686\u0644\u0627\u0646\u06d2 \u0645\u06cc\u06ba \u062c\u0648 \u0648\u0642\u062a \u0644\u06af\u062a\u0627 \u06c1\u06d2 \u0648\u06c1 \u0628\u06c1\u062a \u0645\u062e\u062a\u0644\u0641 \u06c1\u0648\u06af\u0627 \u0627\u0648\u0631 \u0622\u067e \u0627\u06cc\u06a9 \u0631\u0627\u062a \u0645\u06cc\u06ba 100 \u062a\u062c\u0631\u0628\u0627\u062a \u0645\u06a9\u0645\u0644 \u0646\u06c1\u06cc\u06ba \u06a9\u0631 \u067e\u0627\u0626\u06cc\u06ba \u06af\u06d2\u06d4<\/p>\n

    \u0627\u06cc\u06a9 \u0645\u0642\u0631\u0631\u06c1 \u062f\u06cc\u0648\u0627\u0631 \u06af\u06be\u0691\u06cc \u06a9\u0627 \u0628\u062c\u0679 \u06cc\u06c1 \u0633\u0628 \u062d\u0644 \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u06d4 \u0627\u06cc\u062c\u0646\u0679\u0648\u06ba \u06a9\u0648 \u0627\u0646 \u06a9\u06d2 \u0633\u0627\u0645\u0646\u06d2 \u062d\u0642\u06cc\u0642\u06cc \u06c1\u0627\u0631\u0688 \u0648\u06cc\u0626\u0631 \u067e\u0631 \u062d\u0642\u06cc\u0642\u06cc \u062f\u0646\u06cc\u0627 \u06a9\u06cc \u062a\u0631\u0628\u06cc\u062a \u06a9\u06cc \u06a9\u0627\u0631\u06a9\u0631\u062f\u06af\u06cc \u06a9\u06d2 \u0644\u06cc\u06d2 \u0628\u06c1\u062a\u0631 \u0628\u0646\u0627\u06cc\u0627 \u062c\u0627\u0646\u0627 \u0686\u0627\u06c1\u06cc\u06d2\u06d4 \u0627\u06af\u0631 \u0645\u0627\u0688\u0644 \u0642\u062f\u0631\u06d2 \u0628\u0691\u0627 \u06c1\u0648 \u062c\u0627\u062a\u0627 \u06c1\u06d2 \u0644\u06cc\u06a9\u0646 \u062a\u0648\u062c\u06c1 \u06a9\u06d2 \u0628\u06c1\u062a\u0631 \u0646\u0645\u0648\u0646\u0648\u06ba \u06a9\u06cc \u0648\u062c\u06c1 \u0633\u06d2 \u062d\u0633\u0627\u0628 \u0641\u06cc \u0642\u062f\u0645 \u06af\u0631 \u062c\u0627\u062a\u0627 \u06c1\u06d2\u060c \u062a\u0648 \u06cc\u06c1 \u0627\u06cc\u06a9 \u062d\u0642\u06cc\u0642\u06cc \u062c\u06cc\u062a \u06c1\u06d2\u06d4 \u062d\u0633\u0627\u0628\u0627\u062a \u0641\u06cc \u0642\u062f\u0645 \u062a\u06cc\u0632 \u06c1\u06cc\u06ba\u060c \u0644\u06cc\u06a9\u0646 \u0627\u0628 \u0645\u0627\u0688\u0644 \u0641\u06cc \u0642\u062f\u0645 \u06a9\u0645 \u0633\u06cc\u06a9\u06be\u062a\u0627 \u06c1\u06d2\u060c \u062c\u0633 \u06a9\u06cc \u0646\u0634\u0627\u0646\u062f\u06c1\u06cc \u0628\u062f\u062a\u0631 val_bpb \u0633\u06d2 \u06c1\u0648\u062a\u06cc \u06c1\u06d2\u06d4 \u062f\u0648\u0646\u0648\u06ba \u0627\u062b\u0631\u0627\u062a \u0628\u0627\u0644\u0622\u062e\u0631 \u062e\u0648\u062f \u0628\u062e\u0648\u062f \u0635\u0627\u0641 \u06c1\u0648 \u062c\u0627\u0626\u06cc\u06ba \u06af\u06d2\u06d4<\/p>\n

    H100 \u0627\u0648\u0631 A100 NVIDIA \u0688\u06cc\u0679\u0627 \u0633\u06cc\u0646\u0679\u0631 GPUs \u06c1\u06cc\u06ba\u060c \u062c\u0628\u06a9\u06c1 RTX 4090 \u0627\u06cc\u06a9 \u0627\u0639\u0644\u06cc \u062f\u0631\u062c\u06d2 \u06a9\u0627 \u0635\u0627\u0631\u0641 \u06a9\u0627\u0631\u0688 \u06c1\u06d2\u06d4 \u0631\u0641\u062a\u0627\u0631 \u0627\u0648\u0631 \u06cc\u0627\u062f\u062f\u0627\u0634\u062a \u0645\u06cc\u06ba \u0628\u06c1\u062a \u0641\u0631\u0642 \u06c1\u0648\u062a\u0627 \u06c1\u06d2\u060c \u0627\u0648\u0631 \u06cc\u06c1\u06cc \u0628\u0627\u062a \u06c1\u06d2\u06d4 5 \u0645\u0646\u0679 \u06a9\u06d2 \u0645\u0642\u0631\u0631\u06c1 \u0628\u062c\u0679 \u067e\u0631\u060c \u062a\u06cc\u0632 \u06a9\u0627\u0631\u0688\u0632 \u0632\u06cc\u0627\u062f\u06c1 \u0688\u06cc\u0679\u0627 \u067e\u0631 \u06a9\u0627\u0631\u0631\u0648\u0627\u0626\u06cc \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba \u0627\u0648\u0631 \u06a9\u0645 val_bpb \u062a\u06a9 \u067e\u06c1\u0646\u0686 \u062c\u0627\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4 \u0644\u06c1\u0630\u0627\u060c \u0622\u067e \u0627\u06cc\u06a9 GPU \u06a9\u06d2 \u0627\u0633\u06a9\u0648\u0631 \u06a9\u0627 \u062f\u0648\u0633\u0631\u06d2 GPU \u06a9\u06d2 \u0627\u0633\u06a9\u0648\u0631 \u0633\u06d2 \u0628\u0631\u0627\u06c1 \u0631\u0627\u0633\u062a \u0645\u0648\u0627\u0632\u0646\u06c1 \u0646\u06c1\u06cc\u06ba \u06a9\u0631 \u0633\u06a9\u062a\u06d2\u06d4<\/p>\n

    \u0644\u06cc\u06a9\u0646 \u0627\u06cc\u06a9 \u0633\u0645\u062c\u06be\u0648\u062a\u06c1 \u06c1\u06d2\u06d4 \u0686\u0648\u0646\u06a9\u06c1 \u0628\u062c\u0679 \u0648\u0627\u0644 \u06a9\u0644\u0627\u06a9 \u06c1\u0648\u062a\u06d2 \u06c1\u06cc\u06ba\u060c \u0644\u06c1\u0630\u0627 \u0622\u067e \u06a9\u0648 H100 \u067e\u0631 \u062c\u0648 val_bpb \u0645\u0644\u062a\u0627 \u06c1\u06d2 \u0627\u0633 \u06a9\u0627 \u0645\u0648\u0627\u0632\u0646\u06c1 \u0628\u0631\u0627\u06c1 \u0631\u0627\u0633\u062a \u0627\u0633 val_bpb \u0633\u06d2 \u0646\u06c1\u06cc\u06ba \u06c1\u0648\u062a\u0627 \u062c\u0648 \u0622\u067e 4090 \u06cc\u0627 A100 \u067e\u0631 \u062d\u0627\u0635\u0644 \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4 \u0633\u0633\u0679\u0645 \u06a9\u0648 \u0628\u06c1\u062a\u0631\u06cc\u0646 \u0645\u0627\u0688\u0644 \u062a\u0644\u0627\u0634 \u06a9\u0631\u0646\u06d2 \u06a9\u06d2 \u0644\u06cc\u06d2 \u0688\u06cc\u0632\u0627\u0626\u0646 \u06a9\u06cc\u0627 \u06af\u06cc\u0627 \u06c1\u06d2\u06d4 \u0645\u062e\u0635\u0648\u0635 \u06a9\u0645\u067e\u06cc\u0648\u0679\u0646\u06af \u067e\u0644\u06cc\u0679 \u0641\u0627\u0631\u0645\u0632 \u06a9\u06d2 \u0644\u06cc\u06d2<\/strong> \u0622\u067e 5 \u0645\u0646\u0679 \u0645\u06cc\u06ba \u0639\u0627\u0644\u0645\u06cc \u0645\u0639\u06cc\u0627\u0631 \u0646\u06c1\u06cc\u06ba \u0628\u0646 \u0633\u06a9\u062a\u06d2\u06d4<\/p>\n

    \u06c1\u0627\u0631\u0688 \u0648\u06cc\u0626\u0631 \u0645\u06cc\u06ba \u0645\u0648\u0627\u0632\u0646\u06c1 \u06a9\u0631\u0646\u06d2 \u06a9\u06d2 \u0644\u06cc\u06d2 \u0645\u062e\u062a\u0644\u0641 \u0628\u062c\u0679 \u0641\u06a9\u0633 \u06a9\u06cc \u0636\u0631\u0648\u0631\u062a \u06c1\u0648\u062a\u06cc \u06c1\u06d2\u06d4 \u062e\u0648\u062f \u0645\u062e\u062a\u0627\u0631 \u062a\u062d\u0642\u06cc\u0642 \u06a9\u06d2 \u0627\u0633\u062a\u0639\u0645\u0627\u0644 \u06a9\u06d2 \u0645\u0639\u0627\u0645\u0644\u0627\u062a \u06a9\u06d2 \u0644\u06cc\u06d2\u060c \u06cc\u06c1 \u0628\u0627\u0644\u06a9\u0644 \u062f\u0631\u0633\u062a \u06c1\u06d2\u06d4<\/p>\n

    \u0627\u0628 \u0622\u0626\u06cc\u06d2 \u06c1\u0631 \u0641\u0627\u0626\u0644 \u06a9\u0648 \u0642\u0631\u06cc\u0628 \u0633\u06d2 \u062f\u06cc\u06a9\u06be\u06cc\u06ba\u06d4<\/p>\n

    1\u06d4 prepare.py<\/code><\/h3>\n

    \u0627\u0633 \u0641\u0627\u0626\u0644 \u06a9\u0648 \u06a9\u0648\u0626\u06cc \u0646\u06c1\u06cc\u06ba \u0686\u06be\u0648\u062a\u0627\u060c \u0644\u06cc\u06a9\u0646 \u0633\u0628 \u06a9\u0686\u06be \u0627\u0633 \u067e\u0631 \u0645\u0646\u062d\u0635\u0631 \u06c1\u06d2\u06d4 \u06cc\u06c1 \u062a\u06cc\u0646 \u0627\u06c1\u0645 \u06a9\u0627\u0645 \u0627\u0646\u062c\u0627\u0645 \u062f\u06cc\u062a\u0627 \u06c1\u06d2:<\/p>\n

    \u067e\u06c1\u0644\u0627 \u06a9\u0627\u0645 \u0688\u06cc\u0679\u0627 \u0688\u0627\u0624\u0646 \u0644\u0648\u0688 \u06a9\u0631\u0646\u0627 \u06c1\u06d2\u06d4 \u062a\u0631\u0628\u06cc\u062a\u06cc \u06a9\u0627\u0631\u067e\u0633 ClimbMix-400B \u06c1\u06d2\u060c \u062c\u0648 \u0627\u06cc\u06a9 \u0627\u0639\u0644\u06cc\u0670 \u0645\u0639\u06cc\u0627\u0631 \u06a9\u0627 \u0648\u06cc\u0628 \u0688\u06cc\u0679\u0627\u0633\u06cc\u0679 \u06c1\u06d2 \u062c\u0633 \u06a9\u06cc \u0645\u06cc\u0632\u0628\u0627\u0646\u06cc HuggingFace \u067e\u0631 \u06a9\u06cc \u06af\u0626\u06cc \u06c1\u06d2 \u0627\u0648\u0631 \u0627\u0633\u06d2 6,543 \u067e\u0627\u0631\u06a9\u06cc\u0679 \u0634\u0627\u0631\u0688\u0632 \u06a9\u06d2 \u0633\u0627\u062a\u06be \u0645\u0644\u0627\u06cc\u0627 \u06af\u06cc\u0627 \u06c1\u06d2\u06d4 \u0628\u0646\u06cc\u0627\u062f\u06cc \u0637\u0648\u0631 \u067e\u0631 prepare.py<\/code> \u0622\u067e \u0627\u0646 \u0645\u06cc\u06ba \u0633\u06d2 \u0635\u0631\u0641 10 \u0688\u0627\u0624\u0646 \u0644\u0648\u0688 \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba (\u062a\u0642\u0631\u06cc\u0628\u0627\u064b \u0686\u0646\u062f \u06af\u06cc\u06af\u0627 \u0628\u0627\u0626\u0679\u0633) \u062c\u0648 \u06a9\u06c1 5 \u0645\u0646\u0679 \u0645\u06cc\u06ba \u06c1\u0632\u0627\u0631\u0648\u06ba \u062a\u062c\u0631\u0628\u0627\u062a \u06a9\u0631\u0646\u06d2 \u06a9\u06d2 \u0644\u06cc\u06d2 \u06a9\u0627\u0641\u06cc \u06c1\u06d2\u06d4<\/p>\n

    \u0628\u0627\u0644\u06a9\u0644 \u0622\u062e\u0631\u06cc \u0634\u0627\u0631\u0688 \u06c1\u0645\u06cc\u0634\u06c1 \u062a\u0648\u062b\u06cc\u0642 \u0633\u06cc\u0679 \u06a9\u06d2 \u0637\u0648\u0631 \u067e\u0631 \u0688\u0627\u0624\u0646 \u0644\u0648\u0688 \u0627\u0648\u0631 \u067e\u0646 \u06a9\u06cc\u0627 \u062c\u0627\u062a\u0627 \u06c1\u06d2\u06d4 \u0627\u06cc\u0646\u06a9\u0631\u0646\u06af \u0627\u06c1\u0645 \u06c1\u06d2 \u06a9\u06cc\u0648\u0646\u06a9\u06c1 \u06c1\u0631 \u062a\u062c\u0631\u0628\u06c1 (\u062a\u0628\u062f\u06cc\u0644\u06cc\u0648\u06ba \u0633\u06d2 \u0642\u0637\u0639 \u0646\u0638\u0631) \u06a9\u0627 \u0627\u0646\u062f\u0627\u0632\u06c1 \u0622\u067e \u06a9\u06d2 \u067e\u0627\u0633 \u0645\u0648\u062c\u0648\u062f \u0688\u06cc\u0679\u0627 \u06a9\u06d2 \u0639\u06cc\u0646 \u0645\u0637\u0627\u0628\u0642 \u06a9\u06cc\u0627 \u062c\u0627\u062a\u0627 \u06c1\u06d2\u06d4<\/p>\n

    \u062f\u0648\u0633\u0631\u0627 \u06a9\u0627\u0645 \u0679\u0648\u06a9\u0646\u0627\u0626\u0632\u0631 \u06a9\u0648 \u062a\u0631\u0628\u06cc\u062a \u062f\u06cc\u0646\u0627 \u06c1\u06d2\u06d4 \u0631\u06cc\u067e\u0648 \u0627\u0633\u062a\u0639\u0645\u0627\u0644 \u06a9\u0631\u062a\u0627 \u06c1\u06d2: \u0632\u0646\u06af \u0622\u0644\u0648\u062f<\/strong> \u062a\u0631\u0628\u06cc\u062a\u06cc \u0688\u06cc\u0679\u0627 \u06a9\u06d2 \u0646\u0645\u0648\u0646\u0648\u06ba \u0633\u06d2 8,192 \u0679\u0648\u06a9\u0646\u0632 \u06a9\u06cc \u0630\u062e\u06cc\u0631\u06c1 \u0627\u0644\u0641\u0627\u0638 \u0633\u06cc\u06a9\u06be\u0646\u06d2 \u06a9\u06d2 \u0644\u06cc\u06d2 \u0628\u0627\u0626\u0679 \u067e\u06cc\u0626\u0631 \u0627\u0646\u06a9\u0648\u0688\u0646\u06af \u06a9\u0627 \u062a\u06cc\u0632 \u0631\u0641\u062a\u0627\u0631 \u0646\u0641\u0627\u0630\u06d4 \u0646\u062a\u0627\u0626\u062c \u0679\u06a9 \u0679\u0648\u06a9\u0646 \u0633\u06d2 \u0645\u0637\u0627\u0628\u0642\u062a \u0631\u06a9\u06be\u0646\u06d2 \u0648\u0627\u0644\u06cc \u0627\u0646\u06a9\u0648\u0688\u0646\u06af \u0645\u06cc\u06ba \u0628\u0631\u0622\u0645\u062f \u06a9\u06cc\u06d2 \u062c\u0627\u062a\u06d2 \u06c1\u06cc\u06ba\u060c \u062c\u0648 PyTorch \u06a9\u06d2 \u0633\u0627\u062a\u06be \u0646\u06cc\u0686\u06d2 \u06a9\u06cc \u0637\u0631\u0641 \u0635\u0627\u0641 \u0627\u0646\u0636\u0645\u0627\u0645 \u0641\u0631\u0627\u06c1\u0645 \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4 \u0645\u06cc\u0631\u06d2 \u067e\u0627\u0633 \u0627\u0633 \u0637\u0631\u062d \u06a9\u06cc \u0627\u06cc\u06a9 \u0686\u06be\u0648\u0679\u06cc \u067e\u0631\u06cc \u06a9\u0645\u067e\u06cc\u0648\u0679\u06cc\u0688 \u0644\u06a9 \u0627\u067e \u0679\u06cc\u0628\u0644 \u0628\u06be\u06cc \u06c1\u06d2: token_bytes.pt<\/code> \u06cc\u06c1 \u06c1\u0631 \u0679\u0648\u06a9\u0646 ID \u06a9\u0648 UTF-8 \u0628\u0627\u0626\u0679 \u06a9\u06cc \u0644\u0645\u0628\u0627\u0626\u06cc \u0645\u06cc\u06ba \u0646\u0642\u0634\u06c1 \u0628\u0646\u0627\u062a\u0627 \u06c1\u06d2\u06d4 \u06cc\u06c1 \u0648\u06c1\u06cc \u06c1\u06d2 \u062c\u0648 \u0628\u06cc \u067e\u06cc \u0628\u06cc \u06a9\u06d2 \u062d\u0633\u0627\u0628 \u06a9\u062a\u0627\u0628 \u06a9\u0648 \u0627\u06cc\u0645\u0627\u0646\u062f\u0627\u0631 \u0628\u0646\u0627\u062a\u0627 \u06c1\u06d2\u06d4<\/p>\n

    \u062a\u06cc\u0633\u0631\u0627 \u06a9\u0627\u0645 \u0645\u0646\u062f\u0631\u062c\u06c1 \u0630\u06cc\u0644 \u0633\u06c1\u0648\u0644\u06cc\u0627\u062a \u0641\u0631\u0627\u06c1\u0645 \u06a9\u0631\u0646\u0627 \u06c1\u06d2\u06d4 train.py<\/code> \u0631\u0646 \u0679\u0627\u0626\u0645 \u067e\u0631 \u062d\u0627\u0635\u0644 \u06a9\u06cc\u0627 \u06af\u06cc\u0627\u06d4 \u0688\u06cc\u0679\u0627 \u0644\u0648\u0688\u0631 \u0627\u06cc\u06a9 \u062f\u0644\u0686\u0633\u067e \u06c1\u06d2\u06d4 \u06cc\u06c1 \u0648\u06c1\u06cc \u06a9\u0631\u062a\u0627 \u06c1\u06d2 \u062c\u0648 \u0627\u0633\u06d2 \u06a9\u06c1\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4 \u0633\u0628 \u0633\u06d2 \u0632\u06cc\u0627\u062f\u06c1 \u0645\u0646\u0627\u0633\u0628 \u067e\u06cc\u06a9\u06cc\u062c\u0646\u06af<\/strong>: \u0628\u06cc\u0686 \u0645\u06cc\u06ba \u06c1\u0631 \u0642\u0637\u0627\u0631 \u0627\u06cc\u06a9 \u062e\u0627\u0635 BOS (\u0633\u0644\u0633\u0644\u06c1 \u06a9\u0627 \u0622\u063a\u0627\u0632) \u0679\u0648\u06a9\u0646 \u06a9\u06d2 \u0633\u0627\u062a\u06be \u0634\u0631\u0648\u0639 \u06c1\u0648\u062a\u06cc \u06c1\u06d2\u060c \u0627\u0648\u0631 \u0644\u0648\u0688\u0631 \u0644\u0627\u0644\u0686 \u0633\u06d2 \u0627\u06cc\u0633\u06cc \u062f\u0633\u062a\u0627\u0648\u06cc\u0632\u0627\u062a \u06a9\u0627 \u0627\u0646\u062a\u062e\u0627\u0628 \u06a9\u0631\u06a9\u06d2 \u0642\u0637\u0627\u0631 \u06a9\u0648 \u0628\u06be\u0631\u062a\u0627 \u06c1\u06d2 \u062c\u0648 \u0628\u0627\u0642\u06cc \u062c\u06af\u06c1 \u067e\u0631 \u0641\u0679 \u06c1\u0648\u06ba\u06d4 \u0635\u0631\u0641 \u0627\u0633 \u0635\u0648\u0631\u062a \u0645\u06cc\u06ba \u062c\u0628 \u062f\u0633\u062a\u0627\u0648\u06cc\u0632 \u0645\u06cc\u06ba \u06a9\u0686\u06be \u0628\u06be\u06cc \u0641\u0679 \u0646\u06c1\u06cc\u06ba \u06c1\u0648\u062a\u0627 \u06c1\u06d2 \u062a\u0648 \u06cc\u06c1 \u062e\u0644\u0627 \u06a9\u0648 \u067e\u064f\u0631 \u06a9\u0631\u0646\u06d2 \u06a9\u06d2 \u0644\u06cc\u06d2 \u062f\u0633\u062a\u06cc\u0627\u0628 \u0645\u062e\u062a\u0635\u0631 \u062a\u0631\u06cc\u0646 \u062f\u0633\u062a\u0627\u0648\u06cc\u0632 \u06a9\u0648 \u062a\u0631\u0627\u0634\u06d2 \u06af\u0627\u06d4<\/p>\n

    \u0646\u062a\u06cc\u062c\u06d2 \u06a9\u06d2 \u0637\u0648\u0631 \u067e\u0631\u060c \u0628\u063a\u06cc\u0631 \u06a9\u0633\u06cc \u067e\u06cc\u0688\u0646\u06af \u06a9\u06d2 100\u066a \u0627\u0633\u062a\u0639\u0645\u0627\u0644 \u062d\u0627\u0635\u0644 \u06a9\u06cc\u0627 \u06af\u06cc\u0627\u06d4 \u06cc\u06c1 \u0637\u0648\u06cc\u0644 \u062f\u0633\u062a\u0627\u0648\u06cc\u0632\u0627\u062a \u06a9\u0648 \u062a\u0631\u0627\u0634\u0646\u06d2 \u0627\u0648\u0631 \u0645\u062e\u062a\u0635\u0631 \u062f\u0633\u062a\u0627\u0648\u06cc\u0632\u0627\u062a \u06a9\u0648 \u067e\u06cc\u0688 \u06a9\u0631\u0646\u06d2 \u06a9\u06d2 \u0633\u0627\u062f\u06c1 \u0627\u0646\u062f\u0627\u0632 \u0633\u06d2 \u06a9\u06c1\u06cc\u06ba \u0632\u06cc\u0627\u062f\u06c1 \u062a\u06cc\u0632 \u06c1\u06d2\u06d4 \u0633\u0628 \u0633\u06d2 \u0627\u0648\u067e\u0631 \u0645\u0633\u0644\u0633\u0644 prepare.py<\/code> \u06cc\u06c1 \u062c\u0627\u0646 \u0628\u0648\u062c\u06be \u06a9\u0631 \u0622\u0633\u0627\u0646 \u06c1\u06d2\u06d4 \u062a\u06cc\u0646 \u0646\u0645\u0628\u0631 \u0627\u0648\u0631 \u062a\u0631\u062a\u06cc\u0628 \u06a9\u06cc \u0644\u0645\u0628\u0627\u0626\u06cc \u0645\u062c\u0645\u0648\u0639\u06cc \u062a\u062c\u0631\u0628\u0627\u062a\u06cc \u0645\u0639\u0627\u06c1\u062f\u06d2 \u06a9\u06cc \u0648\u0636\u0627\u062d\u062a \u06a9\u0631\u062a\u06cc \u06c1\u06d2\u06d4<\/p>\n

    \u0627\u06af\u0631 \u0622\u067e \u0645\u062e\u062a\u0644\u0641 \u06c1\u0627\u0631\u0688 \u0648\u06cc\u0626\u0631 \u067e\u0631 \u0627\u06cc\u06a9 \u062e\u0648\u062f\u06a9\u0627\u0631 \u0633\u0631\u0648\u06d2 \u0686\u0644\u0627\u0646\u0627 \u0686\u0627\u06c1\u062a\u06d2 \u06c1\u06cc\u06ba \u0627\u0648\u0631 \u0646\u062a\u0627\u0626\u062c \u06a9\u0627 \u06a9\u0633\u06cc \u062f\u0648\u0633\u062a \u06a9\u06d2 \u0633\u0627\u062a\u06be \u0645\u0648\u0627\u0632\u0646\u06c1 \u06a9\u0631\u0646\u0627 \u0686\u0627\u06c1\u062a\u06d2 \u06c1\u06cc\u06ba\u060c \u062a\u0648 \u0622\u067e \u062f\u0648\u0646\u0648\u06ba \u06a9\u0648 \u0635\u0631\u0641 \u0648\u06c1\u06cc \u0686\u06cc\u0632\u06cc\u06ba \u0634\u06cc\u0626\u0631 \u06a9\u0631\u0646\u06d2 \u06a9\u06cc \u0636\u0631\u0648\u0631\u062a \u06c1\u0648\u06af\u06cc \u062c\u0648 \u06cc\u06c1 \u0645\u0633\u062a\u0642\u0644 \u06c1\u06cc\u06ba\u06d4 \u0627\u0646\u06c1\u06cc\u06ba \u06cc\u06c1\u0627\u06ba \u0631\u06a9\u06be\u0646\u06d2 \u06a9\u0627 \u0645\u0642\u0635\u062f \u06c1\u06d2 \u0646\u06c1 \u06a9\u06c1 \u06a9\u06c1\u06cc\u06ba \u0627\u0648\u0631\u06d4<\/p>\n

    2. train.py<\/code><\/h3>\n

    \u06cc\u06c1 \u0627\u06cc\u062c\u0646\u0679 \u06a9\u06d2 \u067e\u0627\u0633 \u0641\u0627\u0626\u0644 \u06c1\u06d2\u06d4 \u0627\u0633\u06d2 \u0642\u062f\u0631\u062a\u06cc \u0637\u0648\u0631 \u067e\u0631 \u0686\u0627\u0631 \u062d\u0635\u0648\u06ba \u0645\u06cc\u06ba \u062a\u0642\u0633\u06cc\u0645 \u06a9\u06cc\u0627 \u06af\u06cc\u0627 \u06c1\u06d2: \u0645\u0627\u0688\u0644\u060c \u0622\u067e\u0679\u06cc\u0645\u0627\u0626\u0632\u0631 (\u0645\u06cc\u0679\u0631\u06a9\u0633 \u0648\u0632\u0646 \u06a9\u06d2 \u0644\u06cc\u06d2 Muon\u060c \u0627\u06cc\u0645\u0628\u06cc\u0688\u0646\u06af\u0632 \u0627\u0648\u0631 \u0627\u0633\u06a9\u06cc\u0644\u0631 \u067e\u06cc\u0631\u0627\u0645\u06cc\u0679\u0631\u0632 \u06a9\u06d2 \u0644\u06cc\u06d2 \u0627\u06cc\u0688\u0645 \u0688\u0628\u0644\u06cc\u0648)\u060c \u06c1\u0627\u0626\u067e\u0631 \u067e\u06cc\u0631\u0627\u0645\u06cc\u0679\u0631\u060c \u0627\u0648\u0631 \u0679\u0631\u06cc\u0646\u0646\u06af \u0644\u0648\u067e\u06d4 \u06c1\u0645 \u06c1\u0631 \u062d\u0635\u06d2 \u06a9\u0648 \u06cc\u06c1 \u0633\u0645\u062c\u06be\u0646\u06d2 \u06a9\u06d2 \u0645\u0642\u0635\u062f \u06a9\u06d2 \u0633\u0627\u062a\u06be \u062f\u06cc\u06a9\u06be\u06cc\u06ba \u06af\u06d2 \u06a9\u06c1 \u0648\u06c1 \u06a9\u06cc\u0648\u06ba \u0645\u0648\u062c\u0648\u062f \u06c1\u06cc\u06ba\u06d4<\/p>\n

    \"\u062a\u0635\u0648\u06cc\u0631<\/p>\n

    \u06cc\u06c1 \u0645\u0627\u0688\u0644 \u06a9\u0627\u0641\u06cc \u062d\u062f \u062a\u06a9 \u062c\u062f\u06cc\u062f GPT \u06c1\u06d2\u060c \u0634\u0631\u0648\u0639 \u0633\u06d2 \u0644\u06a9\u06be\u0627 \u06af\u06cc\u0627 \u06c1\u06d2 \u062c\u0633 \u0645\u06cc\u06ba PyTorch \u0627\u0648\u0631 Flash Attention 3 \u06a9\u0631\u0646\u0644 \u06a9\u06d2 \u0639\u0644\u0627\u0648\u06c1 \u06a9\u0648\u0626\u06cc \u0644\u0627\u0626\u0628\u0631\u06cc\u0631\u06cc \u0627\u0646\u062d\u0635\u0627\u0631 \u0646\u06c1\u06cc\u06ba \u06c1\u06d2\u06d4 \u0627\u06af\u0631 \u0622\u067e \u0646\u06d2 \u062c\u06cc \u067e\u06cc \u0679\u06cc \u06a9\u06d2 \u062f\u06cc\u06af\u0631 \u0646\u0641\u0627\u0630 \u06a9\u0648 \u067e\u0691\u06be\u0627 \u06c1\u06d2 \u062a\u0648\u060c \u0627\u0639\u0644\u06cc\u0670 \u0633\u0637\u062d \u06a9\u0627 \u0688\u06be\u0627\u0646\u0686\u06c1 \u0645\u0627\u0646\u0648\u0633 \u0646\u0638\u0631 \u0622\u0626\u06d2 \u06af\u0627: \u0679\u0648\u06a9\u0646 \u0627\u06cc\u0645\u0628\u06cc\u0688\u0646\u06af\u0632\u060c \u0679\u0631\u0627\u0646\u0633\u0641\u0627\u0631\u0645\u0631 \u0628\u0644\u0627\u06a9 \u0627\u0633\u0679\u06cc\u06a9\u060c \u0646\u0627\u0631\u0645\u0644\u0627\u0626\u0632\u06cc\u0634\u0646 \u0644\u06cc\u0626\u0631\u0632\u060c \u0627\u0648\u0631 \u0644\u06a9\u06cc\u0631\u06cc \u06c1\u06cc\u0688\u0632 \u062c\u0648 \u062f\u0648\u0628\u0627\u0631\u06c1 \u0644\u063a\u0648\u06cc \u0644\u0627\u06af\u0679\u0633 \u0645\u06cc\u06ba \u067e\u0631\u0648\u062c\u06cc\u06a9\u0679 \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4<\/p>\n

    \u062f\u0644\u0686\u0633\u067e \u062d\u0635\u06c1 \u062a\u0641\u0635\u06cc\u0644\u0627\u062a \u0645\u06cc\u06ba \u06c1\u06d2\u06d4 \u0645\u062c\u06be\u06d2 \u0646\u06c1\u06cc\u06ba \u0644\u06af\u062a\u0627 \u06a9\u06c1 \u0627\u0633 \u0630\u062e\u06cc\u0631\u06d2 \u06a9\u0648 \u0641\u0646 \u062a\u0639\u0645\u06cc\u0631 \u06cc\u0627 \u06a9\u0648\u0688 \u06a9\u06cc \u06a9\u0633\u06cc \u062a\u0641\u0635\u06cc\u0644 \u06a9\u06cc \u0636\u0631\u0648\u0631\u062a \u06c1\u06d2\u060c \u0644\u06c1\u0630\u0627 \u0645\u06cc\u06ba \u0627\u0646 \u0644\u0648\u06af\u0648\u06ba \u06a9\u06d2 \u0644\u06cc\u06d2 \u0627\u06cc\u06a9 \u0686\u06be\u0648\u0679\u0627 \u0633\u0627 \u0641\u0646 \u062a\u0639\u0645\u06cc\u0631 \u06a9\u0627 \u062e\u0627\u06a9\u06c1 \u062a\u06cc\u0627\u0631 \u06a9\u0631\u0648\u06ba \u06af\u0627 \u062c\u0648 \u0627\u0633\u06d2 \u062f\u06cc\u06a9\u06be\u0646\u0627 \u0686\u0627\u06c1\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4 \u067e\u06be\u0631 \u0645\u06cc\u06ba \u0648\u0636\u0627\u062d\u062a \u06a9\u0631\u0648\u06ba \u06af\u0627 \u06a9\u06c1 \u0679\u0631\u06cc\u0646\u0646\u06af \u0644\u0648\u067e \u06a9\u06cc\u0633\u06d2 \u0628\u0646\u062a\u0627 \u06c1\u06d2\u06d4<\/p>\n

    \"Train.py<\/p>\n

    \u0644\u0648\u067e \u062e\u0648\u062f \u0645\u062e\u062a\u0635\u0631 \u06c1\u06d2 \u0627\u0648\u0631 \u067e\u0691\u06be\u0646\u06d2 \u0645\u06cc\u06ba \u062a\u0642\u0631\u06cc\u0628\u0627\u064b \u062e\u0648\u0634\u06af\u0648\u0627\u0631 \u06c1\u06d2\u06d4 \u06a9\u0646\u06a9\u0627\u0644 \u0645\u0646\u062f\u0631\u062c\u06c1 \u0630\u06cc\u0644 \u06c1\u06d2:<\/p>\n

    while True:\n    # accumulate gradient over micro-batches to hit TOTAL_BATCH_SIZE\n    for micro_step in range(grad_accum_steps):\n        with autocast_ctx:\n            loss = model(x, y)\n        loss = loss \/ grad_accum_steps\n        loss.backward()\n        x, y, epoch = next(train_loader)\n\n    # update LR \/ momentum \/ weight decay based on time elapsed\n    progress = min(total_training_time \/ TIME_BUDGET, 1.0)\n    # ... set group[\"lr\"], group[\"momentum\"], group[\"weight_decay\"] ...\n\n    optimizer.step()\n    model.zero_grad(set_to_none=True)\n\n    # log step metrics\n    # ...\n\n    if step > 10 and total_training_time >= TIME_BUDGET:\n        break\n<\/code><\/pre>\n
    \u06cc\u06c1\u0627\u06ba \u0686\u0646\u062f \u0628\u0627\u062a\u06cc\u06ba \u0642\u0627\u0628\u0644 \u062a\u0648\u062c\u06c1 \u06c1\u06cc\u06ba\u06d4 \u067e\u06c1\u0644\u06d2\u060c \u067e\u06c1\u0644\u06d2 10 \u0645\u0631\u0627\u062d\u0644 \u06a9\u06d2 \u0628\u0639\u062f \u0627\u067e\u0646\u0627 \u0679\u0627\u0626\u0645 \u0628\u062c\u0679 \u0686\u06cc\u06a9 \u06a9\u0631\u06cc\u06ba\u06d4 \u06cc\u06c1 \u06cc\u0642\u06cc\u0646\u06cc \u0628\u0646\u0627\u0646\u0627 \u06c1\u06d2 \u06a9\u06c1 \u0622\u067e \u06a9\u06d2 \u0628\u062c\u0679 \u0645\u06cc\u06ba \u0627\u0628\u062a\u062f\u0627\u0626\u06cc PyTorch \u062a\u0627\u0644\u06cc\u0641 (\u062c\u0633 \u0645\u06cc\u06ba 30 \u0633\u06cc\u06a9\u0646\u0688 \u06cc\u0627 \u0627\u0633 \u0633\u06d2 \u0632\u06cc\u0627\u062f\u06c1 \u0648\u0642\u062a \u0644\u06af \u0633\u06a9\u062a\u0627 \u06c1\u06d2) \u0634\u0627\u0645\u0644 \u0646\u06c1\u06cc\u06ba \u06c1\u06d2\u06d4 \u0627\u0633 \u06a9\u06d2 \u0628\u063a\u06cc\u0631\u060c \u062a\u06cc\u0632 \u062a\u062c\u0631\u0628\u0627\u062a \u067e\u0631 \u062c\u0631\u0645\u0627\u0646\u06c1 \u0639\u0627\u0626\u062f \u06a9\u06cc\u0627 \u062c\u0627\u0626\u06d2 \u06af\u0627 \u06a9\u06c1 \u0648\u06c1 \u0627\u067e\u0646\u0627 \u0646\u0635\u0641 \u0628\u062c\u0679 \u062a\u06cc\u0627\u0631\u06cc \u06a9\u06d2 \u06a9\u0627\u0645 \u067e\u0631 \u062e\u0631\u0686 \u06a9\u0631\u06cc\u06ba\u06d4<\/p>\n
    \u062f\u0648\u0633\u0631\u0627\u060c \u0644\u0648\u067e \u0645\u06cc\u06ba \u062a\u06cc\u0632\u06cc \u0633\u06d2 \u0646\u0627\u06a9\u0627\u0645\u06cc \u06a9\u06cc \u062c\u0627\u0646\u0686 \u06c1\u0648\u062a\u06cc \u06c1\u06d2\u06d4 \u0627\u06af\u0631 \u0646\u0642\u0635\u0627\u0646 \u067e\u06be\u0679 \u062c\u0627\u062a\u0627 \u06c1\u06d2 \u06cc\u0627 NaN \u062a\u06a9 \u067e\u06c1\u0646\u0686 \u062c\u0627\u062a\u0627 \u06c1\u06d2\u060c \u062a\u0648 \u06cc\u06c1 "FAIL” \u067e\u0631\u0646\u0679 \u06a9\u0631\u062a\u0627 \u06c1\u06d2 \u0627\u0648\u0631 \u0628\u0627\u06c1\u0631 \u0646\u06a9\u0644 \u062c\u0627\u062a\u0627 \u06c1\u06d2\u06d4 \u0627\u06cc\u062c\u0646\u0679 \u067e\u06be\u0631 \u062a\u0646\u0627\u0632\u0639\u0627\u062a \u06a9\u06cc \u062c\u0627\u0646\u0686 \u06a9\u0631\u062a\u0627 \u06c1\u06d2 \u0627\u0648\u0631 \u0627\u0646 \u06a9\u0648 \u0644\u0627\u06af \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u06d4 \u06cc\u06c1 \u0627\u0646 \u0627\u06cc\u062c\u0646\u0679\u0648\u06ba \u06a9\u06d2 \u062e\u0644\u0627\u0641 \u062f\u0641\u0627\u0639 \u06c1\u06d2 \u062c\u0648 \u0646\u0645\u0627\u06cc\u0627\u06ba \u0637\u0648\u0631 \u067e\u0631 \u0645\u062e\u062a\u0644\u0641 \u06a9\u0627\u0645 \u0627\u0646\u062c\u0627\u0645 \u062f\u06cc\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4<\/p>\n
    \u062a\u06cc\u0633\u0631\u0627\u060c \u0644\u0648\u067e \u062e\u062a\u0645 \u06c1\u0648\u0646\u06d2 \u06a9\u06d2 \u0628\u0639\u062f\u060c \u0627\u06cc\u06a9 \u06c1\u06cc \u0622\u062e\u0631\u06cc \u06a9\u0627\u0644 \u06c1\u0648\u062a\u06cc \u06c1\u06d2: evaluate_bpb<\/code> \u0627\u06cc\u06a9 \u0645\u0646\u0638\u0645 \u062e\u0644\u0627\u0635\u06c1 \u067e\u06be\u0631 stdout \u067e\u0631 \u067e\u0631\u0646\u0679 \u06a9\u06cc\u0627 \u062c\u0627\u062a\u0627 \u06c1\u06d2\u06d4<\/p>\n
    \u06cc\u06c1 \u062e\u0644\u0627\u0635\u06c1 \u0679\u0631\u06cc\u0646\u0646\u06af \u0627\u0633\u06a9\u0631\u067e\u0679 \u0627\u0648\u0631 \u0627\u06cc\u062c\u0646\u0679 \u06a9\u06d2 \u062f\u0631\u0645\u06cc\u0627\u0646 \u067e\u0648\u0631\u0627 API \u06c1\u06d2\u06d4<\/p>\n
    ---\nval_bpb:          0.997900\ntraining_seconds: 300.1\ntotal_seconds:    325.9\npeak_vram_mb:     45060.2\nmfu_percent:      39.80\ntotal_tokens_M:   499.6\nnum_steps:        953\nnum_params_M:     50.3\ndepth:            8\n<\/code><\/pre>\n
    \u06cc\u06c1 \u0648\u06c1\u06cc \u06c1\u06d2 \u062c\u0648 grep \u0646\u06a9\u0627\u0644\u062a\u0627 \u06c1\u06d2 \u0627\u0648\u0631 \u0627\u06cc\u062c\u0646\u0679 \u067e\u0691\u06be\u062a\u0627 \u06c1\u06d2\u06d4 \u067e\u0648\u0631\u0627 \u062a\u062c\u0631\u0628\u0627\u062a\u06cc \u0645\u0639\u0627\u06c1\u062f\u06c1 \u0627\u0633 \u0633\u0627\u062f\u06c1 \u0645\u062a\u0646 \u06a9\u06cc \u0633\u0627\u062a \u0633\u0637\u0631\u0648\u06ba \u067e\u0631 \u0645\u0634\u062a\u0645\u0644 \u06c1\u06d2\u06d4<\/p>\n
    \u06c1\u0627\u0626\u067e\u0631 \u067e\u06cc\u0631\u0627\u0645\u06cc\u0679\u0631<\/h4>\n
    Hyperparameters \u0646\u06cc\u0686\u06d2 \u06a9\u06d2 \u0642\u0631\u06cc\u0628 \u0648\u0627\u0636\u062d \u0637\u0648\u0631 \u067e\u0631 \u0646\u0634\u0627\u0646 \u0632\u062f \u062d\u0635\u06d2 \u0645\u06cc\u06ba \u0648\u0627\u0642\u0639 \u06c1\u06cc\u06ba\u06d4 train.py<\/code>\u062a\u0628\u0635\u0631\u06c1 \u06a9\u06c1\u062a\u0627 \u06c1\u06d2 "\u0627\u0633 \u0645\u06cc\u06ba \u062e\u0648\u062f \u062a\u0631\u0645\u06cc\u0645 \u06a9\u0631\u06cc\u06ba\u060c CLI \u062c\u06be\u0646\u0688\u0648\u06ba \u06a9\u06cc \u0636\u0631\u0648\u0631\u062a \u0646\u06c1\u06cc\u06ba \u06c1\u06d2\u06d4” \u0648\u06c1 \u062f\u0631\u062c \u0630\u06cc\u0644 \u06c1\u06cc\u06ba:<\/p>\n
    # Model architecture\nASPECT_RATIO = 64       # model_dim = depth * ASPECT_RATIO\nHEAD_DIM = 128          # target head dimension for attention\nWINDOW_PATTERN = \"SSSL\" # sliding window pattern: L=full, S=half context\n\n# Optimization\nTOTAL_BATCH_SIZE = 2**19 # ~524K tokens per optimizer step\nEMBEDDING_LR = 0.6\nUNEMBEDDING_LR = 0.004\nMATRIX_LR = 0.04\nSCALAR_LR = 0.5\nWEIGHT_DECAY = 0.2\nADAM_BETAS = (0.8, 0.95)\nWARMUP_RATIO = 0.0\nWARMDOWN_RATIO = 0.5\nFINAL_LR_FRAC = 0.0\n\n# Model size\nDEPTH = 8\nDEVICE_BATCH_SIZE = 128\n<\/code><\/pre>\n
    \u06cc\u06c1\u0627\u06ba \u0633\u0628 \u06a9\u0686\u06be \u062c\u0627\u0646 \u0628\u0648\u062c\u06be \u06a9\u0631 \u0633\u0686\u0627\u0626\u06cc \u06a9\u0627 \u0648\u0627\u062d\u062f \u0646\u0642\u0637\u06c1 \u06c1\u06d2\u06d4 \u0645\u0627\u0688\u0644 \u06a9\u0627 \u0637\u0648\u0644 \u0648 \u0639\u0631\u0636 \u06af\u06c1\u0631\u0627\u0626\u06cc \u06c1\u06d2 (depth \u00d7 64<\/code>\u0633\u0631 \u06a9\u06d2 \u0637\u0648\u0644 \u0648 \u0639\u0631\u0636 \u0633\u06d2 \u06af\u0648\u0644)\u06d4 \u0633\u0631\u0648\u06ba \u06a9\u06cc \u062a\u0639\u062f\u0627\u062f \u0645\u0627\u0688\u0644 \u06a9\u06d2 \u0637\u0648\u0644 \u0648 \u0639\u0631\u0636 \u0633\u06d2 \u0634\u0645\u0627\u0631 \u06a9\u06cc \u062c\u0627\u062a\u06cc \u06c1\u06d2\u06d4 \u0627\u0633 \u06a9\u0627 \u0645\u0637\u0644\u0628 \u06c1\u06d2 \u06a9\u06c1 \u0627\u06cc\u06a9 \u0627\u06cc\u062c\u0646\u0679 \u0635\u0631\u0641 \u0627\u06cc\u06a9 \u0646\u0645\u0628\u0631 \u062a\u0628\u062f\u06cc\u0644 \u06a9\u0631 \u0633\u06a9\u062a\u0627 \u06c1\u06d2\u06d4 DEPTH<\/code>\u0645\u0627\u0688\u0644 \u062e\u0648\u062f \u06a9\u0648 \u0645\u0633\u062a\u0642\u0644 \u0637\u0648\u0631 \u067e\u0631 \u062a\u0631\u0627\u0632\u0648 \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u06d4<\/p>\n
    \u0627\u0633 \u0642\u0633\u0645 \u06a9\u06cc "\u0645\u0627\u0688\u0644 \u0627\u0633\u06a9\u06cc\u0644\u0646\u06af \u06a9\u06d2 \u0644\u06cc\u06d2 \u0627\u06cc\u06a9 \u0646\u0648\u0628” \u067e\u06cc\u0631\u0627\u0645\u06cc\u0679\u0631\u0627\u0626\u0632\u06cc\u0634\u0646 \u0628\u0627\u0644\u06a9\u0644 \u0648\u06c1\u06cc \u06c1\u06d2 \u062c\u0648 \u062a\u0644\u0627\u0634 \u06a9\u06cc \u062c\u06af\u06c1 \u06a9\u0648 \u0642\u0627\u0628\u0644 \u0639\u0645\u0644 \u0628\u0646\u0627\u062a\u06cc \u06c1\u06d2\u06d4<\/p>\n
    3. program.md<\/code><\/h3>\n
    program.md<\/code>    \u06cc\u06c1 \u062a\u06cc\u0646\u0648\u06ba \u0641\u0627\u0626\u0644\u0648\u06ba \u0645\u06cc\u06ba \u0633\u06d2 \u0633\u0628 \u0633\u06d2 \u0645\u062e\u062a\u0635\u0631 \u06c1\u06d2 \u0627\u0648\u0631 \u0642\u0627\u0628\u0644 \u0627\u0639\u062a\u0631\u0627\u0636 \u0637\u0648\u0631 \u067e\u0631 \u0633\u0628 \u0633\u06d2 \u0627\u06c1\u0645 \u06c1\u06d2\u06d4 \u06cc\u06c1 \u0648\u06c1 \u0641\u0627\u0626\u0644 \u06c1\u06d2 \u062c\u0633 \u0645\u06cc\u06ba \u06c1\u0645 \u062a\u0631\u0645\u06cc\u0645 \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba \u0627\u0648\u0631 \u0627\u0633 \u0645\u06cc\u06ba \u0648\u06c1 \u0633\u0628 \u06a9\u0686\u06be \u06c1\u0648\u062a\u0627 \u06c1\u06d2 \u062c\u0633 \u06a9\u06d2 \u0628\u0627\u0631\u06d2 \u0645\u06cc\u06ba \u06c1\u0645\u06cc\u06ba \u062c\u0627\u0646\u0646\u06d2 \u06a9\u06cc \u0636\u0631\u0648\u0631\u062a \u06c1\u0648\u062a\u06cc \u06c1\u06d2 \u06a9\u06c1 \u0627\u06cc\u062c\u0646\u0679 \u0686\u0644\u0627\u0646\u06d2 \u06a9\u06d2 \u062f\u0648\u0631\u0627\u0646 \u06a9\u06cc\u0633\u06d2 \u0628\u0631\u062a\u0627\u0624 \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u06d4<\/p>\n
    \u0633\u0627\u062e\u062a program.md<\/code> \u062a\u062d\u0642\u06cc\u0642\u06cc \u0633\u06cc\u0634\u0646 \u06a9\u06d2 \u0644\u0627\u0626\u0641 \u0633\u0627\u0626\u06cc\u06a9\u0644 \u06a9\u06cc \u0639\u06a9\u0627\u0633\u06cc \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u06d4 \u06cc\u06c1 \u0627\u0633 \u0637\u0631\u062d \u06a9\u06be\u0644\u062a\u0627 \u06c1\u06d2: \u062a\u0631\u062a\u06cc\u0628\u060c<\/strong> \u0644\u0627\u0646\u0686 \u0679\u06cc\u06af \u0633\u06d2 \u0627\u062a\u0641\u0627\u0642 \u06a9\u0631\u06cc\u06ba \u0627\u0648\u0631 \u06af\u0679 \u0628\u0631\u0627\u0646\u0686 \u0628\u0646\u0627\u0626\u06cc\u06ba\u06d4 autoresearch\/<\/code>\u062f\u0627\u0626\u0631\u06c1 \u06a9\u0627\u0631 \u0645\u06cc\u06ba \u0641\u0627\u0626\u0644 \u06a9\u0648 \u067e\u0691\u06be\u062a\u0627 \u06c1\u06d2\u060c \u0686\u06cc\u06a9 \u06a9\u0631\u062a\u0627 \u06c1\u06d2 \u06a9\u06c1 \u0622\u06cc\u0627 \u0688\u06cc\u0679\u0627 \u0645\u0648\u062c\u0648\u062f \u06c1\u06d2\u060c \u0627\u0648\u0631 \u0646\u062a\u06cc\u062c\u06d2 \u0645\u06cc\u06ba \u0622\u0646\u06d2 \u0648\u0627\u0644\u06cc \u0641\u0627\u0626\u0644 \u06a9\u0648 \u0634\u0631\u0648\u0639 \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u06d4 \u0627\u0633 \u06a9\u06d2 \u0628\u0639\u062f \u06c1\u0645 \u062a\u062c\u0631\u0628\u0627\u062a\u06cc \u0627\u0635\u0648\u0644\u0648\u06ba \u06a9\u06cc \u0648\u0636\u0627\u062d\u062a \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba\u060c \u062c\u06cc\u0633\u06d2 \u06a9\u06c1 \u0627\u06cc\u062c\u0646\u0679 \u06a9\u06cc\u0627 \u06a9\u0631 \u0633\u06a9\u062a\u0627 \u06c1\u06d2 \u0627\u0648\u0631 \u06a9\u06cc\u0627 \u062a\u0631\u0645\u06cc\u0645 \u0646\u06c1\u06cc\u06ba \u06a9\u0631 \u0633\u06a9\u062a\u0627\u060c VRAM \u06a9\u06cc \u0646\u0631\u0645 \u0631\u06a9\u0627\u0648\u0679\u06cc\u06ba\u060c \u0627\u0648\u0631\u060c \u0627\u06c1\u0645 \u0637\u0648\u0631 \u067e\u0631\u060c \u0627\u06cc\u06a9 \u0633\u0627\u062f\u06af\u06cc \u06a9\u0627 \u0645\u0639\u06cc\u0627\u0631 \u06a9\u06c1\u060c \u0628\u0627\u0642\u06cc \u062a\u0645\u0627\u0645 \u0686\u06cc\u0632\u06cc\u06ba \u0628\u0631\u0627\u0628\u0631\u060c \u0622\u0633\u0627\u0646 \u06c1\u0648\u0646\u0627 \u0628\u06c1\u062a\u0631 \u06c1\u06d2\u06d4<\/p>\n
    \u0627\u06cc\u06a9 0.001bpb \u0628\u06c1\u062a\u0631\u06cc \u062c\u0648 \u06c1\u06cc\u06a9\u06cc \u06a9\u0648\u0688 \u06a9\u06cc 20 \u0644\u0627\u0626\u0646\u0648\u06ba \u06a9\u0627 \u0627\u0636\u0627\u0641\u06c1 \u06a9\u0631\u062a\u06cc \u06c1\u06d2 \u0631\u06a9\u06be\u0646\u06d2 \u06a9\u06d2 \u0642\u0627\u0628\u0644 \u0646\u06c1\u06cc\u06ba \u06c1\u06d2\u06d4 0.001bpb \u0628\u06c1\u062a\u0631\u06cc \u06c1\u0679\u0627 \u062f\u06cc\u06ba<\/strong> 20 \u062a\u0627\u0631\u06cc\u06ba \u06cc\u0642\u06cc\u0646\u06cc \u0637\u0648\u0631 \u067e\u0631 \u0631\u06a9\u06be\u0646\u06d2 \u06a9\u06d2 \u0642\u0627\u0628\u0644 \u06c1\u06cc\u06ba\u06d4<\/p>\n
    \u067e\u06be\u0631 \u0627\u0635\u0644 \u0644\u0648\u067e \u0622\u062a\u0627 \u06c1\u06d2. \u0627\u06cc\u062c\u0646\u0679 \u06a9\u0648 \u0627\u0633 \u06a9\u0627 \u0627\u0633\u062a\u0639\u0645\u0627\u0644 \u06a9\u0631\u062a\u06d2 \u06c1\u0648\u0626\u06d2 \u062a\u0631\u0628\u06cc\u062a \u0686\u0644\u0627\u0646\u06d2 \u06a9\u06cc \u06c1\u062f\u0627\u06cc\u062a \u06a9\u06cc \u062c\u0627\u062a\u06cc \u06c1\u06d2: uv run train.py > run.log 2>&1<\/code> \u0627\u0648\u0631 \u0627\u0633\u06d2 \u06a9\u0628\u06be\u06cc \u0627\u0633\u062a\u0639\u0645\u0627\u0644 \u0646\u06c1 \u06a9\u0631\u06cc\u06ba\u06d4 tee<\/code> \u0645\u062a\u0628\u0627\u062f\u0644 \u0637\u0648\u0631 \u067e\u0631\u060c \u0622\u0624\u0679 \u067e\u0679 \u06a9\u0648 \u0633\u0679\u0631\u06cc\u0645 \u06a9\u0631\u06cc\u06ba \u06a9\u06cc\u0648\u0646\u06a9\u06c1 \u06cc\u06c1 \u0627\u06cc\u062c\u0646\u0679 \u06a9\u06cc \u0633\u06cc\u0627\u0642 \u0648 \u0633\u0628\u0627\u0642 \u06a9\u06cc \u0648\u0646\u0688\u0648 \u06a9\u0648 \u0627\u0648\u0648\u0631 \u0641\u0644\u0648 \u06a9\u0631 \u062f\u06d2 \u06af\u0627\u06d4 \u0622\u067e \u06a9\u0648 \u06cc\u06c1 \u0627\u0633\u062a\u0639\u0645\u0627\u0644 \u06a9\u0631\u062a\u06d2 \u06c1\u0648\u0626\u06d2 \u0645\u06cc\u0679\u0631\u06a9\u0633 \u0646\u06a9\u0627\u0644\u0646\u06d2 \u06a9\u06d2 \u0644\u06cc\u06d2 \u0628\u06be\u06cc \u06a9\u06c1\u0627 \u062c\u0627\u0626\u06d2 \u06af\u0627: grep \"^val_bpb:|^peak_vram_mb:\" run.log<\/code>\u0635\u0631\u0641 \u0627\u06cc\u06a9 \u06cc\u0627 \u062f\u0648 \u0627\u06c1\u0645 \u0633\u0637\u0631\u06cc\u06ba \u0641\u0631\u0627\u06c1\u0645 \u06a9\u0631\u06cc\u06ba\u06d4<\/p>\n
    \u0627\u06af\u0631 grep \u06a9\u0686\u06be \u067e\u06cc\u062f\u0627 \u0646\u06c1\u06cc\u06ba \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u060c \u062a\u0648 \u06cc\u06c1 \u0686\u0644\u0646\u0627 \u0628\u0646\u062f \u06a9\u0631 \u062f\u06cc\u062a\u0627 \u06c1\u06d2 \u0627\u0648\u0631 \u0627\u06cc\u062c\u0646\u0679 \u06a9\u0648 \u0644\u0627\u06af \u06a9\u06cc \u0622\u062e\u0631\u06cc 50 \u0644\u0627\u0626\u0646\u06cc\u06ba \u067e\u0691\u06be\u0646\u06d2 \u0627\u0648\u0631 \u0645\u0633\u0626\u0644\u06c1 \u06a9\u0648 \u062d\u0644 \u06a9\u0631\u0646\u06d2 \u06a9\u06cc \u06a9\u0648\u0634\u0634 \u06a9\u0631\u0646\u06d2 \u06a9\u0627 \u0627\u0634\u0627\u0631\u06c1 \u06a9\u0631\u062a\u0627 \u06c1\u06d2 (\u0644\u06cc\u06a9\u0646 \u0627\u0633\u06d2 \u06a9\u0686\u06be \u06a9\u0648\u0634\u0634\u0648\u06ba \u06a9\u06d2 \u0628\u0639\u062f \u062a\u0631\u06a9 \u06a9\u0631 \u062f\u06cc\u0646\u0627 \u0686\u0627\u06c1\u06cc\u06d2 \u0627\u0648\u0631 \u0622\u06af\u06d2 \u0628\u0691\u06be\u0646\u0627 \u0686\u0627\u06c1\u06cc\u06d2)\u06d4 \u062a\u0645\u0627\u0645 \u062a\u062c\u0631\u0628\u0627\u062a \u06a9\u06d2 \u0646\u062a\u0627\u0626\u062c \u062f\u0631\u062c \u06a9\u06cc\u06d2 \u06af\u0626\u06d2 \u06c1\u06cc\u06ba: results.tsv<\/code>.<\/p>\n
    \u0641\u06cc\u0635\u0644\u06c1 \u06a9\u0631\u0646\u06d2 \u06a9\u0627 \u0627\u0635\u0648\u0644 \u0633\u0627\u062f\u06c1 \u06c1\u06d2\u06d4 \u0627\u06af\u0631 val_bpb \u0628\u06c1\u062a\u0631 \u06c1\u0648\u062a\u0627 \u06c1\u06d2 (\u06a9\u0645 \u06c1\u0648\u062a\u0627 \u06c1\u06d2)\u060c \u062a\u0648 \u0627\u06cc\u062c\u0646\u0679 \u0639\u06c1\u062f \u06a9\u0648 \u0628\u0631\u0642\u0631\u0627\u0631 \u0631\u06a9\u06be\u06d2 \u06af\u0627 \u0627\u0648\u0631 \u0628\u0631\u0627\u0646\u0686 \u06a9\u0648 \u0622\u06af\u06d2 \u0628\u0691\u06be\u0627\u0626\u06d2 \u06af\u0627\u06d4 \u0627\u06af\u0631 \u06a9\u0648\u0626\u06cc \u0628\u06c1\u062a\u0631\u06cc \u0646\u06c1\u06cc\u06ba \u06c1\u06d2 \u062a\u0648\u060c \u0627\u06cc\u062c\u0646\u0679 \u06a9\u0648 \u0645\u062a\u062d\u0631\u06a9 \u06a9\u06cc\u0627 \u062c\u0627\u062a\u0627 \u06c1\u06d2. git reset<\/code> \u0639\u06c1\u062f \u06a9\u0648 \u0645\u0646\u0633\u0648\u062e \u06a9\u0631\u06cc\u06ba\u06d4 \u0627\u06af\u0631 \u06a9\u0648\u0626\u06cc \u062a\u0646\u0627\u0632\u0639\u06c1 \u06c1\u0648\u062a\u0627 \u06c1\u06d2\u060c \u062a\u0648 \u0627\u06cc\u062c\u0646\u0679 \u0627\u0633\u06d2 \u0644\u0627\u06af \u06a9\u0631\u062a\u0627 \u06c1\u06d2 \u0627\u0648\u0631 \u06a9\u0686\u06be \u0627\u0648\u0631 \u06a9\u0631\u0646\u06d2 \u06a9\u06cc \u06a9\u0648\u0634\u0634 \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u06d4<\/p>\n
    \u0622\u062e\u0631\u06cc \u067e\u06cc\u0631\u0627\u06af\u0631\u0627\u0641 program.md<\/code> \u06cc\u06c1 \u0648\u06c1\u06cc \u06c1\u06d2 \u062c\u0648 \u062e\u0648\u062f \u06a9\u0627\u0631 \u062a\u062d\u0642\u06cc\u0642 \u06a9\u0631\u062a\u0627 \u06c1\u06d2 \u06a9\u06c1 \u06cc\u06c1 \u06a9\u06cc\u0627 \u06c1\u06d2. \u0627\u0633 \u06a9\u0627 \u0627\u06cc\u06a9 \u0639\u0646\u0648\u0627\u0646 \u06c1\u06d2\u06d4 \u06a9\u0628\u06be\u06cc \u0646\u06c1\u06cc\u06ba \u0631\u0648\u06a9\u0646\u0627<\/strong>. \u0627\u06cc\u062c\u0646\u0679 \u06a9\u0648 \u0648\u0627\u0636\u062d \u0637\u0648\u0631 \u067e\u0631 \u06c1\u062f\u0627\u06cc\u062a \u06a9\u06cc \u062c\u0627\u062a\u06cc \u06c1\u06d2 \u06a9\u06c1 \u0648\u06c1 \u0627\u0646\u0633\u0627\u0646 (\u0635\u0627\u0631\u0641) \u0633\u06d2 \u0646\u06c1 \u067e\u0648\u0686\u06be\u06d2 \u06a9\u06c1 \u06a9\u06cc\u0627 \u0627\u0633\u06d2 \u0622\u06af\u06d2 \u0628\u0691\u06be\u0646\u0627 \u0686\u0627\u06c1\u06cc\u06d2\u060c \u06a9\u0633\u06cc \u0627\u062c\u0627\u0632\u062a \u06a9\u06cc \u062f\u0631\u062e\u0648\u0627\u0633\u062a \u0646\u06c1 \u06a9\u0631\u06d2\u060c \u0627\u0648\u0631 \u062a\u0635\u062f\u06cc\u0642 \u06a9\u06d2 \u0644\u06cc\u06d2 \u062a\u0648\u0642\u0641 \u0646\u06c1 \u06a9\u0631\u06d2\u06d4 \u062c\u0628 \u0627\u06cc\u062c\u0646\u0679\u0648\u06ba \u06a9\u06d2 \u062e\u06cc\u0627\u0644\u0627\u062a \u062e\u062a\u0645 \u06c1\u0648 \u062c\u0627\u062a\u06d2 \u06c1\u06cc\u06ba\u060c \u062a\u0648 \u0627\u0646\u06c1\u06cc\u06ba \u0645\u0632\u06cc\u062f \u0633\u0648\u0686\u0646\u0627 \u067e\u0691\u062a\u0627 \u06c1\u06d2\u060c \u0646\u0627\u06a9\u0627\u0645\u06cc\u0648\u06ba \u06a9\u0648 \u062f\u06cc\u06a9\u06be\u0646\u0627 \u067e\u0691\u062a\u0627 \u06c1\u06d2\u060c \u06af\u0645\u0634\u062f\u06c1 \u0679\u06a9\u0691\u0648\u06ba \u06a9\u0648 \u062c\u0648\u0691\u0646\u0627 \u067e\u0691\u062a\u0627 \u06c1\u06d2\u060c \u0627\u0648\u0631 \u0645\u0632\u06cc\u062f \u0628\u0646\u06cc\u0627\u062f\u06cc \u062a\u0628\u062f\u06cc\u0644\u06cc\u0648\u06ba \u06a9\u06cc \u06a9\u0648\u0634\u0634 \u06a9\u0631\u0646\u06cc \u067e\u0691\u062a\u06cc \u06c1\u06d2\u06d4<\/p>\n
    \u0644\u0648\u067e \u0627\u0633 \u0648\u0642\u062a \u062a\u06a9 \u0686\u0644\u062a\u0627 \u06c1\u06d2 \u062c\u0628 \u062a\u06a9 \u06c1\u0645 \u0627\u0633\u06d2 \u0631\u0648\u06a9 \u0646\u06c1\u06cc\u06ba \u062f\u06cc\u062a\u06d2\u06d4 \u06cc\u06c1 \u0648\u0627\u062d\u062f \u06a9\u0645\u0627\u0646\u0688 \u0631\u06cc\u067e\u0648\u0632\u0679\u0631\u06cc \u0645\u06cc\u06ba \u0627\u0632\u06af\u0631 \u06a9\u06cc \u06a9\u0633\u06cc \u0628\u06be\u06cc \u0644\u0627\u0626\u0646 \u0633\u06d2 \u0632\u06cc\u0627\u062f\u06c1 \u062f\u0644\u0686\u0633\u067e \u06c1\u06d2\u06d4 \u06cc\u06c1 \u0627\u06cc\u06a9 \u0627\u06cc\u062c\u0646\u0679 \u06a9\u06d2 \u062f\u0631\u0645\u06cc\u0627\u0646 \u0641\u0631\u0642 \u06c1\u06d2 \u062c\u0648 \u0686\u0646\u062f \u062a\u062c\u0631\u0628\u0627\u062a \u06a9\u0631\u062a\u0627 \u06c1\u06d2 \u0627\u0648\u0631 \u067e\u0648\u0686\u06be\u062a\u0627 \u06c1\u06d2 \u06a9\u06c1 \u06a9\u06cc\u0627 \u0622\u067e \u062c\u0627\u0631\u06cc \u0631\u06a9\u06be\u0646\u0627 \u0686\u0627\u06c1\u062a\u06d2 \u06c1\u06cc\u06ba\u060c \u0627\u0648\u0631 \u0627\u06cc\u06a9 \u0627\u06cc\u062c\u0646\u0679 \u062c\u0648 \u0631\u0627\u062a\u0648\u06ba \u0631\u0627\u062a \u0648\u0627\u0642\u0639\u06cc \u062e\u0648\u062f \u0645\u062e\u062a\u0627\u0631 \u062a\u062d\u0642\u06cc\u0642 \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u06d4<\/p>\n
    5 \u0645\u0646\u0679 \u06a9\u06d2 \u0628\u062c\u0679 \u0645\u06cc\u06ba \u06a9\u0648\u0626\u06cc \u062a\u0636\u0627\u062f \u0646\u06c1\u06cc\u06ba \u06c1\u06d2\u06d4 \u0627\u06cc\u06a9 \u062a\u062c\u0631\u0628\u06c1\u060c \u0627\u06cc\u06a9 \u062a\u0631\u0628\u06cc\u062a\u06cc \u062f\u0648\u0691\u060c \u0635\u0631\u0641 5 \u0645\u0646\u0679 \u0644\u06af\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4 "\u06a9\u0628\u06be\u06cc \u0646\u06c1 \u0631\u0648\u06a9\u06cc\u06ba” \u06a9\u0645\u0627\u0646\u0688 \u0628\u06cc\u0631\u0648\u0646\u06cc \u0644\u0648\u067e \u06a9\u0648 \u06a9\u0646\u0679\u0631\u0648\u0644 \u06a9\u0631\u062a\u06cc \u06c1\u06d2\u06d4 \u062c\u06cc\u0633\u06d2 \u06c1\u06cc \u0627\u06cc\u06a9 \u0631\u0646 \u0645\u06a9\u0645\u0644 \u06c1\u0648\u062a\u0627 \u06c1\u06d2 \u0627\u0648\u0631 \u0627\u06cc\u062c\u0646\u0679 \u0646\u062a\u0627\u0626\u062c \u06a9\u0648 \u0644\u0627\u06af \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u060c \u0627\u06af\u0644\u06cc \u062f\u0648\u0691 \u0634\u0631\u0648\u0639 \u06c1\u0648 \u062c\u0627\u062a\u06cc \u06c1\u06d2\u06d4 5 \u0645\u0646\u0679 \u06a9\u06d2 \u0646\u0626\u06d2 \u062a\u062c\u0631\u0628\u0627\u062a \u06a9\u0627 \u0633\u0644\u0633\u0644\u06c1 \u0634\u0631\u0648\u0639 \u06a9\u0631\u062a\u0627 \u06c1\u06d2 \u062c\u0628 \u062a\u06a9 \u06a9\u06c1 \u0635\u0627\u0631\u0641 \u0627\u0646 \u0645\u06cc\u06ba \u0645\u062f\u0627\u062e\u0644\u062a \u0646\u06c1 \u06a9\u0631\u06d2\u06d4<\/p>\n
    \u06a9\u0648\u0626\u06cc \u062a\u0631\u0628\u06cc\u062a 5 \u0645\u0646\u0679 \u0633\u06d2 \u0632\u06cc\u0627\u062f\u06c1 \u0646\u06c1\u06cc\u06ba \u0631\u06c1\u062a\u06cc \u06c1\u06d2\u06d4 \u0627\u06cc\u062c\u0646\u0679 \u06a9\u0628\u06be\u06cc \u0628\u06be\u06cc 5 \u0645\u0646\u0679 \u06a9\u06cc \u0646\u0626\u06cc \u0645\u0634\u0642\u06cc\u06ba \u0634\u0631\u0648\u0639 \u06a9\u0631\u0646\u06d2 \u0633\u06d2 \u0628\u0627\u0632 \u0646\u06c1\u06cc\u06ba \u0622\u062a\u06d2\u06d4<\/p>\n
    \u0627\u0628 \u062c\u0628 \u06a9\u06c1 \u0622\u067e \u0633\u0645\u062c\u06be \u06af\u0626\u06d2 \u06c1\u06cc\u06ba \u06a9\u06c1 \u06cc\u06c1 \u06a9\u06cc\u0633\u06d2 \u06a9\u0627\u0645 \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u060c \u0622\u0626\u06cc\u06d2 \u0627\u0633 \u06a9\u0627 \u0627\u0633\u062a\u0639\u0645\u0627\u0644 \u0634\u0631\u0648\u0639 \u06a9\u0631\u06cc\u06ba\u06d4<\/p>\n
    \u0633\u06cc\u0679 \u0627\u067e \u06af\u0627\u0626\u06cc\u0688<\/h2>\n
    \u06c1\u0645 \u0641\u0631\u0636 \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba \u06a9\u06c1 \u06c1\u0645\u0627\u0631\u06d2 \u067e\u0627\u0633 \u0627\u0646 \u062a\u062c\u0631\u0628\u0627\u062a \u06a9\u0648 \u0686\u0644\u0627\u0646\u06d2 \u06a9\u06d2 \u0644\u06cc\u06d2 \u06a9\u0627\u0641\u06cc VRAM \u06a9\u06d2 \u0633\u0627\u062a\u06be \u0627\u06cc\u06a9 \u0648\u0627\u062d\u062f NVIDIA GPU \u06c1\u06d2\u06d4 24GB \u0633\u06d2 \u0627\u0648\u067e\u0631 \u06a9\u06cc \u06a9\u0648\u0626\u06cc \u0628\u06be\u06cc \u0686\u06cc\u0632 \u0688\u06cc\u0641\u0627\u0644\u0679 \u0633\u06cc\u0679\u0646\u06af\u0632 \u06a9\u06d2 \u0633\u0627\u062a\u06be \u06a9\u0627\u0645 \u06a9\u0631\u06d2 \u06af\u06cc\u06d4 \u0686\u06be\u0648\u0679\u06d2 GPUs \u06a9\u0648 \u06a9\u0686\u06be \u0645\u0648\u0627\u0641\u0642\u062a \u06a9\u06cc \u0636\u0631\u0648\u0631\u062a \u06c1\u0648\u062a\u06cc \u06c1\u06d2\u060c \u062c\u0633 \u06a9\u0627 \u06c1\u0645 \u0628\u0639\u062f \u0645\u06cc\u06ba \u0627\u062d\u0627\u0637\u06c1 \u06a9\u0631\u06cc\u06ba \u06af\u06d2\u06d4<\/p>\n
    \u0645\u0631\u062d\u0644\u06c1 1: uv \u0627\u0646\u0633\u0679\u0627\u0644 \u06a9\u0631\u06cc\u06ba\u060c Python \u067e\u0631\u0648\u062c\u06cc\u06a9\u0679 \u0645\u06cc\u0646\u06cc\u062c\u0631 \u062c\u0633\u06d2 Repo \u0627\u0633\u062a\u0639\u0645\u0627\u0644 \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u06d4<\/h3>\n
    uv pip \u0633\u06d2 \u0628\u06c1\u062a \u062a\u06cc\u0632 \u06c1\u06d2 \u0627\u0648\u0631 \u0648\u0631\u0686\u0648\u0626\u0644 \u0645\u0627\u062d\u0648\u0644 \u06a9\u0648 \u0634\u0641\u0627\u0641 \u0637\u0631\u06cc\u0642\u06d2 \u0633\u06d2 \u06c1\u06cc\u0646\u0688\u0644 \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u06d4 \u0627\u0646\u0633\u0679\u0627\u0644 \u06a9\u0631\u0646\u06d2 \u06a9\u06d2 \u0628\u0639\u062f\u060c \u0631\u06cc\u067e\u0648\u0632\u0679\u0631\u06cc \u06a9\u0648 \u06a9\u0644\u0648\u0646 \u06a9\u0631\u06cc\u06ba \u0627\u0648\u0631 \u0627\u0646\u062d\u0635\u0627\u0631 \u0627\u0646\u0633\u0679\u0627\u0644 \u06a9\u0631\u06cc\u06ba\u06d4<\/p>\n
    curl -LsSf https:\/\/astral.sh\/uv\/install.sh | sh\n\ngit clone https:\/\/github.com\/karpathy\/autoresearch.git\ncd autoresearch\nuv sync\n<\/code><\/pre>\n
    \u0627\u06af\u0631 \u0622\u067e \u0627\u06cc\u0633\u0627 \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4 .venv<\/code> pyTorch\u060c Flash Attention\u060c Rustbpe\u060c tiktoken\u060c pyarrow \u0627\u0648\u0631 \u0686\u0646\u062f \u062f\u06cc\u06af\u0631 \u067e\u06cc\u06a9\u062c\u0632 \u0627\u0646\u0633\u0679\u0627\u0644 \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u06d4 PyTorch CUDA 12.8 \u0648\u06c1\u06cc\u0644 \u0627\u0646\u0688\u06cc\u06a9\u0633 \u0633\u06d2 \u062f\u0631\u0622\u0645\u062f \u06a9\u06cc\u0627 \u06af\u06cc\u0627 \u06c1\u06d2\u060c \u0644\u06c1\u0630\u0627 \u06cc\u0642\u06cc\u0646\u06cc \u0628\u0646\u0627\u0626\u06cc\u06ba \u06a9\u06c1 \u0622\u067e \u06a9\u0627 \u0688\u0631\u0627\u0626\u06cc\u0648\u0631 \u0627\u0633 \u06a9\u06cc \u062d\u0645\u0627\u06cc\u062a \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u06d4<\/p>\n
    \u0645\u0631\u062d\u0644\u06c1 2: \u0688\u06cc\u0679\u0627 \u06a9\u06cc \u062a\u06cc\u0627\u0631\u06cc \u0686\u0644\u0627\u0626\u06cc\u06ba\u06d4<\/h3>\n
    \u06cc\u06c1 10 ClimbMix \u0634\u0627\u0631\u0688\u0632 \u0627\u0648\u0631 \u0627\u06cc\u06a9 \u062a\u0648\u062b\u06cc\u0642 \u0634\u0627\u0631\u0688 \u0688\u0627\u0624\u0646 \u0644\u0648\u0688 \u06a9\u0631\u06d2 \u06af\u0627 \u0627\u0648\u0631 \u0679\u0648\u06a9\u0646\u0627\u0626\u0632\u0631 \u06a9\u0648 \u062a\u0631\u0628\u06cc\u062a \u062f\u06d2 \u06af\u0627\u06d4<\/p>\n
    uv run prepare.py\n<\/code><\/pre>\n
    \u0639\u0627\u0645 \u06a9\u0646\u06a9\u0634\u0646 \u067e\u0631\u060c \u0627\u0633 \u0645\u06cc\u06ba \u062a\u0642\u0631\u06cc\u0628\u0627\u064b 2 \u0645\u0646\u0679 \u0644\u06af\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4 \u0627\u06af\u0631 \u0622\u067e \u06a9\u06d2 \u067e\u0627\u0633 \u0688\u0633\u06a9 \u06a9\u06cc \u0645\u062d\u062f\u0648\u062f \u062c\u06af\u06c1 \u06c1\u06d2\u060c \u062a\u0648 \u0622\u067e \u067e\u0627\u0633 \u06a9\u0631 \u0633\u06a9\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4 --num-shards 4<\/code> \u0686\u06be\u0648\u0679\u06d2 \u0688\u0627\u0624\u0646 \u0644\u0648\u0688\u0632 \u06a9\u06d2 \u0644\u06cc\u06d2\u06d4 \u0688\u06cc\u0679\u0627 \u0627\u0648\u0631 \u0679\u0648\u06a9\u0646\u0627\u0626\u0632\u0631\u0632 \u06a9\u06cc\u0634 \u06a9\u06cc\u06d2 \u06af\u0626\u06d2 \u06c1\u06cc\u06ba\u06d4 ~\/.cache\/autoresearch\/<\/code>.<\/p>\n
    \u0645\u0631\u062d\u0644\u06c1 3: \u062f\u0633\u062a\u06cc \u062a\u0631\u0628\u06cc\u062a\u06cc \u062a\u062c\u0631\u0628\u06c1 \u0686\u0644\u0627\u0626\u06cc\u06ba\u06d4<\/h3>\n
    \u0627\u0628 \u0622\u067e \u062f\u0633\u062a\u06cc \u0637\u0648\u0631 \u067e\u0631 \u0627\u06cc\u06a9 \u0648\u0627\u062d\u062f \u062a\u0631\u0628\u06cc\u062a\u06cc \u062a\u062c\u0631\u0628\u06c1 \u0686\u0644\u0627 \u0633\u06a9\u062a\u06d2 \u06c1\u06cc\u06ba \u062a\u0627\u06a9\u06c1 \u06cc\u06c1 \u06cc\u0642\u06cc\u0646\u06cc \u0628\u0646\u0627\u06cc\u0627 \u062c\u0627 \u0633\u06a9\u06d2 \u06a9\u06c1 \u06c1\u0631 \u0686\u06cc\u0632 \u0634\u0631\u0648\u0639 \u0633\u06d2 \u062e\u062a\u0645 \u062a\u06a9 \u06a9\u0627\u0645 \u06a9\u0631\u062a\u06cc \u06c1\u06d2\u06d4<\/p>\n
    uv run train.py\n<\/code><\/pre>\n
    \u0622\u067e \u0645\u0627\u0688\u0644 \u06a9\u0648 \u0645\u0631\u062a\u0628 \u06a9\u0631\u062a\u06d2 \u06c1\u0648\u0626\u06d2 \u062f\u06cc\u06a9\u06be\u06cc\u06ba \u06af\u06d2 (\u0627\u0633 \u0645\u06cc\u06ba \u0627\u0628\u062a\u062f\u0627\u0626\u06cc \u0637\u0648\u0631 \u067e\u0631 30 \u0633\u06cc\u06a9\u0646\u0688 \u0644\u06af\u06cc\u06ba \u06af\u06d2) \u0627\u0648\u0631 \u0622\u067e \u06a9\u0648 \u0679\u0631\u06cc\u0646\u0646\u06af \u0622\u0624\u0679 \u067e\u0679 \u0627\u0633 \u0637\u0631\u062d \u0646\u0638\u0631 \u0622\u0626\u06d2 \u06af\u0627: step 00050 (8.3%) | loss: 5.123456 | lrm: 1.00 | dt: 240ms | tok\/sec: 2,184,533 | mfu: 39.8% | epoch: 1 | remaining: 275s<\/code>.<\/p>\n
    \u062a\u0642\u0631\u06cc\u0628\u0627\u064b 5 \u0645\u0646\u0679 \u06a9\u06cc \u062a\u0631\u0628\u06cc\u062a \u0627\u0648\u0631 \u062d\u062a\u0645\u06cc \u062a\u0634\u062e\u06cc\u0635 \u067e\u0627\u0633 \u06a9\u0631\u0646\u06d2 \u06a9\u06d2 \u0628\u0639\u062f\u060c \u0622\u067e \u06a9\u0648 \u0645\u0646\u062f\u0631\u062c\u06c1 \u0630\u06cc\u0644 \u0633\u0645\u0631\u06cc \u0628\u0644\u0627\u06a9 \u0645\u0644\u06d2 \u06af\u0627: val_bpb<\/code> \u0645\u0637\u0628\u0648\u0639\u06c1\u06d4 \u06cc\u06c1 \u0622\u067e \u06a9\u06cc \u0628\u0646\u06cc\u0627\u062f\u06cc \u0644\u0627\u0626\u0646 \u06c1\u06d2\u06d4<\/p>\n
    \u0645\u0631\u062d\u0644\u06c1 4: \u0631\u06cc\u067e\u0648 \u0627\u06cc\u062c\u0646\u0679 \u06a9\u0648 \u0628\u06be\u06cc\u062c\u06cc\u06ba\u06d4<\/h3>\n
    \u0639\u0645\u0644\u06cc \u0637\u0648\u0631 \u067e\u0631\u060c \u0627\u0633 \u06a9\u0627 \u0645\u0637\u0644\u0628 \u0631\u06cc\u067e\u0648 \u0688\u0627\u0626\u0631\u06a9\u0679\u0631\u06cc \u0633\u06d2 \u06a9\u0644\u0627\u0688 \u06a9\u0648\u0688 \u06cc\u0627 \u0627\u067e\u0646\u06cc \u067e\u0633\u0646\u062f \u06a9\u0627 \u0679\u0648\u0644 \u06a9\u06be\u0648\u0644\u0646\u0627 \u06c1\u06d2\u06d4 \u0645\u062b\u0627\u0644\u06cc \u0637\u0648\u0631 \u067e\u0631\u060c \u0627\u062c\u0627\u0632\u062a\u0648\u06ba \u06a9\u0648 \u063a\u06cc\u0631 \u0641\u0639\u0627\u0644 \u06cc\u0627 \u0633\u062e\u062a\u06cc \u0633\u06d2 \u0631\u06cc\u067e\u0648 \u06a9\u06d2 \u062f\u0627\u0626\u0631\u06c1 \u06a9\u0627\u0631 \u06a9\u06d2 \u0633\u0627\u062a\u06be\u060c \u06cc\u06c1 \u0627\u0633 \u0637\u0631\u062d \u06a9\u0627 \u067e\u06cc\u063a\u0627\u0645 \u062f\u06a9\u06be\u0627\u0626\u06d2 \u06af\u0627:<\/p>\n
    Have a look at program.md and let's kick off a new experiment.\nLet's do the setup first.\n<\/code><\/pre>\n
    \u0627\u06cc\u062c\u0646\u0679 \u0622\u067e \u06a9\u0648 \u067e\u0691\u06be \u06a9\u0631 \u0633\u0646\u0627\u0626\u06d2 \u06af\u0627\u06d4 program.md<\/code>\u0633\u06cc\u0679 \u0627\u067e \u06a9\u06d2 \u0645\u0631\u0627\u062d\u0644 \u0633\u06d2 \u06af\u0632\u0631\u06cc\u06ba (\u062e\u0648\u062f\u06a9\u0627\u0631 \u062a\u062d\u0642\u06cc\u0642\u06cc \u0634\u0627\u062e\u06cc\u06ba \u0628\u0646\u0627\u0646\u0627 \u0627\u0648\u0631 \u0634\u0631\u0648\u0639 \u06a9\u0631\u0646\u0627)\u06d4 results.tsv<\/code>) \u062a\u0635\u062f\u06cc\u0642 \u06a9\u0631\u06cc\u06ba \u0627\u0648\u0631 \u0686\u0644\u0646\u0627 \u0634\u0631\u0648\u0639 \u06a9\u0631\u06cc\u06ba\u06d4 \u0627\u0633 \u0645\u0642\u0627\u0645 \u0633\u06d2\u060c \u0622\u067e \u0627\u0633\u06d2 \u0627\u0633\u06cc \u0637\u0631\u062d \u0686\u06be\u0648\u0691 \u0633\u06a9\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4 \u0648\u0627\u067e\u0633 \u0622\u0624 \u0627\u0648\u0631 \u0627\u0633\u06d2 \u0686\u06cc\u06a9 \u06a9\u0631\u0648 results.tsv<\/code> \u0622\u0679\u0648 \u0631\u06cc\u0633\u0631\u0686 \u0628\u0631\u0627\u0646\u0686 \u0633\u06d2 \u06af\u0679 \u0644\u0627\u06af\u0632\u06d4<\/p>\n
    \u0686\u06be\u0648\u0679\u06d2 GPUs \u06a9\u06d2 \u0644\u06cc\u06d2 \u062e\u0648\u062f\u06a9\u0627\u0631 \u0634\u0639\u0627\u0639 \u0631\u06cc\u0632\u06cc \u0627\u06cc\u0688\u062c\u0633\u0679\u0645\u0646\u0679<\/h3>\n
    \u067e\u06c1\u0644\u06d2 \u0633\u06d2 \u0637\u06d2 \u0634\u062f\u06c1 \u062a\u0631\u062a\u06cc\u0628 H100 \u0641\u0631\u0636 \u06a9\u0631\u062a\u06cc \u06c1\u06d2\u06d4 \u0627\u06af\u0631 \u0622\u067e \u06a9\u06d2 \u067e\u0627\u0633 4090\u060c 3090\u060c \u06cc\u0627 80GB \u0633\u06d2 \u06a9\u0645 VRAM \u0648\u0627\u0644\u06cc \u06a9\u0648\u0626\u06cc \u0628\u06be\u06cc \u0686\u06cc\u0632 \u06c1\u06d2\u060c \u062a\u0648 \u0622\u067e \u06a9\u0648 \u0641\u0648\u0646 \u06a9\u0627 \u0633\u0627\u0626\u0632 \u06a9\u0645 \u06a9\u0631\u0646\u0627 \u06c1\u0648\u06af\u0627\u06d4<\/p>\n
      \n
    1. \n
      \u0633\u0628 \u0633\u06d2 \u067e\u06c1\u0644\u06d2\u060c \u062a\u0631\u062a\u06cc\u0628 \u06a9\u06cc \u0644\u0645\u0628\u0627\u0626\u06cc \u06a9\u0648 \u0645\u062e\u062a\u0635\u0631 \u06a9\u0631\u06cc\u06ba. MAX_SEQ_LEN = 2048<\/code> \u06a9\u0648 prepare.py<\/code> \u06cc\u06c1 \u0633\u0628 \u0633\u06d2 \u0628\u0691\u0627 VRAM \u0644\u06cc\u0648\u0631 \u06c1\u06d2 \u06a9\u06cc\u0648\u0646\u06a9\u06c1 \u062a\u0648\u062c\u06c1 \u0686\u0648\u06a9\u0648\u0631 \u0637\u0631\u06cc\u0642\u06d2 \u0633\u06d2 \u067e\u06be\u06cc\u0644\u0627\u0626\u06cc \u062c\u0627\u062a\u06cc \u06c1\u06d2\u06d4 \u0686\u06be\u0648\u0679\u06d2 GPUs \u0627\u0648\u0631 bumps \u067e\u0631 512 \u06cc\u0627 256 \u0622\u0632\u0645\u0627\u0626\u06cc\u06ba\u06d4 DEVICE_BATCH_SIZE<\/code> \u06a9\u0648 train.py<\/code> \u06cc\u06c1 \u062a\u06be\u0648\u0691\u0627 \u0633\u0627 \u0645\u0639\u0627\u0648\u0636\u06c1 \u062f\u06cc\u062a\u0627 \u06c1\u06d2\u06d4 \u0627\u0646 \u062f\u0648\u0646\u0648\u06ba \u06a9\u06cc \u067e\u06cc\u062f\u0627\u0648\u0627\u0631 \u0679\u0648\u06a9\u0646 \u0641\u06cc \u0688\u06cc\u0644\u06cc\u0648\u0631\u06cc \u067e\u0627\u0633 \u06c1\u06d2\u06d4<\/p>\n<\/li>\n
    2. \n
      \u06af\u06c1\u0631\u0627\u0626\u06cc \u06a9\u0648 \u06a9\u0645 \u06a9\u0631\u06cc\u06ba: DEPTH = 8<\/code> \u06a9\u0648 train.py<\/code> \u0645\u0627\u0688\u0644 \u0633\u0627\u0626\u0632 \u06a9\u06d2 \u0644\u06cc\u06d2 \u0645\u0627\u0633\u0679\u0631 \u0646\u0648\u0628\u06d4 \u0686\u06be\u0648\u0679\u06d2 GPUs \u067e\u0631 4 \u062a\u06a9 \u0646\u06cc\u0686\u06d2 \u062c\u0627\u0646\u06d2 \u0633\u06d2 \u0645\u0627\u0688\u0644 \u06a9\u06cc \u062c\u06c1\u062a \u062e\u0648\u062f \u0628\u062e\u0648\u062f \u06a9\u0645 \u06c1\u0648 \u062c\u0627\u062a\u06cc \u06c1\u06d2\u06d4<\/p>\n<\/li>\n
    3. \n
      \u0648\u0646\u0688\u0648 \u067e\u06cc\u0679\u0631\u0646 \u06a9\u0648 \u062a\u0628\u062f\u06cc\u0644 \u06a9\u0631\u06cc\u06ba\u06d4 WINDOW_PATTERN = \"SSSL\"<\/code> \u06a9\u0631\u0646\u0644 \u06a9\u06d2 \u0646\u0641\u0627\u0630 \u067e\u0631 \u0645\u0646\u062d\u0635\u0631 \u06c1\u06d2\u060c \u06cc\u06c1 \u0628\u06cc\u0646\u0688\u0688 \u0627\u0679\u06cc\u0646\u0634\u0646 \u06a9\u0627 \u0627\u0633\u062a\u0639\u0645\u0627\u0644 \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u060c \u062c\u0648 H100 \u067e\u0631 \u062a\u06cc\u0632 \u0644\u06cc\u06a9\u0646 \u0635\u0627\u0631\u0641 GPUs \u067e\u0631 \u0633\u0633\u062a \u06c1\u0648 \u0633\u06a9\u062a\u0627 \u06c1\u06d2\u06d4 \u0635\u0631\u0641 \"L\"<\/code> (\u06c1\u0645\u06cc\u0634\u06c1 \u067e\u0648\u0631\u06cc \u0627\u062d\u062a\u06cc\u0627\u0637 \u06a9\u06d2 \u0633\u0627\u062a\u06be) \u0686\u06be\u0648\u0679\u06d2 \u06a9\u0627\u0631\u0688\u0632 \u067e\u0631 \u0627\u06a9\u062b\u0631 \u0622\u0633\u0627\u0646 \u0627\u0648\u0631 \u062a\u06cc\u0632 \u06c1\u0648\u062a\u0627 \u06c1\u06d2\u06d4<\/p>\n<\/li>\n
    4. \n
      \u06a9\u0644 \u0628\u06cc\u0686 \u0633\u0627\u0626\u0632 \u06a9\u0648 \u06a9\u0645 \u06a9\u0631\u06cc\u06ba\u06d4 TOTAL_BATCH_SIZE = 2**19<\/code> \u062a\u0642\u0631\u06cc\u0628\u0627\u064b 524K \u0679\u0648\u06a9\u0646 \u0641\u06cc \u0627\u0635\u0644\u0627\u062d\u06cc \u0645\u0631\u062d\u0644\u06c1\u06d4 \u0686\u06be\u0648\u0679\u06d2 GPUs \u067e\u0631\u060c \u0634\u0631\u0648\u0639 \u06a9\u0631\u0646\u06d2 \u06a9\u06d2 \u0644\u06cc\u06d2 2^14 (~16K) \u067e\u0631 \u062c\u0627\u0626\u06cc\u06ba\u06d4<\/p>\n<\/li>\n
    5. \n
      \u0688\u06cc\u0679\u0627 \u0633\u06cc\u0679\u0633 \u06a9\u0648 \u062a\u0628\u062f\u06cc\u0644 \u06a9\u0631\u0646\u06d2 \u067e\u0631 \u063a\u0648\u0631 \u06a9\u0631\u06cc\u06ba\u06d4 climbMix \u0627\u06cc\u06a9 \u0645\u0634\u06a9\u0644 \u0627\u0648\u0631 \u0648\u0633\u06cc\u0639 \u0648\u06cc\u0628 \u06a9\u0627\u0631\u067e\u0633 \u06c1\u06d2\u06d4 \u0686\u06be\u0648\u0679\u06d2 \u0645\u0627\u0688\u0644\u0632 \u0645\u06cc\u06ba\u060c \u0646\u0642\u0635\u0627\u0646 \u06a9\u06d2 \u0645\u0646\u062d\u0646\u06cc \u062e\u0637\u0648\u0637 \u0634\u0648\u0631 \u06c1\u0648\u062a\u06d2 \u06c1\u06cc\u06ba \u0627\u0648\u0631 \u0628\u06cc \u067e\u06cc \u0628\u06cc \u0646\u0645\u0628\u0631\u0648\u06ba \u06a9\u06cc \u062a\u0634\u0631\u06cc\u062d \u06a9\u0631\u0646\u0627 \u0645\u0634\u06a9\u0644 \u06c1\u0648\u062a\u0627 \u06c1\u06d2\u06d4 \u06a9\u0627\u0631\u067e\u062a\u06be\u06cc \u0627\u067e\u0646\u06d2 TinyStories-GPT4-Clean \u0688\u06cc\u0679\u0627\u0633\u06cc\u0679 \u06a9\u06cc \u0633\u0641\u0627\u0631\u0634 \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u060c \u062e\u0627\u0635 \u0637\u0648\u0631 \u067e\u0631 \u0686\u06be\u0648\u0679\u06d2 \u067e\u06cc\u0645\u0627\u0646\u06d2 \u06a9\u06d2 \u062a\u062c\u0631\u0628\u0627\u062a \u06a9\u06d2 \u0644\u06cc\u06d2\u06d4 \u0686\u0648\u0646\u06a9\u06c1 \u0645\u062a\u0646 \u06a9\u06cc \u062d\u062f (\u0645\u0636\u0645\u0648\u0646) \u06a9\u0645 \u06c1\u06d2\u060c \u0627\u06cc\u06a9 \u0686\u06be\u0648\u0679\u0627 \u0645\u0627\u0688\u0644 \u062f\u0631\u0627\u0635\u0644 5 \u0645\u0646\u0679 \u0633\u06d2 \u0628\u06be\u06cc \u06a9\u0645 \u0648\u0642\u062a \u0645\u06cc\u06ba \u0645\u0633\u062a\u0642\u0644 \u0645\u0648\u0627\u062f \u062a\u06cc\u0627\u0631 \u06a9\u0631\u0646\u0627 \u0633\u06cc\u06a9\u06be \u0633\u06a9\u062a\u0627 \u06c1\u06d2\u06d4<\/p>\n<\/li>\n<\/ol>\n
      \u067e\u06c1\u0644\u06d2 \u0633\u06d2 \u06c1\u06cc \u06a9\u0626\u06cc \u06a9\u0645\u06cc\u0648\u0646\u0679\u06cc \u0641\u0648\u0631\u06a9 \u0645\u0648\u062c\u0648\u062f \u06c1\u06cc\u06ba \u062c\u0646\u06c1\u0648\u06ba \u0646\u06d2 \u0635\u0627\u0631\u0641\u06cc\u0646 \u06a9\u06cc GPU \u0679\u06cc\u0648\u0646\u0646\u06af \u06a9\u06cc \u06c1\u06d2\u060c \u062c\u0648 \u0631\u06cc\u067e\u0648\u0632\u0679\u0631\u06cc \u0645\u06cc\u06ba readme.md \u0641\u0627\u0626\u0644 \u0645\u06cc\u06ba \u0645\u0644 \u0633\u06a9\u062a\u06cc \u06c1\u06d2\u06d4<\/p>\n
      \u0627\u0635\u0644 \u0645\u06cc\u06ba \u0627\u06cc\u062c\u0646\u0679\u0648\u06ba \u0646\u06d2 \u06a9\u06cc\u0627 \u062f\u0631\u06cc\u0627\u0641\u062a \u06a9\u06cc\u0627\u06d4<\/h2>\n
      \u06cc\u06c1 \u0628\u062a\u0627\u0646\u0627 \u06a9\u06c1 \u0644\u0648\u067e \u06a9\u06cc\u0633\u06d2 \u06a9\u0627\u0645 \u06a9\u0631\u062a\u0627 \u06c1\u06d2 \u0627\u06cc\u06a9 \u0686\u06cc\u0632 \u06c1\u06d2\u060c \u0644\u06cc\u06a9\u0646 \u06cc\u06c1 \u062f\u06cc\u06a9\u06be\u0646\u0627 \u06a9\u06c1 \u06cc\u06c1 \u06a9\u06cc\u0627 \u067e\u06cc\u062f\u0627 \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u06d4 \u06a9\u0627\u0631\u067e\u062a\u06cc \u0646\u06d2 \u0627\u0633 \u06a9\u06d2 \u0628\u0627\u0631\u06d2 \u0645\u06cc\u06ba \u0679\u0648\u06cc\u0679\u0631 \u067e\u0631 \u0627\u067e\u0646\u06cc \u06af\u06c1\u0631\u0627\u0626\u06cc \u06a9\u06d2 12 \u0631\u0646 \u06a9\u06d2 \u062f\u0648\u0631\u0627\u0646 \u06a9\u06be\u0648\u0644\u0627\u06d4 \u0627\u06cc\u062c\u0646\u0679 \u0646\u06d2 \u062a\u0642\u0631\u06cc\u0628\u0627\u064b 20 \u062a\u0628\u062f\u06cc\u0644\u06cc\u0627\u06ba \u062f\u0631\u06cc\u0627\u0641\u062a \u06a9\u06cc\u06ba \u062c\u0646 \u0633\u06d2 \u062a\u0648\u062b\u06cc\u0642 \u06a9\u06d2 \u0646\u0642\u0635\u0627\u0646 \u0645\u06cc\u06ba \u0628\u06c1\u062a\u0631\u06cc \u0622\u0626\u06cc\u060c \u0627\u0646 \u0633\u0628\u06be\u06cc \u06a9\u0648 \u06af\u06c1\u0631\u0627\u0626\u06cc 24 \u0645\u06cc\u06ba \u0645\u0646\u062a\u0642\u0644 \u06a9\u0631 \u062f\u06cc\u0627 \u06af\u06cc\u0627\u06d4<\/p>\n
      \u0627\u0633 \u06a9\u06d2 \u067e\u0648\u0633\u0679 \u0631\u0646 \u062a\u062c\u0632\u06cc\u06c1 \u06a9\u06cc \u0645\u062e\u0635\u0648\u0635 \u0645\u062b\u0627\u0644\u0648\u06ba \u0645\u06cc\u06ba \u062a\u0648\u062c\u06c1 \u06a9\u0648 \u062a\u06cc\u0632 \u06a9\u0631\u0646\u06d2 \u06a9\u06d2 \u0644\u06cc\u06d2 \u067e\u06cc\u0631\u0627\u0645\u06cc\u0679\u0631 \u0641\u0631\u06cc QK-\u0646\u0627\u0631\u0645 \u0645\u06cc\u06ba \u0642\u0627\u0628\u0644 \u0633\u06cc\u06a9\u06be\u0646\u06d2 \u06a9\u06d2 \u0642\u0627\u0628\u0644 \u0627\u0633\u06a9\u06cc\u0644\u0631\u0632 \u06a9\u0648 \u0634\u0627\u0645\u0644 \u06a9\u0631\u0646\u0627\u060c \u0648\u06cc\u0644\u06cc\u0648 \u0627\u06cc\u0645\u0628\u06cc\u0688\u0646\u06af\u0632 \u067e\u0631 \u0631\u06cc\u06af\u0648\u0644\u0631\u0627\u0626\u0632\u06cc\u0634\u0646 \u06a9\u0627 \u0627\u0637\u0644\u0627\u0642 \u06a9\u0631\u0646\u0627\u060c \u0633\u0679\u0631\u067e\u0688 \u062a\u0648\u062c\u06c1 \u06a9\u06cc \u06a9\u06be\u0691\u06a9\u06cc \u06a9\u0648 \u0628\u0691\u0627 \u06a9\u0631\u0646\u0627\u060c \u067e\u06cc\u0631\u0627\u0645\u06cc\u0679\u0631\u0632 \u06a9\u06d2 \u0645\u062e\u0635\u0648\u0635 \u06af\u0631\u0648\u067e\u0648\u06ba \u06a9\u06d2 \u0644\u06cc\u06d2 \u0627\u06cc\u0688\u0645 \u0688\u0628\u0644\u06cc\u0648 \u0628\u06cc\u0679\u0627 \u0645\u06cc\u06ba \u062a\u0631\u0645\u06cc\u0645 \u06a9\u0631\u0646\u0627\u060c \u0648\u0632\u0646 \u0645\u06cc\u06ba \u06a9\u0645\u06cc \u06a9\u06d2 \u0634\u06cc\u0688\u0648\u0644 \u06a9\u0648 \u0627\u06cc\u0688\u062c\u0633\u0679 \u06a9\u0631\u0646\u0627\u060c \u0627\u0648\u0631 \u0627\u0628\u062a\u062f\u0627 \u06a9\u0648 \u0627\u06cc\u0688\u062c\u0633\u0679 \u06a9\u0631\u0646\u0627 \u0634\u0627\u0645\u0644 \u06c1\u06cc\u06ba\u06d4<\/p>\n
      \u0627\u06af\u0631\u0686\u06c1 \u0627\u0646 \u0645\u06cc\u06ba \u0633\u06d2 \u06a9\u0633\u06cc \u0646\u06d2 \u0628\u06be\u06cc \u0633\u0631\u062e\u06cc\u0627\u06ba \u0646\u06c1\u06cc\u06ba \u0628\u0646\u0627\u0626\u06cc\u06ba\u060c \u0627\u0646 \u0633\u0628 \u0646\u06d2 0.001 \u0627\u0648\u0631 0.005 \u0628\u06cc\u0633 \u067e\u0648\u0627\u0626\u0646\u0679\u0633 \u0641\u06cc \u0628\u0644\u06cc\u0646 \u06a9\u06d2 \u062f\u0631\u0645\u06cc\u0627\u0646 \u0628\u06c1\u062a\u0631\u06cc \u067e\u06cc\u062f\u0627 \u06a9\u06cc\u06d4<\/p>\n
      \u0644\u06c1\u0630\u0627 AI \u0627\u06cc\u062c\u0646\u0679\u0633 \u06a9\u0648\u0626\u06cc \u0646\u06cc\u0627 \u0641\u0646 \u062a\u0639\u0645\u06cc\u0631 \u0646\u06c1\u06cc\u06ba \u0627\u06cc\u062c\u0627\u062f \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4 \u0633\u0633\u062a\u060c \u0635\u0628\u0631 \u0622\u0632\u0645\u0627 \u067e\u06c1\u0627\u0691\u06cc \u0686\u0691\u06be\u0646\u06d2 \u062c\u0633 \u0645\u06cc\u06ba \u062d\u0642\u06cc\u0642\u06cc \u0645\u062d\u0642\u0642\u06cc\u0646 \u06a9\u0648 \u0645\u06c1\u06cc\u0646\u0648\u06ba \u0644\u06af\u062a\u06d2 \u06c1\u06cc\u06ba\u060c \u0627\u06cc\u062c\u0646\u0679 \u0686\u0646\u062f \u062f\u0646\u0648\u06ba \u0645\u06cc\u06ba \u0645\u06a9\u0645\u0644 \u06a9\u0631 \u0633\u06a9\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4 \u0646\u062a\u06cc\u062c\u06c1 \u0648\u06c1\u06cc \u062a\u06a9\u0644\u06cc\u0641 \u062f\u06c1 \u0641\u0627\u0626\u0646 \u0679\u06cc\u0648\u0646\u0646\u06af \u06c1\u06d2 \u062c\u0633 \u0645\u06cc\u06ba \u0627\u06cc\u0645 \u0627\u06cc\u0644 \u0645\u06cc\u06ba \u0632\u06cc\u0627\u062f\u06c1 \u062a\u0631 \u062d\u0642\u06cc\u0642\u06cc \u067e\u06cc\u0634 \u0631\u0641\u062a \u06c1\u0648\u062a\u06cc \u06c1\u06d2\u06d4<\/p>\n
      \u062d\u062a\u0645\u06cc \u062e\u06cc\u0627\u0644\u0627\u062a<\/h2>\n
      \u062e\u0648\u062f\u06a9\u0627\u0631 \u062a\u062d\u0642\u06cc\u0642 \u0646\u0626\u06d2 \u0645\u0627\u0688\u0644\u0632\u060c \u0646\u0626\u06d2 \u0622\u067e\u0679\u06cc\u0645\u0627\u0626\u0632\u0631\u0632\u060c \u06cc\u0627 \u0646\u0626\u06d2 \u0688\u06cc\u0679\u0627 \u0633\u06cc\u0679 \u0645\u062a\u0639\u0627\u0631\u0641 \u0646\u06c1\u06cc\u06ba \u06a9\u0631\u0648\u0627\u062a\u06cc \u06c1\u06d2\u06d4 \u06c1\u0645 \u0627\u0646\u0633\u0627\u0646\u06cc \u0645\u062d\u0642\u0642 \u0627\u0648\u0631 AI \u0627\u06cc\u062c\u0646\u0679 \u06a9\u06d2 \u062f\u0631\u0645\u06cc\u0627\u0646 \u0627\u06cc\u06a9 \u0642\u0633\u0645 \u06a9\u06d2 \u0645\u0639\u0627\u06c1\u062f\u06d2 \u06a9\u06cc \u0648\u0636\u0627\u062d\u062a \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba\u060c \u0627\u0648\u0631 \u06cc\u06c1 \u0638\u0627\u06c1\u0631 \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba \u06a9\u06c1 \u0648\u06c1 \u0645\u0639\u0627\u06c1\u062f\u06c1 \u06a9\u0627\u0641\u06cc \u06c1\u06d2\u06d4 \u0645\u0639\u0627\u06c1\u062f\u06c1 \u062f\u0631\u062c \u0630\u06cc\u0644 \u06c1\u06d2\u06d4 "\u06cc\u06c1\u0627\u06ba \u062d\u0642\u06cc\u0642\u062a \u06a9\u0627 \u0627\u06cc\u06a9 \u0645\u0642\u0631\u0631\u06c1 \u0679\u06a9\u0691\u0627 \u06c1\u06d2\u060c \u0622\u067e \u06a9\u06d2 \u062d\u0633\u0627\u0628 \u0633\u06d2 \u0641\u06cc\u0635\u0644\u06c1 \u06a9\u0631\u0646\u06d2 \u06a9\u06d2 \u0644\u06cc\u06d2 \u0627\u06cc\u06a9 \u067e\u06cc\u0645\u0627\u0646\u06c1\u060c \u0627\u06cc\u06a9 \u0628\u062c\u0679\u06d4 \u0627\u0648\u0631 \u062c\u0648 \u06a9\u0686\u06be \u0622\u067e \u0627\u0646 \u0627\u0635\u0648\u0644\u0648\u06ba \u06a9\u06d2 \u0627\u0646\u062f\u0631 \u0686\u0627\u06c1\u06cc\u06ba \u06a9\u0631\u06cc\u06ba \u0627\u0648\u0631 \u0645\u062c\u06be\u06d2 \u0628\u062a\u0627\u0626\u06cc\u06ba \u06a9\u06c1 \u06a9\u06cc\u0627 \u06a9\u0627\u0645 \u06c1\u0648\u0627\u06d4”<\/em><\/p>\n
      \u062f\u0648 \u0633\u0648\u0627\u0644 \u0627\u0628\u06be\u06cc \u0628\u06be\u06cc \u0633\u0648\u0686\u0646\u06d2 \u06a9\u06d2 \u0642\u0627\u0628\u0644 \u06c1\u06cc\u06ba\u06d4 \u0627\u06cc\u06a9 \u06c1\u06d2 \u062a\u0648\u062b\u06cc\u0642 \u06a9\u06d2 \u0633\u06cc\u0679 \u067e\u0631 \u0627\u0648\u0648\u0631 \u0641\u0679\u0646\u06af<\/strong>. \u0627\u06af\u0631 \u0622\u067e \u0627\u06cc\u06a9 \u06c1\u06cc \u0641\u06a9\u0633\u0688 \u062a\u0648\u062b\u06cc\u0642 \u0634\u0627\u0631\u0688 \u067e\u0631 \u0633\u06cc\u0646\u06a9\u0691\u0648\u06ba \u062a\u062c\u0631\u0628\u0627\u062a \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba\u060c \u062a\u0648 \u0622\u062e\u0631 \u06a9\u0627\u0631 \u0627\u06cc\u062c\u0646\u0679 \u0627\u0633 \u0634\u0627\u0631\u0688 \u067e\u0631 \u0627\u06cc\u0688\u062c\u0633\u0679\u0645\u0646\u0679 \u062a\u0644\u0627\u0634 \u06a9\u0631\u0646\u0627 \u0634\u0631\u0648\u0639 \u06a9\u0631 \u062f\u06d2 \u06af\u0627 \u062c\u0648 \u0628\u0638\u0627\u06c1\u0631 \u06a9\u0627\u0645\u06cc\u0627\u0628 \u06c1\u0648\u062a\u06cc \u06c1\u06cc\u06ba \u0644\u06cc\u06a9\u0646 \u0628\u06be\u06cc\u062c\u06cc \u0646\u06c1\u06cc\u06ba \u062c\u0627\u062a\u06cc \u06c1\u06cc\u06ba\u06d4 \u06a9\u0627\u0631\u067e\u062a\u06cc \u0646\u06d2 \u062e\u0648\u062f \u06a9\u06c1\u0627 \u06a9\u06c1 \u06a9\u0686\u06be \u0633\u06cc\u0634\u0646\u0648\u06ba \u0645\u06cc\u06ba \u0646\u062a\u0627\u0626\u062c "\u0646\u0627\u0632\u06a9” \u062a\u06be\u06d2\u06d4<\/p>\n
      \u062a\u0648\u062b\u06cc\u0642 \u06a9\u06d2 \u0627\u0639\u062f\u0627\u062f \u0648 \u0634\u0645\u0627\u0631 \u06a9\u0648 \u06af\u06be\u0645\u0627\u0646\u06d2 \u06a9\u06d2 \u0639\u0644\u0627\u0648\u06c1 \u0627\u0628\u06be\u06cc \u062a\u06a9 \u06a9\u0648\u0626\u06cc \u0648\u0627\u0636\u062d \u0627\u0635\u0644\u0627\u062d\u0627\u062a \u0646\u06c1\u06cc\u06ba \u06c1\u06cc\u06ba\u060c \u062c\u0633 \u0633\u06d2 \u0645\u0648\u0627\u0632\u0646\u06c1 \u0679\u0648\u0679 \u0633\u06a9\u062a\u0627 \u06c1\u06d2\u06d4<\/p>\n
      \u0627\u06cc\u06a9 \u0627\u0648\u0631 \u0633\u0648\u0627\u0644 \u06c1\u06d2\u06d4 \u0627\u0646\u0633\u0627\u0646\u0648\u06ba \u06a9\u0627 \u06a9\u0631\u062f\u0627\u0631 \u06a9\u06cc\u0627 \u06c1\u06d2\u061f<\/strong>. \u0627\u06cc\u06a9 \u0628\u0627\u0631 \u062c\u0628 \u0627\u06cc\u062c\u0646\u0679 \u062a\u062c\u0631\u0628\u06c1 \u06a9\u0631 \u0644\u06cc\u062a\u0627 \u06c1\u06d2\u060c \u0627\u0646\u0633\u0627\u0646\u06cc \u0634\u0631\u0627\u06a9\u062a \u062a\u0644\u0627\u0634 \u06a9\u06cc \u062c\u06af\u06c1 \u0627\u0648\u0631 \u0642\u0648\u0627\u0639\u062f \u06a9\u06cc \u062a\u0634\u06a9\u06cc\u0644 \u06a9\u06cc \u0637\u0631\u0641 \u0628\u0691\u06be \u062c\u0627\u062a\u06cc \u06c1\u06d2\u06d4 \u0648\u06c1 \u06a9\u06cc\u0627 \u06c1\u06d2 program.md<\/code> \u06c1\u0648\u06ba \u06cc\u06c1 \u0627\u06cc\u06a9 \u0628\u06c1\u062a \u0627\u0686\u06be\u0627 \u067e\u06cc\u0634 \u0646\u0638\u0627\u0631\u06c1 \u06c1\u06d2 \u06a9\u06c1 \u0644\u0648\u067e \u062e\u0648\u062f\u06a9\u0627\u0631 \u06c1\u0648\u0646\u06d2 \u067e\u0631 \u062a\u062d\u0642\u06cc\u0642 \u06a9\u06cc\u0633\u06cc \u0646\u0638\u0631 \u0622\u0626\u06d2 \u06af\u06cc\u06d4<\/p>\n
      \u0622\u062c \u06a9\u06d2 \u0644\u06cc\u06d2 \u0627\u062a\u0646\u0627 \u06c1\u06cc \u06c1\u06d2\u06d4 \u0627\u06af\u0644\u06d2 \u0645\u0636\u0645\u0648\u0646 \u0645\u06cc\u06ba \u0645\u0644\u062a\u06d2 \u06c1\u06cc\u06ba!<\/p>\n<\/p><\/div>\n","protected":false},"excerpt":{"rendered":"
      \u0627\u0646\u062f\u0631\u06cc\u062c \u06a9\u0627\u0631\u067e\u0627\u062a\u06be\u06cc \u06a9\u0648 \u0686\u0646\u062f \u0645\u0627\u06c1 \u0642\u0628\u0644 \u0631\u06c1\u0627 \u06a9\u06cc\u0627 \u06af\u06cc\u0627 \u062a\u06be\u0627\u06d4 \u062e\u0648\u062f\u06a9\u0627\u0631 \u062a\u062d\u0642\u06cc\u0642\u0627\u062a. \u06cc\u06c1 \u0627\u06cc\u06a9 \u0627\u0648\u067e\u0646 \u0633\u0648\u0631\u0633 \u067e\u0627\u0626\u062a\u06be\u0648\u0646 \u0679\u0648\u0644 \u06c1\u06d2 \u062c\u0648 AI \u0627\u06cc\u062c\u0646\u0679\u0648\u06ba \u06a9\u0648 \u0627\u06cc\u06a9 GPU \u067e\u0631 \u062a\u062c\u0631\u0628\u0627\u062a \u0686\u0644\u0627\u0646\u06d2 \u06a9\u06cc \u0627\u062c\u0627\u0632\u062a \u062f\u06cc\u062a\u0627 \u06c1\u06d2 \u062c\u0628 \u06a9\u06c1 \u0635\u0627\u0631\u0641\u06cc\u0646 \u067e\u06cc\u0686\u06be\u06d2 \u0628\u06cc\u0679\u06be \u06a9\u0631 \u0646\u062a\u0627\u0626\u062c \u06a9\u0627 \u0627\u0646\u062a\u0638\u0627\u0631 \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4 \u062d\u0627\u0644 \u06c1\u06cc \u0645\u06cc\u06ba\u060c \u0645\u06cc\u06ba \u0646\u06d2 \u0679\u0648\u06cc\u0679\u0631 \u067e\u0631 \u0644\u0648\u06af\u0648\u06ba \u06a9\u0648 \u06cc\u06c1 \u0628\u062d\u062b \u06a9\u0631\u062a\u06d2 […]<\/p>\n","protected":false},"author":7,"featured_media":26034,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"site-sidebar-layout":"default","site-content-layout":"","ast-site-content-layout":"default","site-content-style":"default","site-sidebar-style":"default","ast-global-header-display":"","ast-banner-title-visibility":"","ast-main-header-display":"","ast-hfb-above-header-display":"","ast-hfb-below-header-display":"","ast-hfb-mobile-header-display":"","site-post-title":"","ast-breadcrumbs-content":"","ast-featured-img":"","footer-sml-layout":"","ast-disable-related-posts":"","theme-transparent-header-meta":"","adv-header-id-meta":"","stick-header-meta":"","header-above-stick-meta":"","header-main-stick-meta":"","header-below-stick-meta":"","astra-migrate-meta-layouts":"default","ast-page-background-enabled":"default","ast-page-background-meta":{"desktop":{"background-color":"var(--ast-global-color-5)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"tablet":{"background-color":"","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"mobile":{"background-color":"","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""}},"ast-content-background-meta":{"desktop":{"background-color":"var(--ast-global-color-4)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"tablet":{"background-color":"var(--ast-global-color-4)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"mobile":{"background-color":"var(--ast-global-color-4)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""}},"footnotes":""},"categories":[1],"tags":[],"class_list":["post-26033","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-blog"],"_links":{"self":[{"href":"https:\/\/umang.pk\/ur\/wp-json\/wp\/v2\/posts\/26033","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/umang.pk\/ur\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/umang.pk\/ur\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/umang.pk\/ur\/wp-json\/wp\/v2\/users\/7"}],"replies":[{"embeddable":true,"href":"https:\/\/umang.pk\/ur\/wp-json\/wp\/v2\/comments?post=26033"}],"version-history":[{"count":1,"href":"https:\/\/umang.pk\/ur\/wp-json\/wp\/v2\/posts\/26033\/revisions"}],"predecessor-version":[{"id":26035,"href":"https:\/\/umang.pk\/ur\/wp-json\/wp\/v2\/posts\/26033\/revisions\/26035"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/umang.pk\/ur\/wp-json\/wp\/v2\/media\/26034"}],"wp:attachment":[{"href":"https:\/\/umang.pk\/ur\/wp-json\/wp\/v2\/media?parent=26033"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/umang.pk\/ur\/wp-json\/wp\/v2\/categories?post=26033"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/umang.pk\/ur\/wp-json\/wp\/v2\/tags?post=26033"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}