{"id":27894,"date":"2026-08-18T08:08:27","date_gmt":"2026-08-18T08:08:27","guid":{"rendered":"https:\/\/umang.pk\/2026\/08\/18\/ai-%d8%a7%db%8c%d8%ac%d9%86%d9%b9%d8%b3-%da%a9%db%92-%d9%84%db%8c%db%92-llm-%d8%aa%d8%ae%d9%85%db%8c%d9%86%db%81-%da%a9%d9%88-%d8%a8%da%91%da%be%d8%a7%d9%86%db%92-%da%a9%db%92-%d9%84%db%8c%db%92-vllm\/"},"modified":"2026-08-18T08:08:27","modified_gmt":"2026-08-18T08:08:27","slug":"ai-%d8%a7%db%8c%d8%ac%d9%86%d9%b9%d8%b3-%da%a9%db%92-%d9%84%db%8c%db%92-llm-%d8%aa%d8%ae%d9%85%db%8c%d9%86%db%81-%da%a9%d9%88-%d8%a8%da%91%da%be%d8%a7%d9%86%db%92-%da%a9%db%92-%d9%84%db%8c%db%92-vllm","status":"publish","type":"post","link":"https:\/\/umang.pk\/ur\/2026\/08\/18\/ai-%d8%a7%db%8c%d8%ac%d9%86%d9%b9%d8%b3-%da%a9%db%92-%d9%84%db%8c%db%92-llm-%d8%aa%d8%ae%d9%85%db%8c%d9%86%db%81-%da%a9%d9%88-%d8%a8%da%91%da%be%d8%a7%d9%86%db%92-%da%a9%db%92-%d9%84%db%8c%db%92-vllm\/","title":{"rendered":"AI \u0627\u06cc\u062c\u0646\u0679\u0633 \u06a9\u06d2 \u0644\u06cc\u06d2 LLM \u062a\u062e\u0645\u06cc\u0646\u06c1 \u06a9\u0648 \u0628\u0691\u06be\u0627\u0646\u06d2 \u06a9\u06d2 \u0644\u06cc\u06d2 vLLM \u06a9\u0627 \u0627\u0633\u062a\u0639\u0645\u0627\u0644 \u06a9\u06cc\u0633\u06d2 \u06a9\u0631\u06cc\u06ba\u06d4"},"content":{"rendered":"\n<div id=\"\">\n<p>\u0627\u0633 \u0679\u06cc\u0648\u0679\u0648\u0631\u06cc\u0644 \u0645\u06cc\u06ba\u060c \u06c1\u0645 \u062f\u06a9\u06be\u0627\u0626\u06cc\u06ba \u06af\u06d2 \u06a9\u06c1 AI \u0627\u06cc\u062c\u0646\u0679\u0633 \u06a9\u06d2 \u0644\u06cc\u06d2 LLM \u062a\u062e\u0645\u06cc\u0646\u06c1 \u06a9\u0648 \u0628\u0691\u06be\u0627\u0646\u06d2 \u06a9\u06d2 \u0644\u06cc\u06d2 vLLM \u06a9\u0627 \u0627\u0633\u062a\u0639\u0645\u0627\u0644 \u06a9\u06cc\u0633\u06d2 \u06a9\u0631\u06cc\u06ba\u06d4 \u06c1\u0645 \u0622\u067e \u06a9\u0648 \u0627\u0633 \u0628\u0627\u0631\u06d2 \u0645\u06cc\u06ba \u0628\u0635\u06cc\u0631\u062a \u067e\u06cc\u062f\u0627 \u06a9\u0631\u0646\u06d2 \u0645\u06cc\u06ba \u0645\u062f\u062f \u06a9\u0631\u06cc\u06ba \u06af\u06d2 \u06a9\u06c1 LLM \u06a9\u0627 \u0627\u0646\u062f\u0627\u0632\u06c1 \u06a9\u06cc\u0633\u06d2 \u06a9\u0627\u0645 \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u060c \u06cc\u06c1 \u062f\u0631\u06cc\u0627\u0641\u062a \u06a9\u0631\u06cc\u06ba \u06af\u06d2 \u06a9\u06c1 \u0627\u06cc\u062c\u0646\u0679 \u06a9\u06d2 \u06a9\u0627\u0645 \u06a9\u06d2 \u0628\u0648\u062c\u06be \u0633\u06d2 GPU \u0634\u06cc\u0688\u0648\u0644\u0646\u06af \u0627\u0648\u0631 \u0645\u06cc\u0645\u0648\u0631\u06cc \u067e\u0631\u06cc\u0634\u0631 \u06a9\u06cc\u0648\u06ba \u067e\u06cc\u062f\u0627 \u06c1\u0648\u062a\u0627 \u06c1\u06d2\u060c \u0627\u0648\u0631 \u062c\u0627\u0646\u0686\u06cc\u06ba \u06af\u06d2 \u06a9\u06c1 \u06a9\u0633 \u0637\u0631\u062d vLLM \u06a9\u0648 \u062a\u06be\u0631\u0648 \u067e\u0679 \u06a9\u0648 \u0628\u06c1\u062a\u0631 \u0628\u0646\u0627\u0646\u06d2 \u06a9\u06d2 \u0644\u06cc\u06d2 \u0688\u06cc\u0632\u0627\u0626\u0646 \u06a9\u06cc\u0627 \u062c\u0627 \u0633\u06a9\u062a\u0627 \u06c1\u06d2\u06d4<\/p>\n<p>\u0627\u0633 \u06a9\u06d2 \u0628\u0639\u062f \u0622\u067e \u0627\u06cc\u06a9 \u0645\u0642\u0627\u0645\u06cc vLLM \u0633\u0631\u0648\u0631 \u0686\u0644\u0627\u062a\u06d2 \u06c1\u06cc\u06ba \u0627\u0648\u0631 OpenAI-compatible API \u06a9\u06d2 \u0630\u0631\u06cc\u0639\u06d2 \u0633\u0631\u0648\u0631 \u0633\u06d2 \u062c\u0691\u0646\u06d2 \u06a9\u06d2 \u0644\u06cc\u06d2 AI \u0627\u06cc\u062c\u0646\u0679 \u06a9\u0627 \u0627\u0633\u062a\u0639\u0645\u0627\u0644 \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4<\/p>\n<h2 id=\"heading-table-of-contents\"><strong>\u0627\u0646\u0688\u06cc\u06a9\u0633<\/strong><\/h2>\n<h2 id=\"heading-background\">\u067e\u0633 \u0645\u0646\u0638\u0631<\/h2>\n<p>\u0633\u0627\u062f\u06c1 AI \u0627\u06cc\u062c\u0646\u0679 \u0639\u0627\u0645 \u0637\u0648\u0631 \u067e\u0631 \u0627\u06cc\u06a9 \u0635\u0627\u0631\u0641\u060c \u0627\u06cc\u06a9 \u062f\u0631\u062e\u0648\u0627\u0633\u062a\u060c \u0627\u0648\u0631 \u0627\u06cc\u06a9 \u0645\u0627\u0688\u0644 \u06a9\u06d2 \u062c\u0648\u0627\u0628 \u06a9\u06d2 \u0633\u0627\u062a\u06be \u0627\u0686\u06be\u06cc \u0637\u0631\u062d \u06a9\u0627\u0645 \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4 \u062a\u0627\u06c1\u0645\u060c \u067e\u06cc\u062f\u0627\u0648\u0627\u0631\u06cc \u0645\u0627\u062d\u0648\u0644 \u0628\u06c1\u062a \u0645\u062e\u062a\u0644\u0641 \u06c1\u06d2\u06d4<\/p>\n<p>\u062a\u0635\u0648\u0631 \u06a9\u0631\u06cc\u06ba \u06a9\u06c1 \u0633\u06cc\u0646\u06a9\u0691\u0648\u06ba \u0635\u0627\u0631\u0641\u06cc\u0646 \u0628\u06cc\u06a9 \u0648\u0642\u062a \u067e\u06cc\u063a\u0627\u0645\u0627\u062a \u0628\u06be\u06cc\u062c \u0631\u06c1\u06d2 \u06c1\u06cc\u06ba\u06d4 \u0627\u0648\u0631 \u0635\u0627\u0631\u0641 \u06a9\u06cc \u062f\u0631\u062e\u0648\u0627\u0633\u062a \u0622\u0633\u0627\u0646\u06cc \u0633\u06d2 10 \u0633\u06d2 30 \u0627\u0646\u0641\u0631\u0627\u062f\u06cc LLM \u06a9\u0627\u0644\u0648\u06ba \u0645\u06cc\u06ba \u0628\u062f\u0644 \u0633\u06a9\u062a\u06cc \u06c1\u06d2 \u062a\u0627\u06a9\u06c1 \u0645\u0646\u0635\u0648\u0628\u06c1 \u0628\u0646\u062f\u06cc \u06a9\u0631\u0646\u06d2\u060c \u0679\u0648\u0644\u0632 \u06a9\u0648 \u0645\u0646\u062a\u062e\u0628 \u06a9\u0631\u0646\u06d2\u060c \u062e\u0644\u0627\u0635\u06c1 \u06a9\u0631\u0646\u06d2\u060c \u062f\u0648\u0628\u0627\u0631\u06c1 \u06a9\u0648\u0634\u0634 \u06a9\u0631\u0646\u06d2 \u0627\u0648\u0631 \u062d\u062a\u0645\u06cc \u062c\u0648\u0627\u0628 \u067e\u06cc\u062f\u0627 \u06a9\u0631\u0646\u06d2 \u06a9\u06d2 \u0644\u06cc\u06d2\u06d4 \u0627\u0633\u06d2 \u062f\u0633\u06cc\u0648\u06ba \u06cc\u0627 \u0633\u06cc\u06a9\u0691\u0648\u06ba \u0635\u0627\u0631\u0641\u06cc\u0646 \u0633\u06d2 \u0636\u0631\u0628 \u062f\u06cc\u06ba \u0627\u0648\u0631 \u0627\u0646\u0641\u0631\u0646\u0633 \u0644\u06cc\u0626\u0631 \u062a\u06cc\u0632\u06cc \u0633\u06d2 \u0631\u06a9\u0627\u0648\u0679 \u0628\u0646 \u062c\u0627\u062a\u06cc \u06c1\u06d2\u06d4<\/p>\n<h2 id=\"heading-prerequisites\">\u0634\u0631\u0637\u06cc\u06ba<\/h2>\n<p>\u0627\u0633 \u0679\u06cc\u0648\u0679\u0648\u0631\u06cc\u0644 \u067e\u0631 \u0639\u0645\u0644 \u06a9\u0631\u0646\u06d2 \u06a9\u06d2 \u0644\u06cc\u06d2\u060c \u0622\u067e \u06a9\u0648 \u0628\u0646\u06cc\u0627\u062f\u06cc Python \u0627\u0648\u0631 \u0679\u0631\u0645\u06cc\u0646\u0644 \u06a9\u0645\u0627\u0646\u0688\u0632 \u0633\u06d2 \u0648\u0627\u0642\u0641 \u06c1\u0648\u0646\u0627 \u0686\u0627\u06c1\u06cc\u06d2\u06d4 \u0622\u067e \u06a9\u06d2 \u067e\u0627\u0633 Python\u060c \u0627\u06cc\u06a9 \u067e\u06cc\u06a9\u06cc\u062c \u0645\u06cc\u0646\u06cc\u062c\u0631 \u0628\u06be\u06cc \u06c1\u0648\u0646\u0627 \u0686\u0627\u06c1\u06cc\u06d2 \u062c\u06cc\u0633\u06d2: <code>pip<\/code> \u06cc\u0627 <code>uv<\/code>\u06a9\u0648\u0688 \u0627\u06cc\u0688\u06cc\u0679\u0631 \u0627\u0628 \u0627\u0646\u0633\u0679\u0627\u0644 \u06c1\u0648 \u06af\u06cc\u0627 \u06c1\u06d2\u06d4<\/p>\n<p>LLM \u067e\u0631\u0627\u0645\u067e\u0679\u0633 \u0627\u0648\u0631 API \u06a9\u0644\u0627\u0626\u0646\u0679\u0633 \u0633\u06d2 \u06a9\u0686\u06be \u0648\u0627\u0642\u0641\u06cc\u062a \u0645\u062f\u062f\u06af\u0627\u0631 \u06c1\u06d2\u060c \u0644\u06cc\u06a9\u0646 AI \u0627\u06cc\u062c\u0646\u0679\u0633\u060c vLLM\u060c \u06cc\u0627 inference optimization \u06a9\u06d2 \u0633\u0627\u062a\u06be \u06a9\u0633\u06cc \u067e\u06cc\u0634\u06af\u06cc \u062a\u062c\u0631\u0628\u06d2 \u06a9\u06cc \u0636\u0631\u0648\u0631\u062a \u0646\u06c1\u06cc\u06ba \u06c1\u06d2\u06d4 AI \u0627\u06cc\u062c\u0646\u0679\u0648\u06ba \u06a9\u06d2 \u0628\u0627\u0631\u06d2 \u0645\u06cc\u06ba \u0645\u0632\u06cc\u062f \u062c\u0627\u0646\u0646\u06d2 \u06a9\u06d2 \u0644\u06cc\u06d2\u060c \u06cc\u06c1 \u0645\u0636\u0645\u0648\u0646 \u067e\u0691\u06be\u06cc\u06ba\u06d4<\/p>\n<p>\u06cc\u06c1 \u0679\u06cc\u0648\u0679\u0648\u0631\u06cc\u0644 vLLM-Metal \u06a9\u0627 \u0627\u0633\u062a\u0639\u0645\u0627\u0644 \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u060c \u0644\u06c1\u0630\u0627 \u0645\u062b\u0627\u0644\u06cc\u06ba \u0645\u0642\u0627\u0645\u06cc \u0637\u0648\u0631 \u067e\u0631 Apple Silicon \u067e\u0631 \u0686\u0644 \u0633\u06a9\u062a\u06cc \u06c1\u06cc\u06ba\u06d4 \u06cc\u06c1 \u0679\u06cc\u0648\u0679\u0648\u0631\u06cc\u0644 macOS\u060c Windows \u0627\u0648\u0631 Linux \u067e\u0631 \u06a9\u0627\u0645 \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u06d4 \u0645\u06cc\u06ba 32GB RAM \u06a9\u06d2 \u0633\u0627\u062a\u06be MacBook Pro \u0627\u0633\u062a\u0639\u0645\u0627\u0644 \u06a9\u0631 \u0631\u06c1\u0627 \u06c1\u0648\u06ba \u0627\u0648\u0631 \u06a9\u0648\u0626\u06cc \u0628\u06cc\u0631\u0648\u0646\u06cc GPU \u0646\u06c1\u06cc\u06ba\u060c \u0644\u06cc\u06a9\u0646 \u0686\u06be\u0648\u0679\u06d2 \u067e\u06c1\u0644\u06d2 \u0633\u06d2 \u062a\u0631\u0628\u06cc\u062a \u06cc\u0627\u0641\u062a\u06c1 \u0645\u0627\u0688\u0644\u0632 \u06a9\u0627 \u0627\u0633\u062a\u0639\u0645\u0627\u0644 \u0645\u062c\u06be\u06d2 \u0632\u06cc\u0627\u062f\u06c1 \u0645\u062d\u062f\u0648\u062f \u06c1\u0627\u0631\u0688 \u0648\u06cc\u0626\u0631 \u067e\u0631 \u0628\u06be\u06cc \u0648\u0631\u06a9 \u0641\u0644\u0648 \u0686\u0644\u0627\u0646\u06d2 \u06a9\u06cc \u0627\u062c\u0627\u0632\u062a \u062f\u06cc\u062a\u0627 \u06c1\u06d2\u06d4<\/p>\n<h2 id=\"heading-what-is-llm-inference\">\u0627\u06cc\u0644 \u0627\u06cc\u0644 \u0627\u06cc\u0645 \u0631\u06cc\u0632\u0646\u0646\u06af \u06a9\u06cc\u0627 \u06c1\u06d2\u061f<\/h2>\n<p>\u0627\u0646\u0641\u0631\u0646\u0633 \u0627\u06cc\u06a9 \u062a\u0631\u0628\u06cc\u062a \u06cc\u0627\u0641\u062a\u06c1 \u0645\u0627\u0688\u0644 \u06a9\u0627 \u0627\u0633\u062a\u0639\u0645\u0627\u0644 \u06a9\u0631\u062a\u06d2 \u06c1\u0648\u0626\u06d2 \u0627\u0646 \u067e\u0679 \u0633\u06d2 \u0622\u0624\u0679 \u067e\u0679 \u067e\u06cc\u062f\u0627 \u06a9\u0631\u0646\u06d2 \u06a9\u0627 \u0639\u0645\u0644 \u06c1\u06d2\u06d4 \u0628\u0691\u06d2 \u0644\u06cc\u0646\u06af\u0648\u06cc\u062c \u0645\u0627\u0688\u0644\u0632 \u06a9\u06d2 \u0644\u06cc\u06d2\u060c \u0627\u0633 \u06a9\u0627 \u0645\u0637\u0644\u0628 \u06c1\u06d2 \u067e\u0631\u0627\u0645\u067e\u0679\u0633 \u067e\u0631 \u06a9\u0627\u0631\u0631\u0648\u0627\u0626\u06cc \u06a9\u0631\u0646\u0627 \u0627\u0648\u0631 \u0627\u06cc\u06a9 \u0648\u0642\u062a \u0645\u06cc\u06ba \u0622\u0624\u0679 \u067e\u0679 \u0627\u06cc\u06a9 \u0679\u0648\u06a9\u0646 \u06a9\u06cc \u067e\u06cc\u0634 \u06af\u0648\u0626\u06cc \u06a9\u0631\u0646\u0627\u06d4<\/p>\n<p>\u0627\u0646\u062f\u0627\u0632\u06c1 \u062a\u0631\u0628\u06cc\u062a \u0633\u06d2 \u0645\u062e\u062a\u0644\u0641 \u06c1\u06d2\u06d4 \u062a\u0631\u0628\u06cc\u062a \u06a9\u06d2 \u062f\u0648\u0631\u0627\u0646\u060c \u0645\u0627\u0688\u0644 \u0648\u0632\u0646 \u06a9\u0648 \u0627\u06cc\u0688\u062c\u0633\u0679 \u06a9\u0631\u06a9\u06d2 \u0633\u06cc\u06a9\u06be\u062a\u0627 \u06c1\u06d2\u06d4 \u062a\u062e\u0645\u06cc\u0646\u06c1 \u06a9\u06d2 \u062f\u0648\u0631\u0627\u0646\u060c \u0648\u06c1 \u0648\u0632\u0646 \u0645\u0642\u0631\u0631 \u0631\u06c1\u062a\u06d2 \u06c1\u06cc\u06ba \u0627\u0648\u0631 \u0645\u0627\u0688\u0644 \u0648\u06c1\u06cc \u0627\u0633\u062a\u0639\u0645\u0627\u0644 \u06a9\u0631\u062a\u0627 \u06c1\u06d2 \u062c\u0648 \u0627\u0633 \u0646\u06d2 \u062c\u0648\u0627\u0628 \u067e\u06cc\u062f\u0627 \u06a9\u0631\u0646\u06d2 \u06a9\u06d2 \u0644\u06cc\u06d2 \u067e\u06c1\u0644\u06d2 \u06c1\u06cc \u0633\u06cc\u06a9\u06be\u0627 \u06c1\u06d2\u06d4<\/p>\n<p>\u06cc\u06c1\u0627\u06ba \u062a\u06a9 \u06a9\u06c1 \u0627\u06af\u0631 \u0645\u0627\u0688\u0644 \u0645\u0632\u06cc\u062f \u0646\u06c1\u06cc\u06ba \u0633\u06cc\u06a9\u06be \u0631\u06c1\u0627 \u06c1\u06d2\u060c \u062a\u0628 \u0628\u06be\u06cc \u0627\u0646\u062f\u0627\u0632\u06c1 \u0645\u06c1\u0646\u06af\u0627 \u06c1\u0648 \u0633\u06a9\u062a\u0627 \u06c1\u06d2\u06d4 \u0628\u0691\u06d2 \u0645\u0627\u0688\u0644\u0632 \u06a9\u0648 \u0632\u06cc\u0627\u062f\u06c1 \u0645\u06cc\u0645\u0648\u0631\u06cc \u0627\u0648\u0631 \u06a9\u0645\u067e\u06cc\u0648\u0679\u06cc\u0634\u0646 \u06a9\u06cc \u0636\u0631\u0648\u0631\u062a \u06c1\u0648\u062a\u06cc \u06c1\u06d2\u060c \u0637\u0648\u06cc\u0644 \u067e\u0631\u0627\u0645\u067e\u0679\u0633 \u06a9\u0648 \u067e\u0631\u0648\u0633\u06cc\u0633 \u06a9\u0631\u0646\u06d2 \u06a9\u06d2 \u0644\u06cc\u06d2 \u0645\u0632\u06cc\u062f \u06a9\u0627\u0645 \u06a9\u06cc \u0636\u0631\u0648\u0631\u062a \u06c1\u0648\u062a\u06cc \u06c1\u06d2\u060c \u0627\u0648\u0631 \u0637\u0648\u06cc\u0644 \u062c\u0648\u0627\u0628\u0627\u062a \u06a9\u06d2 \u0644\u06cc\u06d2 \u0645\u0632\u06cc\u062f \u062c\u0646\u0631\u06cc\u0634\u0646 \u0627\u0642\u062f\u0627\u0645\u0627\u062a \u06a9\u06cc \u0636\u0631\u0648\u0631\u062a \u06c1\u0648\u062a\u06cc \u06c1\u06d2\u06d4 \u0627\u06af\u0631 \u0628\u06c1\u062a \u0633\u06d2 \u0635\u0627\u0631\u0641\u06cc\u0646 \u0628\u06cc\u06a9 \u0648\u0642\u062a \u062f\u0631\u062e\u0648\u0627\u0633\u062a\u06cc\u06ba \u062c\u0645\u0639 \u06a9\u0631\u0627\u062a\u06d2 \u06c1\u06cc\u06ba\u060c \u062a\u0648 \u0627\u0646\u0641\u0631\u0646\u0633 \u0644\u06cc\u0626\u0631 \u062a\u06cc\u0632\u06cc \u0633\u06d2 \u06a9\u0627\u0631\u06a9\u0631\u062f\u06af\u06cc \u0645\u06cc\u06ba \u0631\u06a9\u0627\u0648\u0679 \u0628\u0646 \u0633\u06a9\u062a\u06cc \u06c1\u06d2\u06d4<\/p>\n<h2 id=\"heading-how-llm-inference-uses-the-cpu-and-gpu\">LLM Inference \u06a9\u0633 \u0637\u0631\u062d CPU \u0627\u0648\u0631 GPU \u06a9\u0627 \u0627\u0633\u062a\u0639\u0645\u0627\u0644 \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u06d4<\/h2>\n<p>\u0627\u06cc\u06a9 \u0645\u0627\u0688\u0644 \u0633\u0631\u0648\u0646\u06af \u0633\u0633\u0679\u0645 \u06a9\u06cc \u062f\u0648 \u0648\u0633\u06cc\u0639 \u0630\u0645\u06c1 \u062f\u0627\u0631\u06cc\u0627\u06ba \u06c1\u06cc\u06ba: \u06a9\u0648\u0622\u0631\u0688\u06cc\u0646\u06cc\u0634\u0646 \u06a9\u06cc \u062f\u0631\u062e\u0648\u0627\u0633\u062a \u0627\u0648\u0631 \u0645\u0627\u0688\u0644 \u067e\u0631 \u0639\u0645\u0644 \u062f\u0631\u0622\u0645\u062f\u06d4<\/p>\n<p>\u0645\u06cc\u0632\u0628\u0627\u0646 \u0633\u0627\u0626\u06cc\u0688 \u067e\u0631\u060c \u0633\u0631\u0648\u0646\u06af \u0633\u0633\u0679\u0645 \u062f\u0631\u062e\u0648\u0627\u0633\u062a\u0648\u06ba \u06a9\u0648 \u0642\u0628\u0648\u0644 \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u060c \u067e\u0631\u0627\u0645\u067e\u0679\u0633 \u06a9\u0648 \u0679\u0648\u06a9\u0646\u0627\u0626\u0632 \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u060c \u062f\u0631\u062e\u0648\u0627\u0633\u062a \u06a9\u06cc \u062d\u06cc\u062b\u06cc\u062a \u06a9\u0648 \u0679\u0631\u06cc\u06a9 \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u060c \u0627\u0648\u0631 \u06cc\u06c1 \u062a\u0639\u06cc\u0646 \u06a9\u0631\u062a\u0627 \u06c1\u06d2 \u06a9\u06c1 \u06a9\u0648\u0646 \u0633\u06cc \u062f\u0631\u062e\u0648\u0627\u0633\u062a\u0648\u06ba \u06a9\u0648 \u06c1\u0631 \u0639\u0645\u0644 \u0645\u06cc\u06ba \u0634\u0627\u0645\u0644 \u06a9\u0631\u0646\u0627 \u06c1\u06d2\u06d4 \u0627\u06cc\u06a9\u0633\u0644\u0631\u06cc\u0679\u0631 \u06a9\u06cc \u0637\u0631\u0641\u060c \u0639\u0627\u0645 \u0637\u0648\u0631 \u067e\u0631 \u0627\u06cc\u06a9 GPU\u060c \u0645\u0627\u0688\u0644 \u067e\u0631\u0627\u0645\u067e\u0679 \u067e\u0631 \u06a9\u0627\u0631\u0631\u0648\u0627\u0626\u06cc \u06a9\u0631\u062a\u0627 \u06c1\u06d2 \u0627\u0648\u0631 \u0679\u0648\u06a9\u0646 \u067e\u06cc\u062f\u0627 \u06a9\u0631\u0646\u06d2 \u06a9\u06d2 \u0644\u06cc\u06d2 \u0636\u0631\u0648\u0631\u06cc \u0679\u06cc\u0646\u0633\u0631 \u0622\u067e\u0631\u06cc\u0634\u0646 \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u06d4<\/p>\n<p>LLM \u0627\u0633\u062a\u062f\u0644\u0627\u0644 \u062f\u0648 \u0628\u0646\u06cc\u0627\u062f\u06cc \u0645\u0631\u0627\u062d\u0644 \u067e\u0631 \u0645\u0634\u062a\u0645\u0644 \u06c1\u06d2: <strong>\u067e\u0631\u06cc \u0641\u0644<\/strong> \u0627\u0648\u0631 <strong>\u06a9\u06be\u0648\u0644\u0646\u0627<\/strong>.<\/p>\n<p>\u067e\u0631\u06cc \u067e\u0627\u067e\u0648\u0644\u06cc\u0634\u0646 \u06a9\u06d2 \u062f\u0648\u0631\u0627\u0646\u060c \u0645\u0627\u0688\u0644 \u0627\u0646 \u067e\u0679 \u067e\u0631\u0627\u0645\u067e\u0679 \u0633\u06d2 \u062a\u0645\u0627\u0645 \u0679\u0648\u06a9\u0646 \u067e\u0631 \u06a9\u0627\u0631\u0631\u0648\u0627\u0626\u06cc \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u06d4 \u0622\u0628\u0627\u062f\u06cc \u06a9\u06cc \u062a\u0639\u062f\u0627\u062f \u06a9\u0645\u067e\u06cc\u0648\u0679\u06cc\u0634\u0646\u0644 \u0637\u0648\u0631 \u067e\u0631 \u0628\u06c1\u062a \u0632\u06cc\u0627\u062f\u06c1 \u06c1\u0648\u062a\u06cc \u06c1\u06d2 \u06a9\u06cc\u0648\u0646\u06a9\u06c1 \u0628\u06c1\u062a \u0633\u06d2 \u067e\u0631\u0627\u0645\u067e\u0679 \u0679\u0648\u06a9\u0646\u0632 \u06a9\u0648 \u0645\u062a\u0648\u0627\u0632\u06cc \u0637\u0648\u0631 \u067e\u0631 \u067e\u0631\u0648\u0633\u06cc\u0633 \u06a9\u06cc\u0627 \u062c\u0627 \u0633\u06a9\u062a\u0627 \u06c1\u06d2\u06d4 \u0627\u0633 \u0644\u06cc\u06d2\u060c \u0628\u0627\u062a \u0686\u06cc\u062a \u06a9\u06cc \u0633\u0631\u06af\u0632\u0634\u062a\u060c \u0628\u0627\u0632\u06cc\u0627\u0641\u062a \u0634\u062f\u06c1 \u062f\u0633\u062a\u0627\u0648\u06cc\u0632\u0627\u062a\u060c \u06cc\u0627 \u0679\u0648\u0644 \u06c1\u062f\u0627\u06cc\u0627\u062a \u067e\u0631 \u0645\u0634\u062a\u0645\u0644 \u0637\u0648\u06cc\u0644 \u0627\u0634\u0627\u0631\u06d2 \u067e\u06c1\u0644\u06d2 \u0622\u0624\u0679 \u067e\u0679 \u0679\u0648\u06a9\u0646 \u06a9\u06d2 \u0638\u0627\u06c1\u0631 \u06c1\u0648\u0646\u06d2 \u0633\u06d2 \u067e\u06c1\u0644\u06d2 \u0648\u0642\u062a \u0628\u0691\u06be\u0627 \u0633\u06a9\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4<\/p>\n<p>\u0636\u0627\u0628\u0637\u06c1 \u06a9\u0634\u0627\u0626\u06cc \u06a9\u06d2 \u062f\u0648\u0631\u0627\u0646\u060c \u0645\u0627\u0688\u0644 \u0627\u06cc\u06a9 \u0648\u0642\u062a \u0645\u06cc\u06ba \u0627\u06cc\u06a9 \u0679\u0648\u06a9\u0646 \u0622\u0624\u0679 \u067e\u0679 \u062a\u06cc\u0627\u0631 \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u06d4 \u06c1\u0631 \u0646\u06cc\u0627 \u0679\u0648\u06a9\u0646 \u067e\u0686\u06be\u0644\u06d2 \u0679\u0648\u06a9\u0646 \u067e\u0631 \u0645\u0646\u062d\u0635\u0631 \u06c1\u0648\u062a\u0627 \u06c1\u06d2\u060c \u0644\u06c1\u0630\u0627 \u06cc\u06c1 \u0688\u06cc \u06a9\u0648\u0688\u0646\u06af \u0645\u0631\u062d\u0644\u06d2 \u06a9\u06d2 \u062f\u0648\u0631\u0627\u0646 \u062a\u0631\u062a\u06cc\u0628 \u0648\u0627\u0631 \u062a\u06cc\u0627\u0631 \u06c1\u0648\u062a\u0627 \u06c1\u06d2\u06d4 \u0644\u06c1\u0630\u0627\u060c \u0637\u0648\u06cc\u0644 \u062c\u0648\u0627\u0628\u0627\u062a \u06a9\u06d2 \u0644\u06cc\u06d2 \u0645\u0627\u0688\u0644 \u067e\u0631 \u0639\u0645\u0644 \u062f\u0631\u0622\u0645\u062f \u06a9\u06d2 \u0628\u06c1\u062a \u0633\u06d2 \u0627\u0644\u06af \u0627\u0644\u06af \u0645\u0631\u0627\u062d\u0644 \u06a9\u06cc \u0636\u0631\u0648\u0631\u062a \u06c1\u0648\u062a\u06cc \u06c1\u06d2\u06d4<\/p>\n<p>\u0633\u06cc\u062f\u06be\u06d2 \u0627\u0644\u0641\u0627\u0638 \u0645\u06cc\u06ba:<\/p>\n<ul>\n<li>\n<p>\u0637\u0648\u06cc\u0644 \u0627\u0646 \u067e\u0679\u0633 \u06a9\u06d2 \u0646\u062a\u06cc\u062c\u06d2 \u0645\u06cc\u06ba \u067e\u06c1\u0644\u06d2 \u0633\u06d2 \u0628\u06be\u0631\u0646\u06d2 \u06a9\u06d2 \u0627\u062e\u0631\u0627\u062c\u0627\u062a \u0632\u06cc\u0627\u062f\u06c1 \u06c1\u0648\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4<\/p>\n<\/li>\n<li>\n<p>\u0644\u0645\u0628\u06d2 \u0622\u0624\u0679 \u067e\u0679 \u06a9\u0648 \u0688\u06cc \u06a9\u0648\u0688 \u06a9\u0631\u0646\u06d2 \u0645\u06cc\u06ba \u0632\u06cc\u0627\u062f\u06c1 \u0644\u0627\u06af\u062a \u0622\u062a\u06cc \u06c1\u06d2\u06d4<\/p>\n<\/li>\n<li>\n<p>\u0645\u0632\u06cc\u062f \u0627\u06cc\u06a9 \u0633\u0627\u062a\u06be \u062f\u0631\u062e\u0648\u0627\u0633\u062a\u06cc\u06ba \u0634\u06cc\u0688\u0648\u0644\u0646\u06af \u0627\u0648\u0631 \u0645\u06cc\u0645\u0648\u0631\u06cc \u067e\u0631\u06cc\u0634\u0631 \u062f\u0648\u0646\u0648\u06ba \u0645\u06cc\u06ba \u0627\u0636\u0627\u0641\u06c1 \u06a9\u0631\u062a\u06cc \u06c1\u06cc\u06ba\u06d4<\/p>\n<\/li>\n<\/ul>\n<p>GPUs \u06a9\u0645\u067e\u06cc\u0648\u0679 \u06a9\u06cc \u0635\u0644\u0627\u062d\u06cc\u062a \u0627\u0648\u0631 \u0645\u06cc\u0645\u0648\u0631\u06cc \u062f\u0648\u0646\u0648\u06ba \u06a9\u06d2 \u0630\u0631\u06cc\u0639\u06c1 \u0645\u062d\u062f\u0648\u062f \u06c1\u06cc\u06ba\u06d4 \u0627\u0633 \u0645\u06cc\u06ba \u0645\u0627\u0688\u0644 \u0648\u0632\u0646\u060c \u0639\u0627\u0631\u0636\u06cc \u0639\u0645\u0644 \u062f\u0631\u0622\u0645\u062f \u06a9\u06d2 \u0688\u06cc\u0679\u0627\u060c \u0627\u0648\u0631 \u0641\u0639\u0627\u0644 \u062f\u0631\u062e\u0648\u0627\u0633\u062a\u0648\u06ba \u0633\u06d2 \u0645\u062a\u0639\u0644\u0642 \u062d\u0627\u0644\u062a \u06c1\u0648\u0646\u06cc \u0686\u0627\u06c1\u06cc\u06d2\u06d4<\/p>\n<p>\u062f\u0631\u062e\u0648\u0627\u0633\u062a \u06a9\u06cc \u062d\u06cc\u062b\u06cc\u062a \u06a9\u06d2 \u0633\u0628 \u0633\u06d2 \u0627\u06c1\u0645 \u062d\u0635\u0648\u06ba \u0645\u06cc\u06ba \u0633\u06d2 \u0627\u06cc\u06a9 \u06c1\u06d2 <strong>\u06a9\u06d2 \u0648\u06cc \u06a9\u06cc\u0634\u06d2<\/strong>. \u062a\u0648\u062c\u06c1 \u06a9\u06d2 \u062f\u0648\u0631\u0627\u0646\u060c \u0645\u0627\u0688\u0644 \u067e\u06c1\u0644\u06d2 \u067e\u0631\u0648\u0633\u06cc\u0633 \u0634\u062f\u06c1 \u0679\u0648\u06a9\u0646\u0632 \u06a9\u06d2 \u0644\u06cc\u06d2 \u06a9\u0644\u06cc\u062f\u06cc \u0627\u0648\u0631 \u0642\u062f\u0631 \u06a9\u06cc \u0646\u0645\u0627\u0626\u0646\u062f\u06af\u06cc \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u06d4 \u0627\u0646 \u0646\u0645\u0627\u0626\u0646\u062f\u06af\u06cc\u0648\u06ba \u06a9\u0648 \u0645\u062d\u0641\u0648\u0638 \u06a9\u0631\u0646\u06d2 \u0633\u06d2 \u0645\u0627\u0688\u0644 \u06a9\u0648 \u0627\u0646 \u06a9\u0648 \u062f\u0648\u0628\u0627\u0631\u06c1 \u0627\u0633\u062a\u0639\u0645\u0627\u0644 \u06a9\u0631\u0646\u06d2 \u06a9\u06cc \u0627\u062c\u0627\u0632\u062a \u0645\u0644\u062a\u06cc \u06c1\u06d2 \u062c\u0628\u06a9\u06c1 \u0628\u0639\u062f \u0645\u06cc\u06ba \u0622\u0646\u06d2 \u0648\u0627\u0644\u06d2 \u0679\u0648\u06a9\u0646\u0632 \u062a\u06cc\u0627\u0631 \u06a9\u0631\u062a\u06d2 \u06c1\u0648\u0626\u06d2 \u06c1\u0631 \u0636\u0627\u0628\u0637\u06c1 \u06a9\u0634\u0627\u0626\u06cc \u06a9\u06d2 \u0645\u0631\u062d\u0644\u06d2 \u067e\u0631 \u067e\u0648\u0631\u06cc \u062a\u0631\u062a\u06cc\u0628 \u06a9\u0627 \u062f\u0648\u0628\u0627\u0631\u06c1 \u062d\u0633\u0627\u0628 \u0644\u06af\u0627\u0646\u06d2 \u06a9\u06d2 \u0628\u062c\u0627\u0626\u06d2\u06d4<\/p>\n<p>KV \u06a9\u06cc\u0686\u0646\u06af \u062e\u0648\u062f \u0628\u062e\u0648\u062f \u0646\u0633\u0644 \u06a9\u0648 \u0639\u0645\u0644\u06cc \u0628\u0646\u0627\u062a\u06cc \u06c1\u06d2\u060c \u0644\u06cc\u06a9\u0646 \u06cc\u06c1 \u0645\u06cc\u0645\u0648\u0631\u06cc \u06a9\u0648 \u0628\u06be\u06cc \u0627\u0633\u062a\u0639\u0645\u0627\u0644 \u06a9\u0631\u062a\u06cc \u06c1\u06d2\u06d4 \u062c\u06cc\u0633\u06d2 \u062c\u06cc\u0633\u06d2 \u067e\u0631\u0627\u0645\u067e\u0679\u0633 \u0627\u0648\u0631 \u062c\u0648\u0627\u0628\u0627\u062a \u06a9\u06cc \u062a\u0639\u062f\u0627\u062f \u0645\u06cc\u06ba \u0627\u0636\u0627\u0641\u06c1 \u06c1\u0648\u062a\u0627 \u06c1\u06d2\u060c \u06c1\u0631 \u0627\u06cc\u06a9 \u0641\u0639\u0627\u0644 \u062f\u0631\u062e\u0648\u0627\u0633\u062a \u06a9\u06d2 \u0644\u06cc\u06d2 \u0645\u0632\u06cc\u062f KV \u06a9\u06cc\u0634 \u0627\u0633\u067e\u06cc\u0633 \u06a9\u06cc \u0636\u0631\u0648\u0631\u062a \u06c1\u0648\u062a\u06cc \u06c1\u06d2\u06d4 \u0627\u0633 \u06a9\u0627 \u0645\u0637\u0644\u0628 \u06cc\u06c1 \u06c1\u06d2 \u06a9\u06c1 \u062f\u0633\u062a\u06cc\u0627\u0628 KV \u06a9\u06cc\u0634 \u0645\u06cc\u0645\u0648\u0631\u06cc \u0628\u0631\u0627\u06c1 \u0631\u0627\u0633\u062a \u0627\u0646 \u062f\u0631\u062e\u0648\u0627\u0633\u062a\u0648\u06ba \u06a9\u06cc \u062a\u0639\u062f\u0627\u062f \u06a9\u0648 \u0645\u062a\u0627\u062b\u0631 \u06a9\u0631 \u0633\u06a9\u062a\u06cc \u06c1\u06d2 \u062c\u0633 \u067e\u0631 \u0633\u0631\u0648\u0631 \u0628\u06cc\u06a9 \u0648\u0642\u062a \u06a9\u0627\u0631\u0631\u0648\u0627\u0626\u06cc \u06a9\u0631 \u0633\u06a9\u062a\u0627 \u06c1\u06d2\u06d4<\/p>\n<h2 id=\"heading-why-ai-agent-workloads-are-hard-to-serve\">AI \u0627\u06cc\u062c\u0646\u0679 \u06a9\u06d2 \u06a9\u0627\u0645 \u06a9\u06d2 \u0628\u0648\u062c\u06be \u06a9\u0648 \u0633\u0646\u0628\u06be\u0627\u0644\u0646\u0627 \u06a9\u06cc\u0648\u06ba \u0645\u0634\u06a9\u0644 \u06c1\u06d2\u06d4<\/h2>\n<p>AI \u0627\u06cc\u062c\u0646\u0679\u0633 \u0627\u0646 \u062a\u062e\u0645\u06cc\u0646\u06d2 \u06a9\u06d2 \u0645\u0633\u0627\u0626\u0644 \u06a9\u0648 \u0628\u0691\u06be\u0627 \u062f\u06cc\u062a\u06d2 \u06c1\u06cc\u06ba \u06a9\u06cc\u0648\u0646\u06a9\u06c1 \u0627\u06cc\u06a9 \u0635\u0627\u0631\u0641 \u06a9\u06cc \u062f\u0631\u062e\u0648\u0627\u0633\u062a \u06a9\u0626\u06cc \u0645\u0627\u0688\u0644 \u06a9\u0627\u0644\u0632 \u06a9\u0648 \u0645\u062a\u062d\u0631\u06a9 \u06a9\u0631 \u0633\u06a9\u062a\u06cc \u06c1\u06d2\u06d4<\/p>\n<p>\u0627\u06cc\u062c\u0646\u0679 \u0627\u067e\u0646\u06d2 \u0627\u06af\u0644\u06d2 \u06a9\u0627\u0645\u0648\u06ba \u06a9\u06cc \u0645\u0646\u0635\u0648\u0628\u06c1 \u0628\u0646\u062f\u06cc \u06a9\u0631\u0646\u06d2\u060c \u0679\u0648\u0644\u0632 \u06a9\u0648 \u0645\u0646\u062a\u062e\u0628 \u06a9\u0631\u0646\u06d2\u060c \u0679\u0648\u0644 \u06a9\u06d2 \u0646\u062a\u0627\u0626\u062c \u06a9\u06cc \u062a\u0634\u0631\u06cc\u062d \u06a9\u0631\u0646\u06d2\u060c \u0628\u0627\u0632\u06cc\u0627\u0641\u062a \u06a9\u06cc \u06af\u0626\u06cc \u0645\u0639\u0644\u0648\u0645\u0627\u062a \u06a9\u0627 \u062e\u0644\u0627\u0635\u06c1 \u06a9\u0631\u0646\u06d2\u060c \u063a\u0644\u0637\u06cc\u0648\u06ba \u0633\u06d2 \u0628\u0627\u0632\u06cc\u0627\u0641\u062a \u06a9\u0631\u0646\u06d2\u060c \u0627\u0633 \u0628\u0627\u062a \u06a9\u0627 \u062a\u0639\u06cc\u0646 \u06a9\u0631\u0646\u06d2 \u06a9\u06d2 \u0644\u06cc\u06d2 \u06a9\u06c1 \u0622\u06cc\u0627 \u0645\u0632\u06cc\u062f \u06a9\u0627\u0631\u0631\u0648\u0627\u0626\u06cc \u06a9\u06cc \u0636\u0631\u0648\u0631\u062a \u06c1\u06d2\u060c \u06cc\u0627 \u062d\u062a\u0645\u06cc \u0631\u062f\u0639\u0645\u0644 \u067e\u06cc\u062f\u0627 \u06a9\u0631\u0646\u06d2 \u06a9\u06d2 \u0644\u06cc\u06d2 \u0645\u0627\u0688\u0644 \u0633\u06d2 \u062f\u0631\u062e\u0648\u0627\u0633\u062a \u06a9\u0631 \u0633\u06a9\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4<\/p>\n<p>\u0627\u06cc\u06a9 \u0635\u0627\u0631\u0641 \u06a9\u06d2 \u062a\u0639\u0627\u0645\u0644 \u06a9\u06d2 \u0646\u062a\u06cc\u062c\u06d2 \u0645\u06cc\u06ba 10\u060c 20\u060c \u06cc\u0627 \u0627\u0633 \u0633\u06d2 \u0632\u06cc\u0627\u062f\u06c1 \u0627\u0633\u062a\u062f\u0644\u0627\u0644 \u06a9\u06cc \u062f\u0631\u062e\u0648\u0627\u0633\u062a\u06cc\u06ba \u06c1\u0648 \u0633\u06a9\u062a\u06cc \u06c1\u06cc\u06ba\u06d4 \u062f\u0631\u062c\u0646\u0648\u06ba \u06cc\u0627 \u0633\u06cc\u0646\u06a9\u0691\u0648\u06ba \u0641\u0639\u0627\u0644 \u0635\u0627\u0631\u0641\u06cc\u0646 \u06a9\u06d2 \u0633\u0627\u062a\u06be\u060c \u0645\u0627\u0688\u0644 \u06a9\u0627\u0644\u0632 \u06a9\u06cc \u062a\u0639\u062f\u0627\u062f \u062a\u06cc\u0632\u06cc \u0633\u06d2 \u0628\u0691\u06be \u0633\u06a9\u062a\u06cc \u06c1\u06d2\u06d4<\/p>\n<p>\u0627\u06cc\u062c\u0646\u0679 \u06a9\u06cc \u062f\u0631\u062e\u0648\u0627\u0633\u062a\u06cc\u06ba \u0628\u06be\u06cc \u0646\u0627\u06c1\u0645\u0648\u0627\u0631 \u06c1\u06cc\u06ba\u06d4 \u0627\u06cc\u06a9 \u062f\u0631\u062e\u0648\u0627\u0633\u062a \u0645\u06cc\u06ba \u0627\u06cc\u06a9 \u0645\u062e\u062a\u0635\u0631 \u0633\u0648\u0627\u0644 \u0634\u0627\u0645\u0644 \u06c1\u0648\u0633\u06a9\u062a\u0627 \u06c1\u06d2\u060c \u062c\u0628 \u06a9\u06c1 \u062f\u0648\u0633\u0631\u06cc \u062f\u0631\u062e\u0648\u0627\u0633\u062a \u0645\u06cc\u06ba \u0637\u0648\u06cc\u0644 \u0633\u0633\u0679\u0645 \u067e\u0631\u0627\u0645\u067e\u0679\u0633\u060c \u06af\u0641\u062a\u06af\u0648 \u06a9\u06cc \u0633\u0631\u06af\u0632\u0634\u062a\u060c \u062a\u0644\u0627\u0634 \u0634\u062f\u06c1 \u062f\u0633\u062a\u0627\u0648\u06cc\u0632\u0627\u062a\u060c \u0627\u0648\u0631 \u0645\u062a\u0639\u062f\u062f \u0679\u0648\u0644 \u06a9\u06d2 \u0646\u062a\u0627\u0626\u062c \u0634\u0627\u0645\u0644 \u06c1\u0648\u0633\u06a9\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4 \u067e\u06cc\u062f\u0627 \u06c1\u0648\u0646\u06d2 \u0648\u0627\u0644\u06d2 \u0631\u062f\u0639\u0645\u0644 \u06a9\u06cc \u0644\u0645\u0628\u0627\u0626\u06cc \u0628\u06be\u06cc \u0628\u06c1\u062a \u0645\u062e\u062a\u0644\u0641 \u06c1\u0648 \u0633\u06a9\u062a\u06cc \u06c1\u06d2\u06d4<\/p>\n<p>\u06cc\u06c1 \u0627\u06cc\u06a9 \u0645\u062a\u062d\u0631\u06a9 \u06a9\u0627\u0645 \u06a9\u0627 \u0628\u0648\u062c\u06be \u067e\u06cc\u062f\u0627 \u06a9\u0631\u062a\u0627 \u06c1\u06d2 \u062c\u06c1\u0627\u06ba \u062f\u0631\u062e\u0648\u0627\u0633\u062a\u06cc\u06ba \u0645\u062e\u062a\u0644\u0641 \u0627\u0648\u0642\u0627\u062a \u0645\u06cc\u06ba \u0622\u062a\u06cc \u06c1\u06cc\u06ba\u060c \u0645\u062e\u062a\u0644\u0641 \u0645\u0642\u062f\u0627\u0631 \u0645\u06cc\u06ba \u0645\u06cc\u0645\u0648\u0631\u06cc \u0627\u0633\u062a\u0639\u0645\u0627\u0644 \u06a9\u0631\u062a\u06cc \u06c1\u06cc\u06ba\u060c \u0627\u0648\u0631 \u0645\u062e\u062a\u0644\u0641 \u0627\u0648\u0642\u0627\u062a \u0645\u06cc\u06ba \u0645\u06a9\u0645\u0644 \u06c1\u0648\u062a\u06cc \u06c1\u06cc\u06ba\u06d4 \u0627\u0646 \u062f\u0631\u062e\u0648\u0627\u0633\u062a\u0648\u06ba \u06a9\u0648 \u0645\u0624\u062b\u0631 \u0637\u0631\u06cc\u0642\u06d2 \u0633\u06d2 \u06c1\u06cc\u0646\u0688\u0644 \u06a9\u0631\u0646\u06d2 \u06a9\u06d2 \u0644\u06cc\u06d2 \u0645\u0627\u0688\u0644 \u06a9\u0648 GPU \u067e\u0631 \u0644\u0648\u0688 \u06a9\u0631\u0646\u06d2 \u0633\u06d2 \u0632\u06cc\u0627\u062f\u06c1 \u06a9\u06cc \u0636\u0631\u0648\u0631\u062a \u06c1\u0648\u062a\u06cc \u06c1\u06d2\u06d4 \u0633\u0631\u0648\u0633 \u0644\u06cc\u0626\u0631 \u06a9\u0648 \u06a9\u0627\u0645 \u06a9\u0627 \u0645\u0633\u062a\u0642\u0644 \u0634\u06cc\u0688\u0648\u0644 \u06a9\u0631\u0646\u0627\u060c \u0645\u06cc\u0645\u0648\u0631\u06cc \u06a9\u0627 \u0646\u0638\u0645 \u06a9\u0631\u0646\u0627\u060c \u0627\u0648\u0631 \u0645\u062e\u062a\u0635\u0631 \u062f\u0631\u062e\u0648\u0627\u0633\u062a\u0648\u06ba \u06a9\u0648 \u0637\u0648\u06cc\u0644 \u062f\u0631\u062e\u0648\u0627\u0633\u062a\u0648\u06ba \u0633\u06d2 \u063a\u06cc\u0631 \u0636\u0631\u0648\u0631\u06cc \u0637\u0648\u0631 \u067e\u0631 \u062a\u0627\u062e\u06cc\u0631 \u0633\u06d2 \u0631\u0648\u06a9\u0646\u0627 \u0686\u0627\u06c1\u06cc\u06d2\u06d4<\/p>\n<h2 id=\"heading-how-vllm-serves-agent-workloads\">\u06a9\u0633 \u0637\u0631\u062d vLLM \u0627\u06cc\u062c\u0646\u0679 \u06a9\u06d2 \u06a9\u0627\u0645 \u06a9\u0627 \u0628\u0648\u062c\u06be \u0641\u0631\u0627\u06c1\u0645 \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u06d4<\/h2>\n<p>vLLM \u0627\u06cc\u06a9 \u0627\u0648\u067e\u0646 \u0633\u0648\u0631\u0633 \u0627\u0646\u0641\u0631\u0646\u0633 \u0631\u0646 \u0679\u0627\u0626\u0645 \u0627\u0648\u0631 \u0633\u0631\u0648\u0633 \u0627\u0646\u062c\u0646 \u06c1\u06d2 \u062c\u0648 \u0628\u0691\u06d2 \u067e\u06cc\u0645\u0627\u0646\u06d2 \u067e\u0631 \u0644\u06cc\u0646\u06af\u0648\u06cc\u062c \u0645\u0627\u0688\u0644\u0632 \u06a9\u06d2 \u0644\u06cc\u06d2 \u0688\u06cc\u0632\u0627\u0626\u0646 \u06a9\u06cc\u0627 \u06af\u06cc\u0627 \u06c1\u06d2\u06d4 \u06cc\u06c1 \u0645\u0627\u0688\u0644 \u067e\u0631 \u0639\u0645\u0644 \u062f\u0631\u0622\u0645\u062f\u060c \u062f\u0631\u062e\u0648\u0627\u0633\u062a \u06a9\u06d2 \u0634\u06cc\u0688\u0648\u0644\u0646\u06af\u060c \u0628\u06cc\u0686\u0646\u06af\u060c \u0627\u0648\u0631 KV \u06a9\u06cc\u0634 \u0645\u06cc\u0645\u0648\u0631\u06cc \u06a9\u0627 \u0627\u0646\u062a\u0638\u0627\u0645 \u06a9\u0631\u062a\u0627 \u06c1\u06d2 \u062c\u0628\u06a9\u06c1 \u0627\u06cc\u06a9 OpenAI- \u0645\u0648\u0627\u0641\u0642 API \u06a9\u0648 \u0633\u0627\u0645\u0646\u06d2 \u0644\u0627\u062a\u0627 \u06c1\u06d2\u06d4<\/p>\n<p>\u0645\u0627\u0688\u0644 \u06a9\u0648 \u0628\u0631\u0627\u06c1 \u0631\u0627\u0633\u062a \u0627\u067e\u0646\u06cc \u062f\u0631\u062e\u0648\u0627\u0633\u062a \u06a9\u06d2 \u0627\u0646\u062f\u0631 \u0644\u0648\u0688 \u06a9\u0631\u0646\u06d2 \u0627\u0648\u0631 \u0627\u0633 \u0637\u0631\u062d \u06a9\u06d2 \u0637\u0631\u06cc\u0642\u06c1 \u06a9\u0627\u0631 \u06a9\u0648 \u06a9\u0627\u0644 \u06a9\u0631\u0646\u06d2 \u06a9\u06d2 \u0628\u062c\u0627\u0626\u06d2: <code>model.generate()<\/code>\u0627\u06cc\u067e\u0644\u06cc\u06a9\u06cc\u0634\u0646 vLLM \u0633\u0631\u0648\u0631 \u06a9\u0648 HTTP \u062f\u0631\u062e\u0648\u0627\u0633\u062a \u0628\u06be\u06cc\u062c\u062a\u06cc \u06c1\u06d2\u06d4 \u06cc\u06c1 \u062f\u0631\u062e\u0648\u0627\u0633\u062a \u06cc\u0627 \u0627\u06cc\u062c\u0646\u0679 \u0645\u0646\u0637\u0642 \u06a9\u0648 \u0627\u0633 \u06a9\u06d2 \u0646\u06cc\u0686\u06d2 \u0645\u0648\u062c\u0648\u062f \u0627\u0646\u0641\u0631\u0627\u0633\u0679\u0631\u06a9\u0686\u0631 \u0633\u06d2 \u0627\u0644\u06af \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u06d4<\/p>\n<p>\u062c\u0628 \u0645\u062a\u0639\u062f\u062f \u062f\u0631\u062e\u0648\u0627\u0633\u062a\u06cc\u06ba \u0641\u0639\u0627\u0644 \u06c1\u0648\u062a\u06cc \u06c1\u06cc\u06ba\u060c vLLM \u0627\u0644\u06af \u062a\u06be\u0644\u06af \u0645\u0627\u0688\u0644 \u0644\u0648\u067e \u06a9\u06d2 \u0630\u0631\u06cc\u0639\u06d2 \u06c1\u0631 \u062f\u0631\u062e\u0648\u0627\u0633\u062a \u067e\u0631 \u06a9\u0627\u0631\u0631\u0648\u0627\u0626\u06cc \u06a9\u0631\u0646\u06d2 \u06a9\u06d2 \u0628\u062c\u0627\u0626\u06d2 \u062f\u0631\u062e\u0648\u0627\u0633\u062a\u0648\u06ba \u06a9\u0648 \u0627\u06cc\u06a9 \u0633\u0627\u062a\u06be \u0634\u06cc\u0688\u0648\u0644 \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u06d4 \u06cc\u06c1 \u0633\u0631\u0648\u0633 \u0644\u06cc\u0626\u0631 \u06a9\u0648 \u062f\u0633\u062a\u06cc\u0627\u0628 \u0627\u06cc\u06a9\u0633\u0644\u0631\u06cc\u0679\u0631 \u06a9\u0648 \u0632\u06cc\u0627\u062f\u06c1 \u0645\u0648\u062b\u0631 \u0637\u0631\u06cc\u0642\u06d2 \u0633\u06d2 \u0627\u0633\u062a\u0639\u0645\u0627\u0644 \u06a9\u0631\u0646\u06d2 \u06a9\u06cc \u0627\u062c\u0627\u0632\u062a \u062f\u06cc\u062a\u0627 \u06c1\u06d2\u06d4<\/p>\n<p>\u0645\u062a\u0639\u062f\u062f vLLM \u062e\u0635\u0648\u0635\u06cc\u0627\u062a \u062e\u0627\u0635 \u0637\u0648\u0631 \u067e\u0631 \u0627\u06cc\u062c\u0646\u0679 \u06a9\u06d2 \u06a9\u0627\u0645 \u06a9\u06d2 \u0628\u0648\u062c\u06be \u0633\u06d2 \u0645\u062a\u0639\u0644\u0642 \u06c1\u06cc\u06ba\u06d4<\/p>\n<ul>\n<li>\n<p><strong>\u0645\u0633\u0644\u0633\u0644 \u0628\u06cc\u0686 \u067e\u0631\u0648\u0633\u06cc\u0633\u0646\u06af<\/strong> \u062c\u06cc\u0633\u06d2 \u06c1\u06cc \u062f\u0631\u062e\u0648\u0627\u0633\u062a\u06cc\u06ba \u0622\u062a\u06cc \u06c1\u06cc\u06ba \u0627\u0648\u0631 \u0645\u06a9\u0645\u0644 \u06c1\u0648\u062a\u06cc \u06c1\u06cc\u06ba\u060c \u06c1\u0645 \u0641\u0639\u0627\u0644 \u0628\u06cc\u0686 \u06a9\u0648 \u0627\u067e \u0688\u06cc\u0679 \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4 \u062c\u0628 \u0627\u06cc\u06a9 \u062f\u0631\u062e\u0648\u0627\u0633\u062a \u0645\u06a9\u0645\u0644 \u06c1\u0648 \u062c\u0627\u062a\u06cc \u06c1\u06d2\u060c \u062a\u0648 \u062f\u0648\u0633\u0631\u06cc \u062f\u0631\u062e\u0648\u0627\u0633\u062a \u0627\u0635\u0644 \u0628\u06cc\u0686 \u0645\u06cc\u06ba \u062a\u0645\u0627\u0645 \u062f\u0631\u062e\u0648\u0627\u0633\u062a\u0648\u06ba \u06a9\u06d2 \u0645\u06a9\u0645\u0644 \u06c1\u0648\u0646\u06d2 \u06a9\u0627 \u0627\u0646\u062a\u0638\u0627\u0631 \u06a9\u06cc\u06d2 \u0628\u063a\u06cc\u0631 \u0628\u0639\u062f \u0645\u06cc\u06ba \u0639\u0645\u0644 \u062f\u0631\u0622\u0645\u062f \u06a9\u06d2 \u0645\u0631\u062d\u0644\u06d2 \u0645\u06cc\u06ba \u0627\u067e\u0646\u06cc \u062c\u06af\u06c1 \u0644\u06d2 \u0633\u06a9\u062a\u06cc \u06c1\u06d2\u06d4<\/p>\n<\/li>\n<li>\n<p><strong>\u067e\u06cc\u062c\u0688 \u062a\u0648\u062c\u06c1<\/strong> \u06c1\u0631 \u0627\u06cc\u06a9 \u062f\u0631\u062e\u0648\u0627\u0633\u062a \u06a9\u0648 \u0627\u06cc\u06a9 \u0628\u0691\u06d2 \u0645\u062a\u0635\u0644 \u0639\u0644\u0627\u0642\u06d2 \u067e\u0631 \u0642\u0628\u0636\u06c1 \u06a9\u0631\u0646\u06d2 \u06a9\u06cc \u0636\u0631\u0648\u0631\u062a \u06a9\u06d2 \u0628\u062c\u0627\u0626\u06d2\u060c \u06c1\u0645 KV \u06a9\u06cc\u0634 \u0645\u06cc\u0645\u0648\u0631\u06cc \u06a9\u0648 \u0645\u0642\u0631\u0631\u06c1 \u0633\u0627\u0626\u0632 \u06a9\u06d2 \u0628\u0644\u0627\u06a9\u0633 \u0645\u06cc\u06ba \u0645\u0646\u0638\u0645 \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4 \u06cc\u06c1 \u0645\u06cc\u0645\u0648\u0631\u06cc \u06a9\u06d2 \u0679\u06a9\u0691\u06d2 \u06a9\u0648 \u06a9\u0645 \u06a9\u0631\u062a\u0627 \u06c1\u06d2 \u0627\u0648\u0631 \u0622\u0632\u0627\u062f \u06a9\u06cc\u0634 \u0628\u0644\u0627\u06a9\u0633 \u06a9\u0648 \u062f\u0648\u0628\u0627\u0631\u06c1 \u0627\u0633\u062a\u0639\u0645\u0627\u0644 \u06a9\u0631\u0646\u0627 \u0622\u0633\u0627\u0646 \u0628\u0646\u0627\u062a\u0627 \u06c1\u06d2\u06d4<\/p>\n<\/li>\n<li>\n<p><strong>\u062e\u0648\u062f\u06a9\u0627\u0631 \u0633\u0627\u0628\u0642\u06c1 \u200b\u200b\u06a9\u06cc\u0634\u0646\u06af<\/strong> \u0645\u0645\u0627\u062b\u0644 \u067e\u0631\u0627\u0645\u067e\u0679 \u0633\u0627\u0628\u0642\u06c1 \u200b\u200b\u06a9\u06d2 \u0633\u0627\u062a\u06be \u062f\u0631\u062e\u0648\u0627\u0633\u062a\u0648\u06ba \u06a9\u06cc \u0627\u062c\u0627\u0632\u062a \u0645\u0648\u062c\u0648\u062f\u06c1 KV \u06a9\u06cc\u0634 \u0628\u0644\u0627\u06a9\u0633 \u06a9\u06d2 \u062f\u0648\u0628\u0627\u0631\u06c1 \u0627\u0633\u062a\u0639\u0645\u0627\u0644 \u06a9\u06cc \u0627\u062c\u0627\u0632\u062a \u062f\u06cc\u062a\u06cc \u06c1\u06d2\u06d4 \u06cc\u06c1 \u0627\u0633 \u0648\u0642\u062a \u0645\u0641\u06cc\u062f \u06c1\u0648 \u0633\u06a9\u062a\u0627 \u06c1\u06d2 \u062c\u0628 \u0627\u06cc\u062c\u0646\u0679 \u06a9\u06cc \u062f\u0631\u062e\u0648\u0627\u0633\u062a\u06cc\u06ba \u0627\u06cc\u06a9 \u06c1\u06cc \u0633\u0633\u0679\u0645 \u067e\u0631\u0627\u0645\u067e\u0679\u060c \u0679\u0648\u0644 \u0688\u06cc\u0641\u06cc\u0646\u06cc\u0634\u0646\u060c \u0628\u0627\u062a \u0686\u06cc\u062a \u06a9\u06cc \u0633\u0631\u06af\u0632\u0634\u062a\u060c \u06cc\u0627 \u0628\u0627\u0632\u06cc\u0627\u0641\u062a \u0634\u062f\u06c1 \u062f\u0633\u062a\u0627\u0648\u06cc\u0632 \u06a9\u0627 \u0627\u0634\u062a\u0631\u0627\u06a9 \u06a9\u0631\u06cc\u06ba\u06d4<\/p>\n<\/li>\n<li>\n<p><strong>OpenAI \u06c1\u0645 \u0622\u06c1\u0646\u06af API<\/strong> \u0645\u0648\u062c\u0648\u062f\u06c1 \u0627\u06cc\u067e\u0644\u06cc\u06a9\u06cc\u0634\u0646\u0632 \u0627\u0648\u0631 \u0627\u06cc\u062c\u0646\u0679 \u0641\u0631\u06cc\u0645 \u0648\u0631\u06a9 \u06a9\u0648 \u0646\u0633\u0628\u062a\u0627\u064b \u0645\u0639\u0645\u0648\u0644\u06cc \u06a9\u0646\u0641\u06cc\u06af\u0631\u06cc\u0634\u0646 \u062a\u0628\u062f\u06cc\u0644\u06cc\u0648\u06ba \u06a9\u06d2 \u0633\u0627\u062a\u06be vLLM \u0633\u06d2 \u0645\u0646\u0633\u0644\u06a9 \u06a9\u06cc\u0627 \u062c\u0627 \u0633\u06a9\u062a\u0627 \u06c1\u06d2\u06d4<\/p>\n<\/li>\n<\/ul>\n<p>\u0633\u0627\u062f\u06c1 KV \u06a9\u06cc\u0634\u0646\u06af \u062c\u062f\u06cc\u062f \u062e\u0648\u062f\u06a9\u0627\u0631 \u0627\u0646\u062f\u0627\u0632\u06d2 \u06a9\u0627 \u0627\u06cc\u06a9 \u0645\u0639\u06cc\u0627\u0631\u06cc \u062d\u0635\u06c1 \u06c1\u06d2\u06d4 vLLM \u06a9\u0627 \u0641\u0627\u0626\u062f\u06c1 \u0627\u0633 \u0637\u0631\u06cc\u0642\u06d2 \u0633\u06d2 \u062d\u0627\u0635\u0644 \u06c1\u0648\u062a\u0627 \u06c1\u06d2 \u062c\u0633 \u0637\u0631\u062d \u0633\u06d2 \u06cc\u06c1 \u062f\u0631\u062e\u0648\u0627\u0633\u062a\u0648\u06ba \u06a9\u0648 \u0634\u06cc\u0688\u0648\u0644 \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u060c \u0627\u0646 \u06a9\u0627 \u0627\u0646\u062a\u0638\u0627\u0645 \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u060c \u0645\u062e\u062a\u0635 \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u060c \u0627\u0648\u0631 KV \u06a9\u06cc\u0634 \u0645\u06cc\u0645\u0648\u0631\u06cc \u06a9\u0648 \u0628\u06cc\u06a9 \u0648\u0642\u062a \u06a9\u0627\u0645 \u06a9\u06d2 \u0628\u0648\u062c\u06be \u0645\u06cc\u06ba \u062f\u0648\u0628\u0627\u0631\u06c1 \u0627\u0633\u062a\u0639\u0645\u0627\u0644 \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u06d4<\/p>\n<p>\u067e\u0631\u06cc\u0641\u06a9\u0633 \u06a9\u06cc\u0634\u0646\u06af \u062f\u06c1\u0631\u0627\u0626\u06d2 \u062c\u0627\u0646\u06d2 \u0648\u0627\u0644\u06d2 \u06a9\u0627\u0645 \u06a9\u0648 \u06a9\u0645 \u06a9\u0631\u062a\u06cc \u06c1\u06d2\u060c \u062e\u0627\u0635 \u0637\u0648\u0631 \u067e\u0631 \u0622\u0628\u0627\u062f\u06cc \u0633\u06d2 \u067e\u06c1\u0644\u06d2 \u06a9\u06d2 \u0645\u0631\u062d\u0644\u06d2 \u0645\u06cc\u06ba\u06d4 \u06cc\u06c1 \u0646\u0626\u06d2 \u0622\u0624\u0679 \u067e\u0679 \u0679\u0648\u06a9\u0646\u0632 \u06a9\u06cc \u062a\u062e\u0644\u06cc\u0642 \u06a9\u0648 \u062a\u06cc\u0632 \u0646\u06c1\u06cc\u06ba \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u060c \u0644\u06c1\u0630\u0627 \u062c\u0628 \u062f\u0631\u062e\u0648\u0627\u0633\u062a\u06cc\u06ba \u0637\u0648\u06cc\u0644 \u0633\u0627\u0628\u0642\u06d2 \u06a9\u0627 \u0627\u0634\u062a\u0631\u0627\u06a9 \u06a9\u0631\u062a\u06cc \u06c1\u06cc\u06ba \u062a\u0648 \u0633\u0628 \u0633\u06d2 \u0632\u06cc\u0627\u062f\u06c1 \u0641\u0627\u0626\u062f\u06c1 \u06c1\u0648\u062a\u0627 \u06c1\u06d2\u06d4<\/p>\n<p>\u06cc\u06c1 \u0627\u0635\u0644\u0627\u062d\u06cc\u06ba vLLM \u06a9\u0648 \u06a9\u0627\u0631\u0622\u0645\u062f \u0628\u0646\u0627\u062a\u06cc \u06c1\u06cc\u06ba \u06a9\u06cc\u0648\u0646\u06a9\u06c1 \u0627\u06cc\u062c\u0646\u0679 \u0627\u06cc\u067e\u0644\u06cc \u06a9\u06cc\u0634\u0646\u0632 \u0633\u0646\u06af\u0644 \u06cc\u0648\u0632\u0631 \u067e\u0631\u0648\u0679\u0648 \u0679\u0627\u0626\u067e\u0633 \u0633\u06d2 \u0622\u06af\u06d2 \u0628\u0691\u06be \u062c\u0627\u062a\u06cc \u06c1\u06cc\u06ba \u0627\u0648\u0631 \u06c1\u0645 \u0622\u06c1\u0646\u06af\u06cc\u060c \u063a\u06cc\u0631 \u06cc\u06a9\u0633\u0627\u06ba\u060c \u0627\u0648\u0631 \u0645\u06cc\u0645\u0648\u0631\u06cc \u06a9\u06d2 \u0644\u062d\u0627\u0638 \u0633\u06d2 \u06a9\u0627\u0645 \u06a9\u06d2 \u0628\u0648\u062c\u06be \u06a9\u0648 \u0633\u0646\u0628\u06be\u0627\u0644\u0646\u0627 \u0634\u0631\u0648\u0639 \u06a9\u0631 \u062f\u06cc\u062a\u06cc \u06c1\u06cc\u06ba\u06d4<\/p>\n<h2 id=\"heading-motivation-and-architecture\">\u062d\u0648\u0635\u0644\u06c1 \u0627\u0641\u0632\u0627\u0626\u06cc \u0627\u0648\u0631 \u0641\u0646 \u062a\u0639\u0645\u06cc\u0631<\/h2>\n<p>\u062c\u0628 AI \u0627\u06cc\u062c\u0646\u0679\u0633 \u0627\u06cc\u06a9 \u0633\u0627\u062a\u06be \u0679\u0631\u06cc\u0641\u06a9 \u067e\u0631 \u06a9\u0627\u0631\u0631\u0648\u0627\u0626\u06cc \u0634\u0631\u0648\u0639 \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba\u060c \u062a\u0648 \u0645\u0627\u0688\u0644 \u06a9\u0627 \u0627\u0646\u062f\u0627\u0632\u06c1 \u06a9\u0627\u0631\u06a9\u0631\u062f\u06af\u06cc \u06a9\u06cc \u0628\u0691\u06cc \u0631\u06a9\u0627\u0648\u0679\u0648\u06ba \u0645\u06cc\u06ba \u0633\u06d2 \u0627\u06cc\u06a9 \u0628\u0646 \u0633\u06a9\u062a\u0627 \u06c1\u06d2\u06d4 \u0627\u06cc\u062c\u0646\u0679 \u0627\u067e\u0646\u0627 \u0632\u06cc\u0627\u062f\u06c1 \u062a\u0631 \u0648\u0642\u062a \u0645\u0627\u0688\u0644 \u06a9\u06d2 \u0627\u0634\u0627\u0631\u06d2 \u067e\u0631 \u06a9\u0627\u0631\u0631\u0648\u0627\u0626\u06cc \u06a9\u0631\u0646\u06d2 \u0627\u0648\u0631 \u0679\u0648\u06a9\u0646 \u062a\u06cc\u0627\u0631 \u06a9\u0631\u0646\u06d2 \u06a9\u06d2 \u0627\u0646\u062a\u0638\u0627\u0631 \u0645\u06cc\u06ba \u06af\u0632\u0627\u0631 \u0633\u06a9\u062a\u0627 \u06c1\u06d2\u06d4<\/p>\n<p>\u0627\u06cc\u062c\u0646\u0679 \u06a9\u06cc \u0645\u0646\u0637\u0642 \u06a9\u0648 \u062f\u0648\u0628\u0627\u0631\u06c1 \u0644\u06a9\u06be\u0646\u06d2 \u06a9\u06d2 \u0628\u062c\u0627\u0626\u06d2\u060c \u0622\u067e \u0627\u0633 \u06a9\u06d2 \u0646\u06cc\u0686\u06d2 \u0645\u0648\u062c\u0648\u062f \u0645\u0627\u0688\u0644 \u067e\u06cc\u0634 \u06a9\u0631\u0646\u06d2 \u0648\u0627\u0644\u06cc \u067e\u0631\u062a \u06a9\u0648 \u0628\u06c1\u062a\u0631 \u0628\u0646\u0627 \u0633\u06a9\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4 \u06cc\u06c1 \u0648\u06c1 \u062c\u06af\u06c1 \u06c1\u06d2 \u062c\u06c1\u0627\u06ba vLLM \u0641\u0679 \u0628\u06cc\u0679\u06be\u062a\u0627 \u06c1\u06d2\u06d4 \u06cc\u06c1 \u0627\u06cc\u06a9 OpenAI- \u0645\u0637\u0627\u0628\u0642\u062a \u067e\u0630\u06cc\u0631 \u0627\u0646\u0641\u0631\u0646\u0633 \u0633\u0631\u0648\u0631 \u0641\u0631\u0627\u06c1\u0645 \u06a9\u0631\u062a\u0627 \u06c1\u06d2 \u062c\u0648 \u06a9\u06c1 \u0645\u0633\u062a\u0642\u0644 \u0628\u06cc\u0686\u0646\u06af \u0627\u0648\u0631 KV \u06a9\u06cc\u0634 \u0645\u06cc\u0646\u062c\u0645\u0646\u0679 \u062c\u06cc\u0633\u06cc \u062e\u0635\u0648\u0635\u06cc\u0627\u062a \u06a9\u06d2 \u0633\u0627\u062a\u06be \u06c1\u0645 \u0622\u06c1\u0646\u06af\u06cc \u06a9\u06cc \u062f\u0631\u062e\u0648\u0627\u0633\u062a\u0648\u06ba \u06a9\u0648 \u0645\u0624\u062b\u0631 \u0637\u0631\u06cc\u0642\u06d2 \u0633\u06d2 \u06c1\u06cc\u0646\u0688\u0644 \u06a9\u0631\u0646\u06d2 \u06a9\u06d2 \u0644\u06cc\u06d2 \u0688\u06cc\u0632\u0627\u0626\u0646 \u06a9\u06cc\u0627 \u06af\u06cc\u0627 \u06c1\u06d2\u06d4<\/p>\n<p>\u062f\u0631\u062e\u0648\u0627\u0633\u062a \u06a9\u0627 \u0628\u06c1\u0627\u0624 \u0645\u0646\u062f\u0631\u062c\u06c1 \u0630\u06cc\u0644 \u06c1\u06d2:<\/p>\n<pre><code class=\"language-text\">User sends prompt\n          \u2193\nAgent sends an OpenAI-compatible request\n          \u2193\nvLLM receives request and schedules the request\n          \u2193\nPrompt enters continuous batch\n          \u2193\nPrefill processes the prompt and populates the KV cache\n          \u2193\nDecode generates tokens while reusing the KV cache\n          \u2193\nvLLM returns the generated response\n          \u2193\nAgent receives final text\n<\/code><\/pre>\n<p>\u062c\u0628 \u0645\u062a\u0639\u062f\u062f \u062f\u0631\u062e\u0648\u0627\u0633\u062a\u06cc\u06ba \u0628\u06cc\u06a9 \u0648\u0642\u062a \u067e\u06c1\u0646\u0686\u062a\u06cc \u06c1\u06cc\u06ba\u060c vLLM \u0645\u0637\u0627\u0628\u0642\u062a \u067e\u0630\u06cc\u0631 \u06a9\u0627\u0645\u0648\u06ba \u06a9\u0648 \u0627\u06cc\u06a9 \u0645\u0633\u0644\u0633\u0644 \u0628\u062f\u0644\u062a\u06d2 \u06c1\u0648\u0626\u06d2 \u0628\u06cc\u0686 \u0645\u06cc\u06ba \u062c\u0648\u0691 \u0633\u06a9\u062a\u0627 \u06c1\u06d2\u06d4 \u067e\u0686\u06be\u0644\u06cc \u062f\u0631\u062e\u0648\u0627\u0633\u062a\u06cc\u06ba \u0645\u06a9\u0645\u0644 \u06c1\u0648\u0646\u06d2 \u06a9\u06d2 \u0628\u0639\u062f \u0646\u0626\u06cc \u062f\u0631\u062e\u0648\u0627\u0633\u062a\u06cc\u06ba \u062f\u0627\u062e\u0644 \u06a9\u06cc \u062c\u0627 \u0633\u06a9\u062a\u06cc \u06c1\u06cc\u06ba\u060c \u062c\u0633 \u0633\u06d2 \u06c1\u0627\u0631\u0688 \u0648\u06cc\u0626\u0631 \u06a9\u06d2 \u0627\u0633\u062a\u0639\u0645\u0627\u0644 \u0627\u0648\u0631 \u0645\u062c\u0645\u0648\u0639\u06cc \u0637\u0648\u0631 \u067e\u0631 \u062a\u06be\u0631\u0648 \u067e\u0679 \u06a9\u0648 \u0628\u06c1\u062a\u0631 \u0628\u0646\u0627\u0646\u06d2 \u0645\u06cc\u06ba \u0645\u062f\u062f \u0645\u0644\u062a\u06cc \u06c1\u06d2\u06d4<\/p>\n<h2 id=\"heading-step-1-install-vllm\">\u0645\u0631\u062d\u0644\u06c1 1: vLLM \u0627\u0646\u0633\u0679\u0627\u0644 \u06a9\u0631\u06cc\u06ba\u06d4<\/h2>\n<p>\u0645\u0639\u06cc\u0627\u0631\u06cc vLLM \u0627\u0646\u0633\u0679\u0627\u0644\u06cc\u0634\u0646 \u0628\u0646\u06cc\u0627\u062f\u06cc \u0637\u0648\u0631 \u067e\u0631 NVIDIA GPUs \u062c\u06cc\u0633\u06d2 \u0645\u0639\u0627\u0648\u0646 \u0627\u06cc\u06a9\u0633\u0644\u0631\u06cc\u0679\u0631 \u0648\u0627\u0644\u06d2 \u0644\u06cc\u0646\u06a9\u0633 \u0633\u0633\u0679\u0645\u0632 \u06a9\u06d2 \u0644\u06cc\u06d2 \u0688\u06cc\u0632\u0627\u0626\u0646 \u06a9\u06cc \u06af\u0626\u06cc \u06c1\u06d2\u06d4 Apple Silicon Macs \u067e\u0631\u060c vLLM-Metal \u062f\u0633\u062a\u06cc\u0627\u0628 \u06c1\u06d2\u060c \u0627\u06cc\u06a9 \u06a9\u0645\u06cc\u0648\u0646\u0679\u06cc \u06a9\u06cc \u062f\u06cc\u06a9\u06be \u0628\u06be\u0627\u0644 \u06a9\u0631\u0646\u06d2 \u0648\u0627\u0644\u0627 vLLM \u06c1\u0627\u0631\u0688\u0648\u06cc\u0626\u0631 \u067e\u0644\u06af \u0627\u0646 \u062c\u0648 MLX \u0627\u0648\u0631 Apple \u06a9\u0627 Metal \u0641\u0631\u06cc\u0645 \u0648\u0631\u06a9 \u0627\u0633\u062a\u0639\u0645\u0627\u0644 \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u06d4<\/p>\n<pre><code class=\"language-bash\">$ curl -fsSL https:\/\/raw.githubusercontent.com\/vllm-project\/vllm-metal\/main\/install.sh | bash\n\n$ source ~\/.venv-vllm-metal\/bin\/activate\n\n$ pip install openai\n<\/code><\/pre>\n<p>\u0622\u0641\u06cc\u0634\u0644 \u062f\u0633\u062a\u0627\u0648\u06cc\u0632\u0627\u062a \u067e\u0644\u06cc\u0679 \u0641\u0627\u0631\u0645 \u0627\u0648\u0631 \u0645\u0627\u062d\u0648\u0644 \u0633\u06d2 \u0645\u062a\u0639\u0644\u0642 \u0645\u062e\u0635\u0648\u0635 \u0627\u0646\u0633\u0679\u0627\u0644\u06cc\u0634\u0646 \u0646\u0648\u0679\u0633 \u0641\u0631\u0627\u06c1\u0645 \u06a9\u0631\u062a\u06cc \u06c1\u06cc\u06ba\u060c \u062e\u0627\u0635 \u0637\u0648\u0631 \u067e\u0631 GPU \u0627\u0648\u0631 CUDA \u0633\u06cc\u0679\u0646\u06af\u0632 \u06a9\u06d2 \u0644\u06cc\u06d2 (\u0645\u0632\u06cc\u062f \u062a\u0641\u0635\u06cc\u0644\u0627\u062a \u06a9\u06d2 \u0644\u06cc\u06d2 \u062f\u0633\u062a\u0627\u0648\u06cc\u0632\u0627\u062a \u06cc\u06c1\u0627\u06ba \u062f\u06cc\u06a9\u06be\u06cc\u06ba)\u06d4<\/p>\n<h2 id=\"heading-step-2-start-the-vllm-server\">\u0645\u0631\u062d\u0644\u06c1 2: vLLM \u0633\u0631\u0648\u0631 \u0634\u0631\u0648\u0639 \u06a9\u0631\u06cc\u06ba\u06d4<\/h2>\n<p>\u0627\u0628 \u0622\u0626\u06cc\u06d2 \u0645\u0627\u0688\u0644 \u06a9\u0627 \u0627\u0633\u062a\u0639\u0645\u0627\u0644 \u06a9\u0631\u062a\u06d2 \u06c1\u0648\u0626\u06d2 \u0627\u06cc\u06a9 OpenAI \u0633\u06d2 \u0645\u0637\u0627\u0628\u0642\u062a \u0631\u06a9\u06be\u0646\u06d2 \u0648\u0627\u0644\u0627 \u0633\u0631\u0648\u0631 \u0634\u0631\u0648\u0639 \u06a9\u0631\u06cc\u06ba\u06d4<\/p>\n<pre><code class=\"language-bash\">vllm serve mlx-community\/Qwen2.5-0.5B-Instruct-4bit --host 127.0.0.1 --port 8000\n<\/code><\/pre>\n<p>\u06a9\u06c1 <code>vllm serve<\/code> \u06a9\u0645\u0627\u0646\u0688 \u0645\u0627\u0688\u0644 \u06a9\u0627 \u0627\u0646\u062f\u0627\u0632\u06c1 \u0644\u06af\u0627\u0646\u06d2 \u06a9\u06d2 \u0644\u06cc\u06d2 \u0645\u0642\u0627\u0645\u06cc \u0627\u0648\u067e\u0646 \u0627\u06d2 \u0622\u0626\u06cc \u0633\u06d2 \u0645\u0637\u0627\u0628\u0642\u062a \u0631\u06a9\u06be\u0646\u06d2 \u0648\u0627\u0644\u0627 API \u0633\u0631\u0648\u0631 \u0634\u0631\u0648\u0639 \u06a9\u0631\u062a\u06cc \u06c1\u06d2\u06d4<\/p>\n<p>\u0634\u0631\u0648\u0639 \u06c1\u0648\u0646\u06d2 \u067e\u0631 vLLM \u0633\u0631\u0648\u0631 \u062f\u0631\u062c \u0630\u06cc\u0644 \u0622\u0624\u0679 \u067e\u0679 \u062f\u06a9\u06be\u0627\u062a\u0627 \u06c1\u06d2:<\/p>\n<pre><code class=\"language-plaintext\">...\n(APIServer pid=35422) INFO 08-13 22:17:00 [launcher.py:99] API server: waiting for HTTP server to start\n(APIServer pid=35422) INFO:     Started server process [35422]\n(APIServer pid=35422) INFO:     Waiting for application startup.\n(APIServer pid=35422) INFO:     Application startup complete.\n(APIServer pid=35422) INFO 08-13 22:17:01 [launcher.py:105] API server: HTTP server started\n<\/code><\/pre>\n<p>\u0627\u06cc\u06a9 \u0628\u0627\u0631 \u0634\u0631\u0648\u0639 \u06c1\u0648\u0646\u06d2 \u06a9\u06d2 \u0628\u0639\u062f\u060c \u0633\u0631\u0648\u0631 \u0645\u0642\u0627\u0645\u06cc \u0627\u062e\u062a\u062a\u0627\u0645\u06cc \u067e\u0648\u0627\u0626\u0646\u0679\u0633 \u067e\u0631 \u0633\u0646\u062a\u0627 \u06c1\u06d2\u060c \u0639\u0627\u0645 \u0637\u0648\u0631 \u067e\u0631:<\/p>\n<pre><code class=\"language-text\">http:\/\/localhost:8000\/v1\n<\/code><\/pre>\n<p>\u0622\u067e \u062a\u0635\u062f\u06cc\u0642 \u06a9\u0631 \u0633\u06a9\u062a\u06d2 \u06c1\u06cc\u06ba \u06a9\u06c1 \u0633\u0631\u0648\u0631 \u0686\u0644 \u0631\u06c1\u0627 \u06c1\u06d2 \u0627\u0648\u0631 \u0633\u0631\u0648\u0631 \u067e\u0631 \u0638\u0627\u06c1\u0631 \u06c1\u0648\u0646\u06d2 \u0648\u0627\u0644\u06d2 \u0645\u0627\u0688\u0644 \u06a9\u06d2 \u0646\u0627\u0645 \u06a9\u0627 \u0645\u0639\u0627\u0626\u0646\u06c1 \u06a9\u0631 \u0633\u06a9\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4<\/p>\n<pre><code class=\"language-plaintext\">$ curl http:\/\/localhost:8000\/v1\/models\n\n{\"object\":\"list\",\"data\":[{\"id\":\"mlx-community\/Qwen2.5-0.5B-Instruct-4bit\",\"object\":\"model\",\"created\":1786685135,\"owned_by\":\"vllm\",\"root\":\"mlx-community\/Qwen2.5-0.5B-Instruct-4bit\",\"parent\":null,\"max_model_len\":32768,\"permission\":[{\"id\":\"modelperm-b05a3fc5dd824296\",\"object\":\"model_permission\",\"created\":1786685135,\"allow_create_engine\":false,\"allow_sampling\":true,\"allow_logprobs\":true,\"allow_search_indices\":false,\"allow_view\":true,\"allow_fine_tuning\":false,\"organization\":\"*\",\"group\":null,\"is_blocking\":false}]}]}%                               \n<\/code><\/pre>\n<h2 id=\"heading-step-3-connect-your-ai-agent-to-vllm\">\u0645\u0631\u062d\u0644\u06c1 3: AI \u0627\u06cc\u062c\u0646\u0679 \u06a9\u0648 vLLM \u0633\u06d2 \u062c\u0648\u0691\u06cc\u06ba\u06d4<\/h2>\n<p>\u0627\u0628 \u0627\u06cc\u062c\u0646\u0679 \u06a9\u0648 vLLM \u0633\u0631\u0648\u0631 \u0633\u06d2 \u0645\u0631\u0628\u0648\u0637 \u06a9\u0631\u06cc\u06ba\u06d4 vLLM OpenAI \u06a9\u06d2 \u0633\u0627\u062a\u06be \u0645\u0637\u0627\u0628\u0642\u062a \u0631\u06a9\u06be\u062a\u0627 \u06c1\u06d2\u060c \u0644\u06c1\u0630\u0627 \u0622\u067e OpenAI Python \u06a9\u0644\u0627\u0626\u0646\u0679 \u06a9\u0648 \u0627\u067e\u0646\u06d2 \u0645\u0642\u0627\u0645\u06cc \u0633\u0631\u0648\u0631 \u06a9\u06cc \u0637\u0631\u0641 \u0627\u0634\u0627\u0631\u06c1 \u06a9\u0631\u0646\u06d2 \u06a9\u06d2 \u0644\u06cc\u06d2 \u0627\u0633\u062a\u0639\u0645\u0627\u0644 \u06a9\u0631 \u0633\u06a9\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4 \u062f\u0631\u062c \u0630\u06cc\u0644 \u0641\u0627\u0626\u0644 \u06a9\u0648 \u0645\u062d\u0641\u0648\u0638 \u06a9\u0631\u06cc\u06ba: <code>vllm_agent.py<\/code>:<\/p>\n<pre><code class=\"language-python\">from openai import OpenAI\n\nclient = OpenAI(\n    base_url=\"http:\/\/localhost:8000\/v1\",\n    api_key=\"NA\",\n)\n\ndef ask_model(user_input: str) -> str:\n    response = client.chat.completions.create(\n        model=\"mlx-community\/Qwen2.5-0.5B-Instruct-4bit\",\n        messages=[\n            {\"role\": \"system\", \"content\": \"You are a helpful assistant.\"},\n            {\"role\": \"user\", \"content\": user_input},\n        ],\n        temperature=0,\n    )\n\n    return response.choices[0].message.content\n\n\nprint(ask_model(\"Why are automated tests useful?\"))\n<\/code><\/pre>\n<p>\u0627\u0635\u0644 OpenAI API \u06a9\u0644\u06cc\u062f \u06a9\u06cc \u06cc\u06c1\u0627\u06ba \u0636\u0631\u0648\u0631\u062a \u0646\u06c1\u06cc\u06ba \u06c1\u06d2 \u06a9\u06cc\u0648\u0646\u06a9\u06c1 \u062f\u0631\u062e\u0648\u0627\u0633\u062a \u0645\u0642\u0627\u0645\u06cc vLLM \u0633\u0631\u0648\u0631 \u06a9\u0648 \u062c\u0627\u062a\u06cc \u06c1\u06d2 \u0646\u06c1 \u06a9\u06c1 OpenAI API \u06a9\u0648\u06d4<\/p>\n<h2 id=\"heading-step-4-run-the-agent\">\u0645\u0631\u062d\u0644\u06c1 4: \u0627\u06cc\u062c\u0646\u0679 \u06a9\u0648 \u0686\u0644\u0627\u0626\u06cc\u06ba\u06d4<\/h2>\n<p>\u0627\u06cc\u062c\u0646\u0679 \u06a9\u0648 \u0627\u06cc\u06a9 \u0646\u0626\u06d2 \u0679\u0631\u0645\u06cc\u0646\u0644 \u0645\u06cc\u06ba \u0686\u0644\u0627\u0626\u06cc\u06ba\u06d4 \u06cc\u0642\u06cc\u0646\u06cc \u0628\u0646\u0627\u0626\u06cc\u06ba \u06a9\u06c1 vLLM \u0633\u0631\u0648\u0631 \u0686\u0644 \u0631\u06c1\u0627 \u06c1\u06d2\u06d4<\/p>\n<pre><code class=\"language-plaintext\">$ python vllm_agent.py\n<\/code><\/pre>\n<p>\u0627\u06cc\u062c\u0646\u0679 \u062a\u0634\u062e\u06cc\u0635 \u06a9\u06d2 \u0644\u06cc\u06d2 vLLM \u06a9\u0648 \u0627\u06cc\u06a9 \u062f\u0631\u062e\u0648\u0627\u0633\u062a \u0628\u06be\u06cc\u062c\u062a\u0627 \u06c1\u06d2\u06d4 vLLM \u062a\u062e\u0645\u06cc\u0646\u06c1 \u0686\u0644\u0627\u0646\u06d2 \u0627\u0648\u0631 \u0631\u062f\u0639\u0645\u0644 \u067e\u06cc\u062f\u0627 \u06a9\u0631\u0646\u06d2 \u06a9\u06d2 \u0644\u06cc\u06d2 \u0645\u0627\u0688\u0644\u0632 \u06a9\u0627 \u0627\u0633\u062a\u0639\u0645\u0627\u0644 \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u06d4<\/p>\n<h2 id=\"heading-sample-output\">\u0646\u0645\u0648\u0646\u06c1 \u0622\u0624\u0679 \u067e\u0679<\/h2>\n<p>vLLM \u0633\u0631\u0648\u0631 \u0644\u0627\u06af \u062f\u06a9\u06be\u0627\u062a\u0627 \u06c1\u06d2:<\/p>\n<pre><code class=\"language-plaintext\">(APIServer pid=35422) INFO:     127.0.0.1:59866 - \"POST \/v1\/chat\/completions HTTP\/1.1\" 200 OK\n(APIServer pid=35422) INFO 08-13 22:36:11 [loggers.py:310] Engine 000: Avg prompt throughput: 2.5 tokens\/s, Avg generation throughput: 20.4 tokens\/s, Running: 0 reqs, Waiting: 0 reqs, GPU KV cache usage: 0.0%, Prefix cache hit rate: 33.7%\n<\/code><\/pre>\n<p>33.7% \u06a9\u06cc \u067e\u0631\u06cc\u0641\u06a9\u0633 \u0679\u0648 \u06a9\u06cc\u0634\u06d2 \u06c1\u0679 \u0631\u06cc\u0679 \u0633\u06d2 \u067e\u062a\u06c1 \u0686\u0644\u062a\u0627 \u06c1\u06d2 \u06a9\u06c1 33.7% \u0627\u06c1\u0644 \u067e\u0631\u0627\u0645\u067e\u0679 \u0679\u0648 \u067e\u0631\u06cc\u0641\u06a9\u0633 \u0679\u0648\u06a9\u0646\u0632 vLLM \u06a9\u06d2 \u06a9\u06cc\u0634\u06d2 \u0645\u06cc\u06ba \u067e\u0627\u0626\u06d2 \u06af\u0626\u06d2 \u0627\u0648\u0631 \u062f\u0648\u0628\u0627\u0631\u06c1 \u06af\u0646\u062a\u06cc \u06a9\u06d2 \u0628\u062c\u0627\u0626\u06d2 \u062f\u0648\u0628\u0627\u0631\u06c1 \u0627\u0633\u062a\u0639\u0645\u0627\u0644 \u06a9\u06cc\u06d2 \u06af\u0626\u06d2\u06d4 \u06cc\u06c1 \u0641\u0627\u0644\u062a\u0648 \u06a9\u0645\u067e\u06cc\u0648\u0679\u06cc\u0634\u0646 \u06a9\u0648 \u06a9\u0645 \u06a9\u0631\u06a9\u06d2 \u0627\u0648\u0631 \u067e\u0631\u0648\u0633\u06cc\u0633\u0646\u06af \u06a9\u06d2 \u0648\u0642\u062a \u06a9\u06cc \u0628\u0686\u062a \u06a9\u0631\u06a9\u06d2 vLLM \u06a9\u06cc \u06a9\u0627\u0631\u06a9\u0631\u062f\u06af\u06cc \u06a9\u06d2 \u0627\u06cc\u06a9 \u0627\u06c1\u0645 \u0641\u0648\u0627\u0626\u062f \u06a9\u0648 \u0638\u0627\u06c1\u0631 \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u06d4<\/p>\n<p>\u0627\u06cc\u062c\u0646\u0679 \u06a9\u06d2 \u0646\u062a\u0627\u0626\u062c:<\/p>\n<pre><code class=\"language-text\">Automated tests are useful for several reasons:\n\n1. Efficiency: Automated tests can be run quickly and efficiently, allowing developers to focus on other aspects of the codebase.\n\n...\n\nOverall, automated tests are a valuable tool for ensuring that code is well-written and that it is tested thoroughly. They can help ensure that the code is well-written and that it is tested thoroughly, which can help ensure that the code is well-written and that it is tested thoroughly.\nThe main benefit is not just that the response works. The real benefit is that the same agent can now sit on top of a serving layer built for higher concurrency and better GPU utilization.\n<\/code><\/pre>\n<h2 id=\"heading-why-kv-caching-pagedattention-continuous-batching-and-prefix-caching-matter\">KV \u06a9\u06cc\u0634\u0646\u06af\u060c \u067e\u06cc\u062c\u0688 \u0627\u0679\u06cc\u0646\u0634\u0646\u060c \u0644\u06af\u0627\u062a\u0627\u0631 \u067e\u0644\u06cc\u0633\u0645\u0646\u0679\u060c \u0627\u0648\u0631 \u067e\u0631\u06cc\u0641\u06a9\u0633 \u06a9\u06cc\u0634\u0646\u06af \u06a9\u06cc\u0648\u06ba \u0627\u06c1\u0645 \u06c1\u06cc\u06ba\u06d4<\/h2>\n<p>\u0627\u0646 \u062e\u0635\u0648\u0635\u06cc\u0627\u062a \u06a9\u0648 \u0686\u0646\u062f \u0622\u0633\u0627\u0646 \u062d\u0633\u0627\u0628\u0627\u062a \u0633\u06d2 \u0632\u06cc\u0627\u062f\u06c1 \u0622\u0633\u0627\u0646\u06cc \u0633\u06d2 \u0633\u0645\u062c\u06be\u0627 \u062c\u0627 \u0633\u06a9\u062a\u0627 \u06c1\u06d2\u06d4<\/p>\n<h3 id=\"heading-kv-cache\">\u06a9\u06d2 \u0648\u06cc \u06a9\u06cc\u0634\u06d2<\/h3>\n<p>\u0679\u0631\u0627\u0646\u0633\u0641\u0627\u0631\u0645\u0631 \u0645\u0627\u0688\u0644 \u06a9\u06d2 \u0627\u0646\u062f\u0631\u060c \u062a\u0648\u062c\u06c1 \u06a9\u0627 \u0637\u0631\u06cc\u0642\u06c1 \u06a9\u0627\u0631 \u0627\u0646\u062f\u0631\u0648\u0646\u06cc \u0646\u0645\u0627\u0626\u0646\u062f\u06af\u06cc \u067e\u06cc\u062f\u0627 \u06a9\u0631\u062a\u0627 \u06c1\u06d2 \u062c\u0633\u06d2 \u0633\u0648\u0627\u0644\u0627\u062a\u060c \u0686\u0627\u0628\u06cc\u0627\u06ba \u0627\u0648\u0631 \u0627\u0642\u062f\u0627\u0631 \u06a9\u06c1\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4<\/p>\n<p>\u062a\u0639\u0645\u06cc\u0631 \u06a9\u06d2 \u062f\u0648\u0631\u0627\u0646\u060c \u0645\u0627\u0688\u0644 \u06a9\u0648 \u067e\u0686\u06be\u0644\u06d2 \u0679\u0648\u06a9\u0646 \u06a9\u06cc \u06a9\u0644\u06cc\u062f\u06cc \u0627\u0648\u0631 \u0642\u062f\u0631 \u06a9\u06cc \u0645\u0639\u0644\u0648\u0645\u0627\u062a \u06a9\u06cc \u0636\u0631\u0648\u0631\u062a \u06c1\u0648\u062a\u06cc \u06c1\u06d2 \u062a\u0627\u06a9\u06c1 \u0648\u06c1 \u067e\u0686\u06be\u0644\u06d2 \u0679\u0648\u06a9\u0646 \u067e\u0631 \u062a\u0648\u062c\u06c1 \u062f\u06d2 \u0633\u06a9\u06d2\u06d4 \u06c1\u0631 \u0628\u0627\u0631 \u0634\u0631\u0648\u0639 \u0633\u06d2 \u0627\u0633 \u0645\u0639\u0644\u0648\u0645\u0627\u062a \u06a9\u0648 \u062f\u0648\u0628\u0627\u0631\u06c1 \u0634\u0645\u0627\u0631 \u06a9\u0631\u0646\u06d2 \u06a9\u06d2 \u0628\u062c\u0627\u0626\u06d2\u060c \u0645\u0627\u0688\u0644 \u0627\u0633 \u0645\u0639\u0644\u0648\u0645\u0627\u062a \u06a9\u0648 \u0645\u06cc\u0645\u0648\u0631\u06cc \u0645\u06cc\u06ba \u0645\u062d\u0641\u0648\u0638 \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u06d4 \u0630\u062e\u06cc\u0631\u06c1 \u0634\u062f\u06c1 \u062d\u0627\u0644\u062a \u06a9\u0648 KV \u06a9\u06cc\u0634\u06d2 \u06a9\u06c1\u0627 \u062c\u0627\u062a\u0627 \u06c1\u06d2\u06d4<\/p>\n<p>KV \u06a9\u06cc\u0634\u06d2 \u06a9\u0627 \u0627\u0633\u062a\u0639\u0645\u0627\u0644 \u0628\u06c1\u062a \u062a\u06cc\u0632 \u062a\u062e\u0644\u06cc\u0642 \u06a9\u06cc \u0627\u062c\u0627\u0632\u062a \u062f\u06cc\u062a\u0627 \u06c1\u06d2\u060c \u0644\u06cc\u06a9\u0646 GPU \u0645\u06cc\u0645\u0648\u0631\u06cc \u06a9\u0627 \u0627\u0633\u062a\u0639\u0645\u0627\u0644 \u0628\u06be\u06cc \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u06d4 \u062f\u0631\u062e\u0648\u0627\u0633\u062a \u0645\u06cc\u06ba \u062c\u062a\u0646\u06d2 \u0632\u06cc\u0627\u062f\u06c1 \u0679\u0648\u06a9\u0646 \u06c1\u0648\u06ba \u06af\u06d2\u060c \u0627\u062a\u0646\u06cc \u06c1\u06cc \u0632\u06cc\u0627\u062f\u06c1 KV \u06a9\u06cc\u0634 \u0645\u06cc\u0645\u0648\u0631\u06cc \u06a9\u06cc \u0636\u0631\u0648\u0631\u062a \u06c1\u0648\u06af\u06cc\u06d4 \u06cc\u06c1 \u0627\u06cc\u06a9 \u0648\u062c\u06c1 \u06c1\u06d2 \u06a9\u06c1 \u0644\u0645\u0628\u06d2 \u0627\u0634\u0627\u0631\u06d2\u060c \u0637\u0648\u06cc\u0644 \u0645\u06a9\u0627\u0644\u0645\u0648\u06ba \u0627\u0648\u0631 \u0628\u0627\u0632\u06cc\u0627\u0641\u062a \u0634\u062f\u06c1 \u0633\u06cc\u0627\u0642 \u0648 \u0633\u0628\u0627\u0642 \u06a9\u06cc \u0648\u062c\u06c1 \u0633\u06d2 \u062a\u062e\u0645\u06cc\u0646\u06c1 \u0644\u0627\u06af\u062a \u0628\u06c1\u062a \u0632\u06cc\u0627\u062f\u06c1 \u06c1\u0648 \u0633\u06a9\u062a\u06cc \u06c1\u06d2\u06d4<\/p>\n<p>\u0641\u06cc \u0679\u0648\u06a9\u0646 KV \u06a9\u06cc\u0634 \u0645\u06cc\u0645\u0648\u0631\u06cc \u06a9\u0627 \u0627\u06cc\u06a9 \u062a\u062e\u0645\u06cc\u0646\u06c1 \u06c1\u06d2:<\/p>\n<pre><code class=\"language-plaintext\">2 \u00d7 number of layers \u00d7 number of KV heads \u00d7 head dimension \u00d7 bytes per value\n<\/code><\/pre>\n<p>32 \u062a\u06c1\u0648\u06ba\u060c 8KV \u06c1\u06cc\u0688\u060c \u06c1\u06cc\u0688 \u0688\u0627\u0626\u0645\u06cc\u0646\u0634\u0646 128\u060c \u0627\u0648\u0631 FP16 \u062f\u0631\u0633\u062a\u06af\u06cc \u0648\u0627\u0644\u06d2 \u0645\u0627\u0688\u0644 \u06a9\u06d2 \u0644\u06cc\u06d2\u060c KV \u06a9\u06cc\u0634 \u062a\u0642\u0631\u06cc\u0628\u0627\u064b 128KB \u0641\u06cc \u0679\u0648\u06a9\u0646 \u06c1\u06d2\u06d4 \u0645\u062e\u062a\u0644\u0641 \u0645\u0627\u0688\u0644\u0632 \u0645\u06cc\u06ba \u0645\u062e\u062a\u0644\u0641 KV \u06a9\u06cc\u0634\u06d2 \u0633\u0627\u0626\u0632 \u06c1\u0648\u062a\u06d2 \u06c1\u06cc\u06ba\u060c \u0644\u06cc\u06a9\u0646 \u0639\u0645\u0648\u0645\u06cc \u0631\u062c\u062d\u0627\u0646 \u0627\u06cc\u06a9 \u062c\u06cc\u0633\u0627 \u06c1\u06d2\u06d4 \u0637\u0648\u06cc\u0644 \u0633\u06cc\u0627\u0642 \u0648 \u0633\u0628\u0627\u0642 \u0632\u06cc\u0627\u062f\u06c1 GPU \u0645\u06cc\u0645\u0648\u0631\u06cc \u0627\u0633\u062a\u0639\u0645\u0627\u0644 \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4<\/p>\n<h3 id=\"heading-pagedattention\">\u067e\u06cc\u062c\u0688 \u062a\u0648\u062c\u06c1<\/h3>\n<p>PagedAttention KV \u06a9\u06cc\u0634\u06d2 \u06a9\u06d2 \u0644\u06cc\u06d2 vLLM \u06a9\u0627 \u0645\u06cc\u0645\u0648\u0631\u06cc \u0645\u06cc\u0646\u062c\u0645\u0646\u0679 \u0627\u067e\u0631\u0648\u0686 \u06c1\u06d2\u06d4 GPU \u0645\u06cc\u0645\u0648\u0631\u06cc \u06a9\u06d2 \u0627\u06cc\u06a9 \u0645\u062a\u0635\u0644 \u0639\u0644\u0627\u0642\u06d2 \u067e\u0631 \u0642\u0628\u0636\u06c1 \u06a9\u0631\u0646\u06d2 \u06a9\u06d2 \u0644\u06cc\u06d2 \u06c1\u0631 \u062a\u0631\u062a\u06cc\u0628 \u06a9\u06d2 \u0644\u06cc\u06d2 KV \u06a9\u06cc\u0634\u06d2 \u06a9\u06cc \u0636\u0631\u0648\u0631\u062a \u06a9\u06d2 \u0628\u062c\u0627\u0626\u06d2\u060c PagedAttention \u0627\u0633\u06d2 \u0622\u0632\u0627\u062f\u0627\u0646\u06c1 \u0637\u0648\u0631 \u067e\u0631 \u0645\u062e\u062a\u0635 \u06a9\u0631\u062a\u0627 \u06c1\u06d2 \u0627\u0648\u0631 \u0627\u0633\u06d2 \u0686\u06be\u0648\u0679\u06d2\u060c \u0645\u0642\u0631\u0631\u06c1 \u0633\u0627\u0626\u0632 \u06a9\u06d2 \u0628\u0644\u0627\u06a9\u0633 \u0645\u06cc\u06ba \u0645\u062d\u0641\u0648\u0638 \u06a9\u0631\u062a\u0627 \u06c1\u06d2 \u062c\u0646\u06c1\u06cc\u06ba \u062f\u0648\u0628\u0627\u0631\u06c1 \u0627\u0633\u062a\u0639\u0645\u0627\u0644 \u06a9\u06cc\u0627 \u062c\u0627 \u0633\u06a9\u062a\u0627 \u06c1\u06d2\u06d4<\/p>\n<p>\u06cc\u06c1 \u0645\u062f\u062f\u06af\u0627\u0631 \u06a9\u06cc\u0648\u06ba \u06c1\u06d2\u061f \u0627\u06cc\u06a9 \u0633\u0627\u062f\u06c1 \u0646\u0638\u0627\u0645 \u0645\u06cc\u06ba\u060c \u063a\u06cc\u0631 \u0645\u062a\u0648\u0642\u0639 \u0637\u0648\u0627\u0644\u062a \u06a9\u06d2 \u0633\u0644\u0633\u0644\u06d2 \u06a9\u06d2 \u0644\u06cc\u06d2 \u0628\u0691\u06d2 \u0645\u0644\u062d\u0642\u06c1 \u0639\u0644\u0627\u0642\u0648\u06ba \u06a9\u0648 \u0645\u062d\u0641\u0648\u0638 \u0631\u06a9\u06be\u0646\u06d2 \u0633\u06d2 \u0679\u06a9\u0691\u06d2 \u0679\u06a9\u0691\u06d2 \u06c1\u0648\u0646\u06d2 \u06a9\u06cc \u0648\u062c\u06c1 \u0633\u06d2 \u0645\u06cc\u0645\u0648\u0631\u06cc \u0636\u0627\u0626\u0639 \u06c1\u0648 \u0633\u06a9\u062a\u06cc \u06c1\u06d2\u06d4 PagedAttention KV \u06a9\u06cc\u0634\u06d2 \u06a9\u0648 \u0645\u0642\u0631\u0631\u06c1 \u0633\u0627\u0626\u0632 \u06a9\u06d2 \u0628\u0644\u0627\u06a9\u0633 \u0645\u06cc\u06ba \u062a\u0642\u0633\u06cc\u0645 \u06a9\u0631\u062a\u0627 \u06c1\u06d2 \u062c\u0648 \u062f\u0631\u062e\u0648\u0627\u0633\u062a \u067e\u0631 \u0645\u062e\u062a\u0635 \u06a9\u06cc\u06d2 \u062c\u0627\u062a\u06d2 \u06c1\u06cc\u06ba \u0627\u0648\u0631 \u062c\u0633\u0645\u0627\u0646\u06cc \u0637\u0648\u0631 \u067e\u0631 \u0645\u062a\u0635\u0644 \u06c1\u0648\u0646\u06d2 \u06a9\u06cc \u0636\u0631\u0648\u0631\u062a \u0646\u06c1\u06cc\u06ba \u06c1\u06d2\u06d4 \u0627\u06cc\u06a9 \u0628\u0627\u0631 \u062f\u0631\u062e\u0648\u0627\u0633\u062a \u0645\u06a9\u0645\u0644 \u06c1\u0648\u0646\u06d2 \u06a9\u06d2 \u0628\u0639\u062f\u060c \u0628\u0644\u0627\u06a9 \u0645\u0641\u062a \u067e\u0648\u0644 \u0645\u06cc\u06ba \u0648\u0627\u067e\u0633 \u0622 \u062c\u0627\u062a\u0627 \u06c1\u06d2 \u0627\u0648\u0631 \u062f\u0648\u0633\u0631\u06cc \u062f\u0631\u062e\u0648\u0627\u0633\u062a\u0648\u06ba \u0645\u06cc\u06ba \u062f\u0648\u0628\u0627\u0631\u06c1 \u0627\u0633\u062a\u0639\u0645\u0627\u0644 \u06a9\u06cc\u0627 \u062c\u0627 \u0633\u06a9\u062a\u0627 \u06c1\u06d2\u06d4 \u06cc\u06c1 \u0645\u06cc\u0645\u0648\u0631\u06cc \u06a9\u06d2 \u0627\u0633\u062a\u0639\u0645\u0627\u0644 \u06a9\u0648 \u0628\u06c1\u062a\u0631 \u0628\u0646\u0627\u062a\u0627 \u06c1\u06d2 \u0627\u0648\u0631 \u0633\u0631\u0648\u0631 \u06a9\u0648 \u0628\u06cc\u06a9 \u0648\u0642\u062a \u0632\u06cc\u0627\u062f\u06c1 \u0641\u0639\u0627\u0644 \u062a\u0631\u062a\u06cc\u0628\u0648\u06ba \u067e\u0631 \u06a9\u0627\u0631\u0631\u0648\u0627\u0626\u06cc \u06a9\u0631\u0646\u06d2 \u06a9\u06cc \u0627\u062c\u0627\u0632\u062a \u062f\u06cc\u062a\u0627 \u06c1\u06d2\u06d4<\/p>\n<h3 id=\"heading-continuous-batching\">\u0645\u0633\u0644\u0633\u0644 \u0628\u06cc\u0686<\/h3>\n<p>\u0631\u0648\u0627\u06cc\u062a\u06cc \u0628\u06cc\u0686 \u067e\u0631\u0648\u0633\u06cc\u0633\u0646\u06af \u0639\u0627\u0645 \u0637\u0648\u0631 \u067e\u0631 \u0645\u0642\u0631\u0631\u06c1 \u0631\u0627\u0624\u0646\u0688 \u0645\u06cc\u06ba \u0686\u0644\u062a\u06cc \u06c1\u06d2\u06d4 \u0633\u0631\u0648\u0631 \u062f\u0631\u062e\u0648\u0627\u0633\u062a\u0648\u06ba \u06a9\u0627 \u0627\u06cc\u06a9 \u06af\u0631\u0648\u067e \u062c\u0645\u0639 \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u060c \u0627\u0633 \u0628\u06cc\u0686 \u06a9\u06d2 \u0644\u06cc\u06d2 \u0636\u0627\u0628\u0637\u06c1 \u06a9\u0634\u0627\u0626\u06cc \u06a9\u06d2 \u0645\u0631\u062d\u0644\u06d2 \u06a9\u0648 \u0627\u0646\u062c\u0627\u0645 \u062f\u06cc\u062a\u0627 \u06c1\u06d2\u060c \u0627\u0648\u0631 \u0628\u06cc\u0686 \u0633\u0627\u0626\u06cc\u06a9\u0644 \u0645\u06a9\u0645\u0644 \u06c1\u0648\u0646\u06d2 \u062a\u06a9 \u0627\u0633\u06cc \u06af\u0631\u0648\u067e \u06a9\u06d2 \u0644\u06cc\u06d2 \u0688\u06cc \u06a9\u0648\u0688\u0646\u06af \u062c\u0627\u0631\u06cc \u0631\u06a9\u06be\u062a\u0627 \u06c1\u06d2\u06d4 \u0627\u0633 \u06a9\u0627 \u0645\u0637\u0644\u0628 \u06c1\u06d2 \u06a9\u06c1 \u0627\u06cc\u06a9\u0679\u06cc\u0648 \u0631\u06cc\u06a9\u0648\u0633\u0679 \u0633\u06cc\u0679 \u0632\u06cc\u0627\u062f\u06c1 \u062a\u0631 \u0641\u06a9\u0633 \u0631\u06c1\u062a\u0627 \u06c1\u06d2 \u062c\u0628 \u06a9\u06c1 \u0628\u06cc\u0686 \u067e\u0631 \u06a9\u0627\u0631\u0631\u0648\u0627\u0626\u06cc \u06c1\u0648\u062a\u06cc \u06c1\u06d2\u06d4<\/p>\n<p>\u06cc\u06c1 LLM \u062e\u062f\u0645\u0627\u062a \u06a9\u06d2 \u0644\u06cc\u06d2 \u0627\u0686\u06be\u06cc \u0637\u0631\u062d \u0633\u06d2 \u06a9\u0627\u0645 \u0646\u06c1\u06cc\u06ba \u06a9\u0631\u062a\u0627 \u06a9\u06cc\u0648\u0646\u06a9\u06c1 \u062f\u0631\u062e\u0648\u0627\u0633\u062a\u06cc\u06ba \u0627\u06cc\u06a9 \u0633\u0627\u062a\u06be \u0645\u06a9\u0645\u0644 \u0646\u06c1\u06cc\u06ba \u06c1\u0648\u062a\u06cc \u06c1\u06cc\u06ba\u06d4 \u0645\u062e\u062a\u0635\u0631 \u062f\u0631\u062e\u0648\u0627\u0633\u062a\u06cc\u06ba \u062c\u0644\u062f \u0645\u06a9\u0645\u0644 \u06c1\u0648 \u0633\u06a9\u062a\u06cc \u06c1\u06cc\u06ba\u060c \u0644\u06cc\u06a9\u0646 \u0627\u0646 \u06a9\u06d2 \u0633\u0644\u0627\u0679\u0633 \u063a\u06cc\u0631 \u0627\u0633\u062a\u0639\u0645\u0627\u0644 \u0634\u062f\u06c1 \u0631\u06c1 \u0633\u06a9\u062a\u06d2 \u06c1\u06cc\u06ba \u062c\u0628 \u06a9\u06c1 \u0637\u0648\u06cc\u0644 \u062f\u0631\u062e\u0648\u0627\u0633\u062a\u0648\u06ba \u06a9\u0648 \u0688\u06cc \u06a9\u0648\u0688 \u06a9\u06cc\u0627 \u062c\u0627\u0646\u0627 \u062c\u0627\u0631\u06cc \u06c1\u06d2\u06d4<\/p>\n<p>\u0645\u0633\u0644\u0633\u0644 \u0628\u06cc\u0686\u0646\u06af \u0633\u0631\u0648\u0631 \u06a9\u0648 \u06a9\u06be\u0644\u06cc \u062c\u06af\u06c1\u0648\u06ba \u06a9\u0648 \u0641\u0648\u0631\u06cc \u0637\u0648\u0631 \u067e\u0631 \u0628\u06be\u0631\u0646\u06d2 \u06a9\u06cc \u0627\u062c\u0627\u0632\u062a \u062f\u06cc\u062a\u06cc \u06c1\u06d2\u06d4 \u0646\u0626\u06cc \u062f\u0631\u062e\u0648\u0627\u0633\u062a\u06cc\u06ba \u062c\u06af\u06c1 \u06a9\u06d2 \u062f\u0633\u062a\u06cc\u0627\u0628 \u06c1\u0648\u062a\u06d2 \u06c1\u06cc \u0627\u06af\u0644\u06d2 \u0636\u0627\u0628\u0637\u06c1 \u06a9\u0634\u0627\u0626\u06cc \u06a9\u06d2 \u0645\u0631\u062d\u0644\u06d2 \u0645\u06cc\u06ba \u062d\u0635\u06c1 \u0644\u06d2 \u0633\u06a9\u062a\u06cc \u06c1\u06cc\u06ba\u060c \u0628\u062c\u0627\u0626\u06d2 \u06a9\u06c1 \u067e\u0648\u0631\u06d2 \u0628\u06cc\u0686 \u06a9\u06d2 \u0645\u06a9\u0645\u0644 \u06c1\u0648\u0646\u06d2 \u06a9\u0627 \u0627\u0646\u062a\u0638\u0627\u0631 \u06a9\u0631\u06cc\u06ba\u06d4<\/p>\n<p>\u0645\u062b\u0627\u0644 \u06a9\u06d2 \u0637\u0648\u0631 \u067e\u0631:<\/p>\n<ul>\n<li>\n<p>\u062f\u0631\u062e\u0648\u0627\u0633\u062a A \u06a9\u06d2 \u0644\u06cc\u06d2 100 \u0622\u0624\u0679 \u067e\u0679 \u0679\u0648\u06a9\u0646\u0632 \u062f\u0631\u06a9\u0627\u0631 \u06c1\u06cc\u06ba\u06d4<\/p>\n<\/li>\n<li>\n<p>\u062f\u0631\u062e\u0648\u0627\u0633\u062a B \u06a9\u06d2 \u0644\u06cc\u06d2 20 \u0622\u0624\u0679 \u067e\u0679 \u0679\u0648\u06a9\u0646\u0632 \u062f\u0631\u06a9\u0627\u0631 \u06c1\u06cc\u06ba\u06d4<\/p>\n<\/li>\n<li>\n<p>\u062f\u0631\u062e\u0648\u0627\u0633\u062a C \u067e\u06c1\u0646\u0686 \u062c\u0627\u062a\u06cc \u06c1\u06d2 \u062c\u0628 A \u0686\u0644 \u0631\u06c1\u0627 \u06c1\u0648\u06d4<\/p>\n<\/li>\n<\/ul>\n<p>\u0641\u06a9\u0633\u0688 \u0628\u06cc\u0686\u0646\u06af \u06a9\u06d2 \u0633\u0627\u062a\u06be\u060c B \u062c\u0644\u062f \u062e\u062a\u0645 \u06c1\u0648 \u0633\u06a9\u062a\u0627 \u06c1\u06d2\u060c \u0644\u06cc\u06a9\u0646 C \u06a9\u0648 \u0645\u0648\u062c\u0648\u062f\u06c1 \u0628\u06cc\u0686 \u0633\u0627\u0626\u06cc\u06a9\u0644 \u06a9\u06d2 \u0627\u062e\u062a\u062a\u0627\u0645 \u062a\u06a9 \u0627\u0646\u062a\u0638\u0627\u0631 \u06a9\u0631\u0646\u0627 \u067e\u0691 \u0633\u06a9\u062a\u0627 \u06c1\u06d2\u06d4 \u0645\u0633\u0644\u0633\u0644 \u0628\u06cc\u0686 \u067e\u0631\u0648\u0633\u06cc\u0633\u0646\u06af B \u06a9\u0648 \u0627\u06cc\u06a9 \u0633\u0644\u0627\u0679 \u0627\u0648\u0631 C \u06a9\u0648 \u0627\u06af\u0644\u06d2 \u0636\u0627\u0628\u0637\u06c1 \u06a9\u0634\u0627\u0626\u06cc \u06a9\u06d2 \u0645\u0631\u062d\u0644\u06d2 \u0645\u06cc\u06ba \u062d\u0635\u06c1 \u0644\u06cc\u0646\u06d2 \u06a9\u06cc \u0627\u062c\u0627\u0632\u062a \u062f\u06cc\u062a\u06cc \u06c1\u06d2\u06d4 \u06cc\u06c1 GPU \u06a9\u0648 \u0645\u0635\u0631\u0648\u0641 \u0631\u06a9\u06be\u062a\u0627 \u06c1\u06d2 \u0627\u0648\u0631 \u0628\u0648\u062c\u06be \u06a9\u06d2 \u062a\u062d\u062a \u062a\u06be\u0631\u0648 \u067e\u0679 \u06a9\u0648 \u0628\u06c1\u062a\u0631 \u0628\u0646\u0627\u062a\u0627 \u06c1\u06d2\u06d4<\/p>\n<h3 id=\"heading-prefix-caching\">\u0633\u0627\u0628\u0642\u06c1 \u200b\u200b\u06a9\u06cc\u0634\u0646\u06af<\/h3>\n<p>\u0627\u06cc\u062c\u0646\u0679 \u0627\u06a9\u062b\u0631 \u0648\u06c1\u06cc \u0644\u0645\u0628\u06d2 \u0633\u0633\u0679\u0645 \u067e\u0631\u0627\u0645\u067e\u0679\u0633\u060c \u0679\u0648\u0644 \u06c1\u062f\u0627\u06cc\u0627\u062a\u060c \u06cc\u0627 \u0648\u0631\u06a9 \u0641\u0644\u0648 \u06a9\u06d2 \u0633\u0627\u0628\u0642\u06d2 \u062f\u0648\u0628\u0627\u0631\u06c1 \u0627\u0633\u062a\u0639\u0645\u0627\u0644 \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4 \u067e\u0631\u06cc\u0641\u06a9\u0633 \u06a9\u06cc\u0634\u0646\u06af vLLM \u06a9\u0648 \u0645\u0634\u062a\u0631\u06a9\u06c1 \u067e\u0631\u0627\u0645\u067e\u0679 \u0633\u0627\u0628\u0642\u06d2 \u06a9\u06d2 \u0644\u06cc\u06d2 KV \u06a9\u06cc\u0634 \u06a9\u0648 \u06c1\u0631 \u0628\u0627\u0631 \u062f\u0648\u0628\u0627\u0631\u06c1 \u06af\u0646\u062a\u06cc \u06a9\u0631\u0646\u06d2 \u06a9\u06cc \u0628\u062c\u0627\u0626\u06d2 \u062f\u0648\u0628\u0627\u0631\u06c1 \u0627\u0633\u062a\u0639\u0645\u0627\u0644 \u06a9\u0631\u0646\u06d2 \u06a9\u06cc \u0627\u062c\u0627\u0632\u062a \u062f\u06cc\u062a\u06cc \u06c1\u06d2\u06d4 \u062f\u0633\u062a\u0627\u0648\u06cc\u0632\u0627\u062a \u0627\u0633\u06d2 \u062e\u0648\u062f\u06a9\u0627\u0631 \u0633\u0627\u0628\u0642\u06c1 \u200b\u200b\u06a9\u06cc\u0634\u0646\u06af \u06a9\u06d2 \u0637\u0648\u0631 \u067e\u0631 \u0628\u06cc\u0627\u0646 \u06a9\u0631\u062a\u06cc \u06c1\u06cc\u06ba\u06d4<\/p>\n<p>\u0633\u0627\u062f\u06c1 \u0645\u062b\u0627\u0644:<\/p>\n<p>\u067e\u0631\u06cc\u0641\u06a9\u0633 \u06a9\u06cc\u0634\u0646\u06af \u06a9\u06d2 \u0628\u063a\u06cc\u0631\u060c \u0627\u0646 800 \u0679\u0648\u06a9\u0646 \u067e\u0631\u06cc\u0641\u06a9\u0633 \u067e\u0631 50 \u0628\u0627\u0631 \u06a9\u0627\u0631\u0631\u0648\u0627\u0626\u06cc \u06a9\u06cc \u062c\u0627\u0626\u06d2 \u06af\u06cc\u06d4<\/p>\n<pre><code class=\"language-text\">800 \u00d7 50 = 40,000 prefix tokens processed\n<\/code><\/pre>\n<p>\u067e\u0631\u06cc\u0641\u06a9\u0633 \u06a9\u06cc\u0634\u0646\u06af \u0622\u067e \u06a9\u0648 \u0627\u0646 \u0645\u0634\u062a\u0631\u06a9\u06c1 \u0633\u0627\u0628\u0642\u0648\u06ba \u06a9\u06cc \u0627\u06cc\u06a9 \u0628\u0627\u0631 \u06af\u0646\u062a\u06cc \u06a9\u0631\u0646\u06d2 \u0627\u0648\u0631 \u0627\u0646\u06c1\u06cc\u06ba \u062f\u0648\u0628\u0627\u0631\u06c1 \u0627\u0633\u062a\u0639\u0645\u0627\u0644 \u06a9\u0631\u0646\u06d2 \u06a9\u06cc \u0627\u062c\u0627\u0632\u062a \u062f\u06cc\u062a\u06cc \u06c1\u06d2\u060c \u062c\u0633 \u0633\u06d2 \u062f\u06c1\u0631\u0627\u0626\u06d2 \u062c\u0627\u0646\u06d2 \u0648\u0627\u0644\u06d2 \u06a9\u0627\u0645 \u06a9\u0648 \u06a9\u0627\u0641\u06cc \u062d\u062f \u062a\u06a9 \u06a9\u0645 \u06a9\u06cc\u0627 \u062c\u0627\u062a\u0627 \u06c1\u06d2\u06d4<\/p>\n<h2 id=\"heading-when-should-you-use-vllm\">\u0645\u062c\u06be\u06d2 vLLM \u06a9\u0628 \u0627\u0633\u062a\u0639\u0645\u0627\u0644 \u06a9\u0631\u0646\u0627 \u0686\u0627\u06c1\u06cc\u06d2\u061f<\/h2>\n<p>vLLM \u0627\u0633 \u06a9\u06d2 \u0644\u06cc\u06d2 \u0645\u0648\u0632\u0648\u06ba \u06c1\u06d2:<\/p>\n<ul>\n<li>\n<p>\u062e\u0648\u062f \u0645\u06cc\u0632\u0628\u0627\u0646 \u06a9\u06be\u0644\u06cc \u0632\u0628\u0627\u0646 \u06a9\u0627 \u0645\u0627\u0688\u0644<\/p>\n<\/li>\n<li>\n<p>\u0645\u062a\u0639\u062f\u062f \u0633\u0627\u062a\u06be\u06cc \u0635\u0627\u0631\u0641\u06cc\u0646 \u06a9\u06cc \u062e\u062f\u0645\u062a \u06a9\u0631\u0646\u0627<\/p>\n<\/li>\n<li>\n<p>\u0627\u0639\u0644\u06cc \u062a\u062e\u0645\u06cc\u0646\u06c1 \u062a\u06be\u0631\u0648 \u067e\u0679 \u06a9\u06cc \u0636\u0631\u0648\u0631\u062a \u06c1\u06d2\u06d4<\/p>\n<\/li>\n<li>\n<p>\u0627\u06cc\u0633\u06d2 \u0627\u06cc\u062c\u0646\u0679\u060c \u0686\u06cc\u0679 \u0628\u0648\u0679\u0633\u060c \u06cc\u0627 RAG \u0633\u0633\u0679\u0645 \u0686\u0644\u0627\u0626\u06cc\u06ba \u062c\u0648 \u0627\u06a9\u062b\u0631 \u0645\u0627\u0688\u0644 \u06a9\u0627\u0644\u0632 \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4<\/p>\n<\/li>\n<li>\n<p>\u0627\u067e\u0646\u06d2 \u0627\u0646\u0641\u0631\u0646\u0633 \u0627\u0646\u0641\u0631\u0627\u0633\u0679\u0631\u06a9\u0686\u0631 \u06a9\u06d2 \u0644\u06cc\u06d2 \u0627\u06cc\u06a9 OpenAI- \u0645\u0648\u0627\u0641\u0642 API \u0686\u0627\u06c1\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4<\/p>\n<\/li>\n<\/ul>\n<p>\u06a9\u0645 \u0679\u0631\u06cc\u0641\u06a9 \u0648\u0627\u0644\u06d2 \u0686\u06be\u0648\u0679\u06d2\u060c \u0648\u0627\u062d\u062f \u0635\u0627\u0631\u0641 \u067e\u0631\u0648\u0679\u0648 \u0679\u0627\u0626\u067e\u0633 \u06a9\u06d2 \u0644\u06cc\u06d2\u060c \u0627\u06cc\u06a9 \u0622\u0633\u0627\u0646 \u0645\u0642\u0627\u0645\u06cc \u0645\u0627\u0688\u0644 \u0631\u0646\u0631 \u06a9\u0627\u0641\u06cc \u06c1\u0648 \u0633\u06a9\u062a\u0627 \u06c1\u06d2\u06d4 \u0627\u06af\u0631 \u0627\u0646\u0641\u0631\u0646\u0633 \u062a\u06be\u0631\u0648 \u067e\u0679\u060c \u06a9\u0646\u06a9\u0631\u0646\u0633\u06cc\u060c \u06cc\u0627 \u06a9\u06d2 \u0648\u06cc \u06a9\u06cc\u0634 \u0645\u06cc\u0645\u0648\u0631\u06cc \u0645\u06cc\u06ba \u0631\u06a9\u0627\u0648\u0679\u06cc\u06ba \u06c1\u06cc\u06ba\u060c \u062a\u0648 vLLM \u0627\u0648\u0631 \u0628\u06be\u06cc \u0642\u06cc\u0645\u062a\u06cc \u06c1\u0648 \u062c\u0627\u062a\u0627 \u06c1\u06d2\u06d4<\/p>\n<h2 id=\"heading-conclusion\">\u0646\u062a\u06cc\u062c\u06c1<\/h2>\n<p>\u0627\u0633 \u0679\u06cc\u0648\u0679\u0648\u0631\u06cc\u0644 \u0645\u06cc\u06ba\u060c \u06c1\u0645 \u0646\u06d2 \u062f\u0631\u06cc\u0627\u0641\u062a \u06a9\u06cc\u0627 \u06a9\u06c1 \u06a9\u0633 \u0637\u0631\u062d vLLM AI \u0627\u06cc\u067e\u0644\u06cc \u06a9\u06cc\u0634\u0646\u0632 \u06a9\u06d2 \u067e\u06cc\u0686\u06be\u06d2 \u0633\u0631\u0648\u0633 \u0644\u06cc\u0626\u0631 \u06a9\u0648 \u0628\u06c1\u062a\u0631 \u0628\u0646\u0627 \u0633\u06a9\u062a\u0627 \u06c1\u06d2\u06d4 \u0645\u06cc\u06ba \u0646\u06d2 \u0627\u06cc\u06a9 \u0645\u0642\u0627\u0645\u06cc vLLM \u0633\u0631\u0648\u0631 \u0634\u0631\u0648\u0639 \u06a9\u06cc\u0627 \u0627\u0648\u0631 \u0627\u06cc\u06a9 OpenAI \u0645\u0637\u0627\u0628\u0642\u062a \u067e\u0630\u06cc\u0631 Python \u06a9\u0644\u0627\u0626\u0646\u0679 \u06a9\u0627 \u0627\u0633\u062a\u0639\u0645\u0627\u0644 \u06a9\u0631\u062a\u06d2 \u06c1\u0648\u0626\u06d2 \u0645\u0646\u0633\u0644\u06a9 \u06c1\u0648\u0627\u06d4<\/p>\n<p>vLLM \u06a9\u0648 \u0645\u0633\u062a\u0642\u0644 \u0628\u06cc\u0686\u0646\u06af\u060c PagedAttention\u060c \u0627\u0648\u0631 prefix caching \u06a9\u06d2 \u0630\u0631\u06cc\u0639\u06d2 \u06c1\u0645 \u0622\u06c1\u0646\u06af\u06cc \u06a9\u0627 \u0627\u0646\u062f\u0627\u0632\u06c1 \u0628\u06c1\u062a\u0631 \u0628\u0646\u0627\u0646\u06d2 \u06a9\u06d2 \u0644\u06cc\u06d2 \u0688\u06cc\u0632\u0627\u0626\u0646 \u06a9\u06cc\u0627 \u06af\u06cc\u0627 \u06c1\u06d2\u06d4 \u0645\u0642\u0627\u0645\u06cc \u0645\u062b\u0627\u0644 \u0627\u0646\u0636\u0645\u0627\u0645 \u06a9\u0648 \u0638\u0627\u06c1\u0631 \u06a9\u0631\u062a\u06cc \u06c1\u06d2\u060c \u0644\u06cc\u06a9\u0646 \u0627\u06cc\u06a9 \u0645\u062e\u0635\u0648\u0635 \u0633\u0633\u0679\u0645 \u06a9\u06d2 \u0644\u06cc\u06d2 \u062d\u0642\u06cc\u0642\u06cc \u062a\u06be\u0631\u0648 \u067e\u0679 \u0627\u0648\u0631 \u062a\u0627\u062e\u06cc\u0631 \u0633\u06d2 \u06c1\u0648\u0646\u06d2 \u0648\u0627\u0644\u06cc \u0628\u06c1\u062a\u0631\u06cc \u06a9\u06cc \u067e\u06cc\u0645\u0627\u0626\u0634 \u06a9\u0631\u0646\u06d2 \u06a9\u06d2 \u0644\u06cc\u06d2 \u0627\u06cc\u06a9 \u0633\u0627\u062a\u06be \u0644\u0648\u0688 \u0679\u06cc\u0633\u0679\u0646\u06af \u06a9\u06cc \u0636\u0631\u0648\u0631\u062a \u06c1\u06d2\u06d4<\/p>\n<p>\u06cc\u06c1\u0627\u06ba \u0633\u06d2 \u0622\u067e \u0645\u062e\u062a\u0644\u0641 \u0645\u0627\u0688\u0644\u0632 \u0622\u0632\u0645\u0627 \u0633\u06a9\u062a\u06d2 \u06c1\u06cc\u06ba\u060c \u0644\u0648\u0688 \u0679\u06cc\u0633\u0679 \u0634\u0627\u0645\u0644 \u06a9\u0631 \u0633\u06a9\u062a\u06d2 \u06c1\u06cc\u06ba\u060c \u06cc\u0627 \u0645\u0648\u062c\u0648\u062f\u06c1 LangChain \u06cc\u0627 \u06a9\u0633\u0679\u0645 \u0627\u06cc\u062c\u0646\u0679 \u06a9\u0648 \u0627\u0633\u06cc vLLM \u0627\u06cc\u0646\u0688 \u067e\u0648\u0627\u0626\u0646\u0679 \u0633\u06d2 \u062c\u0648\u0691 \u0633\u06a9\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4 \u0645\u0628\u0627\u0631\u06a9 \u06c1\u0648 \u0679\u0646\u06a9\u0631\u0646\u06af!<\/p>\n<p>\u0627\u06af\u0631 \u0622\u067e \u06a9\u0648 \u06cc\u06c1 \u0633\u0628\u0642 \u067e\u0633\u0646\u062f \u0622\u06cc\u0627 \u06c1\u06d2\u060c \u062a\u0648 \u0622\u067e \u0645\u06cc\u0631\u06d2 \u0628\u0644\u0627\u06af \u067e\u0631 \u0645\u06cc\u0631\u06cc \u0645\u0632\u06cc\u062f \u062a\u062d\u0631\u06cc\u0631\u06cc\u06ba (\u062d\u0627\u0644\u06cc\u06c1 \u067e\u0648\u0633\u0679\u0633 \u0645\u06cc\u06ba \u0633\u0633\u0679\u0645\u0632 \u0688\u06cc\u0632\u0627\u0626\u0646 \u067e\u06cc\u067e\u0631\u0632 \u0633\u06cc\u0631\u06cc\u0632 \u0634\u0627\u0645\u0644 \u06c1\u06cc\u06ba)\u060c \u0645\u06cc\u0631\u06cc \u0630\u0627\u062a\u06cc \u0648\u06cc\u0628 \u0633\u0627\u0626\u0679 \u067e\u0631 \u0645\u06cc\u0631\u0627 \u06a9\u0627\u0645\u060c \u0627\u0648\u0631 LinkedIn \u067e\u0631 \u0627\u067e \u0688\u06cc\u0679\u0633 \u062d\u0627\u0635\u0644 \u06a9\u0631 \u0633\u06a9\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4<\/p>\n<\/p><\/div>\n","protected":false},"excerpt":{"rendered":"<p>\u0627\u0633 \u0679\u06cc\u0648\u0679\u0648\u0631\u06cc\u0644 \u0645\u06cc\u06ba\u060c \u06c1\u0645 \u062f\u06a9\u06be\u0627\u0626\u06cc\u06ba \u06af\u06d2 \u06a9\u06c1 AI \u0627\u06cc\u062c\u0646\u0679\u0633 \u06a9\u06d2 \u0644\u06cc\u06d2 LLM \u062a\u062e\u0645\u06cc\u0646\u06c1 \u06a9\u0648 \u0628\u0691\u06be\u0627\u0646\u06d2 \u06a9\u06d2 \u0644\u06cc\u06d2 vLLM \u06a9\u0627 \u0627\u0633\u062a\u0639\u0645\u0627\u0644 \u06a9\u06cc\u0633\u06d2 \u06a9\u0631\u06cc\u06ba\u06d4 \u06c1\u0645 \u0622\u067e \u06a9\u0648 \u0627\u0633 \u0628\u0627\u0631\u06d2 \u0645\u06cc\u06ba \u0628\u0635\u06cc\u0631\u062a \u067e\u06cc\u062f\u0627 \u06a9\u0631\u0646\u06d2 \u0645\u06cc\u06ba \u0645\u062f\u062f \u06a9\u0631\u06cc\u06ba \u06af\u06d2 \u06a9\u06c1 LLM \u06a9\u0627 \u0627\u0646\u062f\u0627\u0632\u06c1 \u06a9\u06cc\u0633\u06d2 \u06a9\u0627\u0645 \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u060c \u06cc\u06c1 \u062f\u0631\u06cc\u0627\u0641\u062a \u06a9\u0631\u06cc\u06ba \u06af\u06d2 \u06a9\u06c1 \u0627\u06cc\u062c\u0646\u0679 \u06a9\u06d2 \u06a9\u0627\u0645 \u06a9\u06d2 \u0628\u0648\u062c\u06be \u0633\u06d2 GPU [&hellip;]<\/p>\n","protected":false},"author":7,"featured_media":0,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"site-sidebar-layout":"default","site-content-layout":"","ast-site-content-layout":"default","site-content-style":"default","site-sidebar-style":"default","ast-global-header-display":"","ast-banner-title-visibility":"","ast-main-header-display":"","ast-hfb-above-header-display":"","ast-hfb-below-header-display":"","ast-hfb-mobile-header-display":"","site-post-title":"","ast-breadcrumbs-content":"","ast-featured-img":"","footer-sml-layout":"","ast-disable-related-posts":"","theme-transparent-header-meta":"","adv-header-id-meta":"","stick-header-meta":"","header-above-stick-meta":"","header-main-stick-meta":"","header-below-stick-meta":"","astra-migrate-meta-layouts":"default","ast-page-background-enabled":"default","ast-page-background-meta":{"desktop":{"background-color":"var(--ast-global-color-5)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"tablet":{"background-color":"","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"mobile":{"background-color":"","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""}},"ast-content-background-meta":{"desktop":{"background-color":"var(--ast-global-color-4)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"tablet":{"background-color":"var(--ast-global-color-4)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"mobile":{"background-color":"var(--ast-global-color-4)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""}},"footnotes":""},"categories":[1],"tags":[],"class_list":["post-27894","post","type-post","status-publish","format-standard","hentry","category-blog"],"_links":{"self":[{"href":"https:\/\/umang.pk\/ur\/wp-json\/wp\/v2\/posts\/27894","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/umang.pk\/ur\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/umang.pk\/ur\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/umang.pk\/ur\/wp-json\/wp\/v2\/users\/7"}],"replies":[{"embeddable":true,"href":"https:\/\/umang.pk\/ur\/wp-json\/wp\/v2\/comments?post=27894"}],"version-history":[{"count":0,"href":"https:\/\/umang.pk\/ur\/wp-json\/wp\/v2\/posts\/27894\/revisions"}],"wp:attachment":[{"href":"https:\/\/umang.pk\/ur\/wp-json\/wp\/v2\/media?parent=27894"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/umang.pk\/ur\/wp-json\/wp\/v2\/categories?post=27894"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/umang.pk\/ur\/wp-json\/wp\/v2\/tags?post=27894"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}