{"id":27533,"date":"2026-08-11T22:14:46","date_gmt":"2026-08-11T22:14:46","guid":{"rendered":"https:\/\/umang.pk\/2026\/08\/11\/%d8%a8%da%91%db%92-%d9%be%db%8c%d9%85%d8%a7%d9%86%db%92-%d9%be%d8%b1-%d9%be%d8%b1%d9%88%da%88%da%a9%d9%b9-%da%a9%d8%a7-%d8%aa%d8%ac%d8%b1%d8%a8%db%81-llm-%d9%be%d8%b1-%d9%85%d8%a8%d9%86%db%8c-ai\/"},"modified":"2026-08-11T22:14:50","modified_gmt":"2026-08-11T22:14:50","slug":"%d8%a8%da%91%db%92-%d9%be%db%8c%d9%85%d8%a7%d9%86%db%92-%d9%be%d8%b1-%d9%be%d8%b1%d9%88%da%88%da%a9%d9%b9-%da%a9%d8%a7-%d8%aa%d8%ac%d8%b1%d8%a8%db%81-llm-%d9%be%d8%b1-%d9%85%d8%a8%d9%86%db%8c-ai","status":"publish","type":"post","link":"https:\/\/umang.pk\/ur\/2026\/08\/11\/%d8%a8%da%91%db%92-%d9%be%db%8c%d9%85%d8%a7%d9%86%db%92-%d9%be%d8%b1-%d9%be%d8%b1%d9%88%da%88%da%a9%d9%b9-%da%a9%d8%a7-%d8%aa%d8%ac%d8%b1%d8%a8%db%81-llm-%d9%be%d8%b1-%d9%85%d8%a8%d9%86%db%8c-ai\/","title":{"rendered":"\u0628\u0691\u06d2 \u067e\u06cc\u0645\u0627\u0646\u06d2 \u067e\u0631 \u067e\u0631\u0648\u0688\u06a9\u0679 \u06a9\u0627 \u062a\u062c\u0631\u0628\u06c1: LLM \u067e\u0631 \u0645\u0628\u0646\u06cc AI \u062e\u0635\u0648\u0635\u06cc\u0627\u062a \u06a9\u06d2 \u0644\u06cc\u06d2 Airbnb\u060c Netflix\u060c Lyft\u060c \u0627\u0648\u0631 Uber \u06a9\u06cc\u0633\u06d2 \u0686\u0644\u062a\u06d2 \u06c1\u06cc\u06ba"},"content":{"rendered":"\n<div id=\"\">\n<p>LLM \u067e\u0631 \u0645\u0628\u0646\u06cc AI \u0641\u0646\u06a9\u0634\u0646\u0632 \u06a9\u06d2 \u0644\u06cc\u06d2 \u06a9\u0627\u0632\u0644 \u0627\u0646\u0641\u0631\u0646\u0633 \u0627\u0628 \u0646\u0638\u0631\u06cc\u0627\u062a\u06cc \u0646\u06c1\u06cc\u06ba \u06c1\u06d2\u06d4 Airbnb\u060c Netflix\u060c Lyft\u060c \u0627\u0648\u0631 Uber \u0646\u06d2 \u0627\u0646\u062c\u06cc\u0646\u0626\u0631\u0646\u06af \u06a9\u06d2 \u062a\u0641\u0635\u06cc\u0644\u06cc \u0628\u0644\u0627\u06af \u067e\u0648\u0633\u0679\u0633 \u0634\u0627\u0626\u0639 \u06a9\u06cc\u06d2 \u06c1\u06cc\u06ba \u062c\u0633 \u0645\u06cc\u06ba \u06cc\u06c1 \u0648\u0636\u0627\u062d\u062a \u06a9\u06cc \u06af\u0626\u06cc \u06c1\u06d2 \u06a9\u06c1 \u0648\u06c1 \u0635\u0627\u0631\u0641 \u06a9\u06d2 \u0631\u0648\u06cc\u06d2 \u067e\u0631 \u0645\u0635\u0646\u0648\u0639\u0627\u062a \u06a9\u06cc \u062a\u0628\u062f\u06cc\u0644\u06cc\u0648\u06ba \u06a9\u06d2 \u0627\u0635\u0644 \u0627\u062b\u0631\u0627\u062a \u06a9\u06cc \u067e\u06cc\u0645\u0627\u0626\u0634 \u06a9\u06cc\u0633\u06d2 \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4<\/p>\n<p>\u0648\u06c1 \u062c\u0646 \u062a\u06a9\u0646\u06cc\u06a9\u0648\u06ba \u06a9\u0627 \u0646\u0627\u0645 \u062f\u06cc\u062a\u06d2 \u06c1\u06cc\u06ba (\u0641\u0631\u0642 \u0645\u06cc\u06ba \u0641\u0631\u0642\u060c \u0631\u062c\u0639\u062a \u06a9\u0627 \u0648\u0642\u0641\u06c1\u060c \u0688\u0628\u0644 \u0645\u0636\u0628\u0648\u0637 \u062a\u062e\u0645\u06cc\u0646\u06c1\u060c \u0648\u063a\u06cc\u0631\u06c1) \u0645\u0639\u06cc\u0627\u0631\u06cc \u0679\u0648\u0644\u0632 \u06c1\u06cc\u06ba\u06d4<\/p>\n<p>\u062f\u0644\u0686\u0633\u067e \u0628\u0627\u062a \u06cc\u06c1 \u06c1\u06d2 \u06a9\u06c1 \u06cc\u06c1 \u0679\u06cc\u0645\u06cc\u06ba \u06a9\u0633 \u0637\u0631\u062d \u0628\u0691\u06d2 \u067e\u06cc\u0645\u0627\u0646\u06d2 \u067e\u0631 \u0627\u06cc\u0633\u0627 \u06a9\u0631\u0646\u06d2 \u0645\u06cc\u06ba \u06a9\u0627\u0645\u06cc\u0627\u0628 \u06c1\u0648\u0626\u06cc\u06ba\u06d4 \u06cc\u0639\u0646\u06cc\u060c \u062c\u06c1\u0627\u06ba \u0637\u0631\u06cc\u0642\u06d2 \u067e\u06cc\u062f\u0627\u0648\u0627\u0631 \u0645\u06cc\u06ba \u0646\u0627\u06a9\u0627\u0645 \u06c1\u0648\u0626\u06d2\u060c \u06c1\u0645 \u0646\u06d2 \u0642\u0627\u0628\u0644 \u0627\u0639\u062a\u0645\u0627\u062f \u062a\u062e\u0645\u06cc\u0646\u06d2 \u0628\u0646\u0627\u0646\u06d2 \u06a9\u06d2 \u0644\u06cc\u06d2 \u06c1\u0631 \u0637\u0631\u06cc\u0642\u06c1 \u06a9\u06d2 \u0627\u0631\u062f \u06af\u0631\u062f \u06a9\u06cc\u0627 \u0628\u0646\u0627\u06cc\u0627\u060c \u0627\u0648\u0631 \u06c1\u0645 \u0646\u06d2 \u0627\u0639\u062f\u0627\u062f \u06a9\u0648 \u0627\u0635\u0644 \u0645\u0635\u0646\u0648\u0639\u0627\u062a \u06a9\u06d2 \u0641\u06cc\u0635\u0644\u0648\u06ba \u0633\u06d2 \u06a9\u06cc\u0633\u06d2 \u062c\u0648\u0691\u0627\u06d4<\/p>\n<p>\u0627\u06af\u0631 \u0622\u067e LLM \u0641\u0646\u06a9\u0634\u0646 \u0628\u0646\u0627 \u0631\u06c1\u06d2 \u06c1\u06cc\u06ba \u0627\u0648\u0631 \u0631\u06cc\u0641\u0631\u0644 \u0631\u06cc\u0679\u0633 \u0627\u0648\u0631 \u0633\u06cc\u0634\u0646 \u06a9\u06cc \u0644\u0645\u0628\u0627\u0626\u06cc \u06a9\u06cc \u0628\u0646\u06cc\u0627\u062f \u067e\u0631 \u067e\u0631\u0648\u0688\u06a9\u0679 \u06a9\u06d2 \u0641\u06cc\u0635\u0644\u06d2 \u06a9\u0631 \u0631\u06c1\u06d2 \u06c1\u06cc\u06ba\u060c \u062a\u0648 \u06cc\u06c1 \u067e\u0648\u0633\u0679 \u067e\u06cc\u0645\u0627\u0626\u0634 \u06a9\u06d2 \u0628\u0627\u0631\u06d2 \u0645\u06cc\u06ba \u0622\u067e \u06a9\u06d2 \u0633\u0648\u0686\u0646\u06d2 \u06a9\u06d2 \u0627\u0646\u062f\u0627\u0632 \u06a9\u0648 \u0628\u062f\u0644 \u062f\u06d2 \u06af\u06cc\u06d4<\/p>\n<p>\u0632\u06cc\u0627\u062f\u06c1 \u062a\u0631 \u0679\u06cc\u0645\u06cc\u06ba \u0627\u0628 \u0628\u06be\u06cc 30 \u062f\u0646 \u06a9\u06cc A\/B \u0679\u06cc\u0633\u0679\u0646\u06af \u0627\u0648\u0631 \u067e\u0633\u0646\u062f \u06a9\u06cc \u0634\u0631\u062d\u0648\u06ba \u06a9\u06d2 \u0630\u0631\u06cc\u0639\u06d2 \u062e\u0635\u0648\u0635\u06cc\u062a \u06a9\u06d2 \u0627\u062b\u0631\u0627\u062a \u06a9\u06cc \u067e\u06cc\u0645\u0627\u0626\u0634 \u06a9\u0631\u062a\u06cc \u06c1\u06cc\u06ba\u06d4 \u06cc\u06c1 \u0646\u0642\u0637\u06c1 \u0646\u0638\u0631 \u0627\u0633 \u0648\u0642\u062a \u062a\u06a9 \u06a9\u0627\u0645 \u06a9\u0631\u062a\u0627 \u06c1\u06d2 \u062c\u0628 \u062a\u06a9 \u06a9\u06c1 \u0622\u067e \u06a9\u0648 \u06cc\u06c1 \u062c\u0627\u0646\u0646\u06d2 \u06a9\u06cc \u0636\u0631\u0648\u0631\u062a \u0646\u06c1 \u06c1\u0648 \u06a9\u06c1 \u0645\u06cc\u0679\u0631\u06a9 \u06a9\u0633\u06cc \u062e\u0635\u0648\u0635\u06cc\u062a \u06a9\u06cc \u0648\u062c\u06c1 \u0633\u06d2 \u0645\u0646\u062a\u0642\u0644 \u06c1\u0648\u0627 \u06cc\u0627 \u0627\u0633\u06cc \u06c1\u0641\u062a\u06d2 \u0645\u06cc\u06ba \u067e\u06cc\u0634 \u0622\u0646\u06d2 \u0648\u0627\u0644\u06d2 \u062f\u0631\u062c\u0646 \u0628\u06be\u0631 \u062f\u06cc\u06af\u0631 \u0645\u0633\u0627\u0626\u0644 \u06a9\u06cc \u0648\u062c\u06c1 \u0633\u06d2\u06d4<\/p>\n<p>\u0646\u06cc\u0686\u06d2 \u062f\u06cc \u06af\u0626\u06cc \u0686\u0627\u0631 \u0679\u06cc\u0645\u0648\u06ba \u06a9\u0648 \u0627\u0633 \u0645\u0633\u0626\u0644\u06d2 \u06a9\u0627 \u0633\u0627\u0645\u0646\u0627 \u06a9\u0631\u0646\u0627 \u067e\u0691\u0627 \u0627\u0633 \u0633\u06d2 \u067e\u06c1\u0644\u06d2 \u06a9\u06c1 \u0632\u06cc\u0627\u062f\u06c1 \u062a\u0631 \u0679\u06cc\u0645\u0648\u06ba \u0646\u06d2 LLM \u0628\u06be\u06cc \u0628\u0646\u0627\u06cc\u0627 \u06c1\u0648\u060c \u0627\u0648\u0631 \u0627\u0646 \u06a9\u06d2 \u0642\u0627\u0626\u0645 \u06a9\u0631\u062f\u06c1 \u067e\u06cc\u0679\u0631\u0646 \u0622\u067e \u0633\u06d2 \u0648\u06c1\u06cc \u063a\u0644\u0637\u06cc \u06a9\u0631\u0646\u06d2 \u0633\u06d2 \u067e\u06c1\u0644\u06d2 \u0633\u0645\u062c\u06be\u0646\u06d2 \u06a9\u06d2 \u0642\u0627\u0628\u0644 \u06c1\u06cc\u06ba\u06d4 \u0645\u06cc\u06ba \u0646\u06d2 \u062f\u06cc\u06a9\u06be\u0627 \u06c1\u06d2 \u06a9\u06c1 \u0679\u06cc\u0645\u06cc\u06ba \u0627\u06cc\u06a9 \u062e\u0635\u0648\u0635\u06cc\u062a \u062c\u0627\u0631\u06cc \u06a9\u0631\u0646\u06d2 \u0645\u06cc\u06ba \u06c1\u0641\u062a\u06d2 \u06af\u0632\u0627\u0631\u062a\u06cc \u06c1\u06cc\u06ba \u0627\u0648\u0631 \u067e\u06be\u0631 \u0627\u0633 \u0628\u062d\u062b \u0645\u06cc\u06ba \u0645\u0632\u06cc\u062f \u06a9\u0626\u06cc \u06c1\u0641\u062a\u06d2 \u06af\u0632\u0627\u0631\u062a\u06cc \u06c1\u06cc\u06ba \u06a9\u06c1 \u0622\u06cc\u0627 \u0646\u0645\u0628\u0631 \u062d\u0642\u06cc\u0642\u06cc \u06c1\u06cc\u06ba\u06d4 \u06cc\u06c1 \u0642\u0627\u0628\u0644 \u06af\u0631\u06cc\u0632 \u06c1\u06d2\u06d4<\/p>\n<p>\u0627\u0646 \u062a\u0646\u0638\u06cc\u0645\u0648\u06ba \u06a9\u06d2 \u0644\u06cc\u06d2\u060c \u0648\u062c\u06c1 \u06a9\u06cc \u067e\u06cc\u0645\u0627\u0626\u0634 \u06a9\u0648\u0626\u06cc \u0633\u0648\u0686\u0627 \u0633\u0645\u062c\u06be\u0627 \u0646\u06c1\u06cc\u06ba \u06c1\u06d2\u060c \u0628\u0644\u06a9\u06c1 \u0645\u0635\u0646\u0648\u0639\u0627\u062a \u06a9\u06d2 \u062a\u062c\u0631\u0628\u0627\u062a \u06a9\u0627 \u0627\u06cc\u06a9 \u0628\u0646\u06cc\u0627\u062f\u06cc \u0639\u0646\u0635\u0631 \u06c1\u06d2 \u062c\u0648 \u0628\u0631\u0627\u06c1 \u0631\u0627\u0633\u062a \u062a\u0639\u06cc\u0646\u0627\u062a\u06cc \u0641\u0646 \u062a\u0639\u0645\u06cc\u0631 \u0645\u06cc\u06ba \u0636\u0645 \u06c1\u0648\u062a\u0627 \u06c1\u06d2\u06d4 \u0627\u0633 \u0645\u0636\u0645\u0648\u0646 \u0645\u06cc\u06ba \u067e\u06cc\u0634 \u06a9\u0631\u062f\u06c1 \u062a\u0631\u06a9\u06cc\u0628 AI \u0645\u0635\u0646\u0648\u0639\u0627\u062a \u06a9\u06d2 \u0633\u0627\u062a\u06be \u062a\u062c\u0631\u0628\u06c1 \u06a9\u0631\u0646\u06d2 \u06a9\u06d2 \u0644\u06cc\u06d2 \u0627\u06cc\u06a9 \u062c\u0627\u0645\u0639 \u0679\u0648\u0644 \u06a9\u0679 \u06a9\u06cc \u062a\u0641\u0635\u06cc\u0644\u0627\u062a \u0641\u0631\u0627\u06c1\u0645 \u06a9\u0631\u062a\u06cc \u06c1\u06d2 \u062c\u06c1\u0627\u06ba \u0631\u0648\u0627\u06cc\u062a\u06cc A\/B \u0679\u06cc\u0633\u0679\u0646\u06af \u0622\u067e \u06a9\u06d2 \u062a\u0639\u06cc\u0646\u0627\u062a\u06cc \u0645\u0627\u0688\u0644 \u0633\u06d2 \u0645\u0637\u0627\u0628\u0642\u062a \u0646\u06c1\u06cc\u06ba \u0631\u06a9\u06be\u062a\u06cc\u06d4<\/p>\n<p>\u0686\u0627\u06c1\u06d2 \u0639\u0627\u0644\u0645\u06cc \u0645\u0627\u0688\u0644 \u0679\u0631\u0627\u0646\u0632\u06cc\u0634\u0646 \u06a9\u0627 \u0627\u0646\u062a\u0638\u0627\u0645 \u06c1\u0648\u060c \u062d\u062f \u067e\u0631 \u0645\u0628\u0646\u06cc \u0631\u0648\u0679\u0646\u06af\u060c \u0645\u0631\u062d\u0644\u06c1 \u0648\u0627\u0631 \u0631\u0648\u0644 \u0622\u0624\u0679\u060c \u06cc\u0627 \u0645\u0634\u0627\u06c1\u062f\u0627\u062a\u06cc \u0622\u067e\u0679 \u0627\u0646 \u0688\u06cc\u0679\u0627\u060c \u06c1\u0631 \u0645\u0646\u0638\u0631 \u0646\u0627\u0645\u06d2 \u06a9\u06d2 \u0644\u06cc\u06d2 \u0627\u06cc\u06a9 \u0645\u062e\u0635\u0648\u0635 \u0637\u0631\u06cc\u0642\u06c1 \u06a9\u0627\u0631 \u06a9\u06cc \u0636\u0631\u0648\u0631\u062a \u06c1\u0648\u062a\u06cc \u06c1\u06d2\u06d4 \u0627\u0633 \u0679\u0648\u0644 \u06a9\u0679 \u06a9\u0648 \u0627\u0633\u062a\u0639\u0645\u0627\u0644 \u06a9\u0631\u0646\u06d2 \u0645\u06cc\u06ba \u0646\u0627\u06a9\u0627\u0645\u06cc \u06a9\u0627 \u0646\u062a\u06cc\u062c\u06c1 \u0627\u0628\u06c1\u0627\u0645 \u0633\u06d2 \u0632\u06cc\u0627\u062f\u06c1 \u06c1\u06d2\u06d4 \u0627\u0633 \u06a9\u0627 \u0645\u0637\u0644\u0628 \u06cc\u06c1 \u06c1\u06d2 \u06a9\u06c1 \u0645\u0628\u06c1\u0645 \u0627\u0639\u062f\u0627\u062f \u0648 \u0634\u0645\u0627\u0631 \u06a9\u06cc \u0628\u0646\u06cc\u0627\u062f \u067e\u0631 \u067e\u0631\u0648\u0688\u06a9\u0679 \u06a9\u06d2 \u0641\u06cc\u0635\u0644\u06d2 \u06a9\u0631\u0646\u0627\u060c \u062c\u0648 \u0628\u0627\u0644\u06a9\u0644 \u0628\u06be\u06cc \u067e\u06cc\u0645\u0627\u0626\u0634 \u0646\u06c1 \u06a9\u0631\u0646\u06d2 \u0633\u06d2 \u06a9\u06c1\u06cc\u06ba \u0632\u06cc\u0627\u062f\u06c1 \u0646\u0642\u0635\u0627\u0646 \u062f\u06c1 \u06c1\u06d2\u06d4<\/p>\n<h2 id=\"heading-table-of-contents\">\u0627\u0646\u0688\u06cc\u06a9\u0633<\/h2>\n<p>\u0627\u0633 \u0645\u0636\u0645\u0648\u0646 \u06a9\u06d2 \u062a\u0645\u0627\u0645 \u06a9\u0648\u0688 \u0628\u0644\u0627\u06a9\u0633 \u062f\u0631\u062c \u0630\u06cc\u0644 \u0633\u0627\u062a\u06be\u06cc \u0646\u0648\u0679 \u0628\u06a9 \u0645\u06cc\u06ba \u0622\u062e\u0631 \u0633\u06d2 \u0622\u062e\u0631 \u062a\u06a9 \u0686\u0644\u0627\u0626\u06d2 \u062c\u0627\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4 <code>product-experimentation-causal-inference-genai-llm\/tree\/main\/13_case_studies\/<\/code>. \u0646\u0648\u0679 \u0628\u06a9: <code>case_studies_demo.ipynb<\/code>.<\/p>\n<h2 id=\"heading-prerequisites\">\u0634\u0631\u0637\u06cc\u06ba<\/h2>\n<p>\u0622\u067e \u06a9\u0648 \u062f\u0631\u062c \u0630\u06cc\u0644 \u06a9\u06cc \u0636\u0631\u0648\u0631\u062a \u06c1\u0648\u06af\u06cc:<\/p>\n<ul>\n<li>\n<p>Python 3.11 \u06cc\u0627 \u0627\u0633 \u0633\u06d2 \u0632\u06cc\u0627\u062f\u06c1<\/p>\n<\/li>\n<li>\n<p>\u067e\u0627\u0646\u0688\u0648\u06ba \u06a9\u06d2 \u0633\u0627\u062a\u06be \u0622\u0631\u0627\u0645\u060c \u0627\u0633\u06a9\u0650\u0679 \u0644\u0631\u0646\u060c \u0627\u0648\u0631 \u0628\u0646\u06cc\u0627\u062f\u06cc \u0631\u062c\u0639\u062a<\/p>\n<\/li>\n<li>\n<p>causal inference \u06a9\u06d2 \u0637\u0631\u06cc\u0642\u0648\u06ba \u06a9\u06d2 \u0628\u0627\u0631\u06d2 \u0645\u06cc\u06ba \u067e\u06c1\u0644\u06d2 \u067e\u0691\u06be\u0646\u06d2 \u06a9\u06cc \u0636\u0631\u0648\u0631\u062a \u0646\u06c1\u06cc\u06ba \u06c1\u06d2\u06d4 \u06c1\u0631 \u06a9\u06cc\u0633 \u0627\u0633\u0679\u0688\u06cc \u0679\u06cc\u06a9\u0646\u0627\u0644\u0648\u062c\u06cc \u0627\u0646 \u0644\u0627\u0626\u0646 \u06a9\u06cc \u0648\u0636\u0627\u062d\u062a \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u06d4<\/p>\n<\/li>\n<\/ul>\n<p>\u0627\u0633 \u0645\u0636\u0645\u0648\u0646 \u06a9\u06d2 \u0644\u06cc\u06d2 \u067e\u06cc\u06a9\u062c \u0627\u0646\u0633\u0679\u0627\u0644 \u06a9\u0631\u06cc\u06ba\u06d4<\/p>\n<pre><code class=\"language-bash\">pip install numpy pandas scikit-learn scipy matplotlib\n<\/code><\/pre>\n<p>\u0633\u0627\u062a\u06be\u06cc \u0631\u06cc\u067e\u0648\u0632\u0679\u0631\u06cc \u06a9\u0648 \u06a9\u0644\u0648\u0646 \u06a9\u0631\u06cc\u06ba \u0627\u0648\u0631 \u0627\u06cc\u06a9 \u0645\u0634\u062a\u0631\u06a9\u06c1 \u0688\u06cc\u0679\u0627\u0633\u06cc\u0679 \u0628\u0646\u0627\u0626\u06cc\u06ba\u06d4<\/p>\n<pre><code class=\"language-bash\">git clone https:\/\/github.com\/RudrenduPaul\/product-experimentation-causal-inference-genai-llm.git\ncd product-experimentation-causal-inference-genai-llm\npython data\/generate_data.py --seed 42 --n-users 50000 --out data\/synthetic_llm_logs.csv\n<\/code><\/pre>\n<p>\u0627\u0633 \u0645\u0636\u0645\u0648\u0646 \u06a9\u06d2 \u0686\u0627\u0631\u0648\u06ba \u06a9\u06cc\u0633 \u0627\u0633\u0679\u0688\u06cc \u06a9\u0648\u0688 \u0628\u0644\u0627\u06a9\u0633 \u0627\u067e\u0646\u06cc \u0641\u0627\u0626\u0644\u0648\u06ba \u06a9\u0648 \u0627\u0633\u062a\u0639\u0645\u0627\u0644 \u06a9\u0631\u062a\u06d2 \u06c1\u0648\u0626\u06d2 \u0644\u0648\u0688 \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba: <code>pd.read_csv(\"data\/synthetic_llm_logs.csv\")<\/code>. \u0688\u06cc\u0679\u0627\u0633\u06cc\u0679 \u0645\u06cc\u06ba 50,000 \u0642\u0637\u0627\u0631\u06cc\u06ba \u0627\u0648\u0631 16 \u06a9\u0627\u0644\u0645 \u06c1\u06cc\u06ba \u062c\u0646 \u0645\u06cc\u06ba \u0635\u0627\u0631\u0641 ID\u060c \u0633\u06cc\u0634\u0646 \u06a9\u0627 \u0631\u0648\u06cc\u06c1\u060c \u0627\u0648\u0631 \u0645\u0627\u0688\u0644 \u0645\u06cc\u0679\u0627 \u0688\u06cc\u0679\u0627 \u06c1\u06d2\u06d4 <code>user_id<\/code>, <code>session_minutes<\/code>, <code>task_completed<\/code>, <code>model_used<\/code>, <code>latency_ms<\/code>\u0627\u0648\u0631 <code>query_complexity<\/code>\u062e\u0627\u0635 \u0637\u0648\u0631 \u067e\u0631<\/p>\n<h2 id=\"heading-why-production-ai-measurement-is-harder-than-it-looks\">\u067e\u06cc\u062f\u0627\u0648\u0627\u0631 AI \u06a9\u06cc \u067e\u06cc\u0645\u0627\u0626\u0634 \u06a9\u0631\u0646\u0627 \u0627\u0633 \u0633\u06d2 \u06a9\u06c1\u06cc\u06ba \u0632\u06cc\u0627\u062f\u06c1 \u0645\u0634\u06a9\u0644 \u06a9\u06cc\u0648\u06ba \u06c1\u06d2\u06d4<\/h2>\n<p>AI \u0635\u0644\u0627\u062d\u06cc\u062a\u0648\u06ba \u06a9\u06d2 \u0627\u062b\u0631\u0627\u062a \u06a9\u06cc \u067e\u06cc\u0645\u0627\u0626\u0634 \u06a9\u0631\u0646\u06d2 \u06a9\u06d2 \u0628\u0627\u0631\u06d2 \u0645\u06cc\u06ba \u0645\u0639\u06cc\u0627\u0631\u06cc \u06a9\u06c1\u0627\u0646\u06cc \u06a9\u0686\u06be \u06cc\u0648\u06ba \u06c1\u06d2: A\/B \u0679\u06cc\u0633\u0679 \u0686\u0644\u0627\u0626\u06cc\u06ba \u0627\u0648\u0631 \u0631\u067e\u0648\u0631\u0679 \u0644\u0641\u0679 \u06a9\u0631\u06cc\u06ba\u06d4 \u0627\u06af\u0631 \u067e\u06cc \u0648\u06cc\u0644\u06cc\u0648 0.05 \u0633\u06d2 \u06a9\u0645 \u06c1\u06d2 \u062a\u0648 \u0627\u0633\u06d2 \u0628\u06be\u06cc\u062c \u062f\u06cc\u0627 \u062c\u0627\u0626\u06d2 \u06af\u0627\u06d4 \u0644\u06cc\u06a9\u0646 \u06cc\u06c1 \u06a9\u06c1\u0627\u0646\u06cc \u062a\u06cc\u0646 \u062c\u06af\u06c1\u0648\u06ba \u067e\u0631 \u0645\u062e\u062a\u0644\u0641 \u06c1\u06d2\u06d4<\/p>\n<p>\u0633\u0628 \u0633\u06d2 \u067e\u06c1\u0644\u06d2\u060c \u0631\u06cc\u0646\u0688\u0645\u0627\u0626\u0632\u06cc\u0634\u0646 \u06c1\u0645\u06cc\u0634\u06c1 \u0645\u0645\u06a9\u0646 \u0646\u06c1\u06cc\u06ba \u06c1\u06d2. \u0627\u0646\u0679\u0631\u067e\u0631\u0627\u0626\u0632 SaaS \u067e\u0631\u0648\u0688\u06a9\u0679\u0633 A\/B \u0679\u06cc\u0633\u0679\u0646\u06af \u0645\u06cc\u06ba \u0641\u0631\u0636 \u06a9\u06cc\u06d2 \u06af\u0626\u06d2 \u0627\u0646\u0641\u0631\u0627\u062f\u06cc \u0635\u0627\u0631\u0641 \u06a9\u0648\u0627\u0626\u0646 \u0641\u0644\u067e\u0633 \u06a9\u0648 \u0646\u0638\u0631\u0627\u0646\u062f\u0627\u0632 \u06a9\u0631\u062a\u06d2 \u06c1\u0648\u0626\u06d2 AI \u062e\u0635\u0648\u0635\u06cc\u0627\u062a \u06a9\u0648 \u062a\u0631\u062a\u06cc\u0628 \u0648\u0627\u0631 \u06a9\u0627\u0645 \u06a9\u06cc \u062c\u06af\u06c1 \u067e\u0631 \u0644\u0627\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4 \u06a9\u0646\u0632\u06cc\u0648\u0645\u0631 \u067e\u0631\u0648\u0688\u06a9\u0679\u0633 \u0641\u06cc\u0686\u0631\u0632 \u06a9\u0648 \u0631\u06cc\u062c\u0646\u060c \u06a9\u0648\u06c1\u0648\u0631\u0679 \u06cc\u0627 \u067e\u0644\u06cc\u0679 \u0641\u0627\u0631\u0645 \u06a9\u06d2 \u0644\u062d\u0627\u0638 \u0633\u06d2 \u0628\u062a\u062f\u0631\u06cc\u062c \u0631\u0648\u0644 \u0622\u0624\u0679 \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4 \u062d\u0641\u0627\u0638\u062a \u0633\u06d2 \u0645\u062a\u0639\u0644\u0642 \u062d\u0633\u0627\u0633 \u062e\u0635\u0648\u0635\u06cc\u0627\u062a \u0635\u0627\u0631\u0641\u06cc\u0646 \u06a9\u06d2 \u0633\u0628 \u0633\u06cc\u0679 \u06a9\u0648 \u0641\u0631\u0627\u06c1\u0645 \u06a9\u06cc \u062c\u0627\u062a\u06cc \u06c1\u06cc\u06ba \u062c\u0646 \u06a9\u0627 \u0631\u0633\u06a9 \u067e\u0631\u0648\u0641\u0627\u0626\u0644 \u062d\u062f \u0633\u06d2 \u06af\u0632\u0631\u062a\u0627 \u06c1\u06d2\u06d4<\/p>\n<p>\u0627\u06af\u0631 \u0631\u06cc\u0646\u0688\u0645\u0627\u0626\u0632\u06cc\u0634\u0646 \u0646\u06c1\u06cc\u06ba \u06c1\u0648\u062a\u06cc \u06c1\u06d2\u060c \u062a\u0648 \u0622\u067e \u06a9\u06cc A\/B \u0679\u06cc\u0633\u0679\u0646\u06af \u0645\u0646\u0637\u0642 \u0646\u0627\u06a9\u0627\u0645 \u06c1\u0648 \u062c\u0627\u0626\u06d2 \u06af\u06cc\u06d4 \u0622\u067e \u063a\u06cc\u0631 \u0628\u06d2 \u062a\u0631\u062a\u06cc\u0628 \u0688\u06cc\u0679\u0627 \u067e\u0631 \u0627\u06cc\u06a9 \u06c1\u06cc \u062a\u062c\u0632\u06cc\u06c1 \u0646\u06c1\u06cc\u06ba \u0686\u0644\u0627 \u0633\u06a9\u062a\u06d2 \u0627\u0648\u0631 \u062a\u062e\u0645\u06cc\u0646\u0648\u06ba \u06a9\u06d2 \u0645\u0639\u0646\u06cc \u062e\u06cc\u0632 \u06c1\u0648\u0646\u06d2 \u06a9\u06cc \u062a\u0648\u0642\u0639 \u0646\u06c1\u06cc\u06ba \u06a9\u0631 \u0633\u06a9\u062a\u06d2\u06d4 \u06a9\u0646\u0641\u0627\u0624\u0646\u0688\u0631\u0632 \u062c\u0648 \u062e\u0635\u0644\u062a \u06a9\u06d2 \u0648\u0635\u0648\u0644 \u06a9\u0646\u0646\u062f\u06c1 \u0627\u0648\u0631 \u0627\u0646 \u06a9\u0627 \u0628\u0631\u062a\u0627\u0624 \u062f\u0648\u0646\u0648\u06ba \u06a9\u06d2 \u0633\u0627\u062a\u06be \u0645\u0646\u0633\u0644\u06a9 \u06c1\u0648\u062a\u06d2 \u06c1\u06cc\u06ba \u0648\u06c1 \u0627\u06a9\u062b\u0631 \u06a9\u0633\u06cc \u0628\u06be\u06cc \u06af\u062a\u0627\u0646\u06a9 \u06a9\u06cc \u0637\u0631\u0641\u062f\u0627\u0631\u06cc \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba \u062c\u0633 \u06a9\u0627 \u06c1\u0645 \u0627\u0633 \u062e\u0627\u0635\u06cc\u062a \u06a9\u0648 \u0686\u067e\u0679\u0627 \u06a9\u0631\u0646\u06d2 \u06a9\u06d2 \u0644\u06cc\u06d2 \u062d\u0633\u0627\u0628 \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4<\/p>\n<p>\u062f\u0648\u0633\u0631\u0627\u060c \u0642\u0644\u06cc\u0644 \u0645\u062f\u062a\u06cc \u0627\u0634\u0627\u0631\u06d2 \u06c1\u0645\u06cc\u0634\u06c1 \u0637\u0648\u06cc\u0644 \u0645\u062f\u062a\u06cc \u0642\u062f\u0631 \u06a9\u06cc \u067e\u06cc\u0634 \u06af\u0648\u0626\u06cc \u0646\u06c1\u06cc\u06ba \u06a9\u0631\u062a\u06d2\u06d4 \u0627\u06cc\u06a9 \u0641\u0648\u0631\u06cc \u062a\u0628\u062f\u06cc\u0644\u06cc \u062c\u0648 \u0622\u062c \u0622\u067e \u06a9\u06cc \u067e\u0633\u0646\u062f \u06a9\u06cc \u062f\u0631\u062c\u06c1 \u0628\u0646\u062f\u06cc \u0645\u06cc\u06ba 8 \u067e\u0648\u0627\u0626\u0646\u0679\u0633 \u06a9\u0627 \u0627\u0636\u0627\u0641\u06c1 \u06a9\u0631\u062a\u06cc \u06c1\u06d2 \u0648\u06c1 AI \u0645\u0639\u0627\u0648\u0646\u06cc\u0646 \u067e\u0631 \u0635\u0627\u0631\u0641 \u06a9\u06d2 \u0627\u0646\u062d\u0635\u0627\u0631 \u06a9\u0648 \u0628\u0691\u06be\u0627 \u0633\u06a9\u062a\u06cc \u06c1\u06d2 \u0627\u0648\u0631 \u062a\u06cc\u0646 \u0645\u0627\u06c1 \u06a9\u06d2 \u0644\u06cc\u06d2 \u0645\u0646\u062d\u0631\u0641 \u06c1\u0648 \u0633\u06a9\u062a\u06cc \u06c1\u06d2\u06d4 \u0645\u0627\u0688\u0644 \u0631\u0648\u0679\u0646\u06af \u06a9\u06cc \u062a\u0628\u062f\u06cc\u0644\u06cc\u0627\u06ba \u062c\u0648 \u0627\u0633 \u06c1\u0641\u062a\u06d2 \u06a9\u0627\u0645 \u06a9\u06cc \u062a\u06a9\u0645\u06cc\u0644 \u06a9\u0648 \u0628\u06c1\u062a\u0631 \u06a9\u0631\u062a\u06cc \u06c1\u06cc\u06ba\u060c \u0627\u06af\u0644\u06cc \u0633\u06c1 \u0645\u0627\u06c1\u06cc \u0645\u06cc\u06ba \u0646\u0626\u06cc \u200b\u200b\u0627\u0633\u062a\u0641\u0633\u0627\u0631\u0627\u062a \u06a9\u06cc \u062a\u0639\u06cc\u0646\u0627\u062a\u06cc\u0648\u06ba \u06a9\u06d2 \u0633\u0627\u0645\u0646\u06d2 \u0622\u0646\u06d2 \u06a9\u06d2 \u0628\u0639\u062f \u062a\u0646\u0632\u0644\u06cc \u06a9\u0627 \u0634\u06a9\u0627\u0631 \u06c1\u0648 \u0633\u06a9\u062a\u06cc \u06c1\u06cc\u06ba\u06d4<\/p>\n<p>\u0627\u0628\u062a\u062f\u0627\u0626\u06cc \u0637\u0648\u0631 \u067e\u0631\u060c \u06cc\u06c1 \u0641\u0631\u0636 \u06a9\u06cc\u0627 \u06af\u06cc\u0627 \u062a\u06be\u0627 \u06a9\u06c1 \u0642\u0644\u06cc\u0644 \u0645\u062f\u062a\u06cc \u067e\u0631\u0627\u06a9\u0633\u06cc\u0632 \u0637\u0648\u06cc\u0644 \u0645\u062f\u062a\u06cc \u0631\u062c\u062d\u0627\u0646\u0627\u062a \u06a9\u0648 \u0642\u0627\u0628\u0644 \u0627\u0639\u062a\u0645\u0627\u062f \u0637\u0631\u06cc\u0642\u06d2 \u0633\u06d2 \u0638\u0627\u06c1\u0631 \u06a9\u0631\u06cc\u06ba \u06af\u06cc\u060c \u0644\u06cc\u06a9\u0646 \u0648\u06c1 \u0645\u0633\u0644\u0633\u0644 \u0627\u06cc\u0633\u0627 \u06a9\u0631\u0646\u06d2 \u0645\u06cc\u06ba \u0646\u0627\u06a9\u0627\u0645 \u0631\u06c1\u06d2\u06d4 \u0642\u0644\u06cc\u0644 \u0645\u062f\u062a\u06cc A\/B \u0679\u06cc\u0633\u0679\u0646\u06af \u06a9\u06cc \u062d\u062f \u06cc\u06c1 \u06c1\u06d2 \u06a9\u06c1 \u06cc\u06c1 \u0641\u0648\u0631\u06cc \u0645\u06cc\u0679\u0631\u06a9\u0633 \u0645\u06cc\u06ba \u062a\u0628\u062f\u06cc\u0644\u06cc\u0648\u06ba \u067e\u0631 \u062a\u0648\u062c\u06c1 \u0645\u0631\u06a9\u0648\u0632 \u06a9\u0631\u062a\u0627 \u06c1\u06d2 \u0627\u0648\u0631 \u06cc\u06c1 \u067e\u06c1\u0686\u0627\u0646\u0646\u06d2 \u0645\u06cc\u06ba \u0646\u0627\u06a9\u0627\u0645 \u0631\u06c1\u062a\u0627 \u06c1\u06d2 \u06a9\u06c1 \u0622\u062e\u0631 \u06a9\u0627\u0631 \u0633\u0628 \u0633\u06d2 \u0627\u06c1\u0645 \u06a9\u06cc\u0627 \u06c1\u06d2: \u0646\u06cc\u0686\u06d2 \u062f\u06be\u0627\u0631\u06d2 \u0645\u06cc\u06ba \u0635\u0627\u0631\u0641 \u06a9\u06d2 \u0631\u0648\u06cc\u06d2 \u0645\u06cc\u06ba \u062a\u0628\u062f\u06cc\u0644\u06cc\u0627\u06ba\u06d4<\/p>\n<p>\u0622\u062e\u0631 \u0645\u06cc\u06ba\u060c \u0645\u0634\u0627\u06c1\u062f\u0627\u062a\u06cc \u0627\u0639\u062f\u0627\u062f \u0648 \u0634\u0645\u0627\u0631 \u0646\u0627\u06af\u0632\u06cc\u0631 \u06c1\u06cc\u06ba. A\/B \u0679\u06cc\u0633\u0679\u0646\u06af \u067e\u0631\u0648\u0688\u06a9\u0679 \u06a9\u06d2 \u0641\u06cc\u0635\u0644\u0648\u06ba \u06a9\u06cc \u0627\u06cc\u06a9 \u062a\u0646\u06af \u0631\u06cc\u0646\u062c \u06a9\u0648 \u062d\u0644 \u06a9\u0631\u062a\u06cc \u06c1\u06d2\u06d4 \u0631\u0648\u0679\u0646\u06af \u062a\u06be\u0631\u06cc\u0634\u0648\u0644\u0688 \u062a\u0628\u062f\u06cc\u0644\u06cc\u0627\u06ba \u0686\u06be \u0645\u0627\u06c1 \u0642\u0628\u0644 \u062c\u0627\u0631\u06cc \u06a9\u06cc \u06af\u0626\u06cc\u06ba\u060c Q3 \u0645\u06cc\u06ba \u0645\u0627\u0688\u0644 \u0648\u0646\u0679\u06cc\u062c \u0633\u0648\u06cc\u067e\u060c \u06cc\u0627 \u0648\u06c1 \u0635\u0627\u0631\u0641\u06cc\u0646 \u062c\u0646\u06c1\u0648\u06ba \u0646\u06d2 \u06af\u06cc\u0679 \u0628\u0646\u062f \u06c1\u0648\u0646\u06d2 \u0633\u06d2 \u067e\u06c1\u0644\u06d2 \u0627\u06cc\u062c\u0646\u0679 \u0645\u0648\u0688 \u06a9\u0627 \u0627\u0646\u062a\u062e\u0627\u0628 \u06a9\u06cc\u0627: \u0627\u0646 \u0645\u06cc\u06ba \u0633\u06d2 \u06a9\u0648\u0626\u06cc \u0628\u06be\u06cc \u062d\u0642\u06cc\u0642\u062a \u06a9\u06d2 \u0628\u0639\u062f \u062a\u062c\u0631\u0628\u0627\u062a \u06a9\u06d2 \u0637\u0648\u0631 \u067e\u0631 \u0646\u06c1\u06cc\u06ba \u0686\u0644\u0627\u06cc\u0627 \u062c\u0627 \u0633\u06a9\u062a\u0627\u06d4<\/p>\n<p>\u0627\u06cc\u0633\u06d2 \u0633\u0633\u0679\u0645\u0632 \u06a9\u06d2 \u0644\u06cc\u06d2 \u062c\u0646 \u06a9\u06d2 \u0644\u06cc\u06d2 \u067e\u06cc\u0686\u06be\u06d2 \u0645\u0691 \u06a9\u0631 \u062f\u06cc\u06a9\u06be\u0646\u06d2 \u06a9\u06cc \u0636\u0631\u0648\u0631\u062a \u06c1\u0648\u062a\u06cc \u06c1\u06d2\u060c \u06cc\u0627 \u0627\u06cc\u0633\u06d2 \u0641\u06cc\u0635\u0644\u0648\u06ba \u06a9\u0648 \u0631\u0648\u0679 \u06a9\u0631\u0646\u0627 \u062c\u0648 \u0627\u062e\u0644\u0627\u0642\u06cc \u0637\u0648\u0631 \u067e\u0631 \u062a\u0635\u0627\u062f\u0641\u06cc \u0637\u0648\u0631 \u067e\u0631 \u0646\u06c1\u06cc\u06ba \u06a9\u06cc\u06d2 \u062c\u0627 \u0633\u06a9\u062a\u06d2\u060c \u06c1\u0645 \u06a9\u0633\u06cc \u0645\u062a\u0628\u0627\u062f\u0644 \u062a\u062c\u0631\u0628\u0627\u062a\u06cc \u0688\u06cc\u0632\u0627\u0626\u0646 \u06a9\u06d2 \u0628\u063a\u06cc\u0631 \u0645\u0634\u0627\u06c1\u062f\u0627\u062a\u06cc \u0644\u0627\u06af\u0632 \u06a9\u06d2 \u0633\u0627\u062a\u06be \u06a9\u0627\u0645 \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4<\/p>\n<p>\u0645\u0634\u0627\u06c1\u062f\u0627\u062a\u06cc \u06a9\u0627\u0632\u0644 \u0627\u0646\u0641\u0631\u0646\u0633 \u0627\u06cc\u06a9 \u0645\u062a\u0628\u0627\u062f\u0644 \u0646\u06c1\u06cc\u06ba \u06c1\u06d2\u06d4 \u06cc\u06c1 \u0627\u06cc\u06a9 \u0628\u0646\u06cc\u0627\u062f\u06cc \u0642\u0627\u0628\u0644\u06cc\u062a \u06c1\u06d2\u060c \u0627\u0648\u0631 \u062c\u0648 \u0679\u06cc\u0645\u06cc\u06ba \u0627\u0633\u06d2 \u0627\u062e\u062a\u06cc\u0627\u0631\u06cc \u0633\u0645\u062c\u06be\u062a\u06cc \u06c1\u06cc\u06ba \u0648\u06c1 \u0645\u0634\u06a9\u0644 \u0631\u0627\u0633\u062a\u06c1 \u062a\u0644\u0627\u0634 \u06a9\u0631\u062a\u06cc \u06c1\u06cc\u06ba \u062c\u0628 \u0627\u0633\u0679\u06cc\u06a9 \u06c1\u0648\u0644\u0688\u0631\u0632 \u067e\u0648\u0686\u06be\u062a\u06d2 \u06c1\u06cc\u06ba \u06a9\u06c1 \u067e\u0686\u06be\u0644\u06cc \u0633\u06c1 \u0645\u0627\u06c1\u06cc \u06a9\u06d2 \u0644\u0627\u0646\u0686 \u0646\u0645\u0628\u0631\u0648\u06ba \u06a9\u06cc \u062c\u0627\u0646\u0686 \u067e\u0691\u062a\u0627\u0644 \u06a9\u06cc\u0648\u06ba \u0646\u06c1\u06cc\u06ba \u06c1\u0648\u062a\u06cc \u06c1\u06d2\u06d4<\/p>\n<p>\u0646\u06cc\u0686\u06d2 \u062f\u06cc \u06af\u0626\u06cc \u0686\u0627\u0631 \u0679\u06cc\u0645\u0648\u06ba \u0645\u06cc\u06ba \u0633\u06d2 \u06c1\u0631 \u0627\u06cc\u06a9 \u0646\u06d2 \u0627\u06cc\u06a9 \u0627\u06cc\u0633\u0627 \u0646\u0638\u0627\u0645 \u0628\u0646\u0627\u06cc\u0627 \u06c1\u06d2 \u062c\u0648 \u0627\u0646 \u062a\u06cc\u0646\u0648\u06ba \u0645\u06cc\u06ba \u0633\u06d2 \u0627\u06cc\u06a9 \u06cc\u0627 \u0632\u06cc\u0627\u062f\u06c1 \u0645\u0633\u0627\u0626\u0644 \u06a9\u0648 \u062d\u0644 \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u06d4<\/p>\n<h2 id=\"heading-case-study-1-airbnbs-future-value-framework\">\u06a9\u06cc\u0633 \u0627\u0633\u0679\u0688\u06cc 1: Airbnb \u06a9\u0627 \u0641\u06cc\u0648\u0686\u0631 \u0648\u06cc\u0644\u06cc\u0648 \u0641\u0631\u06cc\u0645 \u0648\u0631\u06a9<\/h2>\n<h3 id=\"heading-short-term-ab-tests-miss-the-behavioral-change-that-matters\">\u0642\u0644\u06cc\u0644 \u0645\u062f\u062a\u06cc A\/B \u0679\u06cc\u0633\u0679\u0646\u06af \u0631\u0648\u06cc\u06d2 \u0645\u06cc\u06ba \u0627\u06c1\u0645 \u062a\u0628\u062f\u06cc\u0644\u06cc\u0648\u06ba \u0633\u06d2 \u0645\u062d\u0631\u0648\u0645 \u06c1\u06d2\u06d4<\/h3>\n<p>\u062c\u06cc\u0633\u0627 \u06a9\u06c1 \u062c\u06cc\u0646\u06cc \u0686\u0646 \u0646\u06d2 Airbnb \u0679\u06cc\u06a9\u0646\u0627\u0644\u0648\u062c\u06cc \u0628\u0644\u0627\u06af \u067e\u0648\u0633\u0679 \u0645\u06cc\u06ba \u0648\u0636\u0627\u062d\u062a \u06a9\u06cc \u06c1\u06d2 \u06a9\u06c1 &quot;Airbnb \u0645\u0633\u062a\u0642\u0628\u0644 \u06a9\u06cc \u0642\u062f\u0631 \u06a9\u0648 \u0645\u0639\u06cc\u0627\u0631\u06cc \u0628\u0646\u0627\u0646\u06d2 \u06a9\u06d2 \u0644\u06cc\u06d2 \u06a9\u0633 \u0637\u0631\u062d \u067e\u06cc\u0645\u0627\u0626\u0634 \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u060c&#8221; Airbnb \u06a9\u06cc \u0627\u0646\u062c\u06cc\u0646\u0626\u0631\u0646\u06af \u0679\u06cc\u0645 \u06a9\u0648 \u0627\u067e\u0646\u06d2 \u062a\u062c\u0631\u0628\u0627\u062a\u06cc \u0627\u0646\u0641\u0631\u0627\u0633\u0679\u0631\u06a9\u0686\u0631 \u06a9\u06d2 \u0633\u0627\u062a\u06be \u0627\u06cc\u06a9 \u0628\u0646\u06cc\u0627\u062f\u06cc \u0645\u0633\u0626\u0644\u06c1 \u06a9\u0627 \u0633\u0627\u0645\u0646\u0627 \u06a9\u0631\u0646\u0627 \u067e\u0691\u0627\u06d4 \u0645\u0639\u06cc\u0627\u0631\u06cc A\/B \u0679\u06cc\u0633\u0679\u0646\u06af \u062a\u062c\u0631\u0628\u06c1 \u06a9\u06cc \u0645\u062f\u062a \u06a9\u06d2 \u0627\u062e\u062a\u062a\u0627\u0645 \u067e\u0631 \u0646\u062a\u0627\u0626\u062c \u06a9\u06cc \u067e\u06cc\u0645\u0627\u0626\u0634 \u06a9\u0631\u062a\u06cc \u06c1\u06d2 (\u0639\u0627\u0645 \u0637\u0648\u0631 \u067e\u0631 14 \u0633\u06d2 30 \u062f\u0646)\u06d4<\/p>\n<p>\u0645\u0627\u0631\u06a9\u06cc\u0679 \u067e\u0644\u06cc\u0633 \u06a9\u06cc \u062e\u0635\u0648\u0635\u06cc\u0627\u062a \u06a9\u06d2 \u0644\u06cc\u06d2 \u062c\u0648 \u0645\u06c1\u06cc\u0646\u0648\u06ba \u06cc\u0627 \u0633\u0627\u0644\u0648\u06ba \u0645\u06cc\u06ba \u0635\u0627\u0631\u0641 \u06a9\u06d2 \u0631\u0648\u06cc\u06d2 \u06a9\u0648 \u0645\u062a\u0627\u062b\u0631 \u06a9\u0631\u062a\u06cc \u06c1\u06cc\u06ba\u060c \u0648\u06c1 \u0648\u0642\u062a \u0628\u06c1\u062a \u06a9\u0645 \u06c1\u06d2\u06d4 30 \u062f\u0646 \u06a9\u06cc \u0628\u06a9\u0646\u06af \u0645\u06cc\u06ba \u0627\u0636\u0627\u0641\u06c1 \u06a9\u0631\u0646\u06d2 \u06a9\u06cc \u0627\u06c1\u0644\u06cc\u062a \u0627\u06cc\u06a9 \u0627\u06cc\u0633\u06cc \u06a9\u0627\u0631\u0631\u0648\u0627\u0626\u06cc \u06a9\u0648 \u062a\u06cc\u0632 \u06a9\u0631 \u0633\u06a9\u062a\u06cc \u06c1\u06d2 \u062c\u0633\u06d2 \u0635\u0627\u0631\u0641\u06cc\u0646 \u0628\u06c1\u0631\u062d\u0627\u0644\u060c \u0688\u0631\u0627\u0626\u06cc\u0648\u0646\u06af \u0688\u06cc\u0645\u0627\u0646\u0688\u060c \u06cc\u0627 \u062d\u0642\u06cc\u0642\u06cc \u0645\u0639\u0646\u0648\u06ba \u0645\u06cc\u06ba \u0646\u0626\u06cc \u200b\u200b\u0637\u0648\u06cc\u0644 \u0645\u062f\u062a\u06cc \u0645\u0635\u0631\u0648\u0641\u06cc\u062a \u06a9\u0627 \u0627\u0636\u0627\u0641\u06c1 \u06a9\u0631 \u0631\u06c1\u06d2 \u06c1\u0648\u06ba \u06af\u06d2\u06d4 30 \u062f\u0646 \u06a9\u0627 \u0645\u06cc\u0679\u0631\u06a9 \u0627\u0633 \u06a9\u06d2 \u0639\u0644\u0627\u0648\u06c1 \u0646\u06c1\u06cc\u06ba \u0628\u062a\u0627 \u0633\u06a9\u062a\u0627\u06d4<\/p>\n<p>\u0627\u0633 \u06a9\u0627 LLM \u0648\u0631\u0698\u0646 \u062b\u0627\u0646\u0648\u06cc \u0627\u0646\u062d\u0635\u0627\u0631 \u06a9\u0627 \u0645\u0633\u0626\u0644\u06c1 \u06c1\u06d2\u06d4 \u0627\u06cc\u06a9 \u0641\u0648\u0631\u06cc \u062f\u0648\u0628\u0627\u0631\u06c1 \u0688\u06cc\u0632\u0627\u0626\u0646 \u062c\u0648 AI \u0627\u0633\u0633\u0679\u0646\u0679 \u06a9\u0648 \u062f\u0628\u0644\u0627 \u067e\u062a\u0644\u0627 \u0627\u0648\u0631 \u0632\u06cc\u0627\u062f\u06c1 \u067e\u0631 \u0627\u0639\u062a\u0645\u0627\u062f \u0628\u0646\u0627\u062a\u0627 \u06c1\u06d2 \u0639\u0627\u0645 \u0637\u0648\u0631 \u067e\u0631 \u0641\u0648\u0631\u06cc \u0637\u0648\u0631 \u067e\u0631 \u062f\u0631\u062c\u06c1 \u0628\u0646\u062f\u06cc\u0648\u06ba \u0627\u0648\u0631 \u06a9\u0627\u0645 \u06a9\u06cc \u062a\u06a9\u0645\u06cc\u0644 \u06a9\u06cc \u0634\u0631\u062d\u0648\u06ba \u06a9\u06cc \u0637\u0631\u062d \u0628\u0691\u06be \u062c\u0627\u062a\u0627 \u06c1\u06d2\u06d4 \u0635\u0627\u0631\u0641\u06cc\u0646 \u067e\u0631\u0627\u0639\u062a\u0645\u0627\u062f \u0627\u0648\u0631 \u0628\u0631\u0627\u06c1 \u0631\u0627\u0633\u062a \u062c\u0648\u0627\u0628\u0627\u062a \u06a9\u0648 \u062a\u0631\u062c\u06cc\u062d \u062f\u06cc\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4 \u062a\u0627\u06c1\u0645\u060c \u0627\u06af\u0631 \u062f\u0648\u0628\u0627\u0631\u06c1 \u0688\u06cc\u0632\u0627\u0626\u0646 \u06a9\u0631\u0646\u06d2 \u0633\u06d2 \u0635\u0627\u0631\u0641\u06cc\u0646 \u06a9\u0648 \u0622\u0632\u0627\u062f\u0627\u0646\u06c1 \u0637\u0648\u0631 \u067e\u0631 \u0627\u067e\u0646\u06d2 \u062c\u0648\u0627\u0628\u0627\u062a \u06a9\u06cc \u062a\u0635\u062f\u06cc\u0642 \u06a9\u0631\u0646\u06d2 \u06a9\u0627 \u0627\u0645\u06a9\u0627\u0646 \u06a9\u0645 \u06c1\u0648 \u062c\u0627\u062a\u0627 \u06c1\u06d2\u060c \u062a\u0648 \u0627\u0633 \u0633\u06d2 \u06c1\u0645 \u0622\u06c1\u0646\u06af\u06cc \u0627\u0648\u0631 \u0637\u0648\u06cc\u0644 \u0645\u062f\u062a\u06cc \u0627\u0639\u062a\u0645\u0627\u062f \u06a9\u06cc \u0642\u06cc\u0645\u062a \u067e\u0631 \u0642\u0644\u06cc\u0644 \u0645\u062f\u062a\u06cc \u062a\u062c\u0631\u0628\u06c1 \u0628\u06c1\u062a\u0631 \u06c1\u0648 \u0633\u06a9\u062a\u0627 \u06c1\u06d2\u06d4<\/p>\n<p>\u0627\u0633\u0633\u0679\u0646\u0679 \u0646\u06d2 \u062f\u0648 \u0628\u0627\u0631 \u067e\u064f\u0631\u0627\u0639\u062a\u0645\u0627\u062f \u063a\u0644\u0637 \u062c\u0648\u0627\u0628 \u062f\u06cc\u0627\u060c \u0644\u06c1\u0670\u0630\u0627 \u062c\u0628 \u062a\u06a9 \u0635\u0627\u0631\u0641 \u0628\u0627\u06c1\u0631 \u0646\u06a9\u0644\u0646\u0627 \u0634\u0631\u0648\u0639 \u06c1\u0648\u0627\u060c \u0641\u0648\u0631\u06cc \u062a\u0628\u062f\u06cc\u0644\u06cc \u0645\u06cc\u06ba \u06a9\u0627\u0641\u06cc \u0648\u0642\u062a \u0644\u06af\u0627 \u0627\u0648\u0631 \u0627\u06cc\u06af\u0632\u0679 \u0633\u06af\u0646\u0644 \u0633\u06d2 \u06a9\u0648\u0626\u06cc \u0648\u0627\u0636\u062d \u06a9\u0646\u06a9\u0634\u0646 \u0646\u06c1\u06cc\u06ba \u062a\u06be\u0627\u06d4 \u0645\u06cc\u06ba \u0646\u06d2 \u062f\u06cc\u06a9\u06be\u0627 \u06c1\u06d2 \u06a9\u06c1 \u06cc\u06c1 \u062e\u0644\u0627\u0621 \u0679\u06cc\u0645\u0648\u06ba \u06a9\u0648 \u0645\u06c1\u06cc\u0646\u0648\u06ba \u06a9\u06d2 \u062a\u0634\u062e\u06cc\u0635\u06cc \u06a9\u0627\u0645 \u06a9\u0631\u0646\u06d2 \u06a9\u06d2 \u0644\u06cc\u06d2 \u0644\u06cc\u0688 \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba \u062a\u0627\u06a9\u06c1 \u0645\u0648\u0633\u0645\u06cc \u0631\u0648\u06cc\u06d2 \u06a9\u06cc \u0648\u062c\u06c1 \u0633\u06d2 \u0645\u0627\u0688\u0644 \u0627\u067e\u0688\u06cc\u0679\u0633 \u0645\u06cc\u06ba \u0641\u0648\u0631\u06cc \u062a\u0628\u062f\u06cc\u0644\u06cc\u0648\u06ba \u06a9\u0648 \u062f\u0648\u0631 \u06a9\u06cc\u0627 \u062c\u0627 \u0633\u06a9\u06d2\u06d4<\/p>\n<h3 id=\"heading-the-framework\">\u0641\u0631\u06cc\u0645 \u0648\u0631\u06a9<\/h3>\n<p>\u0637\u0648\u06cc\u0644 \u0645\u062f\u062a\u06cc \u0646\u062a\u0627\u0626\u062c \u06a9\u0627 \u0627\u0646\u062a\u0638\u0627\u0631 \u06a9\u0631\u0646\u06d2 \u06a9\u06cc \u0636\u0631\u0648\u0631\u062a \u0646\u06c1\u06cc\u06ba \u06c1\u06d2\u06d4 \u067e\u0686\u06be\u0644\u06d2 \u06af\u0631\u0648\u06c1\u0648\u06ba \u0633\u06d2\u060c \u06c1\u0645\u06cc\u06ba \u06cc\u06c1 \u0645\u0639\u0644\u0648\u0645 \u06a9\u0631\u0646\u06d2 \u06a9\u06cc \u0636\u0631\u0648\u0631\u062a \u06c1\u06d2 \u06a9\u06c1 \u06a9\u0648\u0646 \u0633\u06d2 \u0642\u0644\u06cc\u0644 \u0645\u062f\u062a\u06cc \u0633\u06af\u0646\u0644\u0632 \u0642\u0627\u0628\u0644 \u0627\u0639\u062a\u0645\u0627\u062f \u0637\u0648\u0631 \u067e\u0631 \u0637\u0648\u06cc\u0644 \u0645\u062f\u062a\u06cc \u0628\u0631\u0642\u0631\u0627\u0631 \u0631\u06a9\u06be\u0646\u06d2 \u0627\u0648\u0631 \u0648\u0627\u067e\u0633\u06cc \u06a9\u06cc \u067e\u06cc\u0634 \u06af\u0648\u0626\u06cc \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4 Airbnb \u06a9\u0627 \u062d\u0644 \u0642\u0644\u06cc\u0644 \u0645\u062f\u062a\u06cc \u0633\u06af\u0646\u0644\u0632 \u06a9\u0648 \u0645\u062a\u0648\u0642\u0639 \u0637\u0648\u06cc\u0644 \u0645\u062f\u062a\u06cc \u0642\u062f\u0631 \u0645\u06cc\u06ba \u062a\u0628\u062f\u06cc\u0644 \u06a9\u0631\u0646\u06d2 \u06a9\u06d2 \u0644\u06cc\u06d2 \u062a\u0627\u0631\u06cc\u062e\u06cc \u0631\u0634\u062a\u0648\u06ba \u067e\u0631 \u0633\u06cc\u06a9\u06be\u06d2 \u06af\u0626\u06d2 \u067e\u06cc\u0634 \u06af\u0648\u0626\u06cc \u06a9\u0631\u0646\u06d2 \u0648\u0627\u0644\u06d2 \u0645\u0627\u0688\u0644\u0632 \u06a9\u0627 \u0627\u0633\u062a\u0639\u0645\u0627\u0644 \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u06d4<\/p>\n<p>\u0627\u0633 \u062a\u0646\u0627\u0638\u0631 \u0645\u06cc\u06ba\u060c \u0645\u06cc\u0679\u0631\u06a9 \u0627\u06cc\u06a9 &quot;\u0645\u0633\u062a\u0642\u0628\u0644 \u06a9\u06cc \u0642\u062f\u0631&#8221; \u06a9\u0627 \u0633\u06a9\u0648\u0631 \u06c1\u06d2 \u062c\u0648 \u0645\u0648\u062c\u0648\u062f\u06c1 \u0645\u0635\u0631\u0648\u0641\u06cc\u062a \u06a9\u06d2 \u0646\u0645\u0648\u0646\u0648\u06ba \u06a9\u06cc \u0628\u0646\u06cc\u0627\u062f \u067e\u0631 \u0637\u0648\u06cc\u0644 \u0645\u062f\u062a\u06cc \u0628\u06a9\u0646\u06af \u0645\u06cc\u06ba \u0635\u0627\u0631\u0641 \u06a9\u06d2 \u062a\u0639\u0627\u0648\u0646 \u06a9\u0627 \u062a\u062e\u0645\u06cc\u0646\u06c1 \u0644\u06af\u0627\u062a\u0627 \u06c1\u06d2\u06d4 \u0627\u06cc\u06a9 \u0628\u0627\u0631 \u062c\u0628 \u0622\u067e \u06a9\u06d2 \u067e\u0627\u0633 \u0648\u06c1 \u0645\u0627\u0688\u0644 \u06c1\u0648 \u062c\u0627\u0626\u06d2 \u062a\u0648\u060c \u0622\u067e 30-\u062f\u0646 \u06a9\u06d2 \u0627\u0634\u0627\u0631\u06d2 \u06a9\u0648 \u0645\u062a\u0639\u062f\u062f \u0627\u0646 \u067e\u0679 \u0645\u06cc\u06ba \u0633\u06d2 \u0627\u06cc\u06a9 \u06a9\u06d2 \u0637\u0648\u0631 \u067e\u0631 \u0627\u0633\u062a\u0639\u0645\u0627\u0644 \u06a9\u0631\u062a\u06d2 \u06c1\u0648\u0626\u06d2\u060c \u0645\u0633\u062a\u0642\u0628\u0644 \u06a9\u06cc \u0642\u06cc\u0645\u062a \u067e\u0631 \u0627\u0633 \u06a9\u06d2 \u0645\u062a\u0648\u0642\u0639 \u0627\u062b\u0631\u0627\u062a \u06a9\u06cc \u0628\u0646\u06cc\u0627\u062f \u067e\u0631 \u06a9\u0633\u06cc \u0628\u06be\u06cc \u062a\u062c\u0631\u0628\u06d2 \u06a9\u0627 \u0627\u0646\u062f\u0627\u0632\u06c1 \u06a9\u0631 \u0633\u06a9\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4 \u062a\u062c\u0631\u0628\u0627\u062a\u06cc \u0645\u062f\u062a \u06a9\u0648 \u0645\u062e\u062a\u0635\u0631 \u0631\u06a9\u06be\u0627 \u062c\u0627\u062a\u0627 \u06c1\u06d2 \u0627\u0648\u0631 \u062a\u0634\u062e\u06cc\u0635 \u06a9\u06d2 \u0627\u0641\u0642 \u06a9\u0648 \u0627\u0633 \u062d\u062f \u062a\u06a9 \u0628\u0691\u06be\u0627 \u062f\u06cc\u0627 \u062c\u0627\u062a\u0627 \u06c1\u06d2 \u062c\u06c1\u0627\u06ba \u062a\u06a9 \u067e\u06cc\u0634\u06cc\u0646 \u06af\u0648\u0626\u06cc \u06a9\u0631\u0646\u06d2 \u0648\u0627\u0644\u0627 \u0645\u0627\u0688\u0644 \u067e\u06c1\u0646\u0686 \u0633\u06a9\u062a\u0627 \u06c1\u06d2\u06d4<\/p>\n<p>\u062d\u0648\u0627\u0644\u06c1 \u06a9\u06d2 \u0646\u0641\u0627\u0630 \u0645\u06cc\u06ba DiD \u0642\u062f\u0645 \u06a9\u06d2 \u0644\u06cc\u06d2 \u0627\u06cc\u06a9 \u0634\u0646\u0627\u062e\u062a\u06cc \u0645\u0641\u0631\u0648\u0636\u06d2 \u06a9\u06cc \u0636\u0631\u0648\u0631\u062a \u06c1\u0648\u062a\u06cc \u06c1\u06d2: \u0645\u062a\u0648\u0627\u0632\u06cc \u067e\u0631\u06cc \u067e\u0631\u0648\u0633\u06cc\u0633\u0646\u06af \u06a9\u0627 \u0631\u062c\u062d\u0627\u0646\u06d4 \u0641\u06cc\u0686\u0631 \u0631\u06cc\u0644\u06cc\u0632 \u06c1\u0648\u0646\u06d2 \u0633\u06d2 \u067e\u06c1\u0644\u06d2 \u062f\u0648\u0646\u0648\u06ba \u06a9\u0648\u06c1\u0648\u0631\u0679\u0633 \u06a9\u0627 \u0627\u06cc\u06a9 \u06c1\u06cc \u0637\u0631\u0632 \u0639\u0645\u0644 \u067e\u0631 \u06c1\u0648\u0646\u0627 \u0636\u0631\u0648\u0631\u06cc \u06c1\u06d2\u06d4 \u0627\u06af\u0631 Wave 1 \u06a9\u06d2 \u0635\u0627\u0631\u0641\u06cc\u0646 \u062e\u0635\u0648\u0635\u06cc\u062a \u0633\u06d2 \u0642\u0637\u0639 \u0646\u0638\u0631 \u067e\u06c1\u0644\u06d2 \u0633\u06d2 \u06c1\u06cc \u0632\u06cc\u0627\u062f\u06c1 \u0628\u0631\u0642\u0631\u0627\u0631 \u0631\u06a9\u06be\u0646\u06d2 \u06a9\u06cc \u0634\u0631\u062d \u06a9\u06cc \u0637\u0631\u0641 \u0631\u062c\u062d\u0627\u0646 \u06a9\u0631 \u0631\u06c1\u06d2 \u06c1\u06cc\u06ba\u060c \u062a\u0648 DiD \u06a9\u0627 \u062a\u062e\u0645\u06cc\u0646\u06c1 \u0644\u06c1\u0631\u0648\u06ba \u06a9\u06d2 \u062f\u0631\u0645\u06cc\u0627\u0646 \u0645\u0648\u062c\u0648\u062f\u06c1 \u0641\u0631\u0642 \u06a9\u06d2 \u0633\u0627\u062a\u06be \u062e\u0635\u0648\u0635\u06cc\u062a \u06a9\u06d2 \u0627\u062b\u0631\u0627\u062a \u06a9\u0648 \u0645\u0644\u0627\u062a\u0627 \u06c1\u06d2\u06d4 \u0632\u06cc\u0627\u062f\u06c1 \u062a\u0631 \u0679\u06cc\u0645\u06cc\u06ba \u0641\u0631\u0636 \u06a9\u0631\u062a\u06cc \u06c1\u06cc\u06ba \u06a9\u06c1 \u0648\u06c1 \u062a\u0635\u062f\u06cc\u0642 \u06a9\u0648 \u0686\u06be\u0648\u0691 \u062f\u06cc\u062a\u06cc \u06c1\u06cc\u06ba \u06a9\u06cc\u0648\u0646\u06a9\u06c1 \u0627\u0646\u06c1\u06cc\u06ba \u0645\u062f\u062a \u0633\u06d2 \u067e\u06c1\u0644\u06d2 \u0631\u062c\u062d\u0627\u0646\u0627\u062a \u06a9\u06cc \u0645\u0646\u0635\u0648\u0628\u06c1 \u0628\u0646\u062f\u06cc \u06a9\u0631\u0646\u06d2 \u06a9\u06cc \u0636\u0631\u0648\u0631\u062a \u06c1\u0648\u062a\u06cc \u06c1\u06d2\u06d4 \u0627\u0633 \u0645\u06cc\u06ba 20 \u0645\u0646\u0679 \u0644\u06af\u062a\u06d2 \u06c1\u06cc\u06ba \u0627\u0648\u0631 \u0627\u0633 \u0648\u0642\u062a \u062a\u06a9 \u063a\u06cc\u0631 \u0636\u0631\u0648\u0631\u06cc \u0645\u062d\u0633\u0648\u0633 \u06c1\u0648\u062a\u0627 \u06c1\u06d2 \u062c\u0628 \u062a\u06a9 \u06a9\u06c1 \u0646\u062a\u0627\u0626\u062c \u06a9\u0627 \u06a9\u0648\u0626\u06cc \u0645\u0637\u0644\u0628 \u0646\u06c1 \u06c1\u0648\u06d4<\/p>\n<p>LLM \u0679\u06cc\u0645 \u06a9\u06d2 \u0644\u06cc\u06d2\u060c \u0622\u067e \u06a9\u0648 \u062f\u0648 \u0645\u0633\u0627\u0648\u06cc\u0648\u06ba \u06a9\u06cc \u0636\u0631\u0648\u0631\u062a \u06c1\u0648\u06af\u06cc: \u0633\u0628 \u0633\u06d2 \u067e\u06c1\u0644\u06d2\u060c \u0622\u067e \u06a9\u0648 \u0637\u0648\u06cc\u0644 \u0645\u062f\u062a\u06cc \u0635\u0627\u0631\u0641 \u06a9\u06cc \u0642\u062f\u0631 (\u06c1\u0641\u062a\u06c1 7 \u0628\u0631\u0642\u0631\u0627\u0631 \u0631\u06a9\u06be\u0646\u06d2 \u06a9\u06cc \u0634\u0631\u062d \u0627\u0648\u0631 \u0648\u0627\u067e\u0633\u06cc \u06a9\u06cc \u0634\u0631\u062d) \u06a9\u06d2 \u0627\u06c1\u0645 \u0627\u0634\u0627\u0631\u06cc\u0648\u06ba \u06a9\u06cc \u0636\u0631\u0648\u0631\u062a \u06c1\u06d2\u06d4 \u062f\u0648\u0633\u0631\u0627\u060c \u0622\u067e \u06a9\u0648 \u062a\u0627\u0631\u06cc\u062e\u06cc \u0627\u0639\u062f\u0627\u062f \u0648 \u0634\u0645\u0627\u0631 \u06a9\u06cc \u0636\u0631\u0648\u0631\u062a \u06c1\u06d2 \u062c\u0648 \u0627\u0646 \u06a9\u0644\u06cc\u062f\u06cc \u0645\u06cc\u0679\u0631\u06a9\u0633 \u06a9\u0648 \u0637\u0648\u06cc\u0644 \u0645\u062f\u062a\u06cc \u0646\u062a\u0627\u0626\u062c \u0633\u06d2 \u062c\u0648\u0691\u062a\u0627 \u06c1\u06d2 \u062c\u0646 \u06a9\u06cc \u0622\u067e \u0627\u0635\u0644 \u0645\u06cc\u06ba \u067e\u0631\u0648\u0627\u06c1 \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba (\u0622\u0645\u062f\u0646\u06cc \u0627\u0648\u0631 \u0635\u0627\u0631\u0641 \u06a9\u06cc \u0632\u0646\u062f\u06af\u06cc \u0628\u06be\u0631)\u06d4 \u06a9\u0646\u06cc\u06a9\u0679\u06cc\u0648\u06cc\u0679\u06cc \u0645\u0627\u0688\u0644\u0632 \u06a9\u0648 \u0627\u06cc\u06a9 \u0628\u0627\u0631 \u062a\u0627\u0631\u06cc\u062e\u06cc \u0622\u0628\u0627\u062f\u06cc\u0648\u06ba \u067e\u0631 \u062a\u0631\u0628\u06cc\u062a \u062f\u06cc \u062c\u0627\u062a\u06cc \u06c1\u06d2 \u0627\u0648\u0631 \u067e\u06be\u0631 \u0646\u0626\u06d2 \u062a\u062c\u0631\u0628\u0627\u062a \u067e\u0631 \u0644\u0627\u06af\u0648 \u06a9\u06cc\u0627 \u062c\u0627\u062a\u0627 \u06c1\u06d2\u06d4<\/p>\n<h3 id=\"heading-reference-implementation\">\u062d\u0648\u0627\u0644\u06c1 \u06a9\u0627 \u0646\u0641\u0627\u0630<\/h3>\n<p>\u0630\u06cc\u0644 \u06a9\u0627 \u06a9\u0648\u0688 \u0633\u0627\u062e\u062a\u06cc \u067e\u06cc\u0679\u0631\u0646 \u06a9\u0648 \u0638\u0627\u06c1\u0631 \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u06d4 \u0642\u0644\u06cc\u0644 \u0645\u062f\u062a\u06cc \u0633\u06af\u0646\u0644\u0632 \u0633\u06d2\u060c \u06c1\u0645 \u06c1\u0631 \u0635\u0627\u0631\u0641 \u06a9\u06d2 \u0644\u06cc\u06d2 \u0645\u0633\u062a\u0642\u0628\u0644 \u06a9\u06cc \u0648\u06cc\u0644\u06cc\u0648 \u067e\u0631\u0627\u06a9\u0633\u06cc\u0648\u06ba \u06a9\u06cc \u06af\u0646\u062a\u06cc \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba \u0627\u0648\u0631 \u067e\u06be\u0631 \u0641\u0648\u0631\u06cc \u0637\u0648\u0631 \u067e\u0631 \u06a9\u0627\u0645 \u06a9\u06cc \u062a\u06a9\u0645\u06cc\u0644 \u06a9\u06d2 \u0633\u06af\u0646\u0644\u0632 \u06a9\u0648 \u062a\u0628\u062f\u06cc\u0644 \u06a9\u0631\u0646\u06d2 \u06a9\u06d2 \u0644\u06cc\u06d2 \u0627\u0646\u06c1\u06cc\u06ba DiD \u06cc\u0627 IPW \u062a\u062c\u0632\u06cc\u06c1 \u06a9\u06d2 \u0646\u062a\u0627\u0626\u062c \u06a9\u06d2 \u0637\u0648\u0631 \u067e\u0631 \u0627\u0633\u062a\u0639\u0645\u0627\u0644 \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4<\/p>\n<pre><code class=\"language-python\">import pandas as pd\nimport numpy as np\nfrom sklearn.linear_model import LinearRegression\n\n# Synthetic LLM telemetry with retention signal\ndf = pd.read_csv(\"data\/synthetic_llm_logs.csv\")\n\n# Step 1: Train the future-value proxy model on a historical cohort.\n# In production this model is trained on users old enough that\n# their long-term outcome (e.g., 90-day retained revenue) is known.\nhistorical = df[df.signup_week < 10].copy()\n\nfeature_cols = [\"task_completed\", \"thumbs_up\", \"session_minutes\"]\nX_hist = historical[feature_cols].fillna(0)\ny_hist = historical[\"retained_7d\"].values  # 7-day retention as long-term proxy\n\nfv_model = LinearRegression().fit(X_hist, y_hist)\n# R\u00b2 computed on training data; use a holdout cohort in production\nprint(\"Future-value model R\u00b2:\", round(fv_model.score(X_hist, y_hist), 3))\n\n# Step 2: Score all users with the future-value proxy.\nX_all = df[feature_cols].fillna(0)\ndf[\"future_value_score\"] = fv_model.predict(X_all)\n\n# Step 3: Compare future_value_score by wave (this is the real experiment outcome).\nprint(\"nMean future-value score by wave:\")\nprint(df.groupby(\"wave\").future_value_score.mean().round(4))\n\n# Step 4: The DiD effect on future value (rather than on task_completed).\n# This is where you would plug future_value_score into your DiD regression.\nanalysis = df[df.signup_week < 30].copy()\nanalysis[\"post\"] = (analysis.signup_week >= 20).astype(int)\nanalysis[\"treated\"] = (analysis.wave == 1).astype(int)\n\ncells = analysis.groupby([\"treated\", \"post\"]).future_value_score.mean()\ndid_fv = (\n    (cells.loc[(1, 1)] - cells.loc[(1, 0)])\n    - (cells.loc[(0, 1)] - cells.loc[(0, 0)])\n)\nprint(f\"nDiD effect on future-value score: {did_fv:+.4f}\")\n<\/code><\/pre>\n<p><strong>\u0645\u062a\u0648\u0642\u0639 \u067e\u06cc\u062f\u0627\u0648\u0627\u0631:<\/strong><\/p>\n<pre><code class=\"language-text\">Future-value model R\u00b2: 0.024\n\nMean future-value score by wave:\nwave\n1    0.6325\n2    0.6271\nName: future_value_score, dtype: float64\n\nDiD effect on future-value score: +0.0059\n<\/code><\/pre>\n<p>\u06cc\u06c1\u0627\u06ba \u06a9\u06cc\u0627 \u06c1\u0648 \u0631\u06c1\u0627 \u06c1\u06d2: \u06c1\u0645 \u0627\u06cc\u06a9 \u06c1\u0644\u06a9\u06d2 \u0648\u0632\u0646\u06cc \u0644\u06a9\u06cc\u0631\u06cc \u0645\u0627\u0688\u0644 \u06a9\u0648 \u062a\u0627\u0631\u06cc\u062e\u06cc \u06af\u0631\u0648\u06c1\u0648\u06ba \u067e\u0631 \u062a\u0631\u0628\u06cc\u062a \u062f\u06cc\u062a\u06d2 \u06c1\u06cc\u06ba \u062c\u06c1\u0627\u06ba \u0637\u0648\u06cc\u0644 \u0645\u062f\u062a\u06cc \u0646\u062a\u0627\u0626\u062c \u067e\u06c1\u0644\u06d2 \u0633\u06d2 \u06c1\u06cc \u0645\u0639\u0644\u0648\u0645 \u06c1\u0648\u062a\u06d2 \u06c1\u06cc\u06ba\u060c \u0627\u0648\u0631 \u0645\u0633\u062a\u0642\u0628\u0644 \u06a9\u06cc \u0642\u062f\u0631 \u06a9\u06d2 \u0644\u06cc\u06d2 \u067e\u0631\u0627\u06a9\u0633\u06cc \u06a9\u06d2 \u0637\u0648\u0631 \u067e\u0631 \u0642\u0627\u0628\u0644 \u0645\u0634\u0627\u06c1\u062f\u06c1 \u0642\u0644\u06cc\u0644 \u0645\u062f\u062a\u06cc \u0627\u0634\u0627\u0631\u0648\u06ba \u06a9\u0648 7 \u062f\u0646 \u06a9\u06d2 \u0628\u0631\u0642\u0631\u0627\u0631 \u0631\u06a9\u06be\u0646\u06d2 \u06a9\u06cc \u0634\u0631\u062d\u0648\u06ba \u067e\u0631 \u0646\u0642\u0634\u06c1 \u0628\u0646\u0627\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4<\/p>\n<p>\u06c1\u0645 \u06c1\u0631 \u0635\u0627\u0631\u0641 \u06a9\u0648 \u0627\u0633\u06a9\u0648\u0631 \u06a9\u0631\u0646\u06d2 \u06a9\u06d2 \u0644\u06cc\u06d2 \u0627\u0633 \u0645\u0627\u0688\u0644 \u06a9\u0627 \u0627\u0633\u062a\u0639\u0645\u0627\u0644 \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba\u060c \u0627\u0648\u0631 \u067e\u06be\u0631 \u0645\u0639\u06cc\u0627\u0631\u06cc DiD \u06a9\u06d2 \u0646\u062a\u06cc\u062c\u06d2 \u0645\u06cc\u06ba \u0645\u0633\u062a\u0642\u0628\u0644 \u06a9\u06d2 \u0648\u06cc\u0644\u06cc\u0648 \u0633\u06a9\u0648\u0631 \u06a9\u0627 \u0627\u0633\u062a\u0639\u0645\u0627\u0644 \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4 \u0627\u06af\u0631\u0686\u06c1 7 \u062f\u0646 \u06a9\u06cc \u0628\u0631\u0642\u0631\u0627\u0631\u06cc \u0627\u06cc\u06a9 \u0646\u0627\u0645\u06a9\u0645\u0644 \u067e\u0631\u0627\u06a9\u0633\u06cc \u06c1\u06d2\u060c \u0644\u06cc\u06a9\u0646 \u067e\u0627\u0626\u06cc\u062f\u0627\u0631 \u0642\u06cc\u0645\u062a \u06a9\u06d2 \u0633\u0627\u062a\u06be \u0627\u0633 \u06a9\u0627 \u062a\u0627\u0631\u06cc\u062e\u06cc \u0627\u0631\u062a\u0628\u0627\u0637 \u0627\u0633\u06cc \u0634\u0631\u062d \u0633\u06d2 \u0632\u06cc\u0627\u062f\u06c1 \u06c1\u0645\u06cc\u06ba \u0627\u067e\u0646\u06d2 \u062a\u062c\u0632\u06cc\u06c1 \u0645\u06cc\u06ba \u0642\u0644\u06cc\u0644 \u0645\u062f\u062a\u06cc \u0645\u0635\u0631\u0648\u0641\u06cc\u062a \u06a9\u0648 \u0648\u0632\u0646 \u062f\u06cc\u0646\u06d2 \u067e\u0631 \u0645\u062c\u0628\u0648\u0631 \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u06d4<\/p>\n<p>0.024 \u06a9\u06cc \u06a9\u0645 R\u00b2 \u0642\u062f\u0631 \u062c\u0627\u0646 \u0628\u0648\u062c\u06be \u06a9\u0631 \u06c1\u06d2 \u06a9\u06cc\u0648\u0646\u06a9\u06c1 \u06cc\u06c1 \u0641\u0648\u0631\u06cc \u0633\u06cc\u0634\u0646 \u06a9\u06d2 \u0688\u06cc\u0679\u0627 \u06a9\u0648 7 \u062f\u0646 \u06a9\u06cc \u0628\u0631\u0642\u0631\u0627\u0631\u06cc \u0633\u06d2 \u0645\u0646\u0633\u0644\u06a9 \u06a9\u0631\u0646\u06d2 \u0645\u06cc\u06ba \u0645\u0648\u062c\u0648\u062f \u0634\u0648\u0631 \u06a9\u0648 \u0646\u0645\u0627\u06cc\u0627\u06ba \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u06d4 \u067e\u06cc\u062f\u0627\u0648\u0627\u0631\u06cc \u0646\u0638\u0627\u0645\u0648\u06ba \u06a9\u0648 \u0645\u062b\u0627\u0644\u06cc \u0637\u0648\u0631 \u067e\u0631 \u0627\u0639\u0644\u06cc\u0670 \u067e\u06cc\u0634\u06cc\u0646 \u06af\u0648\u0626\u06cc \u06a9\u06cc \u0637\u0627\u0642\u062a \u06a9\u06d2 \u0633\u0627\u062a\u06be \u0633\u06af\u0646\u0644\u0632 \u06a9\u0627 \u0641\u0627\u0626\u062f\u06c1 \u0627\u0679\u06be\u0627\u0646\u0627 \u0686\u0627\u06c1\u06cc\u06d2\u060c \u062c\u06cc\u0633\u06d2 \u06a9\u06c1 \u0646\u0638\u0631 \u062b\u0627\u0646\u06cc \u06a9\u06cc \u0634\u0631\u062d \u06cc\u0627 \u0627\u0633\u062a\u0641\u0633\u0627\u0631 \u06a9\u06cc \u06af\u06c1\u0631\u0627\u0626\u06cc\u060c \u0644\u06cc\u06a9\u0646 \u0627\u0633 \u0633\u06d2 \u0628\u06be\u06cc \u06a9\u0645 \u062f\u0631\u0633\u062a \u06a9\u0646\u06cc\u06a9\u0679\u0648\u0679\u06cc \u0645\u0627\u0688\u0644 \u0627\u0628 \u0628\u06be\u06cc \u0642\u062f\u0631 \u0641\u0631\u0627\u06c1\u0645 \u06a9\u0631 \u0633\u06a9\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4<\/p>\n<p>\u0628\u0646\u06cc\u0627\u062f\u06cc \u0645\u0642\u0635\u062f \u0642\u0637\u0639\u06cc \u062f\u0631\u0633\u062a\u06af\u06cc \u062d\u0627\u0635\u0644 \u06a9\u0631\u0646\u06d2 \u06a9\u06d2 \u0628\u062c\u0627\u0626\u06d2 \u062f\u0631\u0633\u062a \u0627\u0646\u0634\u0627\u0646\u06a9\u0646 \u0633\u0645\u062a \u0642\u0627\u0626\u0645 \u06a9\u0631\u0646\u0627 \u06c1\u06d2\u06d4<\/p>\n<h3 id=\"heading-instrumenting-for-long-term-value-cuts-experiments-that-look-good-in-week-2-and-fail-in-month-4\">\u0627\u06cc\u06a9 \u0637\u0648\u06cc\u0644 \u0645\u062f\u062a\u06cc \u0642\u062f\u0631 \u06a9\u06cc \u0628\u0686\u062a \u06a9\u06d2 \u062a\u062c\u0631\u0628\u06d2 \u06a9\u06d2 \u0644\u06cc\u06d2 \u0622\u0644\u0627\u062a \u062c\u0648 \u06c1\u0641\u062a\u06c1 2 \u0645\u06cc\u06ba \u0627\u0686\u06be\u0627 \u0644\u06af\u062a\u0627 \u06c1\u06d2 \u0627\u0648\u0631 \u0645\u06c1\u06cc\u0646\u06d2 4 \u0645\u06cc\u06ba \u0646\u0627\u06a9\u0627\u0645 \u06c1\u0648 \u062c\u0627\u062a\u0627 \u06c1\u06d2\u06d4<\/h3>\n<p>Airbnb \u0641\u0631\u06cc\u0645 \u0648\u0631\u06a9 \u067e\u06cc\u0645\u0627\u0626\u0634 \u06a9\u06d2 \u062f\u0627\u0626\u0631\u06c1 \u06a9\u0627\u0631 \u06a9\u06d2 \u0645\u0633\u0626\u0644\u06d2 \u06a9\u0627 \u0628\u0631\u0627\u06c1 \u0631\u0627\u0633\u062a \u062c\u0648\u0627\u0628 \u06c1\u06d2\u06d4 30 \u062f\u0646 \u06cc\u0627 14 \u062f\u0646 \u06a9\u06d2 \u0679\u0627\u0626\u0645 \u0641\u0631\u06cc\u0645 \u0645\u06cc\u06ba AI \u0635\u0644\u0627\u062d\u06cc\u062a\u0648\u06ba \u06a9\u0627 \u062c\u0627\u0626\u0632\u06c1 \u0644\u06cc\u062a\u06d2 \u0648\u0642\u062a\u060c \u06c1\u0645 \u0627\u0646 \u062e\u0635\u0648\u0635\u06cc\u0627\u062a \u06a9\u0648 \u0627\u0646\u0639\u0627\u0645 \u062f\u06cc\u062a\u06d2 \u06c1\u06cc\u06ba \u062c\u0648 \u0635\u0627\u0631\u0641\u06cc\u0646 \u06a9\u0648 \u062a\u06cc\u0632\u06cc \u0633\u06d2 \u0645\u0646\u062a\u0642\u0644 \u06a9\u0631\u062a\u06cc \u06c1\u06cc\u06ba\u060c \u0642\u0637\u0639 \u0646\u0638\u0631 \u0627\u0633 \u06a9\u06d2 \u06a9\u06c1 \u0648\u06c1 \u06a9\u06c1\u0627\u06ba \u0645\u0646\u062a\u0642\u0644 \u06c1\u0648 \u0631\u06c1\u06d2 \u06c1\u06cc\u06ba\u06d4<\/p>\n<p>\u0637\u0648\u06cc\u0644 \u0645\u062f\u062a\u06cc \u0642\u062f\u0631 \u06a9\u06d2 \u0627\u06c1\u0645 \u0627\u0634\u0627\u0631\u06cc\u0648\u06ba \u06a9\u0627 \u0627\u0646\u062f\u0627\u0632\u06c1 \u0644\u06af\u0627\u0646\u06d2 \u06a9\u06d2 \u0644\u06cc\u06d2 \u0637\u0648\u06cc\u0644 \u062a\u062c\u0631\u0628\u0627\u062a \u06a9\u06cc \u0636\u0631\u0648\u0631\u062a \u0646\u06c1\u06cc\u06ba \u06c1\u06d2\u06d4 \u06cc\u06c1 \u0627\u06cc\u06a9 \u0627\u0645\u06cc\u0631 \u067e\u06cc\u0645\u0627\u0626\u0634 \u0645\u0627\u0688\u0644 \u06a9\u06cc \u0636\u0631\u0648\u0631\u062a \u06c1\u06d2. \u0627\u0633 \u062e\u0635\u0648\u0635\u06cc\u062a \u06a9\u0648 \u0628\u0646\u0627\u0646\u06d2 \u0648\u0627\u0644\u06cc \u0679\u06cc\u0645\u06cc\u06ba \u06a9\u0645 \u062a\u062c\u0631\u0628\u0627\u062a \u06a9\u0631\u062a\u06cc \u06c1\u06cc\u06ba \u062c\u0648 \u06c1\u0641\u062a\u06c1 2 \u0645\u06cc\u06ba \u0628\u06c1\u062a \u0627\u0686\u06be\u06d2 \u0644\u06af\u062a\u06d2 \u06c1\u06cc\u06ba \u0644\u06cc\u06a9\u0646 \u0645\u06c1\u06cc\u0646\u06d2 4 \u0645\u06cc\u06ba \u0645\u0627\u06cc\u0648\u0633 \u06c1\u0648\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4<\/p>\n<p>\u0627\u06af\u0631 \u06a9\u0646\u06cc\u06a9\u0679\u06cc\u0648\u06cc\u0679\u06cc \u0645\u0627\u0688\u0644 \u067e\u06c1\u0644\u06d2 \u0633\u06d2 \u06c1\u06cc \u0622\u067e \u06a9\u06d2 \u0627\u0646\u0641\u0631\u0627\u0633\u0679\u0631\u06a9\u0686\u0631 \u06a9\u0627 \u062d\u0635\u06c1 \u0646\u06c1\u06cc\u06ba \u06c1\u06d2\u060c \u062a\u0648 \u062a\u0634\u062e\u06cc\u0635\u06cc \u0688\u06cc\u0634 \u0628\u0648\u0631\u0688 \u06a9\u0648 \u0628\u0691\u06be\u0627\u0646\u06d2 \u06a9\u06d2 \u0628\u062c\u0627\u0626\u06d2 \u0627\u0633\u06d2 \u062a\u06cc\u0627\u0631 \u06a9\u0631\u0646\u0627 \u0622\u067e \u06a9\u06cc \u0627\u0648\u0644\u06cc\u0646 \u062a\u0631\u062c\u06cc\u062d \u06c1\u0648\u0646\u06cc \u0686\u0627\u06c1\u06cc\u06d2\u06d4<\/p>\n<h2 id=\"heading-case-study-2-netflixs-quasi-experiment-taxonomy\">\u06a9\u06cc\u0633 \u0627\u0633\u0679\u0688\u06cc 2: Netflix \u06a9\u06cc \u0646\u06cc\u0645 \u062a\u062c\u0631\u0628\u0627\u062a\u06cc \u062f\u0631\u062c\u06c1 \u0628\u0646\u062f\u06cc<\/h2>\n<h3 id=\"heading-deployment-structure-determines-the-method\">\u062a\u0639\u06cc\u0646\u0627\u062a\u06cc \u06a9\u0627 \u0688\u06be\u0627\u0646\u0686\u06c1 \u0637\u0631\u06cc\u0642\u06c1 \u06a9\u0627\u0631 \u06a9\u0627 \u062a\u0639\u06cc\u0646 \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u06d4<\/h3>\n<p>Netflix \u062a\u06a9\u0646\u06cc\u06a9\u06cc \u0628\u0644\u0627\u06af \u067e\u0648\u0633\u0679 &quot;Netflix Quasi-Experiment \u06a9\u06d2 \u06a9\u0644\u06cc\u062f\u06cc \u0686\u06cc\u0644\u0646\u062c\u0632&#8221; \u067e\u0631\u0648\u0688\u06a9\u0679 \u0679\u06cc\u0645\u0648\u06ba \u0645\u06cc\u06ba \u06a9\u0627\u0631\u0622\u0645\u062f \u0646\u062a\u0627\u0626\u062c \u067e\u0631 \u0633\u0628 \u0633\u06d2 \u0645\u0641\u06cc\u062f \u0645\u0636\u0627\u0645\u06cc\u0646 \u0645\u06cc\u06ba \u0633\u06d2 \u0627\u06cc\u06a9 \u06c1\u06d2\u06d4 \u06a9\u0644\u06cc\u062f\u06cc \u0634\u0631\u0627\u06a9\u062a \u062f\u0631\u062c\u06c1 \u0628\u0646\u062f\u06cc \u06c1\u06d2\u06d4 \u06c1\u0631 \u062a\u0639\u06cc\u0646\u0627\u062a\u06cc \u06a9\u06d2 \u0645\u0646\u0638\u0631 \u0646\u0627\u0645\u06d2 \u0645\u06cc\u06ba \u0627\u06cc\u06a9 \u0645\u062a\u0639\u0644\u0642\u06c1 \u0648\u062c\u06c1 \u06a9\u0627 \u0637\u0631\u06cc\u0642\u06c1 \u06c1\u0648\u062a\u0627 \u06c1\u06d2\u060c \u0627\u0648\u0631 \u067e\u0648\u0633\u0679 \u0645\u062a\u0639\u0644\u0642\u06c1 \u0634\u0646\u0627\u062e\u062a\u06cc \u0645\u0641\u0631\u0648\u0636\u0648\u06ba \u0627\u0648\u0631 \u0646\u0627\u06a9\u0627\u0645\u06cc \u06a9\u06d2 \u0637\u0631\u06cc\u0642\u0648\u06ba \u06a9\u06cc \u0646\u0634\u0627\u0646\u062f\u06c1\u06cc \u06a9\u0631\u062a\u06cc \u06c1\u06d2\u06d4<\/p>\n<p>\u06cc\u06c1 \u0641\u0631\u06cc\u0645\u0646\u06af \u0627\u06c1\u0645 \u06c1\u06d2 \u06a9\u06cc\u0648\u0646\u06a9\u06c1 \u0632\u06cc\u0627\u062f\u06c1 \u062a\u0631 \u0679\u06cc\u0645\u06cc\u06ba \u0627\u067e\u0646\u06cc \u062a\u0639\u06cc\u0646\u0627\u062a\u06cc \u06a9\u06d2 \u0688\u06be\u0627\u0646\u0686\u06d2 \u06a9\u06cc \u0628\u0646\u06cc\u0627\u062f \u067e\u0631 \u06a9\u0648\u0626\u06cc \u0637\u0631\u06cc\u0642\u06c1 \u0645\u0646\u062a\u062e\u0628 \u0646\u06c1\u06cc\u06ba \u06a9\u0631\u062a\u06cc \u06c1\u06cc\u06ba\u06d4 \u0648\u06c1 \u0627\u0633 \u0686\u06cc\u0632 \u06a9\u0627 \u0627\u0646\u062a\u062e\u0627\u0628 \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba \u062c\u0648 \u0648\u06c1 \u067e\u06c1\u0644\u06d2 \u0633\u06d2 \u062c\u0627\u0646\u062a\u06d2 \u06c1\u06cc\u06ba\u060c \u062c\u0648 \u0627\u06a9\u062b\u0631 \u0641\u0679 \u0646\u06c1\u06cc\u06ba \u06c1\u0648\u062a\u0627 \u06c1\u06d2\u06d4<\/p>\n<p><em>\u0634\u06a9\u0644 1: \u062a\u0639\u06cc\u0646\u0627\u062a\u06cc \u0641\u0646 \u062a\u0639\u0645\u06cc\u0631 \u0627\u06cc\u06a9 \u0642\u0627\u0628\u0644 \u0627\u0639\u062a\u0645\u0627\u062f \u0634\u0646\u0627\u062e\u062a\u06cc \u062d\u06a9\u0645\u062a \u0639\u0645\u0644\u06cc \u06a9\u0627 \u062a\u0639\u06cc\u0646 \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u06d4 \u062a\u06be\u0631\u06cc\u0634\u0648\u0644\u0688 \u0631\u0648\u0679\u0646\u06af \u0633\u0633\u0679\u0645\u0632 \u06a9\u0648 RDDs \u06a9\u06cc \u0636\u0631\u0648\u0631\u062a \u06c1\u0648\u062a\u06cc \u06c1\u06d2\u060c \u062c\u0628\u06a9\u06c1 \u0622\u067e\u0679 \u0627\u0646 \u062a\u062c\u0632\u06cc\u06c1 \u06a9\u06d2 \u0644\u06cc\u06d2 \u0631\u062c\u062d\u0627\u0646 \u06a9\u06d2 \u0637\u0631\u06cc\u0642\u0648\u06ba \u06a9\u06cc \u0636\u0631\u0648\u0631\u062a \u06c1\u0648\u062a\u06cc \u06c1\u06d2\u06d4 \u0645\u062e\u062a\u0635 \u06a9\u0631\u0646\u06d2 \u06a9\u0627 \u0637\u0631\u06cc\u0642\u06c1 \u06a9\u0627\u0631 \u0627\u0646\u062a\u062e\u0627\u0628 \u06a9\u0648 \u0622\u06af\u06d2 \u0628\u0691\u06be\u0627\u062a\u0627 \u06c1\u06d2 \u062a\u0627\u06a9\u06c1 \u0679\u06cc\u0645 \u06a9\u0627 \u062a\u0631\u062c\u06cc\u062d\u06cc \u062a\u062e\u0645\u06cc\u0646\u06c1 \u0644\u06af\u0627\u0646\u06d2 \u0648\u0627\u0644\u0627 \u062f\u0648\u0633\u0631\u06d2 \u0646\u0645\u0628\u0631 \u067e\u0631 \u0622\u062c\u0627\u0626\u06d2\u06d4<\/em><\/p>\n<p>Netflix \u06a9\u06cc \u062f\u0631\u062c\u06c1 \u0628\u0646\u062f\u06cc \u0645\u06cc\u06ba \u0686\u0627\u0631 \u0645\u0646\u0638\u0631\u0646\u0627\u0645\u0648\u06ba \u06a9\u0627 \u0627\u062d\u0627\u0637\u06c1 \u06a9\u06cc\u0627 \u06af\u06cc\u0627 \u06c1\u06d2 \u062c\u0648 LLM \u0679\u06cc\u0645\u0648\u06ba \u06a9\u0648 \u062f\u0631\u067e\u06cc\u0634 \u062d\u0627\u0644\u0627\u062a \u0633\u06d2 \u0628\u0627\u0644\u06a9\u0644 \u0645\u0637\u0627\u0628\u0642\u062a \u0631\u06a9\u06be\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4<\/p>\n<p><strong>\u0645\u0631\u062d\u0644\u06c1 \u0648\u0627\u0631 \u0631\u0648\u0644 \u0622\u0624\u0679<\/strong> (\u0627\u0646 \u06a9\u0627 \u0645\u0646\u0638\u0631 \u0646\u0627\u0645\u06c1: \u0628\u062a\u062f\u0631\u06cc\u062c \u0645\u0627\u0631\u06a9\u06cc\u0679 \u0645\u06cc\u06ba \u062f\u0627\u062e\u0644\u06c1) \u0627\u062e\u062a\u0644\u0627\u0641\u0627\u062a \u0645\u06cc\u06ba \u0641\u0631\u0642 \u06a9\u06d2 \u0646\u0642\u0634\u06d2 Cohort B \u0633\u06d2 \u067e\u06c1\u0644\u06d2 \u0648\u0631\u06a9 \u067e\u0644\u06cc\u0633 Cohort A \u06a9\u0648 AI \u0635\u0644\u0627\u062d\u06cc\u062a\u06cc\u06ba \u0641\u0631\u0627\u06c1\u0645 \u06a9\u0631\u0646\u0627 \u0648\u0642\u062a \u06a9\u06d2 \u0633\u0627\u062a\u06be \u0633\u0627\u062a\u06be \u0642\u062f\u0631\u062a\u06cc \u067e\u0631\u0648\u0633\u06cc\u0633\u0646\u06af \u0627\u0648\u0631 \u06a9\u0646\u0679\u0631\u0648\u0644 \u06af\u0631\u0648\u067e \u06c1\u0648\u06af\u0627\u06d4 \u0634\u0646\u0627\u062e\u062a \u06a9\u06cc \u062d\u06a9\u0645\u062a \u0639\u0645\u0644\u06cc \u0645\u0634\u062a\u0631\u06a9\u06c1 \u0648\u0642\u062a \u06a9\u06d2 \u0631\u062c\u062d\u0627\u0646 \u06a9\u0648 \u0646\u062a\u06cc\u062c\u06d2 \u0645\u06cc\u06ba \u067e\u0627\u0626\u06d2 \u062c\u0627\u0646\u06d2 \u0648\u0627\u0644\u06d2 \u0627\u062e\u062a\u0644\u0627\u0641\u0627\u062a \u0633\u06d2 \u06af\u06be\u0679\u0627 \u062f\u06cc\u062a\u06cc \u06c1\u06d2\u06d4<\/p>\n<p>\u0627\u06cc\u06a9 \u0627\u06c1\u0645 \u0645\u0641\u0631\u0648\u0636\u06c1 \u06cc\u06c1 \u06c1\u06d2 \u06a9\u06c1 \u062f\u0648\u0646\u0648\u06ba \u06af\u0631\u0648\u06c1\u0648\u06ba \u0645\u06cc\u06ba \u0645\u062a\u0648\u0627\u0632\u06cc \u067e\u0631\u06cc \u0639\u0644\u0627\u062c \u06a9\u06d2 \u0631\u062c\u062d\u0627\u0646\u0627\u062a \u06c1\u06cc\u06ba\u06d4 \u0627\u06af\u0631 \u0627\u06cc\u06a9 \u06af\u0631\u0648\u06c1 \u0639\u0644\u0627\u062c \u0634\u0631\u0648\u0639 \u06c1\u0648\u0646\u06d2 \u0633\u06d2 \u067e\u06c1\u0644\u06d2 \u06c1\u06cc \u0627\u06cc\u06a9 \u0631\u062c\u062d\u0627\u0646 \u062f\u06a9\u06be\u0627 \u0631\u06c1\u0627 \u06c1\u06d2\u060c \u062a\u0648 \u06cc\u06c1 \u0637\u0631\u06cc\u0642\u06c1 \u0627\u0633\u06d2 \u062d\u0642\u06cc\u0642\u06cc \u0627\u062b\u0631 \u0633\u06d2 \u0645\u0645\u062a\u0627\u0632 \u0646\u06c1\u06cc\u06ba \u06a9\u0631 \u0633\u06a9\u062a\u0627\u06d4<\/p>\n<p><strong>\u062d\u062f \u067e\u0631 \u0645\u0628\u0646\u06cc \u0631\u0648\u0679\u0646\u06af<\/strong> (\u0627\u0646 \u06a9\u0627 \u0645\u0646\u0638\u0631 \u0646\u0627\u0645\u06c1: \u062c\u063a\u0631\u0627\u0641\u06cc\u0627\u0626\u06cc \u0633\u06a9\u0648\u0631 \u0688\u0648\u06cc\u0698\u0646) \u0631\u062c\u0639\u062a \u06a9\u06d2 \u0648\u0642\u0641\u06d2 \u06a9\u0627 \u0646\u0642\u0634\u06c1\u06d4 \u0627\u06cc\u06a9 \u0628\u0627\u0631 \u062c\u0628 \u0645\u0633\u0644\u0633\u0644 \u0627\u0633\u06a9\u0648\u0631 \u0627\u0633 \u0628\u0627\u062a \u06a9\u0627 \u062a\u0639\u06cc\u0646 \u06a9\u0631\u062a\u0627 \u06c1\u06d2 \u06a9\u06c1 \u0635\u0627\u0631\u0641 \u06a9\u0648\u0646 \u0633\u0627 \u0645\u0627\u0688\u0644 \u06cc\u0627 \u062e\u0635\u0648\u0635\u06cc\u062a \u062d\u0627\u0635\u0644 \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u060c \u062a\u0648 \u0635\u0627\u0631\u0641 \u0627\u0633 \u062d\u062f \u06a9\u06d2 \u0628\u0627\u0644\u06a9\u0644 \u0646\u06cc\u0686\u06d2 \u0627\u0648\u0631 \u0628\u0627\u0644\u06a9\u0644 \u0627\u0648\u067e\u0631 \u067e\u0631\u0648\u0633\u06cc\u0633\u0646\u06af \u06a9\u06d2 \u0639\u0644\u0627\u0648\u06c1 \u06c1\u0631 \u0637\u0631\u062d \u0633\u06d2 \u0627\u06cc\u06a9 \u062c\u06cc\u0633\u06d2 \u06c1\u0648\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4<\/p>\n<p>\u06a9\u0679 \u0622\u0641 \u0645\u06cc\u06ba \u0686\u06be\u0644\u0627\u0646\u06af \u0645\u0642\u0627\u0645\u06cc \u0627\u0648\u0633\u0637 \u0639\u0644\u0627\u062c \u06a9\u06d2 \u0627\u062b\u0631 (\u062f\u06cc\u0631) \u06a9\u06cc \u0646\u0634\u0627\u0646\u062f\u06c1\u06cc \u06a9\u0631\u062a\u06cc \u06c1\u06d2\u06d4 \u06cc\u0639\u0646\u06cc\u060c \u062d\u062f \u06a9\u06d2 \u0642\u0631\u06cc\u0628 \u0635\u0627\u0631\u0641\u06cc\u0646 \u06a9\u06d2 \u0644\u06cc\u06d2 \u0635\u0631\u0641 \u06a9\u0627\u0632\u0644 \u0627\u062b\u0631 \u0627\u0633 \u062d\u062f \u0633\u06d2 \u0628\u0627\u06c1\u0631 \u06a9\u06d2 \u062a\u0645\u0627\u0645 \u0635\u0627\u0631\u0641\u06cc\u0646 \u06a9\u06d2 \u0644\u06cc\u06d2 \u0639\u0644\u0627\u062c \u06a9\u06d2 \u0627\u0648\u0633\u0637 \u0627\u062b\u0631 \u06a9\u06cc \u0646\u0645\u0627\u0626\u0646\u062f\u06af\u06cc \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u06d4 \u0627\u06cc\u06a9 \u0627\u06c1\u0645 \u0645\u0641\u0631\u0648\u0636\u06c1 \u06cc\u06c1 \u06c1\u06d2 \u06a9\u06c1 \u0635\u0627\u0631\u0641\u06cc\u0646 \u0627\u0633\u06a9\u0648\u0631 \u06a9\u0648 \u062f\u0631\u0633\u062a \u0637\u0631\u06cc\u0642\u06d2 \u0633\u06d2 \u062c\u0648\u0691 \u0646\u06c1\u06cc\u06ba \u0633\u06a9\u062a\u06d2\u06d4<\/p>\n<p><strong>\u06a9\u0644 \u0622\u0628\u0627\u062f\u06cc \u0645\u06cc\u06ba \u0627\u0636\u0627\u0641\u06c1<\/strong> (\u0627\u0646 \u06a9\u0627 \u0645\u0646\u0638\u0631 \u0646\u0627\u0645\u06c1: \u067e\u0644\u06cc\u0679 \u0641\u0627\u0631\u0645 \u0648\u0633\u06cc\u0639 \u067e\u0627\u0644\u06cc\u0633\u06cc \u0645\u06cc\u06ba \u062a\u0628\u062f\u06cc\u0644\u06cc) \u0645\u0635\u0646\u0648\u0639\u06cc \u06a9\u0646\u0679\u0631\u0648\u0644 \u0688\u06cc\u0632\u0627\u0626\u0646 \u06a9\u06d2 \u0646\u0642\u0634\u06d2 \u0628\u0646\u0627\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4 \u0627\u06af\u0631 \u062a\u0645\u0627\u0645 \u0635\u0627\u0631\u0641\u06cc\u0646 \u0627\u06cc\u06a9 \u0633\u0627\u062a\u06be \u0646\u06cc\u0627 \u0645\u0627\u0688\u0644 \u0648\u0635\u0648\u0644 \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba \u0627\u0648\u0631 \u06a9\u0648\u0626\u06cc \u06c1\u0648\u0644\u0688 \u0622\u0624\u0679 \u06af\u0631\u0648\u067e\u0633 \u0646\u06c1\u06cc\u06ba \u06c1\u06cc\u06ba\u060c \u062a\u0648 \u06c1\u0645 \u062a\u0627\u0631\u06cc\u062e\u06cc \u06cc\u0627 \u0645\u0635\u0646\u0648\u0639\u06cc \u062c\u0648\u0627\u0628\u06cc \u062d\u0642\u0627\u0626\u0642 \u06a9\u0627 \u0627\u06cc\u06a9 \u0648\u0632\u0646\u06cc \u0645\u062c\u0645\u0648\u0639\u06c1 \u0628\u0646\u0627\u062a\u06d2 \u06c1\u06cc\u06ba \u062a\u0627\u06a9\u06c1 \u06cc\u06c1 \u0627\u0646\u062f\u0627\u0632\u06c1 \u0644\u06af\u0627\u06cc\u0627 \u062c\u0627 \u0633\u06a9\u06d2 \u06a9\u06c1 \u0627\u067e \u06af\u0631\u06cc\u0688 \u06a9\u06d2 \u0628\u063a\u06cc\u0631 \u06a9\u06cc\u0627 \u06c1\u0648\u062a\u0627\u06d4<\/p>\n<p>\u0627\u06cc\u06a9 \u0627\u06c1\u0645 \u0645\u0641\u0631\u0648\u0636\u06c1 \u06cc\u06c1 \u06c1\u06d2 \u06a9\u06c1 \u0645\u0635\u0646\u0648\u0639\u06cc \u06a9\u0646\u0679\u0631\u0648\u0644 \u06af\u0631\u0648\u067e \u0639\u0644\u0627\u062c \u0633\u06d2 \u067e\u06c1\u0644\u06d2 \u06a9\u06cc \u0645\u062f\u062a \u0633\u06d2 \u0627\u0686\u06be\u06cc \u0637\u0631\u062d \u0645\u0645\u0627\u062b\u0644 \u06c1\u06d2\u06d4 \u0622\u067e \u06a9\u06cc \u0645\u0627\u06c1\u0648\u0627\u0631\u06cc \u0633\u06d2 \u067e\u06c1\u0644\u06d2 \u0646\u0627\u0642\u0635 \u0641\u0679 \u06c1\u0648\u0646\u0627 \u06a9\u0648\u0626\u06cc \u0645\u0639\u0645\u0648\u0644\u06cc \u062a\u06a9\u0644\u06cc\u0641 \u0646\u06c1\u06cc\u06ba \u06c1\u06d2\u06d4 \u0627\u0633 \u0633\u06d2 \u067e\u0648\u0631\u06d2 \u062c\u0648\u0627\u0628\u06cc \u062d\u0642\u0627\u0626\u0642 \u06a9\u0648 \u0628\u0627\u0637\u0644 \u06a9\u0631 \u062f\u06cc\u0627 \u062c\u0627\u062a\u0627 \u06c1\u06d2\u06d4<\/p>\n<p><strong>\u0645\u0645\u0627\u062b\u0644 \u0645\u0648\u0627\u0632\u0646\u06c1<\/strong> (\u0627\u0646 \u06a9\u0627 \u0645\u0646\u0638\u0631 \u0646\u0627\u0645\u06c1: \u0622\u067e\u0679 \u0627\u0646 \u0641\u06cc\u0686\u0631 \u06a9\u0648 \u0627\u067e\u0646\u0627\u0646\u0627) \u0631\u062c\u062d\u0627\u0646 \u0633\u06a9\u0648\u0631 \u06a9\u06d2 \u0637\u0631\u06cc\u0642\u06c1 \u06a9\u0627\u0631 \u067e\u0631 \u0646\u0642\u0634\u06c1 \u0628\u0646\u0627\u062a\u0627 \u06c1\u06d2\u06d4 \u062c\u0628 \u0635\u0627\u0631\u0641 \u062e\u0648\u062f \u0633\u0627\u062e\u062a\u06c1 AI \u062e\u0635\u0648\u0635\u06cc\u0627\u062a \u06a9\u0648 \u0645\u0646\u062a\u062e\u0628 \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u060c \u062a\u0648 \u0645\u0648\u0627\u0632\u0646\u06c1 \u06af\u0631\u0648\u067e\u0648\u06ba \u06a9\u0627 \u062f\u0648\u0628\u0627\u0631\u06c1 \u0648\u0632\u0646 \u06a9\u06cc\u0627 \u062c\u0627\u062a\u0627 \u06c1\u06d2 \u06cc\u0627 \u0645\u0634\u0627\u06c1\u062f\u06d2 \u06a9\u06d2 \u0642\u0627\u0628\u0644 \u062a\u062e\u0645\u06cc\u0646\u06cc \u0628\u06d2 \u062a\u0631\u062a\u06cc\u0628 \u062a\u0641\u0648\u06cc\u0636 \u0633\u06d2 \u062f\u0648\u0628\u0627\u0631\u06c1 \u0645\u0644\u0627\u06cc\u0627 \u062c\u0627\u062a\u0627 \u06c1\u06d2\u06d4<\/p>\n<p>\u0627\u06cc\u06a9 \u0627\u06c1\u0645 \u0645\u0641\u0631\u0648\u0636\u06c1 \u06cc\u06c1 \u06c1\u06d2 \u06a9\u06c1 \u062a\u0645\u0627\u0645 \u0645\u062a\u0639\u0644\u0642\u06c1 \u0627\u0644\u062c\u06be\u0646\u06d2 \u0648\u0627\u0644\u06d2 \u0639\u0648\u0627\u0645\u0644 \u06a9\u0627 \u0645\u0634\u0627\u06c1\u062f\u06c1 \u06a9\u06cc\u0627 \u062c\u0627\u062a\u0627 \u06c1\u06d2\u06d4 \u0627\u06af\u0631 \u0622\u067e \u062c\u0646 \u0635\u0627\u0631\u0641\u06cc\u0646 \u06a9\u0648 \u0645\u0646\u062a\u062e\u0628 \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba \u0648\u06c1 \u0627\u0646 \u0637\u0631\u06cc\u0642\u0648\u06ba \u0633\u06d2 \u0637\u0627\u0642\u062a \u0627\u0633\u062a\u0639\u0645\u0627\u0644 \u06a9\u0631\u0646\u06d2 \u0648\u0627\u0644\u06d2 \u06c1\u0648\u062a\u06d2 \u06c1\u06cc\u06ba \u062c\u0646 \u06a9\u06cc \u0622\u067e \u0646\u06d2 \u067e\u06cc\u0645\u0627\u0626\u0634 \u0646\u06c1\u06cc\u06ba \u06a9\u06cc \u06c1\u06d2\u060c \u062a\u0648 \u0622\u067e \u06a9\u0627 \u06a9\u0646\u0641\u0627\u0624\u0646\u0688\u0631 \u0627\u06cc\u0688\u062c\u0633\u0679\u0645\u0646\u0679 \u0646\u0627\u0645\u06a9\u0645\u0644 \u06c1\u0648 \u06af\u0627 \u0627\u0648\u0631 \u0622\u067e \u06a9\u06d2 \u0627\u0646\u062f\u0627\u0632\u06d2 \u0627\u0646 \u0637\u0631\u06cc\u0642\u0648\u06ba \u0633\u06d2 \u0645\u062a\u0639\u0635\u0628 \u06c1\u0648\u06ba \u06af\u06d2 \u062c\u0646 \u06a9\u0627 \u062d\u0642\u06cc\u0642\u062a \u06a9\u06d2 \u0628\u0639\u062f \u067e\u062a\u06c1 \u0644\u06af\u0627\u0646\u0627 \u0645\u0634\u06a9\u0644 \u06c1\u06d2\u06d4<\/p>\n<p>\u062f\u0631\u062c\u06c1 \u0628\u0646\u062f\u06cc \u0637\u0631\u06cc\u0642\u06c1 \u0627\u0646\u062a\u062e\u0627\u0628 \u06a9\u0648 \u0627\u06cc\u06a9 \u0645\u0646\u0638\u0645 \u062a\u0641\u062a\u06cc\u0634 \u0628\u0646\u0627\u062a\u06cc \u06c1\u06d2\u06d4 \u06cc\u0639\u0646\u06cc\u060c \u06c1\u0645\u06cc\u06ba \u0627\u06cc\u06a9 \u0627\u06cc\u0633\u0627 \u0637\u0631\u06cc\u0642\u06c1 \u0645\u0644\u062a\u0627 \u06c1\u06d2 \u062c\u0648 \u062a\u0642\u0633\u06cc\u0645 \u06a9\u06d2 \u0688\u06be\u0627\u0646\u0686\u06d2 \u06a9\u0648 \u0628\u06cc\u0627\u0646 \u06a9\u0631\u062a\u0627 \u06c1\u06d2 \u0627\u0648\u0631 \u062c\u0633 \u06a9\u06d2 \u0645\u0641\u0631\u0648\u0636\u0648\u06ba \u06a9\u0648 \u0633\u06cc\u0679 \u0627\u067e \u0633\u0628 \u0633\u06d2 \u0632\u06cc\u0627\u062f\u06c1 \u0642\u0627\u0628\u0644 \u0627\u0637\u0645\u06cc\u0646\u0627\u0646 \u0637\u0648\u0631 \u067e\u0631 \u0645\u0637\u0645\u0626\u0646 \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u06d4<\/p>\n<p>\u0645\u06cc\u06ba \u0646\u06d2 \u0679\u06cc\u0645\u0648\u06ba \u06a9\u0648 \u0627\u0633 \u0642\u062f\u0645 \u06a9\u0648 \u0686\u06be\u0648\u0691\u062a\u06d2 \u06c1\u0648\u0626\u06d2 \u062f\u06cc\u06a9\u06be\u0627 \u06c1\u06d2 \u0627\u0648\u0631 \u0688\u06cc\u0679\u0627 \u067e\u0631 DiD \u0686\u0644\u0627\u0646\u06d2 \u0645\u06cc\u06ba \u062f\u0648 \u06c1\u0641\u062a\u06d2 \u06af\u0632\u0627\u0631\u06d2 \u06c1\u06cc\u06ba \u062c\u0648 \u0648\u0627\u0636\u062d \u0637\u0648\u0631 \u067e\u0631 \u0627\u06cc\u06a9 \u062d\u062f \u0631\u0648\u0679\u0646\u06af \u06a9\u0627 \u0645\u0633\u0626\u0644\u06c1 \u062a\u06be\u0627\u06d4 \u062a\u062e\u0645\u06cc\u0646\u0648\u06ba \u0645\u06cc\u06ba 40 \u0641\u06cc\u0635\u062f \u06a9\u0627 \u0641\u0631\u0642 \u062a\u06be\u0627\u06d4 \u062f\u0648\u0646\u0648\u06ba \u063a\u0644\u0637 \u0646\u06c1\u06cc\u06ba \u06c1\u06cc\u06ba\u06d4 \u0648\u06c1 \u0645\u062e\u062a\u0644\u0641 \u0633\u0648\u0627\u0644\u0648\u06ba \u06a9\u06d2 \u062c\u0648\u0627\u0628 \u062f\u06d2 \u0631\u06c1\u06d2 \u062a\u06be\u06d2\u06d4<\/p>\n<h3 id=\"heading-reference-implementation\">\u062d\u0648\u0627\u0644\u06c1 \u06a9\u0627 \u0646\u0641\u0627\u0630<\/h3>\n<p>\u0630\u06cc\u0644 \u06a9\u0627 \u06a9\u0648\u0688 \u062f\u0631\u062c\u06c1 \u0628\u0646\u062f\u06cc \u06a9\u0648 \u0641\u06cc\u0635\u0644\u06c1 \u0633\u0627\u0632\u06cc \u06a9\u06cc \u062a\u0642\u0631\u06cc\u0628 \u06a9\u06d2 \u0637\u0648\u0631 \u067e\u0631 \u0646\u0627\u0641\u0630 \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u06d4 \u062a\u0639\u06cc\u0646\u0627\u062a\u06cc \u06a9\u06d2 \u0645\u0646\u0638\u0631 \u0646\u0627\u0645\u06d2 \u06a9\u06cc \u062a\u0641\u0635\u06cc\u0644 \u06a9\u06d2 \u067e\u06cc\u0634 \u0646\u0638\u0631\u060c \u06cc\u06c1 \u0645\u0646\u0627\u0633\u0628 \u0637\u0631\u06cc\u0642\u06d2 \u0627\u0648\u0631 \u06a9\u0644\u06cc\u062f\u06cc \u0645\u0641\u0631\u0648\u0636\u0648\u06ba \u06a9\u0648 \u067e\u0631\u0646\u0679 \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u06d4<\/p>\n<pre><code class=\"language-python\">TAXONOMY = {\n    \"staged_rollout\": {\n        \"method\": \"Difference-in-Differences (DiD)\",\n        \"assumption\": \"Parallel pre-treatment trends between treated and control cohorts\",\n        \"check\": \"Plot weekly means by cohort before treatment starts; \"\n                 \"run pre-trend placebo regression\",\n        \"failure_mode\": \"Non-parallel pre-trends, time-varying confounders, \"\n                        \"staggered adoption without Callaway-Sant'Anna correction\",\n    },\n    \"threshold_routing\": {\n        \"method\": \"Regression Discontinuity Design (RDD)\",\n        \"assumption\": \"Users cannot precisely manipulate their score across the cutoff\",\n        \"check\": \"McCrary density test; bandwidth sensitivity; \"\n                 \"quadratic spec robustness\",\n        \"failure_mode\": \"Score manipulation, other policies firing at same cutoff, \"\n                        \"extrapolation bias away from the cutoff\",\n    },\n    \"full_population_upgrade\": {\n        \"method\": \"Synthetic Control\",\n        \"assumption\": \"Pre-treatment fit between actual and synthetic counterfactual is good\",\n        \"check\": \"In-time placebo tests; in-space placebo tests; \"\n                 \"plot pre-period fit\",\n        \"failure_mode\": \"Poor pre-period fit, interference between donor units, \"\n                        \"post-treatment structural breaks\",\n    },\n    \"opt_in_feature\": {\n        \"method\": \"Propensity Score Methods (IPW \/ Matching)\",\n        \"assumption\": \"All confounders that drive opt-in and affect outcome are observed\",\n        \"check\": \"Standardized mean difference before and after weighting; \"\n                 \"propensity overlap histogram\",\n        \"failure_mode\": \"Unmeasured confounders, positivity violations, \"\n                        \"propensity model misspecification\",\n    },\n}\n\ndef select_method(scenario: str) -> None:\n    if scenario not in TAXONOMY:\n        valid = \", \".join(TAXONOMY.keys())\n        print(f\"Unknown scenario. Valid options: {valid}\")\n        return\n    entry = TAXONOMY[scenario]\n    print(f\"Scenario:      {scenario}\")\n    print(f\"Method:        {entry['method']}\")\n    print(f\"Assumption:    {entry['assumption']}\")\n    print(f\"Key checks:    {entry['check']}\")\n    print(f\"Failure modes: {entry['failure_mode']}\")\n\n# Example: staged AI feature rollout across enterprise workspaces\nselect_method(\"staged_rollout\")\nprint()\n# Example: confidence-threshold routing between model tiers\nselect_method(\"threshold_routing\")\n<\/code><\/pre>\n<p><strong>\u0645\u062a\u0648\u0642\u0639 \u067e\u06cc\u062f\u0627\u0648\u0627\u0631:<\/strong><\/p>\n<pre><code class=\"language-text\">Scenario:      staged_rollout\nMethod:        Difference-in-Differences (DiD)\nAssumption:    Parallel pre-treatment trends between treated and control cohorts\nKey checks:    Plot weekly means by cohort before treatment starts; run pre-trend placebo regression\nFailure modes: Non-parallel pre-trends, time-varying confounders, staggered adoption without Callaway-Sant'Anna correction\n\nScenario:      threshold_routing\nMethod:        Regression Discontinuity Design (RDD)\nAssumption:    Users cannot precisely manipulate their score across the cutoff\nKey checks:    McCrary density test; bandwidth sensitivity; quadratic spec robustness\nFailure modes: Score manipulation, other policies firing at same cutoff, extrapolation bias away from the cutoff\n<\/code><\/pre>\n<p>\u06c1\u0631 \u062a\u0639\u06cc\u0646\u0627\u062a\u06cc \u06a9\u06d2 \u0645\u0646\u0638\u0631 \u0646\u0627\u0645\u06d2 \u0645\u06cc\u06ba \u0646\u0627\u06a9\u0627\u0645\u06cc \u06a9\u06d2 \u0637\u0631\u06cc\u0642\u06d2 \u06c1\u0648\u062a\u06d2 \u06c1\u06cc\u06ba \u062c\u0648 \u0637\u0631\u06cc\u0642\u06c1 \u06a9\u0627\u0631\u060c \u06a9\u0644\u06cc\u062f\u06cc \u0634\u0646\u0627\u062e\u062a \u06a9\u06d2 \u0645\u0641\u0631\u0648\u0636\u0648\u06ba\u060c \u0627\u0648\u0631 \u062a\u0634\u062e\u06cc\u0635 \u0627\u0648\u0631 \u062a\u062c\u0632\u06cc\u06c1 \u06a9\u0648 \u0628\u0627\u0637\u0644 \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba \u062a\u0627\u06a9\u06c1 \u06cc\u06c1 \u06cc\u0642\u06cc\u0646\u06cc \u0628\u0646\u0627\u06cc\u0627 \u062c\u0627 \u0633\u06a9\u06d2 \u06a9\u06c1 \u0645\u0641\u0631\u0648\u0636\u06d2 \u0628\u0631\u0642\u0631\u0627\u0631 \u06c1\u06cc\u06ba\u06d4<\/p>\n<p>\u06cc\u06c1 \u0641\u0646\u06a9\u0634\u0646 \u0627\u06cc\u06a9 \u0641\u06cc\u0635\u0644\u06c1 \u0627\u0645\u062f\u0627\u062f \u06c1\u06d2 \u062c\u0648 \u0637\u0631\u06cc\u0642\u06c1 \u0627\u0646\u062a\u062e\u0627\u0628 \u06a9\u06d2 \u0645\u0631\u062d\u0644\u06d2 \u06a9\u0648 \u0648\u0627\u0636\u062d \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u060c \u0644\u06c1\u0630\u0627 \u0679\u06cc\u0645 \u0631\u06cc\u06af\u0631\u06cc\u0634\u0646 \u06a9\u0648\u0688 \u06a9\u06cc \u0627\u06cc\u06a9 \u0644\u0627\u0626\u0646 \u0644\u06a9\u06be\u0646\u06d2 \u0633\u06d2 \u067e\u06c1\u0644\u06d2 \u0634\u0646\u0627\u062e\u062a\u06cc \u062d\u06a9\u0645\u062a \u0639\u0645\u0644\u06cc \u067e\u0631 \u0645\u062a\u0641\u0642 \u06c1\u0648\u062a\u06cc \u06c1\u06d2\u06d4 \u0627\u0633 \u0637\u0631\u062d \u06a9\u06d2 \u0627\u062a\u0641\u0627\u0642 \u0631\u0627\u0626\u06d2 \u06a9\u06d2 \u0628\u063a\u06cc\u0631\u060c \u0622\u067e \u06a9\u0648 \u0627\u06a9\u062b\u0631 \u062f\u0631\u0645\u06cc\u0627\u0646\u06cc \u062a\u062c\u0632\u06cc\u06c1 \u0645\u0644\u062a\u0627 \u06c1\u06d2 \u06a9\u06c1 \u0679\u06cc\u0645 \u0645\u06cc\u06ba \u0634\u0627\u0645\u0644 \u062f\u0648 \u0627\u0641\u0631\u0627\u062f \u0627\u06cc\u06a9 \u06c1\u06cc \u0688\u06cc\u0679\u0627 \u067e\u0631 \u0648\u0627\u0636\u062d \u0637\u0648\u0631 \u067e\u0631 \u0645\u062e\u062a\u0644\u0641 \u06a9\u0627\u0632\u0644 \u0645\u0627\u0688\u0644 \u0686\u0644\u0627 \u0631\u06c1\u06d2 \u06c1\u06cc\u06ba\u06d4<\/p>\n<h3 id=\"heading-pick-the-wrong-method-and-cleaner-data-wont-save-you\">\u0627\u06af\u0631 \u0622\u067e \u063a\u0644\u0637 \u0637\u0631\u06cc\u0642\u06c1 \u06a9\u0627 \u0627\u0646\u062a\u062e\u0627\u0628 \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba\u060c \u062a\u0648 \u06a9\u0644\u06cc\u0646\u0631 \u0688\u06cc\u0679\u0627 \u0622\u067e \u06a9\u0648 \u0645\u062d\u0641\u0648\u0638 \u0646\u06c1\u06cc\u06ba \u06a9\u0631\u06d2 \u06af\u0627\u06d4<\/h3>\n<p>\u0632\u06cc\u0627\u062f\u06c1 \u062a\u0631 \u0679\u06cc\u0645\u06cc\u06ba \u0627\u0633 \u0648\u062c\u06c1 \u06a9\u0627 \u0627\u0646\u062a\u062e\u0627\u0628 \u06a9\u0631\u062a\u06cc \u06c1\u06cc\u06ba \u062c\u0648 \u0648\u06c1 \u0633\u0628 \u0633\u06d2 \u0628\u06c1\u062a\u0631 \u062c\u0627\u0646\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4 \u06cc\u06c1 \u0627\u06cc\u06a9 \u0646\u0627\u0642\u0635 \u06c1\u0648\u0648\u0631\u0633\u0679\u06a9 \u06c1\u06d2\u060c \u0627\u0648\u0631 Netflix \u062f\u0631\u062c\u06c1 \u0628\u0646\u062f\u06cc \u0628\u0627\u0644\u06a9\u0644 \u0627\u0633\u06cc \u06a9\u0648 \u0634\u0627\u0631\u0679 \u06a9\u0679 \u06a9\u0631\u0646\u06d2 \u06a9\u06d2 \u0644\u06cc\u06d2 \u0645\u0648\u062c\u0648\u062f \u06c1\u06d2\u06d4<\/p>\n<p>\u0688\u06cc \u0622\u0626\u06cc \u0688\u06cc \u06a9\u0627 \u062a\u062c\u0631\u0628\u06c1 \u0631\u06a9\u06be\u0646\u06d2 \u0648\u0627\u0644\u06cc \u0627\u06cc\u0644 \u0627\u06cc\u0644 \u0627\u06cc\u0645 \u0679\u06cc\u0645\u06cc\u06ba \u0688\u06cc \u0622\u0626\u06cc \u0688\u06cc \u062a\u06a9 \u067e\u06c1\u0646\u0686\u062a\u06cc \u06c1\u06cc\u06ba \u06cc\u06c1\u0627\u06ba \u062a\u06a9 \u06a9\u06c1 \u062c\u0628 \u062a\u06be\u0631\u06cc\u0634\u0648\u0644\u0688 \u0631\u0648\u0679\u0646\u06af \u0633\u0633\u0679\u0645 \u0686\u0644\u0627\u062a\u06d2 \u06c1\u06cc\u06ba \u062c\u06c1\u0627\u06ba \u0622\u0631 \u0688\u06cc \u0688\u06cc \u0648\u0627\u0636\u062d \u062c\u0648\u0627\u0628\u0627\u062a \u0641\u0631\u0627\u06c1\u0645 \u06a9\u0631\u062a\u0627 \u06c1\u06d2 \u0627\u0648\u0631 \u0627\u0648\u0633\u0637 \u0627\u0646\u062f\u0627\u0632\u0648\u06ba \u06a9\u06d2 \u0628\u062c\u0627\u0626\u06d2 \u0642\u0627\u0628\u0644 \u062f\u0641\u0627\u0639 \u0645\u0642\u0627\u0645\u06cc \u0639\u0644\u0627\u062c \u06a9\u06d2 \u0627\u062b\u0631\u0627\u062a \u06a9\u0627 \u062a\u062e\u0645\u06cc\u0646\u06c1 \u0641\u0631\u0627\u06c1\u0645 \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u06d4<\/p>\n<p>\u062f\u0631\u062c\u06c1 \u0628\u0646\u062f\u06cc \u0627\u06c1\u0645 \u0627\u0635\u0648\u0644\u0648\u06ba \u067e\u0631 \u0631\u0648\u0634\u0646\u06cc \u0688\u0627\u0644\u062a\u06cc \u06c1\u06d2\u06d4 \u0627\u0646\u062a\u062e\u0627\u0628 \u06a9\u0627 \u0637\u0631\u06cc\u0642\u06c1 \u0679\u06cc\u0645 \u06a9\u06cc \u0648\u0627\u0642\u0641\u06cc\u062a \u0633\u06d2 \u0646\u06c1\u06cc\u06ba \u0628\u0644\u06a9\u06c1 \u062e\u0648\u062f \u0645\u062e\u062a\u0635 \u06a9\u0631\u0646\u06d2 \u06a9\u06d2 \u0637\u0631\u06cc\u0642\u06c1 \u06a9\u0627\u0631 \u0633\u06d2 \u0637\u06d2 \u06c1\u0648\u062a\u0627 \u06c1\u06d2\u06d4 \u0627\u06af\u0631 \u0645\u062e\u062a\u0635 \u06a9\u0631\u0646\u06d2 \u06a9\u0627 \u0637\u0631\u06cc\u0642\u06c1 \u06a9\u0627\u0631 \u06a9\u0679 \u0622\u0641 \u0633\u06a9\u0648\u0631 \u06c1\u06d2\u060c \u062a\u0648 RDD \u06a9\u0648\u0634\u0634 \u06a9\u0631\u0646\u06d2 \u06a9\u0627 \u067e\u06c1\u0644\u0627 \u0679\u0648\u0644 \u06c1\u06d2\u060c \u0642\u0637\u0639 \u0646\u0638\u0631 \u0627\u0633 \u06a9\u06d2 \u06a9\u06c1 \u0679\u06cc\u0645 \u067e\u06c1\u0644\u06d2 \u0633\u06d2 \u062c\u0627\u0646\u062a\u06cc \u06c1\u06d2 \u06a9\u06c1 \u0627\u0633\u06d2 \u06a9\u06cc\u0633\u06d2 \u0646\u0627\u0641\u0630 \u06a9\u0631\u0646\u0627 \u06c1\u06d2\u06d4<\/p>\n<p>\u06cc\u06c1 \u063a\u0644\u0637 \u06c1\u0648\u0646\u0627 \u0635\u0631\u0641 \u0634\u0648\u0631 \u0645\u0686\u0627\u0646\u06d2 \u0648\u0627\u0644\u06d2 \u062a\u062e\u0645\u06cc\u0646\u06d2 \u06c1\u06cc \u067e\u06cc\u062f\u0627 \u0646\u06c1\u06cc\u06ba \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u06d4 \u06cc\u06c1 \u0633\u0627\u062e\u062a\u06cc \u0637\u0648\u0631 \u067e\u0631 \u063a\u0644\u0637 \u0688\u06cc\u0679\u0627 \u0628\u0646\u0627\u062a\u0627 \u06c1\u06d2 \u062c\u0633\u06d2 \u06a9\u0644\u06cc\u0646\u0631 \u0688\u06cc\u0679\u0627 \u06a9\u06d2 \u0633\u0627\u062a\u06be \u062a\u0628\u062f\u06cc\u0644 \u0646\u06c1\u06cc\u06ba \u06a9\u06cc\u0627 \u062c\u0627 \u0633\u06a9\u062a\u0627\u06d4<\/p>\n<h2 id=\"heading-case-study-3-lyfts-doubly-robust-validation\">\u06a9\u06cc\u0633 \u0627\u0633\u0679\u0688\u06cc 3: Lyft \u06a9\u06cc \u0688\u0628\u0644 \u067e\u0627\u0648\u0631 \u06a9\u06cc \u062a\u0635\u062f\u06cc\u0642<\/h2>\n<h3 id=\"heading-why-single-model-approaches-fail-in-production\">\u06a9\u06cc\u0648\u06ba \u0633\u0646\u06af\u0644 \u0645\u0627\u0688\u0644 \u0627\u067e\u0631\u0648\u0686 \u067e\u0631\u0648\u0688\u06a9\u0634\u0646 \u0645\u06cc\u06ba \u0646\u0627\u06a9\u0627\u0645 \u06c1\u0648 \u062c\u0627\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4<\/h3>\n<p>\u0644\u06cc\u0641\u0679 \u0627\u0646\u062c\u06cc\u0646\u0626\u0631\u0646\u06af \u0628\u0644\u0627\u06af \u067e\u0631 \u0634\u06cc\u0645\u0627 \u0646\u0627\u0635\u0631\u06cc \u06a9\u06cc \u067e\u0648\u0633\u0679 &quot;\u0679\u0631\u0633\u0679 \u0627\u0646 \u062f\u06cc \u0646\u0627\u0642\u0627\u0628\u0644 \u0627\u0639\u062a\u0645\u0627\u062f: \u062f\u0648\u06af\u0646\u0627 \u0645\u0636\u0628\u0648\u0637 \u0645\u0627\u0688\u0644\u0632 \u06a9\u06d2 \u0644\u06cc\u06d2 \u062a\u0648\u062b\u06cc\u0642 \u0627\u0648\u0631 \u062a\u0634\u062e\u06cc\u0635&#8221; \u06a9\u0627 \u0622\u063a\u0627\u0632 \u062d\u0642\u06cc\u0642\u06cc \u062f\u0646\u06cc\u0627 \u06a9\u06d2 \u0645\u0634\u0627\u06c1\u062f\u0627\u062a \u0633\u06d2 \u06c1\u0648\u062a\u0627 \u06c1\u06d2\u06d4 \u0632\u06cc\u0627\u062f\u06c1 \u062a\u0631 \u062d\u0642\u06cc\u0642\u06cc \u062f\u0646\u06cc\u0627 \u06a9\u06d2 \u067e\u0631\u0648\u0688\u06a9\u0634\u0646 \u06a9\u0627\u0632\u0644 \u062a\u062c\u0632\u06cc\u0648\u06ba \u0645\u06cc\u06ba\u060c \u06a9\u0645 \u0627\u0632 \u06a9\u0645 \u0627\u06cc\u06a9 \u0688\u0633\u0679\u0631\u0628\u0646\u0633 \u0645\u0627\u0688\u0644 \u0645\u06cc\u06ba \u062a\u0635\u0631\u06cc\u062d \u06a9\u06cc \u062e\u0631\u0627\u0628\u06cc \u06c1\u0648\u062a\u06cc \u06c1\u06d2\u06d4<\/p>\n<p>\u062c\u0628 \u0622\u067e \u0645\u0634\u0627\u06c1\u062f\u0627\u062a\u06cc \u06a9\u0627\u0632\u0644 \u062a\u062c\u0632\u06cc\u06c1 \u0686\u0644\u0627\u062a\u06d2 \u06c1\u06cc\u06ba\u060c \u062a\u0648 \u0622\u067e \u062a\u0642\u0631\u06cc\u0628\u0627\u064b \u06c1\u0645\u06cc\u0634\u06c1 \u062f\u0648 \u0645\u0627\u0688\u0644\u0632 \u06a9\u0648 \u0641\u0679 \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba: \u0627\u06cc\u06a9 \u067e\u0631\u0648\u067e\u06cc\u0646\u0633\u06cc\u0679\u06cc \u0645\u0627\u0688\u0644 (\u06a9\u0648\u0648\u06cc\u0631\u06cc\u0679\u0633 \u06a9\u06d2 \u0630\u0631\u06cc\u0639\u06d2 \u0639\u0644\u0627\u062c \u06a9\u06cc \u067e\u06cc\u0634 \u06af\u0648\u0626\u06cc \u06a9\u0631\u0646\u0627) \u0627\u0648\u0631 \u0627\u06cc\u06a9 \u0646\u062a\u06cc\u062c\u06c1 \u06a9\u0627 \u0645\u0627\u0688\u0644 (\u0639\u0644\u0627\u062c \u0627\u0648\u0631 \u06a9\u0648\u0648\u06cc\u0631\u06cc\u0679\u0633 \u06a9\u06d2 \u0630\u0631\u06cc\u0639\u06d2 \u0646\u062a\u0627\u0626\u062c \u06a9\u06cc \u067e\u06cc\u0634 \u06af\u0648\u0626\u06cc \u06a9\u0631\u0646\u0627)\u06d4<\/p>\n<p>\u062f\u0648\u0646\u0648\u06ba \u0645\u0627\u0688\u0644 \u0646\u0627\u0645\u0639\u0644\u0648\u0645 \u062d\u0642\u06cc\u0642\u06cc \u0627\u0641\u0639\u0627\u0644 \u06a9\u06d2 \u0642\u0631\u06cc\u0628 \u06c1\u06cc\u06ba\u06d4 \u0627\u06af\u0631 \u06cc\u0627 \u062a\u0648 \u06a9\u0633\u06cc \u063a\u06cc\u0631 \u0648\u0627\u0636\u062d \u0637\u0631\u06cc\u0642\u06d2 \u0633\u06d2 \u063a\u0644\u0637 \u06c1\u06d2 \u062a\u0648\u060c \u0648\u062c\u06c1 \u06a9\u0627 \u062a\u062e\u0645\u06cc\u0646\u06c1 \u0645\u062a\u0639\u0635\u0628 \u06c1\u06d2\u060c \u0627\u0648\u0631 \u0627\u06a9\u06cc\u0644\u06d2 \u0645\u0639\u06cc\u0627\u0631\u06cc \u0622\u0624\u0679 \u067e\u0679 \u0622\u067e \u06a9\u0648 \u06cc\u06c1 \u0646\u06c1\u06cc\u06ba \u0628\u062a\u0627\u0626\u06d2 \u06af\u0627\u06d4<\/p>\n<p>\u062f\u0648\u06af\u0646\u0627 \u0645\u0636\u0628\u0648\u0637 \u062a\u062e\u0645\u06cc\u0646\u06c1\u060c \u062e\u0627\u0635 \u0637\u0648\u0631 \u067e\u0631 Augmented Inverse Probability Weighting Estimator (AIPW)\u060c \u0627\u0633 \u06a9\u0627 \u062c\u0648\u0627\u0628 \u06c1\u06d2\u06d4 AIPW \u0631\u062c\u062d\u0627\u0646 \u0648\u0632\u0646 \u0627\u0648\u0631 \u0631\u06cc\u06af\u0631\u06cc\u0634\u0646 \u0627\u06cc\u0688\u062c\u0633\u0679\u0645\u0646\u0679 \u06a9\u0648 \u06cc\u06a9\u062c\u0627 \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u06d4 \u0627\u06af\u0631 \u0631\u062c\u062d\u0627\u0646 \u06cc\u0627 \u0646\u062a\u0627\u0626\u062c \u06a9\u0627 \u0646\u0645\u0648\u0646\u06c1 \u062f\u0631\u0633\u062a \u0637\u0631\u06cc\u0642\u06d2 \u0633\u06d2 \u0628\u06cc\u0627\u0646 \u06a9\u06cc\u0627 \u06af\u06cc\u0627 \u06c1\u06d2\u060c \u062a\u0648 AIPW \u06a9\u06d2 \u062a\u062e\u0645\u06cc\u0646\u06d2 \u0627\u06cc\u06a9 \u062c\u06cc\u0633\u06d2 \u06c1\u0648\u06ba \u06af\u06d2\u06d4 \u0627\u06cc\u06a9 \u0627\u0686\u06be\u06cc \u0637\u0631\u062d \u0633\u06d2 \u0645\u062e\u0635\u0648\u0635 \u0645\u0627\u0688\u0644 \u06a9\u0627\u0641\u06cc \u06c1\u06d2\u06d4<\/p>\n<p>\u06cc\u0639\u0646\u06cc\u060c AIPW \u063a\u06cc\u0631 \u0646\u0627\u067e\u06cc\u062f \u0627\u0644\u062c\u06be\u0646\u06d2 \u0648\u0627\u0644\u06d2 \u0639\u0648\u0627\u0645\u0644 \u06a9\u06d2 \u062e\u0644\u0627\u0641 \u062a\u062d\u0641\u0638 \u0641\u0631\u0627\u06c1\u0645 \u0646\u06c1\u06cc\u06ba \u06a9\u0631\u062a\u0627 \u06c1\u06d2 \u0627\u0648\u0631 \u067e\u06be\u0631 \u0628\u06be\u06cc \u063a\u06cc\u0631 \u0627\u0644\u062c\u06be\u0627\u0624 \u06a9\u06cc \u0636\u0631\u0648\u0631\u062a \u06c1\u06d2\u06d4 \u0627\u0633 \u06a9\u0627 \u0645\u0637\u0644\u0628 \u06cc\u06c1 \u06c1\u06d2 \u06a9\u06c1 \u062a\u0645\u0627\u0645 \u0639\u0648\u0627\u0645\u0644 \u062c\u0648 \u0639\u0644\u0627\u062c \u06a9\u06cc \u062a\u0641\u0648\u06cc\u0636 \u0627\u0648\u0631 \u0646\u062a\u0627\u0626\u062c \u06a9\u0648 \u0645\u062a\u0627\u062b\u0631 \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba \u0627\u0646 \u06a9\u0627 \u0645\u0634\u0627\u06c1\u062f\u06c1 \u0627\u0648\u0631 \u0645\u0627\u0688\u0644 \u0645\u06cc\u06ba \u0634\u0627\u0645\u0644 \u06c1\u0648\u0646\u0627 \u0636\u0631\u0648\u0631\u06cc \u06c1\u06d2\u06d4 \u0627\u06af\u0631 \u0622\u067e \u06a9\u06d2 \u0688\u06cc\u0679\u0627 \u0645\u06cc\u06ba \u06a9\u0648\u0626\u06cc \u0627\u06c1\u0645 \u0627\u0644\u062c\u06be\u0646\u06d2 \u0648\u0627\u0644\u06d2 \u0639\u0648\u0627\u0645\u0644 \u0646\u06c1\u06cc\u06ba \u06c1\u06cc\u06ba\u060c \u062a\u0648 AIPW \u0622\u067e \u06a9\u0648 \u0646\u06c1\u06cc\u06ba \u0628\u0686\u0627 \u0633\u06a9\u062a\u0627\u06d4<\/p>\n<p>\u0646\u0627\u0635\u0631\u06cc \u06a9\u0627 \u0645\u0631\u0627\u0633\u0644\u06c1 \u062e\u0648\u062f \u0627\u0646\u062f\u0627\u0632\u06c1 \u0644\u06af\u0627\u0646\u06d2 \u0648\u0627\u0644\u06d2 \u0633\u06d2 \u0628\u0627\u0644\u0627\u062a\u0631 \u06c1\u06d2\u06d4 \u062c\u0648 \u0686\u06cc\u0632 \u0648\u0627\u0642\u0639\u06cc \u0627\u06c1\u0645 \u06c1\u06d2 \u0648\u06c1 \u062a\u0634\u062e\u06cc\u0635\u06cc \u0679\u0648\u0644 \u06a9\u0679 \u06c1\u06d2 \u062c\u0633\u06d2 \u06c1\u0645 \u0645\u0634\u0627\u06c1\u062f\u0627\u062a\u06cc \u062a\u062c\u0632\u06cc\u0648\u06ba \u06a9\u0648 \u0686\u0644\u0627\u0646\u06d2 \u0633\u06d2 \u067e\u06c1\u0644\u06d2 \u062f\u0631\u0633\u062a \u06a9\u0631\u0646\u06d2 \u06a9\u06d2 \u0644\u06cc\u06d2 \u0628\u06cc\u0627\u0646 \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4<\/p>\n<p>\u0627\u06cc\u06a9 \u0635\u0627\u0641 \u0628\u06d2 \u062a\u0631\u062a\u06cc\u0628 \u062a\u062c\u0631\u0628\u06c1 \u062a\u0648\u0627\u0632\u0646 \u06a9\u06d2 \u0644\u06cc\u06d2 \u0686\u06cc\u06a9 \u06a9\u0631\u062a\u0627 \u06c1\u06d2 \u0627\u0648\u0631 \u0637\u0627\u0642\u062a \u06a9\u0627 \u062d\u0633\u0627\u0628 \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u06d4 \u0645\u0634\u0627\u06c1\u062f\u0627\u062a\u06cc \u0645\u0637\u0627\u0644\u0639\u0627\u062a \u0645\u06cc\u06ba\u060c \u06c1\u0645\u06cc\u06ba \u0632\u06cc\u0627\u062f\u06c1 \u0645\u062d\u0646\u062a \u06a9\u0631\u0646\u06cc \u067e\u0691\u062a\u06cc \u06c1\u06d2 \u06a9\u06cc\u0648\u0646\u06a9\u06c1 \u0688\u06cc\u0632\u0627\u0626\u0646 \u0645\u06cc\u06ba \u0628\u06d2 \u062a\u0631\u062a\u06cc\u0628 \u06c1\u0648\u0646\u06d2 \u06a9\u06cc \u0636\u0645\u0627\u0646\u062a \u0646\u06c1\u06cc\u06ba \u06c1\u06d2\u06d4 \u0645\u06cc\u06ba \u0646\u06d2 \u0679\u06cc\u0645\u0648\u06ba \u06a9\u0648 \u0627\u0633 \u062a\u0634\u062e\u06cc\u0635\u06cc \u0645\u0631\u062d\u0644\u06d2 \u06a9\u0648 \u0686\u06be\u0648\u0691\u062a\u06d2 \u06c1\u0648\u0626\u06d2 \u062f\u06cc\u06a9\u06be\u0627 \u06c1\u06d2 \u0627\u0648\u0631 \u06cc\u06c1 \u0628\u062a\u0627\u0646\u06d2 \u0645\u06cc\u06ba \u06c1\u0641\u062a\u06d2 \u06af\u0632\u0627\u0631\u06d2 \u06c1\u06cc\u06ba \u06a9\u06c1 \u0627\u0646 \u06a9\u06d2 \u06a9\u0627\u0631\u0622\u0645\u062f \u062a\u062e\u0645\u06cc\u0646\u06d2 \u062f\u0648 \u06a9\u06d2 \u0639\u0646\u0635\u0631 \u0633\u06d2 \u06a9\u06cc\u0648\u06ba \u0628\u0646\u062f \u062a\u06be\u06d2\u06d4<\/p>\n<h3 id=\"heading-lyfts-production-diagnostics-catch-model-failure-before-it-reaches-a-decision\">\u0641\u06cc\u0635\u0644\u06d2 \u06a9\u0631\u0646\u06d2 \u0633\u06d2 \u067e\u06c1\u0644\u06d2 Lyft \u06a9\u06cc \u067e\u0631\u0648\u0688\u06a9\u0634\u0646 \u0688\u0627\u0626\u06cc\u06af\u0646\u0633\u0679\u06a9\u0633 \u0645\u0627\u0688\u0644 \u06a9\u06cc \u063a\u0644\u0637\u06cc\u0648\u06ba \u06a9\u0648 \u067e\u06a9\u0691 \u0644\u06cc\u062a\u06cc \u06c1\u06d2\u06d4<\/h3>\n<p>\u067e\u0627\u0626\u067e \u0644\u0627\u0626\u0646 \u0686\u0627\u0631 \u0686\u06cc\u06a9 \u0686\u0644\u0627\u062a\u06cc \u06c1\u06d2:<\/p>\n<h4 id=\"heading-1-weight-distribution-check\">1. \u0648\u0632\u0646 \u06a9\u06cc \u062a\u0642\u0633\u06cc\u0645 \u06a9\u06cc \u062c\u0627\u0646\u0686 \u06a9\u0631\u06cc\u06ba\u06d4<\/h4>\n<p>\u067e\u0631\u0648\u067e\u06cc\u0646\u0633\u0679\u06cc \u0645\u0627\u0688\u0644 \u06a9\u0648 \u0641\u0679 \u06a9\u0631\u0646\u06d2 \u06a9\u06d2 \u0628\u0639\u062f\u060c \u06c1\u0645 IPW \u0648\u0632\u0646 \u06a9\u06cc \u062a\u0642\u0633\u06cc\u0645 \u06a9\u0627 \u0645\u0646\u0635\u0648\u0628\u06c1 \u0628\u0646\u0627\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4 \u0645\u062b\u0627\u0644 \u06a9\u06d2 \u0637\u0648\u0631 \u067e\u0631\u060c 20 \u06cc\u0627 30 \u0633\u06d2 \u200b\u200b\u0632\u06cc\u0627\u062f\u06c1 \u0648\u0632\u0646 \u0627\u0633 \u0628\u0627\u062a \u06a9\u06cc \u0639\u0644\u0627\u0645\u062a \u06c1\u06d2 \u06a9\u06c1 \u06a9\u0686\u06be \u0635\u0627\u0631\u0641\u06cc\u0646 \u06a9\u0627 \u0631\u062c\u062d\u0627\u0646 \u0635\u0641\u0631 \u06a9\u06d2 \u0642\u0631\u06cc\u0628 \u06c1\u0648\u062a\u0627 \u06c1\u06d2\u060c \u062c\u0648 \u0633\u0648\u0645\u06cc \u0645\u0641\u0631\u0648\u0636\u06d2 \u06a9\u06cc \u062e\u0644\u0627\u0641 \u0648\u0631\u0632\u06cc \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u06d4 \u06c1\u0631 \u06cc\u0648\u0646\u0679 \u0645\u06cc\u06ba \u067e\u0631\u0648\u0633\u06cc\u0633\u0646\u06af \u0627\u0648\u0631 \u06a9\u0646\u0679\u0631\u0648\u0644 \u062a\u0641\u0648\u06cc\u0636 \u062f\u0648\u0646\u0648\u06ba \u06a9\u06d2 \u0644\u06cc\u06d2 \u063a\u06cc\u0631 \u0635\u0641\u0631 \u0627\u0645\u06a9\u0627\u0646 \u06c1\u0648\u0646\u0627 \u0686\u0627\u06c1\u06cc\u06d2\u06d4<\/p>\n<p>\u0627\u0646 \u0635\u0627\u0631\u0641\u06cc\u0646 \u06a9\u06d2 \u067e\u0627\u0633 \u062a\u0642\u0627\u0628\u0644\u06cc \u062c\u0648\u0627\u0628\u06cc \u062d\u0642\u0627\u0626\u0642 \u06a9\u06cc \u06a9\u0645\u06cc \u06c1\u06d2\u060c \u0627\u0648\u0631 \u0627\u0646 \u06a9\u0627 \u062a\u062c\u0632\u06cc\u06c1 \u0627\u0633 \u0648\u0642\u062a \u06a9\u0645\u0632\u0648\u0631 \u06c1\u0648 \u062c\u0627\u062a\u0627 \u06c1\u06d2 \u062c\u0628 \u0627\u06cc\u06a9 \u0645\u062d\u0627\u0648\u0631\u0627\u062a\u06cc \u0645\u0634\u0627\u06c1\u062f\u06c1 \u06a9\u0627\u0631\u0622\u0645\u062f \u0646\u062a\u0627\u0626\u062c \u067e\u0631 \u062d\u0627\u0648\u06cc \u06c1\u0648 \u062c\u0627\u062a\u0627 \u06c1\u06d2\u06d4 \u0627\u0633 \u0686\u06cc\u06a9 \u06a9\u0648 \u0686\u06be\u0648\u0691\u0646\u0627 \u06cc\u06c1 \u06c1\u06d2 \u06a9\u06c1 \u063a\u06cc\u0631 \u0645\u0639\u0645\u0648\u0644\u06cc \u0631\u0648\u06cc\u06d2 \u06a9\u06d2 \u0633\u0627\u062a\u06be \u0627\u06cc\u06a9 \u067e\u0627\u0648\u0631 \u0635\u0627\u0631\u0641 \u06a9\u0633 \u0637\u0631\u062d ATE \u06a9\u0648 15 \u0641\u06cc\u0635\u062f \u067e\u0648\u0627\u0626\u0646\u0679\u0633 \u0633\u06d2 \u06a9\u0645 \u06a9\u0631 \u0633\u06a9\u062a\u0627 \u06c1\u06d2\u06d4<\/p>\n<h4 id=\"heading-2-trim-threshold\">2. \u062d\u062f \u06a9\u0648 \u062a\u0631\u0627\u0634\u0646\u0627<\/h4>\n<p>\u0632\u06cc\u0627\u062f\u06c1 \u0633\u06d2 \u0632\u06cc\u0627\u062f\u06c1 \u0648\u0632\u0646 \u0645\u0642\u0631\u0631 \u06a9\u0631\u06cc\u06ba\u06d4 \u0645\u0634\u0627\u06c1\u062f\u0627\u062a \u062c\u0646 \u06a9\u0627 \u0648\u0632\u0646 \u0679\u0631\u0645 \u06a9\u06cc \u062d\u062f \u0633\u06d2 \u0632\u06cc\u0627\u062f\u06c1 \u06c1\u06d2 \u0627\u0646 \u06a9\u0627 \u0648\u0632\u0646 \u062d\u062f \u0633\u06d2 \u06a9\u0645 \u06c1\u0648\u062a\u0627 \u06c1\u06d2\u06d4 \u0639\u0627\u0645 \u0627\u0646\u062a\u062e\u0627\u0628 \u0648\u0632\u0646 \u06a9\u06cc \u062a\u0642\u0633\u06cc\u0645 \u06a9\u0627 95\u0648\u0627\u06ba \u06cc\u0627 99\u0648\u0627\u06ba \u0641\u06cc\u0635\u062f \u06c1\u06d2\u06d4<\/p>\n<p>\u062a\u0631\u0627\u0634\u0646\u0627 \u0641\u0631\u0642 \u0645\u06cc\u06ba \u0628\u0691\u06cc \u06a9\u0645\u06cc \u06a9\u06d2 \u0644\u06cc\u06d2 \u062a\u06be\u0648\u0691\u06cc \u0645\u0642\u062f\u0627\u0631 \u0645\u06cc\u06ba \u062a\u0639\u0635\u0628 \u06a9\u0627 \u06a9\u0627\u0631\u0648\u0628\u0627\u0631 \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u060c \u062c\u0648 \u06a9\u06c1 \u0645\u0639\u0645\u0648\u0644\u06cc \u0645\u0627\u0688\u0644 \u06a9\u06cc \u063a\u0644\u0637 \u062a\u0635\u0631\u06cc\u062d \u06a9\u06d2 \u062a\u062d\u062a \u0628\u06be\u06cc \u062a\u062e\u0645\u06cc\u0646\u06d2 \u06a9\u0648 \u0645\u0632\u06cc\u062f \u0645\u0633\u062a\u062d\u06a9\u0645 \u0628\u0646\u0627\u062a\u0627 \u06c1\u06d2\u06d4 \u0627\u06af\u0631 \u0622\u067e \u0686\u06be\u0648\u0679\u0627 \u0646\u06c1\u06cc\u06ba \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba \u062a\u0648\u060c \u0622\u067e \u06a9\u06d2 \u0688\u06cc\u0679\u0627 \u0645\u06cc\u06ba \u0633\u0628 \u0633\u06d2 \u0639\u062c\u06cc\u0628 \u06a9\u06cc\u0633 \u06c1\u06cc\u0688 \u0644\u0627\u0626\u0646 \u0646\u0645\u0628\u0631 \u06c1\u0648\u06af\u0627\u06d4<\/p>\n<h4 id=\"heading-3-covariate-balance-plots\">3. Covariate \u0628\u06cc\u0644\u0646\u0633 \u067e\u0644\u0627\u0679<\/h4>\n<p>\u067e\u0631\u0648\u067e\u06cc\u0646\u0633\u0679\u06cc \u0645\u0627\u0688\u0644 \u0645\u06cc\u06ba \u062a\u0645\u0627\u0645 \u06a9\u0648\u0648\u06cc\u0631\u06cc\u0679\u0633 \u06a9\u06d2 \u0644\u06cc\u06d2 \u0648\u0632\u0646 \u06a9\u0631\u0646\u06d2 \u0633\u06d2 \u067e\u06c1\u0644\u06d2 \u0627\u0648\u0631 \u0628\u0639\u062f \u0645\u06cc\u06ba \u0645\u0639\u06cc\u0627\u0631\u06cc \u0627\u0648\u0633\u0637 \u0641\u0631\u0642 \u06a9\u0648 \u067e\u0644\u0627\u0679 \u06a9\u0631\u06cc\u06ba\u06d4 \u06c1\u062f\u0641 |SMD| \u06c1\u06d2\u06d4 \u0648\u0632\u0646 \u06a9\u06d2 \u0628\u0639\u062f <0.1\u06d4<\/p>\n<p>\u0627\u06cc\u06a9 \u06a9\u0648\u0648\u06cc\u0631\u06cc\u0679 \u062c\u0648 \u0648\u0632\u0646 \u06a9\u06d2 \u0628\u0639\u062f \u0628\u06be\u06cc \u0627\u0633 \u062d\u062f \u0633\u06d2 \u062a\u062c\u0627\u0648\u0632 \u06a9\u0631\u062a\u0627 \u06c1\u06d2 \u0627\u0633 \u0628\u0627\u062a \u06a9\u06cc \u0646\u0634\u0627\u0646\u062f\u06c1\u06cc \u06a9\u0631\u062a\u0627 \u06c1\u06d2 \u06a9\u06c1 \u0631\u062c\u062d\u0627\u0646 \u0645\u0627\u0688\u0644 \u0639\u0644\u0627\u062c \u06a9\u06cc \u062a\u0641\u0648\u06cc\u0636 \u067e\u0631 \u06a9\u0648\u0648\u06cc\u0631\u06cc\u0679 \u06a9\u06d2 \u0627\u062b\u0631 \u0633\u06d2 \u0645\u062d\u0631\u0648\u0645 \u06c1\u06d2\u06d4 \u06cc\u06c1 &quot;\u0644\u06cc\u06a9\u0646 \u06c1\u0645 \u0646\u06d2 \u0633\u0628 \u06a9\u0686\u06be \u0627\u06cc\u0688\u062c\u0633\u0679 \u06a9\u06cc\u0627&#8221; \u0628\u0644\u0627\u0626\u0646\u0688 \u0627\u0633\u067e\u0627\u0679 \u0686\u06cc\u06a9 \u06c1\u06d2\u06d4<\/p>\n<h4 id=\"heading-4-placebo-outcome-test\">4. \u067e\u0644\u06cc\u0633\u0628\u0648 \u0646\u062a\u0627\u0626\u062c \u06a9\u06cc \u062c\u0627\u0646\u0686<\/h4>\n<p>\u0627\u06cc\u0633\u06d2 \u0646\u062a\u0627\u0626\u062c \u06a9\u0627 \u0627\u0646\u062a\u062e\u0627\u0628 \u06a9\u0631\u06cc\u06ba \u062c\u0648 \u0639\u0644\u0627\u062c \u06a9\u06cc \u0648\u062c\u06c1 \u0633\u06d2 \u062b\u0627\u0628\u062a \u0646\u06c1 \u06c1\u0648\u06ba\u060c \u0645\u062b\u0627\u0644 \u06a9\u06d2 \u0637\u0648\u0631 \u067e\u0631 \u0639\u0644\u0627\u062c \u06a9\u06d2 \u0645\u0648\u062c\u0648\u062f \u06c1\u0648\u0646\u06d2 \u0633\u06d2 \u067e\u06c1\u0644\u06d2 \u0639\u0644\u0627\u062c \u0633\u06d2 \u067e\u06c1\u0644\u06d2 \u06a9\u06d2 \u0645\u06cc\u0679\u0631\u06a9\u0633\u060c \u0627\u0648\u0631 \u0627\u0646 \u067e\u0631 \u067e\u0648\u0631\u06cc AIPW \u067e\u0627\u0626\u067e \u0644\u0627\u0626\u0646 \u0686\u0644\u0627\u0626\u06cc\u06ba\u06d4<\/p>\n<p>\u0627\u06af\u0631 \u0622\u067e \u06a9\u06cc \u067e\u0627\u0626\u067e \u0644\u0627\u0626\u0646 \u06a9\u0627 \u067e\u0644\u06cc\u0633\u0628\u0648 \u06a9\u06d2 \u0646\u062a\u0627\u0626\u062c \u067e\u0631 \u062e\u0627\u0635\u0627 \u0627\u062b\u0631 \u067e\u0691\u062a\u0627 \u06c1\u06d2\u060c \u062a\u0648 \u0622\u067e \u06a9\u0648 \u06a9\u0648\u0626\u06cc \u0645\u0633\u0626\u0644\u06c1 \u06c1\u06d2 \u062c\u06cc\u0633\u06d2 \u0646\u0627\u067e\u06cc\u062f \u06a9\u0646\u0641\u0627\u0624\u0646\u0688\u0631\u0632\u060c \u063a\u0644\u0637 \u0628\u06cc\u0627\u0646 \u06a9\u0631\u062f\u06c1 \u0631\u062c\u062d\u0627\u0646 \u0645\u0627\u0688\u0644\u060c \u06cc\u0627 \u0688\u06cc\u0679\u0627 \u06a9\u0627 \u0644\u06cc\u06a9 \u06c1\u0648\u0646\u0627\u06d4 \u067e\u0644\u06cc\u0633\u0628\u0648 \u06a9\u06cc \u0646\u0627\u06a9\u0627\u0645\u06cc \u0627\u06cc\u06a9 \u0648\u0627\u0636\u062d \u0646\u0634\u0627\u0646\u06cc \u06c1\u06d2 \u06a9\u06c1 \u0622\u067e \u06a9\u0627 \u067e\u0631\u06a9\u06be \u0646\u0627\u0642\u0627\u0628\u0644 \u0627\u0639\u062a\u0628\u0627\u0631 \u06c1\u06d2\u060c \u0627\u0648\u0631 \u06cc\u06c1 \u0648\u06c1 \u06c1\u06d2 \u062c\u0633\u06d2 \u0622\u067e \u067e\u0631\u0648\u0688\u06a9\u0679 \u0644\u0627\u0646\u0686 \u06a9\u0631\u0646\u06d2 \u0633\u06d2 \u067e\u06c1\u0644\u06d2 \u062d\u0627\u0635\u0644 \u06a9\u0631 \u0633\u06a9\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4<\/p>\n<h3 id=\"heading-reference-implementation\">\u062d\u0648\u0627\u0644\u06c1 \u06a9\u0627 \u0646\u0641\u0627\u0630<\/h3>\n<p>\u0630\u06cc\u0644 \u06a9\u0627 \u06a9\u0648\u0688 \u0648\u0632\u0646 \u06a9\u06cc \u062a\u0642\u0633\u06cc\u0645 \u06a9\u06cc \u062c\u0627\u0646\u0686 \u067e\u0691\u062a\u0627\u0644 \u0627\u0648\u0631 \u062a\u0631\u0627\u0634\u0646\u06d2 \u06a9\u06d2 \u0627\u0642\u062f\u0627\u0645\u0627\u062a \u06a9\u0648 \u0638\u0627\u06c1\u0631 \u06a9\u0631\u062a\u0627 \u06c1\u06d2 \u062c\u0646 \u06a9\u0627 \u0627\u0637\u0644\u0627\u0642 \u06a9\u0627\u0632\u0644 \u062a\u062e\u0645\u06cc\u0646\u06c1 \u067e\u0631 \u0628\u06be\u0631\u0648\u0633\u06c1 \u06a9\u0631\u0646\u06d2 \u0633\u06d2 \u067e\u06c1\u0644\u06d2 Lyft \u06a9\u06cc \u067e\u0627\u0626\u067e \u0644\u0627\u0626\u0646 \u067e\u0631 \u06c1\u0648\u062a\u0627 \u06c1\u06d2\u06d4<\/p>\n<pre><code class=\"language-python\">import pandas as pd\nimport numpy as np\nimport matplotlib\nmatplotlib.use(\"Agg\")\nimport matplotlib.pyplot as plt\nfrom sklearn.linear_model import LogisticRegression\n\ndf = pd.read_csv(\"data\/synthetic_llm_logs.csv\")\n\n# Estimate propensity for opt-in to agent mode\nX = pd.get_dummies(\n    df[[\"engagement_tier\", \"query_confidence\"]], drop_first=True\n).astype(float)\ny = df[\"opt_in_agent_mode\"]\n\nps_model = LogisticRegression(max_iter=1000).fit(X, y)\ndf[\"propensity\"] = ps_model.predict_proba(X)[:, 1]\n\n# ATE weights: 1\/P(treat) for treated, 1\/(1-P) for control\ndf[\"ipw\"] = np.where(\n    df.opt_in_agent_mode == 1,\n    1 \/ df.propensity,\n    1 \/ (1 - df.propensity),\n)\n\n# Diagnostic 1: weight distribution\nprint(\"IPW weight percentiles:\")\nfor p in [50, 75, 90, 95, 99]:\n    print(f\"  {p}th pct: {np.percentile(df.ipw, p):.2f}\")\n\nfig, ax = plt.subplots(figsize=(8, 4))\nax.hist(df.ipw, bins=60, edgecolor=\"none\", alpha=0.7)\nax.axvline(np.percentile(df.ipw, 99), color=\"red\", linestyle=\"--\",\n           label=\"99th pct (trim threshold)\")\nax.set_xlabel(\"IPW weight\")\nax.set_ylabel(\"Count\")\nax.set_title(\"Weight distribution: check for extreme values\")\nax.legend()\nplt.tight_layout()\nplt.savefig(\"weight_distribution.png\", dpi=140)\nprint(\"Saved weight_distribution.png\")\n\n# Diagnostic 2: trim extreme weights at 99th percentile\ntrim_threshold = np.percentile(df.ipw, 99)\ndf[\"ipw_trimmed\"] = df.ipw.clip(upper=trim_threshold)\n\n# Compare ATE before and after trimming\ndef weighted_ate(data):\n    t = data[data.opt_in_agent_mode == 1]\n    c = data[data.opt_in_agent_mode == 0]\n    return (\n        (t.task_completed * t.ipw_trimmed).sum() \/ t.ipw_trimmed.sum()\n        - (c.task_completed * c.ipw_trimmed).sum() \/ c.ipw_trimmed.sum()\n    )\n\n# Untrimmed ATE using ipw column\ndf[\"ipw_trimmed_orig\"] = df[\"ipw\"].copy()   # backup before overwrite\nate_untrimmed = (\n    (df[df.opt_in_agent_mode==1].task_completed * df[df.opt_in_agent_mode==1].ipw).sum()\n    \/ df[df.opt_in_agent_mode==1].ipw.sum()\n    - (df[df.opt_in_agent_mode==0].task_completed * df[df.opt_in_agent_mode==0].ipw).sum()\n    \/ df[df.opt_in_agent_mode==0].ipw.sum()\n)\nate_trimmed = weighted_ate(df)\nprint(f\"nATE (untrimmed): {ate_untrimmed:+.4f}\")\nprint(f\"ATE (trimmed):   {ate_trimmed:+.4f}\")\nprint(f\"Trim threshold:  {trim_threshold:.2f}\")\n<\/code><\/pre>\n<p><strong>\u0645\u062a\u0648\u0642\u0639 \u067e\u06cc\u062f\u0627\u0648\u0627\u0631:<\/strong><\/p>\n<pre><code class=\"language-text\">IPW weight percentiles:\n  50th pct: 1.52\n  75th pct: 1.57\n  90th pct: 2.88\n  95th pct: 8.14\n  99th pct: 8.58\nSaved weight_distribution.png\n\nATE (untrimmed): +0.0851\nATE (trimmed):   +0.0852\nTrim threshold:  8.58\n<\/code><\/pre>\n<p><img decoding=\"async\" src=\"https:\/\/umang.pk\/wp-content\/uploads\/2026\/08\/1786486486_815_\u0628\u0691\u06d2-\u067e\u06cc\u0645\u0627\u0646\u06d2-\u067e\u0631-\u067e\u0631\u0648\u0688\u06a9\u0679-\u06a9\u0627-\u062a\u062c\u0631\u0628\u06c1-LLM-\u067e\u0631-\u0645\u0628\u0646\u06cc-AI.png\" alt=\"IPW \u0648\u06cc\u0679 \u0688\u0633\u0679\u0631\u06cc \u0628\u06cc\u0648\u0634\u0646 \u06c1\u0633\u0679\u0648\u06af\u0631\u0627\u0645 (\u0644\u06cc\u0641\u0679 \u0648\u06cc\u0679 \u0688\u0627\u0626\u06cc\u06af\u0646\u0648\u0633\u0679\u06a9 \u06a9\u0648\u0688 \u0628\u0644\u0627\u06a9 \u06a9\u06d2 \u0628\u0639\u062f): IPW \u0648\u06cc\u0679 \u0688\u0633\u0679\u0631\u06cc \u0628\u06cc\u0648\u0634\u0646 \u06c1\u0633\u0679\u0648\u06af\u0631\u0627\u0645 1.0 \u0627\u0648\u0631 3.0 \u06a9\u06d2 \u062f\u0631\u0645\u06cc\u0627\u0646 \u06a9\u0644\u0633\u0679\u0631\u0688 50,000 \u0648\u0632\u0646 \u062f\u06a9\u06be\u0627 \u0631\u06c1\u0627 \u06c1\u06d2\u060c \u062c\u0633 \u0645\u06cc\u06ba 500 \u0627\u0646\u062a\u06c1\u0627\u0626\u06cc \u0648\u0632\u0646 8.58 \u06a9\u06cc 99\u0648\u06cc\u06ba \u067e\u0631\u0633\u0646\u0679\u0627\u0626\u0644 \u062d\u062f \u067e\u0631 \u06a9\u0679\u06d2 \u06c1\u0648\u0626\u06d2 \u06c1\u06cc\u06ba\u06d4 \u0646\u06cc\u0686\u06d2 \u0648\u0627\u0644\u0627 \u067e\u06cc\u0646\u0644 \u063a\u06cc\u0631 \u062a\u0631\u0627\u0634\u06d2 \u06c1\u0648\u0626\u06d2 ATE \u06a9\u0627 +0.0851 \u067e\u0631 \u0627\u0648\u0631 \u062a\u0631\u0627\u0634\u06d2 \u06c1\u0648\u0626\u06d2 ATE \u06a9\u0627 +0.0852 \u067e\u0631 \u0645\u0648\u0627\u0632\u0646\u06c1 \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u060c \u0627\u0633 \u0628\u0627\u062a \u06a9\u06cc \u062a\u0635\u062f\u06cc\u0642 \u06a9\u0631\u062a\u0627 \u06c1\u06d2 \u06a9\u06c1 \u0627\u0646\u062a\u06c1\u0627\u0626\u06cc \u0648\u0632\u0646 \u06a9\u0627 \u0627\u0646 \u062a\u062e\u0645\u06cc\u0646\u0648\u06ba \u067e\u0631 \u0646\u06c1 \u06c1\u0648\u0646\u06d2 \u06a9\u06d2 \u0628\u0631\u0627\u0628\u0631 \u0627\u062b\u0631 \u067e\u0691\u062a\u0627 \u06c1\u06d2\u06d4\" style=\"display:block;margin:0 auto\" width=\"600\" height=\"400\" loading=\"lazy\" title=\"\"><\/p>\n<p><em>\u0634\u06a9\u0644 2: 50,000 \u0635\u0627\u0631\u0641 \u0645\u0635\u0646\u0648\u0639\u06cc \u0688\u06cc\u0679\u0627\u0633\u06cc\u0679 \u06a9\u06d2 \u0644\u06cc\u06d2 IPW \u0648\u0632\u0646 \u06a9\u06cc \u062a\u0642\u0633\u06cc\u0645\u06d4 \u0632\u06cc\u0627\u062f\u06c1 \u062a\u0631 \u0648\u0632\u0646 1.0 \u0627\u0648\u0631 3.0 \u06a9\u06d2 \u062f\u0631\u0645\u06cc\u0627\u0646 \u06c1\u06cc\u06ba\u06d4 500 \u0645\u0634\u0627\u06c1\u062f\u0627\u062a 8.58 \u06a9\u06cc 99\u0648\u06cc\u06ba \u067e\u0631\u0633\u0646\u0679\u0627\u0626\u0644 \u0679\u0631\u0645 \u06a9\u06cc \u062d\u062f \u0633\u06d2 \u0632\u06cc\u0627\u062f\u06c1 \u06c1\u06cc\u06ba\u06d4 \u062a\u0631\u0627\u0634\u0646\u0627 ATE \u06a9\u0648 0.0001 \u062a\u06a9 \u0628\u062f\u0644 \u062f\u06cc\u062a\u0627 \u06c1\u06d2\u060c \u0627\u0633 \u0628\u0627\u062a \u06a9\u0648 \u06cc\u0642\u06cc\u0646\u06cc \u0628\u0646\u0627\u062a\u0627 \u06c1\u06d2 \u06a9\u06c1 \u0627\u0646\u062a\u06c1\u0627\u0626\u06cc \u0648\u0632\u0646 \u06a9\u0627 \u0627\u0633 \u062a\u062e\u0645\u06cc\u0646\u06c1 \u067e\u0631 \u0646\u06c1 \u06c1\u0648\u0646\u06d2 \u06a9\u06d2 \u0628\u0631\u0627\u0628\u0631 \u0627\u062b\u0631 \u067e\u0691\u062a\u0627 \u06c1\u06d2\u06d4 \u0634\u06a9\u0644 1 \u0645\u06cc\u06ba \u062a\u0635\u0648\u0631\u0627\u062a\u06cc \u0646\u0642\u0634\u06d2 \u06a9\u06d2 \u0628\u0631\u0639\u06a9\u0633\u060c \u06cc\u06c1 \u062a\u0634\u062e\u06cc\u0635\u06cc \u0645\u0634\u062a\u0631\u06a9\u06c1 \u0688\u06cc\u0679\u0627 \u0633\u06cc\u0679 \u0645\u06cc\u06ba \u0628\u0631\u0627\u06c1 \u0631\u0627\u0633\u062a \u062d\u0642\u06cc\u0642\u06cc \u0688\u06cc\u0679\u0627 \u067e\u0631 \u0686\u0644\u062a\u0627 \u06c1\u06d2\u06d4<\/em><\/p>\n<p>\u06cc\u06c1\u0627\u06ba \u06a9\u06cc\u0627 \u06c1\u0648 \u0631\u06c1\u0627 \u06c1\u06d2: \u0627\u06cc\u06a9 \u067e\u0631\u0648\u067e\u06cc\u0646\u0633\u06cc\u0679\u06cc \u0645\u0627\u0688\u0644 \u0641\u0679 \u06a9\u0631\u06cc\u06ba\u060c ATE \u0648\u0632\u0646 \u06a9\u06cc \u06af\u0646\u062a\u06cc \u06a9\u0631\u06cc\u06ba\u060c \u0627\u0648\u0631 \u067e\u06be\u0631 \u0648\u0632\u0646 \u06a9\u0627 \u06c1\u0633\u0679\u0648\u06af\u0631\u0627\u0645 \u062a\u06cc\u0627\u0631 \u06a9\u0631\u06cc\u06ba \u062a\u0627\u06a9\u06c1 \u06cc\u06c1 \u0645\u0639\u0644\u0648\u0645 \u06c1\u0648 \u0633\u06a9\u06d2 \u06a9\u06c1 \u0622\u06cc\u0627 \u0627\u06cc\u0633\u06d2 \u0635\u0627\u0631\u0641\u06cc\u0646 \u06c1\u06cc\u06ba \u062c\u0646 \u06a9\u0627 \u0648\u0632\u0646 \u0632\u06cc\u0627\u062f\u06c1 \u06c1\u06d2 \u062c\u0648 \u0627\u0646\u062f\u0627\u0632\u0648\u06ba \u067e\u0631 \u063a\u0627\u0644\u0628 \u06c1\u06d2\u06d4<\/p>\n<p>99\u0648\u06cc\u06ba \u067e\u0631\u0633\u0646\u0679\u0627\u0626\u0644 \u0644\u0627\u0626\u0646 \u0628\u0635\u0631\u06cc \u0679\u0631\u0645 \u06a9\u06cc \u062d\u062f \u06c1\u06d2\u06d4 \u0679\u0631\u0645 \u0644\u06af\u0627\u0626\u06cc\u06ba \u0627\u0648\u0631 \u063a\u06cc\u0631 \u062a\u0631\u0627\u0634\u06d2 \u06c1\u0648\u0626\u06d2 ATE \u06a9\u0627 \u062a\u0631\u0627\u0634\u06d2 \u06c1\u0648\u0626\u06d2 ATE \u0633\u06d2 \u0645\u0648\u0627\u0632\u0646\u06c1 \u06a9\u0631\u06cc\u06ba\u06d4 \u0627\u06af\u0631 \u0642\u0631\u06cc\u0628 \u06c1\u0648 \u062a\u0648\u060c \u0627\u0646\u062a\u06c1\u0627\u0626\u06cc \u0648\u0632\u0646 \u06a9\u0627 \u0646\u062a\u0627\u0626\u062c \u067e\u0631 \u06a9\u0645 \u0633\u06d2 \u06a9\u0645 \u0627\u062b\u0631 \u067e\u0691\u062a\u0627 \u06c1\u06d2\u06d4 \u0627\u06af\u0631 \u0648\u06c1 \u0627\u06cc\u06a9 \u062f\u0648\u0633\u0631\u06d2 \u0633\u06d2 \u062f\u0648\u0631 \u06c1\u06cc\u06ba\u060c \u062a\u0648 \u0622\u067e \u06a9\u06d2 \u067e\u0627\u0633 \u0627\u062b\u0631 \u0627\u0646\u06af\u06cc\u0632 \u0645\u0634\u0627\u06c1\u062f\u0627\u062a \u06a9\u06d2 \u0686\u06be\u0648\u0679\u06d2 \u062c\u06be\u0631\u0645\u0679 \u06c1\u0648\u06ba \u06af\u06d2 \u0627\u0648\u0631 \u06a9\u0679\u06d2 \u06c1\u0648\u0626\u06d2 \u062a\u062e\u0645\u06cc\u0646\u06d2 \u0632\u06cc\u0627\u062f\u06c1 \u0642\u0627\u0628\u0644 \u0627\u0639\u062a\u0645\u0627\u062f \u06c1\u0648\u06ba \u06af\u06d2\u06d4<\/p>\n<h3 id=\"heading-two-hours-of-diagnostics-prevent-a-quarter-of-misdirected-engineering-work\">2 \u06af\u06be\u0646\u0679\u06d2 \u06a9\u06cc \u062a\u0634\u062e\u06cc\u0635 \u0627\u0646\u062c\u06cc\u0646\u0626\u0631\u0646\u06af \u06a9\u06cc \u063a\u0644\u0637 \u06a9\u0648\u0634\u0634\u0648\u06ba \u06a9\u06d2 1\/4 \u06a9\u0648 \u0631\u0648\u06a9\u062a\u06cc \u06c1\u06d2\u06d4<\/h3>\n<p>\u0645\u0634\u0627\u06c1\u062f\u06d2 \u06a9\u06d2 \u0646\u0648\u0634\u062a\u06c1 \u062c\u0627\u062a \u0633\u06d2 \u06a9\u0633\u06cc AI \u062e\u0635\u0648\u0635\u06cc\u062a \u06a9\u06d2 \u06a9\u0627\u0632\u0644 \u0627\u062b\u0631 \u06a9\u06cc \u067e\u06cc\u0645\u0627\u0626\u0634 \u06a9\u0631\u062a\u06d2 \u0648\u0642\u062a\u060c \u06c1\u0645 \u062a\u0642\u0631\u06cc\u0628\u0627\u064b \u06c1\u0645\u06cc\u0634\u06c1 \u0627\u06cc\u0633\u06cc \u0635\u0648\u0631\u062a \u062d\u0627\u0644 \u0645\u06cc\u06ba \u062e\u062a\u0645 \u06c1\u0648\u062a\u06d2 \u06c1\u06cc\u06ba \u062c\u06c1\u0627\u06ba \u067e\u0631\u0648\u067e\u06cc\u0646\u0633\u06cc\u0679\u06cc \u0645\u0627\u0688\u0644 \u0627\u0648\u0631 \u0646\u062a\u06cc\u062c\u06c1 \u06a9\u0627 \u0645\u0627\u0688\u0644 \u062f\u0648\u0646\u0648\u06ba \u06c1\u06cc \u063a\u0644\u0637\u06cc \u06a9\u0627 \u0634\u06a9\u0627\u0631 \u06c1\u0648\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4 AIPW \u0688\u06be\u0627\u0646\u0686\u06c1 \u0627\u0646 \u0645\u06cc\u06ba \u0633\u06d2 \u06a9\u0633\u06cc \u0627\u06cc\u06a9 \u06a9\u06d2 \u063a\u0644\u0637 \u06c1\u0648\u0646\u06d2 \u0633\u06d2 \u0628\u0686\u0627\u062a\u0627 \u06c1\u06d2\u06d4 Lyft Diagnostic Toolkit \u0622\u067e \u06a9\u0648 \u0628\u062a\u0627\u062a\u0627 \u06c1\u06d2 \u06a9\u06c1 \u06c1\u0631 \u0645\u0627\u0688\u0644 \u067e\u0631 \u0627\u067e\u0646\u06d2 \u0627\u0646\u062f\u0627\u0632\u0648\u06ba \u067e\u0631 \u06a9\u0627\u0631\u0631\u0648\u0627\u0626\u06cc \u06a9\u0631\u0646\u06d2 \u0633\u06d2 \u067e\u06c1\u0644\u06d2 \u06a9\u062a\u0646\u0627 \u0628\u0648\u062c\u06be \u06c1\u06d2\u06d4<\/p>\n<p>\u0648\u0632\u0646 \u06a9\u0627 \u0679\u06cc\u0633\u0679 \u0627\u0648\u0631 \u067e\u0644\u06cc\u0633\u0628\u0648 \u0679\u06cc\u0633\u0679 \u0686\u0644\u0627\u0646\u06d2 \u0633\u06d2 \u0648\u062c\u06c1 \u06a9\u06d2 \u062a\u062c\u0632\u06cc\u06c1 \u0645\u06cc\u06ba \u062a\u0642\u0631\u06cc\u0628\u0627\u064b 2 \u06af\u06be\u0646\u0679\u06d2 \u06a9\u0627 \u0627\u0636\u0627\u0641\u06c1 \u06c1\u0648 \u0633\u06a9\u062a\u0627 \u06c1\u06d2\u06d4 \u0648\u06c1 \u062f\u0648 \u06af\u06be\u0646\u0679\u06d2 \u0627\u0633 \u0642\u0633\u0645 \u06a9\u06d2 \u067e\u0631\u0627\u0639\u062a\u0645\u0627\u062f \u0644\u06cc\u06a9\u0646 \u063a\u0644\u0637 \u0646\u062a\u0627\u0626\u062c \u06a9\u0648 \u0631\u0648\u06a9 \u0633\u06a9\u062a\u06d2 \u06c1\u06cc\u06ba \u062c\u0648 \u0627\u0646\u062c\u06cc\u0646\u0626\u0631\u0646\u06af \u0679\u06cc\u0645\u0648\u06ba \u06a9\u0648 \u0627\u06cc\u06a9 \u0686\u0648\u062a\u06be\u0627\u0626\u06cc \u062a\u06a9 \u063a\u0644\u0637 \u062e\u0635\u0648\u0635\u06cc\u062a \u06a9\u0627 \u067e\u06cc\u0686\u06be\u0627 \u06a9\u0631\u0646\u06d2 \u067e\u0631 \u0645\u062c\u0628\u0648\u0631 \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba\u060c \u0627\u0648\u0631 \u0645\u06cc\u06ba \u0646\u06d2 \u0627\u06cc\u0633\u0627 \u06c1\u0648\u062a\u0627 \u062f\u06cc\u06a9\u06be\u0627 \u06c1\u06d2\u06d4 \u062a\u0634\u062e\u06cc\u0635 \u06a9\u0648 \u0686\u06be\u0648\u0691\u0646\u06d2 \u06a9\u06cc \u0642\u06cc\u0645\u062a \u062e\u0644\u0627\u0635\u06c1 \u0646\u06c1\u06cc\u06ba \u06c1\u06d2\u06d4 \u0686\u06be \u0627\u0646\u062c\u06cc\u0646\u0626\u0631\u0632 \u06a9\u0627\u0645 \u06a9\u0631 \u0631\u06c1\u06d2 \u06c1\u06cc\u06ba \u062c\u0648 \u0646\u062a\u06cc\u062c\u06c1 \u06a9\u06cc \u067e\u06cc\u0645\u0627\u0626\u0634 \u06a9\u06cc \u0648\u062c\u06c1 \u0646\u06c1\u06cc\u06ba \u06c1\u06d2\u06d4<\/p>\n<h2 id=\"heading-case-study-4-ubers-causal-forecasting-pipeline\">\u06a9\u06cc\u0633 \u0627\u0633\u0679\u0688\u06cc 4: Uber \u06a9\u06cc Causal Prediction \u067e\u0627\u0626\u067e \u0644\u0627\u0626\u0646<\/h2>\n<h3 id=\"heading-merging-causal-estimates-with-forecasts\">\u0636\u0645 \u06c1\u0648\u0646\u06d2 \u06a9\u0627 \u0633\u0628\u0628 \u0627\u0648\u0631 \u067e\u06cc\u0634\u06cc\u0646 \u06af\u0648\u0626\u06cc\u0627\u06ba<\/h3>\n<p>causal analysis \u06a9\u06d2 \u0645\u0639\u06cc\u0627\u0631\u06cc \u0646\u062a\u0627\u0626\u062c \u067e\u0648\u0627\u0626\u0646\u0679 \u062a\u062e\u0645\u06cc\u0646\u06d2 \u0627\u0648\u0631 \u0627\u0639\u062a\u0645\u0627\u062f \u06a9\u06d2 \u0648\u0642\u0641\u06d2 \u06c1\u06cc\u06ba\u06d4 AI \u0641\u06cc\u0686\u0631 \u0646\u06d2 \u06a9\u0627\u0645 \u06a9\u06cc \u062a\u06a9\u0645\u06cc\u0644 \u06a9\u06cc \u0634\u0631\u062d \u0645\u06cc\u06ba 6 \u0641\u06cc\u0635\u062f \u067e\u0648\u0627\u0626\u0646\u0679\u0633\u060c 95% CI \u0627\u0636\u0627\u0641\u06c1 \u06a9\u06cc\u0627\u06d4 [3.8, 8.2]. \u0648\u06c1 \u0646\u0645\u0628\u0631 \u067e\u06cc\u0686\u06be\u06d2 \u0645\u0691 \u06a9\u0631 \u0633\u0648\u0627\u0644 \u06a9\u0627 \u062c\u0648\u0627\u0628 \u062f\u06cc\u062a\u0627 \u06c1\u06d2\u06d4 \u06a9\u06cc\u0627 \u06c1\u0648\u0627\u061f<\/p>\n<p>\u0645\u0635\u0646\u0648\u0639\u0627\u062a \u06a9\u06d2 \u0641\u06cc\u0635\u0644\u06d2 \u0645\u0646\u062a\u0638\u0631 \u06c1\u06cc\u06ba\u06d4 \u0627\u06af\u0631 \u0622\u067e \u0627\u067e\u0646\u06d2 \u0645\u0627\u0688\u0644 \u06a9\u06cc \u0631\u0648\u0679\u0646\u06af \u06a9\u06cc \u062d\u062f \u06a9\u0648 0.85 \u0633\u06d2 0.90 \u062a\u06a9 \u0628\u0691\u06be\u0627\u0646\u06d2 \u067e\u0631 \u063a\u0648\u0631 \u06a9\u0631 \u0631\u06c1\u06d2 \u06c1\u06cc\u06ba\u060c \u062a\u0648 \u0622\u067e \u062c\u0627\u0646\u0646\u0627 \u0686\u0627\u06c1\u06cc\u06ba \u06af\u06d2 \u06a9\u06c1 \u0622\u0646\u06d2 \u0648\u0627\u0644\u06cc \u0633\u06c1 \u0645\u0627\u06c1\u06cc\u0648\u06ba \u0645\u06cc\u06ba \u0644\u0627\u06af\u062a \u06a9\u06d2 \u0645\u0639\u06cc\u0627\u0631 \u06a9\u06cc \u062a\u062c\u0627\u0631\u062a \u06a9\u06cc\u0633\u06cc \u0646\u0638\u0631 \u0622\u0626\u06d2 \u06af\u06cc\u06d4 \u06cc\u06c1 \u0627\u06cc\u06a9 \u067e\u06cc\u0634\u06cc\u0646 \u06af\u0648\u0626\u06cc \u06c1\u06d2 \u062c\u0648 \u06c1\u0645 \u0646\u06d2 \u067e\u0686\u06be\u0644\u06d2 \u0645\u06c1\u06cc\u0646\u06d2 \u06a9\u06d2 \u062a\u062c\u0631\u0628\u06d2 \u0633\u06d2 \u0633\u06cc\u06a9\u06be\u06cc \u06c1\u06d2\u06d4<\/p>\n<p>Uber \u0627\u0646\u062c\u06cc\u0646\u0626\u0631\u0646\u06af \u0628\u0644\u0627\u06af \u067e\u0631 Totte Harinen \u0627\u0648\u0631 Bonnie Li \u06a9\u06cc \u067e\u0648\u0633\u0679\u060c &quot;Using Causal Inference to Improve the Uber User Experience\u060c&#8221; \u0628\u06cc\u0627\u0646 \u06a9\u0631\u062a\u06cc \u06c1\u06d2 \u06a9\u06c1 Uber \u06a9\u0633 \u0637\u0631\u062d \u067e\u0631\u0648\u0688\u06a9\u0634\u0646 \u06a9\u06d2 \u0641\u06cc\u0635\u0644\u0648\u06ba \u067e\u0631 causal inference \u06a9\u0627 \u0627\u0637\u0644\u0627\u0642 \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u060c \u062c\u0633 \u0633\u06d2 \u0645\u0633\u062a\u0642\u0628\u0644 \u06a9\u06d2 \u0645\u0646\u0638\u0631 \u0646\u0627\u0645\u06d2 \u06a9\u06d2 \u0645\u0627\u0688\u0644\u0632 \u0645\u06cc\u06ba causal effect \u062a\u062e\u0645\u06cc\u0646\u0648\u06ba \u06a9\u0648 \u0633\u0631\u0627\u06cc\u062a \u06a9\u0631\u0646\u06d2 \u06a9\u06cc \u0628\u0646\u06cc\u0627\u062f \u0641\u0631\u0627\u06c1\u0645 \u06a9\u06cc \u062c\u0627\u062a\u06cc \u06c1\u06d2\u06d4<\/p>\n<p>\u0633\u0627\u062e\u062a\u06cc \u0627\u0642\u062f\u0627\u0645 \u067e\u06cc\u0634\u06cc\u0646 \u06af\u0648\u0626\u06cc \u06a9\u06d2 \u067e\u06cc\u0631\u0627\u0645\u06cc\u0679\u0631\u0632 \u06a9\u06d2 \u0637\u0648\u0631 \u067e\u0631 \u06a9\u0627\u0631\u0622\u0645\u062f \u062a\u062e\u0645\u06cc\u0646\u0648\u06ba \u06a9\u0627 \u0639\u0644\u0627\u062c \u06a9\u0631\u0646\u0627 \u06c1\u06d2\u06d4 \u0644\u0627\u06af\u062a \u0627\u0648\u0631 \u06a9\u0648\u0627\u0644\u0679\u06cc \u06a9\u0627 \u0627\u0644\u06af \u0627\u0644\u06af \u062a\u062e\u0645\u06cc\u0646\u06c1 \u0644\u06af\u0627\u0646\u0627 \u0627\u0648\u0631 \u0627\u0646 \u06a9\u06d2 \u062f\u0631\u0645\u06cc\u0627\u0646 \u0627\u06cc\u06a9 \u0645\u0633\u062a\u062d\u06a9\u0645 \u0631\u0634\u062a\u06c1 \u0641\u0631\u0636 \u06a9\u0631\u0646\u0627 \u0648\u062c\u06c1 \u06a9\u06d2 \u067e\u06cc\u0631\u0627\u0645\u06cc\u0679\u0631\u0632 \u06a9\u0648 \u063a\u06cc\u0631 \u0645\u062a\u0639\u06cc\u0646 \u06a9\u0631 \u062f\u06cc\u062a\u0627 \u06c1\u06d2\u06d4 \u0633\u0627\u062e\u062a\u06cc \u0627\u0642\u062f\u0627\u0645 \u0644\u0627\u06af\u062a \u06a9\u06d2 \u0645\u0639\u06cc\u0627\u0631 \u06a9\u06cc \u062a\u062c\u0627\u0631\u062a \u067e\u0631 \u0631\u0648\u0679\u0646\u06af \u062a\u06be\u0631\u06cc\u0634\u0648\u0644\u0688 \u06a9\u06d2 \u06a9\u0627\u0632\u0644 \u0627\u062b\u0631 \u06a9\u0648 \u0628\u0631\u0627\u06c1 \u0631\u0627\u0633\u062a \u0645\u0627\u0688\u0644 \u0628\u0646\u0627\u0646\u0627 \u06c1\u06d2 \u0627\u0648\u0631 \u067e\u06be\u0631 \u0627\u0633\u062a\u0641\u0633\u0627\u0631 \u06a9\u06d2 \u062d\u062c\u0645\u060c \u0627\u0633\u062a\u0641\u0633\u0627\u0631 \u06a9\u06cc \u062a\u0642\u0633\u06cc\u0645\u060c \u0627\u0648\u0631 \u0645\u0627\u0688\u0644 \u06a9\u06cc \u0635\u0644\u0627\u062d\u06cc\u062a\u0648\u06ba \u06a9\u06d2 \u0628\u0627\u0631\u06d2 \u0645\u06cc\u06ba \u0645\u062e\u062a\u0644\u0641 \u0645\u0641\u0631\u0648\u0636\u0648\u06ba \u06a9\u06cc \u0628\u0646\u06cc\u0627\u062f \u067e\u0631 \u0627\u0633 \u06a9\u06d2 \u067e\u06cc\u0631\u0627\u0645\u06cc\u0679\u0631\u0632 \u06a9\u06cc \u067e\u06cc\u0634 \u06af\u0648\u0626\u06cc \u06a9\u0631\u0646\u0627 \u06c1\u06d2\u06d4<\/p>\n<p>\u06cc\u06c1 \u0627\u06cc\u0644 \u0627\u06cc\u0644 \u0627\u06cc\u0645 \u0633\u0633\u0679\u0645\u0632 \u06a9\u06d2 \u0644\u06cc\u06d2 \u062e\u0627\u0635 \u0637\u0648\u0631 \u067e\u0631 \u0627\u06c1\u0645 \u06c1\u06d2 \u06a9\u06cc\u0648\u0646\u06a9\u06c1 \u0631\u0648\u0679\u0646\u06af \u06a9\u06d2 \u0641\u06cc\u0635\u0644\u0648\u06ba \u0627\u0648\u0631 \u0627\u062e\u0631\u0627\u062c\u0627\u062a \u06a9\u06d2 \u062f\u0631\u0645\u06cc\u0627\u0646 \u062a\u0639\u0644\u0642 \u0646\u0627\u0646 \u0644\u0627\u0626\u0646\u0631 \u0627\u0648\u0631 \u0688\u0633\u0679\u0631\u06cc \u0628\u06cc\u0648\u0634\u0646 \u067e\u0631 \u0645\u0646\u062d\u0635\u0631 \u06c1\u06d2\u06d4 \u0645\u0648\u062c\u0648\u062f\u06c1 \u0627\u0633\u062a\u0641\u0633\u0627\u0631 \u06a9\u06d2 \u062d\u062c\u0645 \u067e\u0631\u060c \u0644\u0627\u06af\u062a \u0633\u06d2 \u0645\u0648\u062b\u0631 \u0631\u0648\u0679\u0646\u06af \u06a9\u06cc \u062d\u062f \u06a9\u0648 \u062d\u062c\u0645 \u06a9\u06d2 3x \u06a9\u06d2 \u0637\u0648\u0631 \u067e\u0631 \u062f\u0631\u062c\u06c1 \u0628\u0646\u062f\u06cc \u06a9\u06cc\u0627 \u062c\u0627 \u0633\u06a9\u062a\u0627 \u06c1\u06d2\u06d4 Q1 \u0645\u06cc\u06ba \u0631\u0648\u0679\u0646\u06af \u06a9\u0648 \u0628\u06c1\u062a\u0631 \u0628\u0646\u0627\u0646\u06d2 \u0648\u0627\u0644\u06d2 \u0645\u0627\u0688\u0644 \u06a9\u0648 Q3 \u0645\u06cc\u06ba \u0627\u06cc\u06a9 \u0633\u0633\u062a\u0627 \u0645\u0627\u0688\u0644 \u0633\u06d2 \u062a\u0628\u062f\u06cc\u0644 \u06a9\u06cc\u0627 \u062c\u0627 \u0633\u06a9\u062a\u0627 \u06c1\u06d2\u060c \u062c\u0633 \u0633\u06d2 \u0642\u06cc\u0645\u062a \u06a9\u06d2 \u0645\u0639\u06cc\u0627\u0631 \u06a9\u06d2 Pareto \u0641\u0631\u0646\u0679\u06cc\u0626\u0631 \u06a9\u0648 \u0645\u06a9\u0645\u0644 \u0637\u0648\u0631 \u067e\u0631 \u062a\u0628\u062f\u06cc\u0644 \u06a9\u06cc\u0627 \u062c\u0627 \u0633\u06a9\u062a\u0627 \u06c1\u06d2\u06d4 \u067e\u06cc\u0634\u06cc\u0646 \u06af\u0648\u0626\u06cc\u0648\u06ba \u0645\u06cc\u06ba \u06a9\u0627\u0631\u0622\u0645\u062f \u062a\u062e\u0645\u06cc\u0646\u0648\u06ba \u06a9\u0648 \u0634\u0627\u0645\u0644 \u06a9\u0631\u0646\u06d2 \u0633\u06d2 \u0633\u0627\u062e\u062a\u06cc \u062a\u0628\u062f\u06cc\u0644\u06cc\u0627\u06ba \u0627\u0646 \u06a9\u06d2 \u0622\u0646\u06d2 \u0633\u06d2 \u067e\u06c1\u0644\u06d2 \u0646\u0638\u0631 \u0622\u062a\u06cc \u06c1\u06cc\u06ba\u06d4<\/p>\n<h3 id=\"heading-reference-implementation\">\u062d\u0648\u0627\u0644\u06c1 \u06a9\u0627 \u0646\u0641\u0627\u0630<\/h3>\n<p>\u0631\u0648\u0679\u0646\u06af \u06a9\u06cc \u062d\u062f \u06a9\u06d2 \u0642\u0631\u06cc\u0628 \u0645\u0642\u0627\u0645\u06cc \u0645\u0648\u0627\u0632\u0646\u06c1 \u062f\u0648 \u0634\u0646\u0627\u062e\u062a\u06cc \u0645\u0641\u0631\u0648\u0636\u0648\u06ba \u067e\u0631 \u0645\u0628\u0646\u06cc \u06c1\u06d2\u06d4 \u0633\u0628 \u0633\u06d2 \u067e\u06c1\u0644\u06d2\u060c \u0627\u0646\u062c\u06cc\u0646\u0626\u0631\u0632 \u0627\u0648\u0631 \u0635\u0627\u0631\u0641\u06cc\u0646 \u0627\u0633\u06d2 \u062f\u0631\u0633\u062a\u06af\u06cc \u06a9\u06d2 \u0633\u0627\u062a\u06be \u0646\u06c1\u06cc\u06ba \u0686\u0644\u0627 \u0633\u06a9\u062a\u06d2\u06d4 <code>query_confidence<\/code> 0.85 \u06a9\u0679 \u0622\u0641 \u06a9\u06d2 \u0627\u06cc\u06a9 \u0637\u0631\u0641 \u06a9\u0644\u0633\u0679\u0631\u0632\u06d4 \u062a\u0641\u0648\u06cc\u0636 \u0628\u06d2 \u062a\u0631\u062a\u06cc\u0628 \u0627\u0648\u0631 \u062f\u06c1\u0644\u06cc\u0632 \u06a9\u06d2 \u0627\u0631\u062f \u06af\u0631\u062f \u0627\u06cc\u06a9 \u062a\u0646\u06af \u0631\u06cc\u0646\u062c \u06a9\u06d2 \u0627\u0646\u062f\u0631 \u06c1\u0648\u0646\u0627 \u0686\u0627\u06c1\u06cc\u06d2\u06d4<\/p>\n<p>\u062f\u0648\u0633\u0631\u0627\u060c \u0645\u0645\u06a9\u0646\u06c1 \u0646\u062a\u06cc\u062c\u06c1 \u06a9\u0627 \u0641\u0646\u06a9\u0634\u0646 \u06a9\u0679 \u0622\u0641 \u0645\u06cc\u06ba \u0645\u0633\u0644\u0633\u0644 \u06c1\u0648\u0646\u0627 \u0686\u0627\u06c1\u06cc\u06d2\u060c \u0627\u0633 \u0644\u06cc\u06d2 0.85 \u067e\u0631 \u0645\u0634\u0627\u06c1\u062f\u06c1 \u06a9\u06cc\u0627 \u06af\u06cc\u0627 \u062c\u0645\u067e \u0631\u0648\u0679\u0646\u06af \u0627\u0633\u0627\u0626\u0646\u0645\u0646\u0679 \u06a9\u06cc \u0648\u062c\u06c1 \u0633\u06d2 \u06c1\u06d2 \u0646\u06c1 \u06a9\u06c1 \u0627\u0633\u06cc \u0633\u06a9\u0648\u0631 \u06a9\u06cc \u0633\u0637\u062d \u067e\u0631 \u0686\u0644\u0646\u06d2 \u0648\u0627\u0644\u06cc \u062f\u06cc\u06af\u0631 \u067e\u0627\u0644\u06cc\u0633\u06cc\u0648\u06ba \u06a9\u06cc \u0648\u062c\u06c1 \u0633\u06d2\u06d4<\/p>\n<p>\u0646\u06cc\u0686\u06d2 \u06a9\u0627 \u06a9\u0648\u0688 \u067e\u06cc\u0679\u0631\u0646 \u06a9\u0648 \u0638\u0627\u06c1\u0631 \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u06d4 \u06c1\u0645 \u0644\u0627\u06af\u062a \u0627\u0648\u0631 \u0645\u0639\u06cc\u0627\u0631 \u067e\u0631 \u0631\u0648\u0679\u0646\u06af \u06a9\u06cc \u062d\u062f \u06a9\u0648 \u062a\u0628\u062f\u06cc\u0644 \u06a9\u0631\u0646\u06d2 \u06a9\u06d2 \u06a9\u0627\u0631\u06af\u0631 \u0627\u062b\u0631 \u06a9\u0627 \u0627\u0646\u062f\u0627\u0632\u06c1 \u0644\u06af\u0627\u062a\u06d2 \u06c1\u06cc\u06ba\u060c \u0627\u0648\u0631 \u067e\u06be\u0631 \u0645\u0633\u062a\u0642\u0628\u0644 \u06a9\u06d2 \u062d\u062c\u0645 \u06a9\u06d2 \u0645\u062e\u062a\u0644\u0641 \u0645\u0646\u0638\u0631\u0646\u0627\u0645\u0648\u06ba \u067e\u0631 \u0627\u062b\u0631\u0627\u062a \u06a9\u06cc \u067e\u06cc\u0634\u06cc\u0646 \u06af\u0648\u0626\u06cc \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4<\/p>\n<pre><code class=\"language-python\">import pandas as pd\nimport numpy as np\n\ndf = pd.read_csv(\"data\/synthetic_llm_logs.csv\")\n\n# Step 1: Estimate causal effect of premium routing on quality and cost\n# (Using RDD logic: compare users near the routing threshold)\ncutoff = 0.85\nbw = 0.10\nnear = df[\n    (df.query_confidence > cutoff - bw)\n    & (df.query_confidence < cutoff + bw)\n].copy()\n# Low-confidence queries route to premium model (below-threshold queries need stronger handling)\nnear[\"routed_premium\"] = (near.query_confidence < cutoff).astype(int)\n\n# Causal effects from the local comparison near the threshold\nquality_effect = (\n    near[near.routed_premium == 1].task_completed.mean()\n    - near[near.routed_premium == 0].task_completed.mean()\n)\ncost_effect = (\n    near[near.routed_premium == 1].cost_usd.mean()\n    - near[near.routed_premium == 0].cost_usd.mean()\n)\n\nprint(f\"Estimated quality effect of premium routing: {quality_effect:+.4f}\")\nprint(f\"Estimated cost effect of premium routing:    {cost_effect:+.4f}\")\n\n# Step 2: Embed into forward-looking scenarios\n# Suppose we're evaluating: what if we raise threshold from 0.85 to 0.90?\n# Queries with confidence 0.85 to 0.90 would shift from premium to cheap routing.\nthreshold_change_users = df[\n    (df.query_confidence >= 0.85) & (df.query_confidence < 0.90)\n]\nn_shifted = len(threshold_change_users)\nprint(f\"nQueries that would shift at threshold 0.85 to 0.90: {n_shifted}\")\n\n# Volume scenarios (monthly queries)\nmonthly_query_volume = [500_000, 1_000_000, 2_000_000]\nshifted_fraction = n_shifted \/ len(df)  # fraction of total traffic shifted\n\nprint(\"nForward-looking scenario: raise threshold from 0.85 to 0.90\")\nprint(f\"{'Monthly volume':>20} {'Quality change':>16} {'Cost change ($\/mo)':>20}\")\nfor vol in monthly_query_volume:\n    n_affected = vol * shifted_fraction\n    delta_quality = quality_effect * n_affected \/ vol    # rate change in overall quality\n    delta_cost = -cost_effect * n_affected               # negative: saving cost by de-premiuming\n    print(f\"{vol:>20,.0f} {delta_quality:>+16.4f} {delta_cost:>+20,.0f}\")\n<\/code><\/pre>\n<p><strong>\u0645\u062a\u0648\u0642\u0639 \u067e\u06cc\u062f\u0627\u0648\u0627\u0631:<\/strong><\/p>\n<pre><code class=\"language-text\">Estimated quality effect of premium routing: +0.0613\nEstimated cost effect of premium routing:    +0.0080\n\nQueries that would shift at threshold 0.85 to 0.90: 5415\n\nForward-looking scenario: raise threshold from 0.85 to 0.90\n      Monthly volume   Quality change   Cost change ($\/mo)\n             500,000          +0.0066                 -436\n           1,000,000          +0.0066                 -871\n           2,000,000          +0.0066               -1,742\n<\/code><\/pre>\n<p>\u06cc\u06c1 \u06c1\u06d2 \u06a9\u06cc\u0627 \u06c1\u0648 \u0631\u06c1\u0627 \u06c1\u06d2: \u06c1\u0645 \u0631\u0648\u0679\u0646\u06af \u06a9\u06cc \u062d\u062f \u06a9\u06d2 \u0642\u0631\u06cc\u0628 \u0645\u0642\u0627\u0645\u06cc \u0645\u0648\u0627\u0632\u0646\u06c1 \u06a9\u0627 \u0627\u0633\u062a\u0639\u0645\u0627\u0644 \u06a9\u0631\u062a\u06d2 \u06c1\u0648\u0626\u06d2 \u0645\u0639\u06cc\u0627\u0631 (\u0679\u0627\u0633\u06a9 \u06a9\u06cc \u062a\u06a9\u0645\u06cc\u0644) \u0627\u0648\u0631 \u0644\u0627\u06af\u062a \u067e\u0631 \u067e\u0631\u06cc\u0645\u06cc\u0645 \u0631\u0648\u0679\u0646\u06af \u06a9\u06d2 \u06a9\u0627\u0631\u06af\u0631 \u0627\u062b\u0631 \u06a9\u0627 \u0627\u0646\u062f\u0627\u0632\u06c1 \u0644\u06af\u0627\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4 \u0627\u0633 \u06a9\u06d2 \u0628\u0639\u062f \u06c1\u0645 \u0633\u0648\u0627\u0644\u0627\u062a \u06a9\u06d2 \u0641\u06cc\u0635\u062f \u06a9\u06cc \u0646\u0634\u0627\u0646\u062f\u06c1\u06cc \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba \u062c\u0646 \u06a9\u06d2 \u0644\u06cc\u06d2 \u0631\u0648\u0679\u0646\u06af \u0627\u0633\u0627\u0626\u0646\u0645\u0646\u0679\u0633 \u062a\u0628\u062f\u06cc\u0644 \u06c1\u0648 \u062c\u0627\u062a\u06cc \u06c1\u06cc\u06ba \u062c\u0628 \u062d\u062f 0.85 \u0633\u06d2 0.90 \u062a\u06a9 \u0645\u0646\u062a\u0642\u0644 \u06c1\u0648 \u062c\u0627\u062a\u06cc \u06c1\u06d2\u06d4<\/p>\n<p>\u0622\u062e\u0631 \u0645\u06cc\u06ba\u060c \u06c1\u0645 \u0645\u062e\u062a\u0644\u0641 \u0645\u0627\u06c1\u0627\u0646\u06c1 \u0627\u0633\u062a\u0641\u0633\u0627\u0631 \u06a9\u06d2 \u062d\u062c\u0645 \u06a9\u06d2 \u0645\u0646\u0638\u0631\u0646\u0627\u0645\u0648\u06ba \u0645\u06cc\u06ba \u0645\u0639\u06cc\u0627\u0631 \u0627\u0648\u0631 \u0644\u0627\u06af\u062a \u067e\u0631 \u0627\u0646 \u062a\u0628\u062f\u06cc\u0644\u06cc\u0648\u06ba \u06a9\u06d2 \u0627\u062b\u0631\u0627\u062a \u06a9\u0627 \u0627\u0646\u062f\u0627\u0632\u06c1 \u0644\u06af\u0627\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4 \u0622\u0624\u0679 \u067e\u0679 \u0627\u06cc\u06a9 \u0645\u0646\u0638\u0631 \u0646\u0627\u0645\u06d2 \u06a9\u06cc \u0645\u06cc\u0632 \u06c1\u06d2 \u062c\u0633\u06d2 \u067e\u0631\u0648\u0688\u06a9\u0679 \u06cc\u0627 \u0641\u0646\u0627\u0646\u0633 \u0679\u06cc\u0645 \u0628\u0631\u0627\u06c1 \u0631\u0627\u0633\u062a \u067e\u0691\u06be \u0633\u06a9\u062a\u06cc \u06c1\u06d2\u06d4 \u062d\u062f \u06a9\u0648 \u0628\u0691\u06be\u0627\u0646\u06d2 \u0633\u06d2 \u0645\u0648\u062c\u0648\u062f\u06c1 \u062d\u062c\u0645 \u067e\u0631 \u062a\u0642\u0631\u06cc\u0628\u0627\u064b $X \u0641\u06cc \u0645\u06c1\u06cc\u0646\u06c1 \u06a9\u06cc \u0628\u0686\u062a \u06c1\u0648\u062a\u06cc \u06c1\u06d2 \u0627\u0648\u0631 \u06a9\u0627\u0645 \u06a9\u06cc \u062a\u06a9\u0645\u06cc\u0644 \u0645\u06cc\u06ba \u062a\u0642\u0631\u06cc\u0628\u0627\u064b Y \u0641\u06cc\u0635\u062f \u067e\u0648\u0627\u0626\u0646\u0679\u0633 \u06a9\u06cc \u0644\u0627\u06af\u062a \u0622\u062a\u06cc \u06c1\u06d2\u06d4<\/p>\n<h3 id=\"heading-causal-forecasting-in-capacity-planning\">\u0635\u0644\u0627\u062d\u06cc\u062a \u06a9\u06cc \u0645\u0646\u0635\u0648\u0628\u06c1 \u0628\u0646\u062f\u06cc \u0645\u06cc\u06ba \u06a9\u0627\u0631\u0622\u0645\u062f \u067e\u06cc\u0634 \u06af\u0648\u0626\u06cc<\/h3>\n<p>\u0631\u0648\u0679\u0646\u06af \u0627\u0648\u0631 \u0627\u0646\u0641\u0631\u0627\u0633\u0679\u0631\u06a9\u0686\u0631 \u06a9\u06d2 \u0641\u06cc\u0635\u0644\u0648\u06ba \u06a9\u06d2 \u0644\u06cc\u06d2 \u06a9\u0627\u0631\u0622\u0645\u062f \u067e\u06cc\u0634\u06cc\u0646 \u06af\u0648\u0626\u06cc \u06a9\u06d2 \u0646\u0645\u0648\u0646\u06d2 \u0633\u0628 \u0633\u06d2 \u0632\u06cc\u0627\u062f\u06c1 \u06a9\u0627\u0631\u0622\u0645\u062f \u06c1\u0648\u062a\u06d2 \u06c1\u06cc\u06ba \u062c\u06c1\u0627\u06ba \u0644\u0627\u06af\u062a \u0627\u0648\u0631 \u0645\u0639\u06cc\u0627\u0631 \u06a9\u06d2 \u0627\u062b\u0631\u0627\u062a \u062f\u0648\u0646\u0648\u06ba \u0627\u06c1\u0645 \u06c1\u0648\u062a\u06d2 \u06c1\u06cc\u06ba \u0627\u0648\u0631 \u0679\u0631\u06cc\u0641\u06a9 \u06a9\u06d2 \u062d\u062c\u0645 \u0633\u06d2 \u067e\u06c1\u0644\u06d2 \u0627\u0646\u062a\u062e\u0627\u0628 \u06a9\u0631\u0646\u0627 \u0686\u0627\u06c1\u06cc\u06d2 \u062c\u0648 \u0627\u0628\u06be\u06cc \u062a\u06a9 \u0646\u06c1\u06cc\u06ba \u067e\u06c1\u0646\u0686\u06cc \u06c1\u06cc\u06ba\u06d4 \u062d\u062c\u0645 \u06a9\u06d2 \u0645\u0646\u0638\u0631\u0646\u0627\u0645\u0648\u06ba \u0645\u06cc\u06ba \u06a9\u0627\u0632\u0644 \u0627\u0646\u0641\u0631\u0646\u0633\u0632 \u06a9\u0648 \u0686\u0644\u0627\u0646\u0627 \u0633\u0627\u0628\u0642\u06c1 \u200b\u200b\u0646\u062a\u0627\u0626\u062c \u06a9\u0648 \u0642\u0627\u0628\u0644 \u0639\u0645\u0644 \u067e\u06cc\u0634\u06cc\u0646 \u06af\u0648\u0626\u06cc\u0648\u06ba \u0645\u06cc\u06ba \u0628\u062f\u0644 \u062f\u06cc\u062a\u0627 \u06c1\u06d2\u06d4<\/p>\n<p>\u0627\u06af\u0631 \u0622\u067e \u0627\u0633 \u0642\u062f\u0645 \u06a9\u0648 \u0686\u06be\u0648\u0691 \u062f\u06cc\u062a\u06d2 \u06c1\u06cc\u06ba\u060c \u062a\u0648 \u0622\u067e \u06a9\u06d2 \u06a9\u0627\u0631\u0622\u0645\u062f \u062a\u062e\u0645\u06cc\u0646\u06d2 \u062a\u062c\u0632\u06cc\u06c1 \u062f\u0633\u062a\u0627\u0648\u06cc\u0632 \u0645\u06cc\u06ba \u062f\u0641\u0646 \u06c1\u0648 \u062c\u0627\u0626\u06cc\u06ba \u06af\u06d2 \u0627\u0648\u0631 \u0635\u0644\u0627\u062d\u06cc\u062a \u06a9\u06cc \u0645\u0646\u0635\u0648\u0628\u06c1 \u0628\u0646\u062f\u06cc \u0627\u0648\u0631 \u0642\u06cc\u0645\u062a\u0648\u06ba \u06a9\u06d2 \u0641\u06cc\u0635\u0644\u0648\u06ba \u0633\u06d2 \u0645\u0646\u0633\u0644\u06a9 \u0646\u06c1\u06cc\u06ba \u06c1\u0648\u06ba \u06af\u06d2\u06d4 \u0645\u06cc\u06ba \u0646\u06d2 \u0627\u0633\u06cc \u0648\u062c\u06c1 \u0633\u06d2 \u0645\u0641\u06cc\u062f \u062a\u062c\u0632\u06cc\u0648\u06ba \u06a9\u0648 \u067e\u0691\u06be\u06d2 \u0628\u063a\u06cc\u0631 \u062f\u06cc\u06a9\u06be\u0627 \u06c1\u06d2\u06d4 \u06cc\u06c1 \u067e\u06cc\u0645\u0627\u0626\u0634 \u06a9\u06cc \u0679\u06cc\u0645 \u06a9\u0648 \u0627\u0646 \u067e\u0679 \u067e\u06cc\u062f\u0627 \u06a9\u0631\u0646\u06d2 \u06a9\u06cc \u0627\u062c\u0627\u0632\u062a \u062f\u06cc\u062a\u0627 \u06c1\u06d2 \u062c\u0648 \u0627\u0635\u0644 \u0645\u06cc\u06ba \u067e\u0631\u0648\u0688\u06a9\u0679 \u06a9\u06d2 \u0686\u0644\u0646\u06d2 \u06a9\u06d2 \u0637\u0631\u06cc\u0642\u06c1 \u0633\u06d2 \u0645\u062a\u0639\u0644\u0642 \u06c1\u06d2\u06d4<\/p>\n<h2 id=\"heading-what-these-four-teams-have-in-common\">\u0627\u0646 \u0686\u0627\u0631 \u0679\u06cc\u0645\u0648\u06ba \u0645\u06cc\u06ba \u06a9\u06cc\u0627 \u0645\u0634\u062a\u0631\u06a9 \u06c1\u06d2\u06d4<\/h2>\n<p>\u0627\u06af\u0631\u0686\u06c1 \u0627\u0646 \u0686\u0627\u0631\u0648\u06ba \u0679\u06cc\u0645\u0648\u06ba \u0646\u06d2 \u0645\u062e\u062a\u0644\u0641 \u0637\u0631\u06cc\u0642\u06d2 \u0628\u0646\u0627\u0626\u06d2\u060c \u0644\u06cc\u06a9\u0646 \u0648\u06c1 \u0627\u06cc\u06a9 \u06c1\u06cc \u0622\u067e\u0631\u06cc\u0679\u0646\u06af \u0627\u0635\u0648\u0644\u0648\u06ba \u067e\u0631 \u0627\u06a9\u0679\u06be\u06d2 \u06c1\u0648\u0626\u06d2\u06d4<\/p>\n<h3 id=\"heading-match-the-method-to-the-deployment-structure\">\u0627\u06cc\u06a9 \u0627\u06cc\u0633\u0627 \u0637\u0631\u06cc\u0642\u06c1 \u0645\u0646\u062a\u062e\u0628 \u06a9\u0631\u06cc\u06ba \u062c\u0648 \u0622\u067e \u06a9\u06cc \u062a\u0639\u06cc\u0646\u0627\u062a\u06cc \u06a9\u06d2 \u0688\u06be\u0627\u0646\u0686\u06d2 \u06a9\u06d2 \u0645\u0637\u0627\u0628\u0642 \u06c1\u0648\u06d4<\/h3>\n<p>\u06c1\u0645 \u0645\u062e\u062a\u0635 \u06a9\u0631\u0646\u06d2 \u06a9\u06d2 \u0637\u0631\u06cc\u0642\u06c1 \u06a9\u0627\u0631 \u0633\u06d2 \u0634\u0631\u0648\u0639 \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba (\u0639\u0644\u0627\u062c \u06a9\u06cc\u0633\u06d2 \u0645\u062e\u062a\u0635 \u06a9\u06cc\u0627 \u06af\u06cc\u0627 \u062a\u06be\u0627\u061f) \u0627\u0648\u0631 \u0634\u0646\u0627\u062e\u062a \u06a9\u06cc \u062d\u06a9\u0645\u062a \u0639\u0645\u0644\u06cc \u067e\u0631 \u067e\u06cc\u0686\u06be\u06d2 \u06a9\u06cc \u0637\u0631\u0641 \u06a9\u0627\u0645 \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4 Airbnb \u0646\u06d2 \u0642\u0644\u06cc\u0644 \u0645\u062f\u062a\u06cc A\/B \u0679\u06cc\u0633\u0679\u0646\u06af \u067e\u0627\u0633 \u06a9\u06cc \u06c1\u06d2 \u06a9\u06cc\u0648\u0646\u06a9\u06c1 \u06cc\u06c1 \u062e\u0635\u0648\u0635\u06cc\u062a 30 \u062f\u0646\u0648\u06ba \u0633\u06d2 \u0632\u06cc\u0627\u062f\u06c1 \u0637\u0648\u06cc\u0644 \u0645\u062f\u062a\u06cc \u0642\u062f\u0631 \u06a9\u0648 \u0645\u062a\u0627\u062b\u0631 \u06a9\u0631\u062a\u06cc \u06c1\u06d2\u06d4 Netflix \u0627\u067e\u0646\u06d2 \u062a\u06be\u0631\u06cc\u0634\u0648\u0644\u0688 \u0631\u0648\u0679\u0646\u06af \u0633\u0633\u0679\u0645 \u06a9\u06d2 \u0644\u06cc\u06d2 RDD \u0627\u0633\u062a\u0639\u0645\u0627\u0644 \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u06d4 \u0627\u0633 \u06a9\u06cc \u0648\u062c\u06c1 \u06cc\u06c1 \u06c1\u06d2 \u06a9\u06c1 \u06a9\u0679 \u0622\u0641 \u0627\u06cc\u06a9 \u0642\u062f\u0631\u062a\u06cc \u0634\u0646\u0627\u062e\u062a \u06a9\u06cc \u062d\u06a9\u0645\u062a \u0639\u0645\u0644\u06cc \u06c1\u06d2\u06d4<\/p>\n<p>\u0622\u067e \u06a9\u06d2 \u0633\u0633\u0679\u0645 \u06a9\u06d2 \u0688\u06cc\u0632\u0627\u0626\u0646 \u067e\u0631 \u0645\u0646\u062d\u0635\u0631 \u06c1\u06d2\u060c \u0627\u0633 \u0628\u0627\u062a \u06a9\u0648 \u06cc\u0642\u06cc\u0646\u06cc \u0628\u0646\u0627\u0646\u06d2 \u06a9\u06d2 \u0644\u06cc\u06d2 \u0627\u06cc\u06a9 \u062a\u06a9\u0646\u06cc\u06a9 \u06a9\u0627 \u0627\u0646\u062a\u062e\u0627\u0628 \u06a9\u0631\u06cc\u06ba \u06a9\u06c1 \u0622\u067e \u06a9\u0633\u06cc \u062e\u0627\u0635 \u0634\u0646\u0627\u062e\u062a\u06cc \u062d\u06a9\u0645\u062a \u0639\u0645\u0644\u06cc \u067e\u0631 \u0628\u06be\u0631\u0648\u0633\u06c1 \u06a9\u0631 \u0633\u06a9\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4 \u062c\u0648 \u0679\u06cc\u0645 \u0628\u06c1\u062a\u0631 \u0637\u0648\u0631 \u067e\u0631 \u062c\u0627\u0646\u062a\u06cc \u06c1\u06d2 \u0627\u0633 \u06a9\u06d2 \u0645\u0637\u0627\u0628\u0642 \u0634\u0646\u0627\u062e\u062a \u06a9\u06cc \u063a\u0644\u0637\u06cc\u0627\u06ba \u06a9\u06cc\u0633\u06d2 \u06c1\u0648\u062a\u06cc \u06c1\u06cc\u06ba\u060c \u0627\u0648\u0631 \u06cc\u06c1 \u063a\u0644\u0637\u06cc\u0627\u06ba \u062e\u0648\u062f \u0627\u0639\u0644\u0627\u0646 \u0646\u06c1\u06cc\u06ba \u06a9\u0631\u062a\u06cc\u06ba\u06d4<\/p>\n<h3 id=\"heading-build-diagnostics-before-building-estimators\">\u062a\u062e\u0645\u06cc\u0646\u06c1 \u0644\u06af\u0627\u0646\u06d2 \u0648\u0627\u0644\u06d2 \u06a9\u06cc \u062a\u0639\u0645\u06cc\u0631 \u0633\u06d2 \u067e\u06c1\u0644\u06d2 \u062a\u0634\u062e\u06cc\u0635 \u06a9\u06cc \u062a\u0639\u0645\u06cc\u0631<\/h3>\n<p>\u062a\u062e\u0645\u06cc\u0646\u06c1 \u06a9\u06cc \u0627\u0637\u0644\u0627\u0639 \u062f\u06cc\u0646\u06d2 \u0633\u06d2 \u067e\u06c1\u0644\u06d2 \u06af\u06be\u0631 \u06a9\u0627 \u0645\u0639\u0627\u0626\u0646\u06c1 \u06a9\u0631\u06cc\u06ba\u06d4 Airbnb \u062a\u0627\u0631\u06cc\u062e\u06cc \u06af\u0631\u0648\u06c1\u0648\u06ba \u06a9\u06d2 \u062e\u0644\u0627\u0641 \u0627\u067e\u0646\u06d2 \u0633\u0631\u06a9\u0631\u062f\u06c1 \u0627\u0634\u0627\u0631\u06d2 \u0645\u0627\u0688\u0644 \u06a9\u06cc \u062a\u0648\u062b\u06cc\u0642 \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u06d4 \u0644\u06cc\u0641\u0679 \u0645\u0634\u0627\u06c1\u062f\u0627\u062a\u06cc \u062a\u062e\u0645\u06cc\u0646\u06d2 \u0686\u0644\u0627\u0646\u06d2 \u0633\u06d2 \u067e\u06c1\u0644\u06d2 \u0648\u0632\u0646 \u06a9\u06cc \u062a\u0642\u0633\u06cc\u0645 \u0627\u0648\u0631 \u067e\u0644\u06cc\u0633\u0628\u0648 \u0679\u06cc\u0633\u0679 \u0686\u0644\u0627\u062a\u0627 \u06c1\u06d2\u06d4<\/p>\n<p>\u062a\u0634\u062e\u06cc\u0635\u06cc \u067e\u0631\u062a \u06a9\u06d2 \u0628\u063a\u06cc\u0631 \u0631\u067e\u0648\u0631\u0679 \u06a9\u06cc\u06d2 \u06af\u0626\u06d2 \u062a\u062e\u0645\u06cc\u0646\u06d2 \u0646\u0627\u0642\u0627\u0628\u0644\u0650 \u062f\u0641\u0627\u0639 \u062a\u062e\u0645\u06cc\u0646\u06d2 \u06c1\u06cc\u06ba\u06d4 \u06cc\u06c1 \u0627\u0645\u062a\u06cc\u0627\u0632 \u0627\u0633 \u0648\u0642\u062a \u0627\u06c1\u0645 \u06c1\u0648\u062a\u0627 \u06c1\u06d2 \u062c\u0628 \u0622\u067e \u06a9\u06cc \u067e\u0631\u0648\u0688\u06a9\u0679 \u0679\u06cc\u0645 \u0633\u06c1 \u0645\u0627\u06c1\u06cc \u062c\u0627\u0626\u0632\u0648\u06ba \u0645\u06cc\u06ba \u0622\u067e \u06a9\u06d2 \u0646\u0645\u0628\u0631\u0648\u06ba \u06a9\u0648 \u0686\u06cc\u0644\u0646\u062c \u06a9\u0631\u062a\u06cc \u06c1\u06d2\u06d4<\/p>\n<h3 id=\"heading-design-every-causal-estimate-around-a-specific-product-decision\">\u0645\u0635\u0646\u0648\u0639\u0627\u062a \u06a9\u06d2 \u0645\u062e\u0635\u0648\u0635 \u0641\u06cc\u0635\u0644\u0648\u06ba \u06a9\u06d2 \u0644\u06cc\u06d2 \u062a\u0645\u0627\u0645 \u06a9\u0627\u0631\u0622\u0645\u062f \u0646\u062a\u0627\u0626\u062c \u06a9\u0648 \u0688\u06cc\u0632\u0627\u0626\u0646 \u06a9\u0631\u06cc\u06ba\u06d4<\/h3>\n<p>Airbnb \u0641\u06cc\u0686\u0631 \u06a9\u06cc \u067e\u06cc\u0634\u06a9\u0634 \u06a9\u06d2 \u0641\u06cc\u0635\u0644\u0648\u06ba \u06a9\u0648 \u0645\u0637\u0644\u0639 \u06a9\u0631\u0646\u06d2 \u06a9\u06d2 \u0644\u06cc\u06d2 \u0637\u0648\u06cc\u0644 \u0645\u062f\u062a\u06cc \u0642\u062f\u0631 \u06a9\u0627 \u062a\u062e\u0645\u06cc\u0646\u06c1 \u0644\u06af\u0627\u062a\u0627 \u06c1\u06d2\u06d4 Netflix \u0644\u0627\u0646\u0686 \u06a9\u06d2 \u0641\u06cc\u0635\u0644\u06d2 \u06a9\u0631\u0646\u06d2 \u06a9\u06d2 \u0644\u06cc\u06d2 \u0646\u06cc\u0645 \u062a\u062c\u0631\u0628\u0627\u062a \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u06d4<\/p>\n<p>\u06a9\u0648\u0626\u06cc \u0628\u06be\u06cc \u062a\u062c\u0632\u06cc\u06c1 \u062c\u0648 \u0622\u067e \u06a9\u06d2 \u0645\u062e\u0635\u0648\u0635 \u067e\u0631\u0648\u0688\u06a9\u0679 \u06a9\u06d2 \u0627\u0646\u062a\u062e\u0627\u0628 \u06a9\u0648 \u0628\u06c1\u062a\u0631 \u0646\u06c1\u06cc\u06ba \u06a9\u0631\u062a\u0627 \u06c1\u06d2 \u0648\u06c1 \u0686\u0644\u0627\u0646\u06d2 \u06a9\u06d2 \u0642\u0627\u0628\u0644 \u0646\u06c1\u06cc\u06ba \u06c1\u06d2\u06d4 \u06cc\u06c1 \u062a\u062c\u0632\u06cc\u06c1 \u06a9\u0627\u0631\u0648\u06ba \u06a9\u0627 \u0648\u0642\u062a \u062e\u0631\u0686 \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u060c \u0631\u067e\u0648\u0631\u0679\u0646\u06af \u0628\u06cc\u06a9 \u0644\u0627\u06af \u0645\u06cc\u06ba \u063a\u0644\u0637 \u0633\u06af\u0646\u0644 \u067e\u06cc\u062f\u0627 \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u060c \u0627\u0648\u0631 \u0648\u0642\u062a \u06a9\u06d2 \u0633\u0627\u062a\u06be \u0633\u0627\u062a\u06be \u0622\u067e \u06a9\u06cc \u067e\u06cc\u0645\u0627\u0626\u0634 \u06a9\u06cc \u0635\u0644\u0627\u062d\u06cc\u062a\u0648\u06ba \u067e\u0631 \u0627\u0633\u0679\u06cc\u06a9 \u06c1\u0648\u0644\u0688\u0631 \u06a9\u06d2 \u0627\u0639\u062a\u0645\u0627\u062f \u06a9\u0648 \u062e\u062a\u0645 \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u06d4<\/p>\n<h3 id=\"heading-document-failure-modes-alongside-every-estimate\">\u062a\u0645\u0627\u0645 \u062d\u0648\u0627\u0644\u0648\u06ba \u06a9\u06d2 \u0633\u0627\u062a\u06be \u062f\u0633\u062a\u0627\u0648\u06cc\u0632 \u06a9\u06cc \u0646\u0627\u06a9\u0627\u0645\u06cc \u06a9\u0627 \u0645\u0648\u0688<\/h3>\n<p>\u06c1\u0631 \u062a\u06a9\u0646\u06cc\u06a9 \u06a9\u06d2 \u067e\u0627\u0633 \u0627\u0646 \u0637\u0631\u06cc\u0642\u0648\u06ba \u06a9\u06cc \u0627\u06cc\u06a9 \u0646\u0627\u0645\u0632\u062f \u0641\u06c1\u0631\u0633\u062a \u06c1\u0648\u062a\u06cc \u06c1\u06d2 \u062c\u0633 \u0645\u06cc\u06ba \u0627\u0633 \u06a9\u06cc \u062e\u0644\u0627\u0641 \u0648\u0631\u0632\u06cc \u06a9\u06cc \u062c\u0627 \u0633\u06a9\u062a\u06cc \u06c1\u06d2: DiD \u0645\u06cc\u06ba \u063a\u06cc\u0631 \u0645\u062a\u0648\u0627\u0632\u06cc \u0631\u062c\u062d\u0627\u0646\u0627\u062a\u060c RDD \u0645\u06cc\u06ba \u06a9\u0679 \u0622\u0641 \u06c1\u06cc\u0631\u0627 \u067e\u06be\u06cc\u0631\u06cc\u060c \u0631\u062c\u062d\u0627\u0646 \u06a9\u06d2 \u0637\u0631\u06cc\u0642\u0648\u06ba \u0645\u06cc\u06ba \u0646\u0627\u067e\u06cc\u062f \u0627\u0644\u062c\u06be\u0646\u06d2 \u0648\u0627\u0644\u06d2 \u0639\u0648\u0627\u0645\u0644\u060c \u067e\u0648\u0631\u06cc \u0622\u0628\u0627\u062f\u06cc \u06a9\u0648 \u0627\u067e \u06af\u0631\u06cc\u0688 \u06a9\u0631\u0646\u06d2 \u06a9\u06d2 \u0644\u06cc\u06d2 \u0645\u0648\u0632\u0648\u06ba \u0646\u0627\u0642\u0635 \u0645\u0635\u0646\u0648\u0639\u06cc \u06a9\u0646\u0679\u0631\u0648\u0644\u060c \u0648\u063a\u06cc\u0631\u06c1\u06d4<\/p>\n<p>\u0644\u06cc\u0628\u0644 \u0634\u062f\u06c1 \u0646\u0627\u06a9\u0627\u0645\u06cc \u06a9\u06cc \u0634\u0631\u0627\u0626\u0637 \u06a9\u06d2 \u0633\u0627\u062a\u06be \u0627\u06cc\u06a9 \u0627\u0642\u062a\u0628\u0627\u0633 \u0628\u06be\u06cc\u062c\u06cc\u06ba\u06d4 \u0627\u06cc\u06a9 \u0634\u06a9\u06cc \u0633\u0627\u0645\u0639\u06cc\u0646 \u06a9\u06d2 \u0644\u06cc\u06d2 \u062a\u062c\u0632\u06cc\u06d2 \u06a9\u06cc \u0633\u0627\u06a9\u06be \u062e\u0648\u062f \u0627\u0639\u062a\u0645\u0627\u062f\u06cc \u06a9\u06d2 \u0648\u0642\u0641\u0648\u06ba \u0633\u06d2 \u0646\u06c1\u06cc\u06ba\u060c \u0628\u0644\u06a9\u06c1 \u0627\u0646 \u0645\u062e\u0635\u0648\u0635 \u0645\u0641\u0631\u0648\u0636\u0648\u06ba \u06a9\u06d2 \u0628\u0627\u0631\u06d2 \u0645\u06cc\u06ba \u0634\u0641\u0627\u0641 \u06c1\u0648\u0646\u06d2 \u0633\u06d2 \u06c1\u0648\u062a\u06cc \u06c1\u06d2 \u062c\u0646\u06c1\u06cc\u06ba \u062a\u062e\u0645\u06cc\u0646\u06c1 \u06a9\u06d2 \u0646\u0627\u06a9\u0627\u0645 \u06c1\u0648\u0646\u06d2 \u06a9\u06d2 \u0644\u06cc\u06d2 \u0628\u0627\u0637\u0644 \u06a9\u0631\u0646\u0627 \u0636\u0631\u0648\u0631\u06cc \u06c1\u06d2\u06d4<\/p>\n<h2 id=\"heading-how-to-start-applying-this-in-your-own-llm-stack\">\u0627\u0633\u06d2 \u0627\u067e\u0646\u06d2 LLM \u0627\u0633\u0679\u06cc\u06a9 \u067e\u0631 \u06a9\u06cc\u0633\u06d2 \u0644\u0627\u06af\u0648 \u06a9\u0631\u06cc\u06ba\u06d4<\/h2>\n<p>\u0627\u06cc\u0644 \u0627\u06cc\u0644 \u0627\u06cc\u0645 \u06a9\u06cc \u0632\u06cc\u0627\u062f\u06c1 \u062a\u0631 \u0679\u06cc\u0645\u06cc\u06ba \u067e\u062e\u062a\u06c1 \u0648\u062c\u06c1 \u067e\u0627\u0626\u067e \u0644\u0627\u0626\u0646 \u06a9\u06d2 \u0633\u0627\u062a\u06be \u0634\u0631\u0648\u0639 \u0646\u06c1\u06cc\u06ba \u06c1\u0648\u062a\u06cc \u06c1\u06cc\u06ba\u06d4 \u0646\u06cc\u0686\u06d2 \u062f\u06cc\u0626\u06d2 \u06af\u0626\u06d2 \u0627\u0642\u062f\u0627\u0645\u0627\u062a \u06a9\u0648 \u0627\u062b\u0631 \u06a9\u06d2 \u0644\u062d\u0627\u0638 \u0633\u06d2 \u062a\u0631\u062a\u06cc\u0628 \u062f\u06cc\u0627 \u06af\u06cc\u0627 \u06c1\u06d2\u06d4<\/p>\n<h3 id=\"heading-1-instrument-before-you-need-the-data\">1. \u0636\u0631\u0648\u0631\u062a \u0633\u06d2 \u067e\u06c1\u0644\u06d2 \u0688\u06cc\u0679\u0627 \u06a9\u06cc \u067e\u06cc\u0645\u0627\u0626\u0634 \u06a9\u0631\u06cc\u06ba\u06d4<\/h3>\n<p>\u06a9\u0633\u06cc \u0628\u06be\u06cc \u0645\u0634\u0627\u06c1\u062f\u0627\u062a\u06cc \u0648\u062c\u06c1 \u062a\u062c\u0632\u06cc\u06c1 \u06a9\u06cc \u0633\u0628 \u0633\u06d2 \u0628\u0691\u06cc \u062d\u062f \u06cc\u06c1 \u06c1\u06d2 \u06a9\u06c1 \u0636\u0631\u0648\u0631\u06cc \u0688\u06cc\u0679\u0627 \u0627\u06a9\u0679\u06be\u0627 \u0646\u06c1\u06cc\u06ba \u06a9\u06cc\u0627 \u062c\u0627\u062a\u0627\u06d4 \u0645\u0631\u062d\u0644\u06c1 \u0648\u0627\u0631 \u0631\u0648\u0644 \u0622\u0624\u0679 \u0645\u06cc\u06ba \u0688\u06cc \u0688\u06cc \u06a9\u0648 \u0686\u0644\u0627\u0646\u06d2 \u06a9\u06d2 \u0644\u06cc\u06d2 \u062f\u0648\u0646\u0648\u06ba \u0622\u0628\u0627\u062f\u06cc\u0648\u06ba \u06a9\u06d2 \u0644\u06cc\u06d2 \u0688\u06cc\u0679\u0627 \u06a9\u0648 \u067e\u0631\u06cc \u067e\u0631\u0648\u0633\u06cc\u0633\u0646\u06af \u06a9\u06cc \u0636\u0631\u0648\u0631\u062a \u06c1\u0648\u062a\u06cc \u06c1\u06d2\u06d4<\/p>\n<p>\u0622\u067e\u0679 \u0627\u0646 \u062e\u0635\u0648\u0635\u06cc\u0627\u062a \u067e\u0631 AIPW \u06a9\u0648 \u0686\u0644\u0627\u0646\u06d2 \u06a9\u06d2 \u0644\u06cc\u06d2 covariates \u06a9\u06d2 \u0627\u06cc\u06a9 \u0628\u06be\u0631\u067e\u0648\u0631 \u0633\u06cc\u0679 \u06a9\u06cc \u0636\u0631\u0648\u0631\u062a \u06c1\u0648\u062a\u06cc \u06c1\u06d2 \u062c\u0648 \u0622\u067e\u0679 \u0627\u0646 \u06a9\u06cc \u067e\u06cc\u0634 \u06af\u0648\u0626\u06cc \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4<\/p>\n<p>\u0633\u06cc\u0634\u0646 \u06a9\u06cc \u0644\u0645\u0628\u0627\u0626\u06cc\u060c \u0627\u0633\u062a\u0641\u0633\u0627\u0631 \u06a9\u06cc \u067e\u06cc\u0686\u06cc\u062f\u06af\u06cc\u060c 7 \u062f\u0646 \u06a9\u06cc \u0648\u0627\u067e\u0633\u06cc \u06a9\u06cc \u0634\u0631\u062d\u060c \u0627\u0648\u0631 \u0645\u0627\u0688\u0644 \u0631\u0648\u0679\u0646\u06af \u06a9\u06d2 \u0641\u06cc\u0635\u0644\u06d2 \u0633\u0645\u06cc\u062a \u0627\u0646 \u062a\u062c\u0632\u06cc\u0648\u06ba \u06a9\u06d2 \u0644\u06cc\u06d2 \u0622\u062c \u06c1\u06cc \u0627\u067e\u0646\u06d2 \u0633\u0633\u0679\u0645 \u06a9\u0648 6 \u0645\u0627\u06c1 \u0645\u06cc\u06ba \u0686\u0644\u0627\u0646\u0627 \u0686\u0627\u06c1\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4 \u0627\u06af\u0631\u0686\u06c1 \u0633\u0627\u0645\u0627\u0646 \u0633\u0633\u062a\u0627 \u06c1\u06d2\u060c \u0644\u06cc\u06a9\u0646 \u0633\u0627\u0628\u0642\u06c1 \u200b\u200b\u0688\u06cc\u0679\u0627 \u0627\u06a9\u0679\u06be\u0627 \u06a9\u0631\u0646\u0627 \u0645\u0645\u06a9\u0646 \u0646\u06c1\u06cc\u06ba \u06c1\u06d2\u06d4<\/p>\n<h3 id=\"heading-2-classify-your-deployment-mechanisms\">2. \u062a\u0642\u0633\u06cc\u0645 \u06a9\u06d2 \u0637\u0631\u06cc\u0642\u06c1 \u06a9\u0627\u0631 \u06a9\u06cc \u062f\u0631\u062c\u06c1 \u0628\u0646\u062f\u06cc<\/h3>\n<p>Netflix \u062f\u0631\u062c\u06c1 \u0628\u0646\u062f\u06cc \u06a9\u0648 \u0627\u0646 \u062a\u0645\u0627\u0645 AI \u062e\u0635\u0648\u0635\u06cc\u0627\u062a \u067e\u0631 \u0644\u0627\u06af\u0648 \u06a9\u0631\u06cc\u06ba \u062c\u0648 \u0641\u06cc \u0627\u0644\u062d\u0627\u0644 \u0622\u067e \u06a9\u06cc \u0645\u0635\u0646\u0648\u0639\u0627\u062a \u0645\u06cc\u06ba \u0686\u0644 \u0631\u06c1\u06cc \u06c1\u06cc\u06ba\u06d4 \u06c1\u0631 \u062e\u0635\u0648\u0635\u06cc\u062a \u06a9\u06d2 \u0644\u06cc\u06d2\u060c \u062f\u0631\u062c \u0630\u06cc\u0644 \u0633\u0648\u0627\u0644\u0627\u062a \u067e\u0648\u0686\u06be\u06cc\u06ba: \u0639\u0644\u0627\u062c \u06a9\u06cc\u0633\u06d2 \u062a\u0641\u0648\u06cc\u0636 \u06a9\u06cc\u0627 \u06af\u06cc\u0627\u061f \u06cc\u06c1 \u0645\u062e\u062a\u0635 \u06a9\u0631\u0646\u06d2 \u06a9\u0627 \u0637\u0631\u06cc\u0642\u06c1 \u06a9\u0627\u0631 \u06a9\u0646 \u0648\u062c\u0648\u06c1\u0627\u062a \u06a9\u06cc \u062d\u0645\u0627\u06cc\u062a \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u061f<\/p>\n<p>\u0622\u067e \u06a9\u06d2 \u06a9\u0644\u06cc\u062f\u06cc \u0645\u0641\u0631\u0648\u0636\u06d2 \u06a9\u06cc\u0627 \u06c1\u06cc\u06ba\u060c \u0627\u0648\u0631 \u06a9\u06cc\u0627 \u0622\u067e \u06a9\u06d2 \u067e\u0627\u0633 \u0627\u0646 \u06a9\u06cc \u062a\u0635\u062f\u06cc\u0642 \u06a9\u06d2 \u0644\u06cc\u06d2 \u0688\u06cc\u0679\u0627 \u0645\u0648\u062c\u0648\u062f \u06c1\u06d2\u061f \u067e\u0631\u06cc\u06a9\u0679\u0633 \u0633\u06d2 \u067e\u062a\u06c1 \u0686\u0644\u062a\u0627 \u06c1\u06d2 \u06a9\u06c1 \u0639\u0627\u0645 \u0637\u0648\u0631 \u067e\u0631 \u0632\u06cc\u0627\u062f\u06c1 \u062a\u0631 \u062e\u0635\u0648\u0635\u06cc\u0627\u062a \u06a9\u0648 \u0627\u06cc\u0633\u06d2 \u0679\u0648\u0644\u0632 \u06a9\u06d2 \u0627\u0633\u062a\u0639\u0645\u0627\u0644 \u0633\u06d2 \u0645\u0627\u067e\u0627 \u062c\u0627\u062a\u0627 \u06c1\u06d2 \u062c\u0648 \u0645\u062e\u062a\u0635 \u06a9\u0631\u0646\u06d2 \u06a9\u06d2 \u0637\u0631\u06cc\u0642\u06c1 \u06a9\u0627\u0631 \u0633\u06d2 \u0645\u06cc\u0644 \u0646\u06c1\u06cc\u06ba \u06a9\u06be\u0627\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4 \u0627\u062e\u062a\u0644\u0627\u0641 \u0639\u0644\u0645\u06cc \u0646\u06c1\u06cc\u06ba \u06c1\u06d2\u06d4 \u0627\u0633 \u06a9\u0627 \u0645\u0637\u0644\u0628 \u06c1\u06d2 \u06a9\u06c1 \u0622\u067e \u0646\u06c1\u06cc\u06ba \u062c\u0627\u0646\u062a\u06d2 \u06a9\u06c1 \u06cc\u06c1 \u0641\u06cc\u0686\u0631 \u06a9\u0627\u0645 \u06a9\u0631\u06d2 \u06af\u0627 \u06cc\u0627 \u0646\u06c1\u06cc\u06ba\u06d4<\/p>\n<h3 id=\"heading-3-run-one-diagnostic-rich-causal-analysis\">3. \u062a\u0634\u062e\u06cc\u0635\u06cc \u0633\u06d2 \u0628\u06be\u0631\u067e\u0648\u0631 \u06a9\u0627\u0632\u0644 \u062a\u062c\u0632\u06cc\u06c1 \u0686\u0644\u0627\u0626\u06cc\u06ba\u06d4<\/h3>\n<p>\u0627\u06cc\u06a9 \u062e\u0635\u0648\u0635\u06cc\u062a \u0686\u0646\u06cc\u06ba\u060c \u0628\u06cc\u0644\u0646\u0633 \u0686\u06cc\u06a9 \u0627\u0648\u0631 \u067e\u0644\u06cc\u0633\u0628\u0648 \u0679\u06cc\u0633\u0679 \u0686\u0644\u0627\u0626\u06cc\u06ba\u060c \u062a\u0641\u0635\u06cc\u0644\u0627\u062a \u06a9\u06d2 \u0627\u0646\u062a\u062e\u0627\u0628 \u06a9\u06d2 \u0644\u06cc\u06d2 \u062a\u0646\u0627\u0624 \u06a9\u06cc \u062d\u0633\u0627\u0633\u06cc\u062a \u06a9\u06cc \u062c\u0627\u0646\u0686 \u06a9\u0631\u06cc\u06ba\u060c \u0627\u0648\u0631 \u0646\u062a\u0627\u0626\u062c \u0644\u06a9\u06be\u06cc\u06ba\u06d4 \u062a\u0645\u0627\u0645 \u0686\u06cc\u06a9\u0648\u06ba \u06a9\u0648 \u0627\u06cc\u06a9 \u0628\u0627\u0631 \u0686\u0644\u0627\u0646\u06d2 \u0633\u06d2 \u0645\u0633\u062a\u0642\u0628\u0644 \u06a9\u06d2 \u062a\u062c\u0632\u06cc\u06c1 \u06a9\u06d2 \u0644\u06cc\u06d2 \u0627\u06cc\u06a9 \u0646\u0645\u0648\u0646\u06c1 \u0642\u0627\u0626\u0645 \u06c1\u0648\u062a\u0627 \u06c1\u06d2\u06d4<\/p>\n<p>\u0645\u0632\u06cc\u062f \u0628\u0631\u0622\u06ba\u060c \u0627\u0633 \u062e\u0635\u0648\u0635\u06cc\u062a \u06a9\u06d2 \u0644\u06cc\u06d2 \u0639\u0627\u0645 \u0637\u0648\u0631 \u067e\u0631 \u0627\u06cc\u06a9 \u062a\u06a9\u0644\u06cc\u0641 \u062f\u06c1 \u0646\u062a\u06cc\u062c\u06c1 \u06c1\u0648\u062a\u0627 \u06c1\u06d2 \u062c\u0633 \u06a9\u06d2 \u0628\u0627\u0631\u06d2 \u0645\u06cc\u06ba \u0622\u067e \u06a9\u0648 \u0632\u06cc\u0627\u062f\u06c1 \u0627\u0639\u062a\u0645\u0627\u062f \u06c1\u06d2\u06d4 \u0645\u06cc\u06ba \u0646\u06d2 \u06cc\u06c1 \u062a\u06cc\u0646 \u0627\u0644\u06af \u0627\u0644\u06af \u0679\u06cc\u0645\u0648\u06ba \u0645\u06cc\u06ba \u06c1\u0648\u062a\u06d2 \u062f\u06cc\u06a9\u06be\u0627 \u06c1\u06d2\u06d4 \u0627\u06cc\u06a9 \u062e\u0635\u0648\u0635\u06cc\u062a \u062c\u0648 &quot;\u0628\u0638\u0627\u06c1\u0631 \u06a9\u0627\u0645 \u06a9\u0631\u062a\u06cc \u06c1\u06d2&#8221; \u0627\u06cc\u06a9 \u0645\u0628\u06c1\u0645 \u0645\u0648\u0627\u0632\u0646\u06c1 \u06af\u0631\u0648\u067e \u0628\u0646\u062a\u06cc \u06c1\u06d2\u06d4<\/p>\n<h3 id=\"heading-4-separate-short-term-and-long-term-metrics\">4. \u0642\u0644\u06cc\u0644 \u0645\u062f\u062a\u06cc \u0627\u0648\u0631 \u0637\u0648\u06cc\u0644 \u0645\u062f\u062a\u06cc \u0645\u06cc\u0679\u0631\u06a9\u0633 \u06a9\u0648 \u0627\u0644\u06af \u06a9\u0631\u06cc\u06ba\u06d4<\/h3>\n<p>Airbnb \u06a9\u06cc \u0645\u062b\u0627\u0644 \u067e\u0631 \u0639\u0645\u0644 \u06a9\u0631\u06cc\u06ba \u0627\u0648\u0631 \u0637\u0648\u06cc\u0644 \u0645\u062f\u062a\u06cc \u0642\u062f\u0631 \u06a9\u06d2 \u06a9\u0645 \u0627\u0632 \u06a9\u0645 \u0627\u06cc\u06a9 \u0633\u0631\u06a9\u0631\u062f\u06c1 \u0627\u0634\u0627\u0631\u06d2 \u06a9\u06cc \u0646\u0634\u0627\u0646\u062f\u06c1\u06cc \u06a9\u0631\u06cc\u06ba \u062c\u0633 \u06a9\u06cc \u067e\u06cc\u0645\u0627\u0626\u0634 30 \u062f\u0646 \u06a9\u06d2 \u062a\u062c\u0631\u0628\u0627\u062a\u06cc \u0639\u0631\u0635\u06d2 \u0645\u06cc\u06ba \u06a9\u06cc \u062c\u0627 \u0633\u06a9\u062a\u06cc \u06c1\u06d2\u06d4 7 \u062f\u0646 \u06a9\u06cc \u0628\u0631\u0642\u0631\u0627\u0631\u06cc\u060c 3 \u06c1\u0641\u062a\u06d2 \u06a9\u06cc \u0648\u0627\u067e\u0633\u06cc \u06a9\u06d2 \u0627\u0633\u062a\u0641\u0633\u0627\u0631 \u06a9\u06cc \u0634\u0631\u062d\u060c \u06cc\u0627 \u0627\u0636\u0627\u0641\u06d2 \u06a9\u06cc \u0634\u0631\u062d \u06a9\u06cc \u0631\u0641\u062a\u0627\u0631 \u0633\u0628\u06be\u06cc \u0627\u0645\u06cc\u062f\u0648\u0627\u0631 \u06c1\u06cc\u06ba\u06d4<\/p>\n<p>\u06c1\u0631 \u062a\u062c\u0631\u0628\u06d2 \u06a9\u06d2 \u062e\u0644\u0627\u0635\u06d2 \u0645\u06cc\u06ba \u0641\u0648\u0631\u06cc \u0645\u0646\u06af\u0646\u06cc \u0645\u06cc\u0679\u0631\u06a9\u0633 \u06a9\u06d2 \u0633\u0627\u062a\u06be \u0627\u0633 \u06a9\u06cc \u0627\u0637\u0644\u0627\u0639 \u062f\u06cc\u06ba\u06d4 \u0627\u0633 \u06a9\u06d2 \u0628\u063a\u06cc\u0631\u060c \u0622\u067e \u0627\u067e\u0646\u06cc \u067e\u0631\u0627\u06a9\u0633\u06cc \u06a9\u0648 \u0628\u06c1\u062a\u0631 \u0628\u0646\u0627\u062a\u06d2 \u06c1\u06cc\u06ba \u0627\u0648\u0631 \u0627\u06af\u0644\u06cc \u0633\u06c1 \u0645\u0627\u06c1\u06cc \u0645\u06cc\u06ba \u0628\u0631\u0642\u0631\u0627\u0631 \u0631\u06a9\u06be\u0646\u06d2 \u06a9\u06cc \u0634\u0631\u062d\u0648\u06ba \u0645\u06cc\u06ba \u0641\u0631\u0642 \u062a\u0644\u0627\u0634 \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4<\/p>\n<h3 id=\"heading-5-make-causal-estimates-forward-looking\">5. \u0645\u0633\u062a\u0642\u0628\u0644 \u067e\u0631 \u0645\u0628\u0646\u06cc causal \u0631\u0634\u062a\u06c1 \u06a9\u0627 \u062a\u062e\u0645\u06cc\u0646\u06c1<\/h3>\n<p>\u062c\u0628 \u0622\u067e \u0627\u06cc\u06a9 \u0648\u062c\u06c1 \u06a9\u0627 \u062a\u062e\u0645\u06cc\u0646\u06c1 \u0628\u0646\u0627\u062a\u06d2 \u06c1\u06cc\u06ba\u060c \u062a\u0648 \u0622\u067e \u0627\u06cc\u06a9 \u0644\u0627\u0626\u0646 \u0634\u0627\u0645\u0644 \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba: &quot;\u0645\u0648\u062c\u0648\u062f\u06c1 \u062d\u062c\u0645 \u06a9\u06d2 3 \u06af\u0646\u0627 \u0633\u06d2 \u0628\u06be\u06cc \u06a9\u0645\u060c \u0627\u0633 \u0627\u062b\u0631 \u06a9\u0627 \u0645\u0637\u0644\u0628 \u06c1\u06d2 X\u06d4&#8221; \u062a\u0631\u062c\u0645\u06c1 \u06a9\u0627 \u06cc\u06c1 \u0645\u0631\u062d\u0644\u06c1 \u0627\u06cc\u0646\u0627\u0644\u06cc\u0679\u06a9\u0633 \u06a9\u0648 \u0627\u0646\u0641\u0631\u0627\u0633\u0679\u0631\u06a9\u0686\u0631 \u0627\u0648\u0631 \u067e\u0631\u0648\u0688\u06a9\u0679 \u067e\u0644\u0627\u0646\u0632 \u0633\u06d2 \u062c\u0648\u0691\u062a\u0627 \u06c1\u06d2 \u0627\u0648\u0631 \u062a\u062c\u0632\u06cc\u0627\u062a \u06a9\u0648 \u067e\u0691\u06be\u0646\u06d2 \u0648\u0627\u0644\u06d2 \u06a9\u0648 \u062a\u0628\u062f\u06cc\u0644 \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u06d4<\/p>\n<h2 id=\"heading-when-production-causal-pipelines-break\">\u062c\u0628 \u067e\u06cc\u062f\u0627\u0648\u0627\u0631 \u06a9\u0627\u0632\u0644 \u067e\u0627\u0626\u067e \u0644\u0627\u0626\u0646 \u0645\u06cc\u06ba \u062e\u0644\u0644 \u067e\u0691\u062a\u0627 \u06c1\u06d2\u06d4<\/h2>\n<p>\u067e\u0631\u0648\u0688\u06a9\u0634\u0646 \u06a9\u0627\u0632\u0644 \u067e\u0627\u0626\u067e \u0644\u0627\u0626\u0646 \u06a9\u0626\u06cc \u0645\u0645\u06a9\u0646\u06c1 \u062c\u06af\u06c1\u0648\u06ba \u067e\u0631 \u0679\u0648\u0679 \u062c\u0627\u062a\u06cc \u06c1\u06d2\u06d4<\/p>\n<h3 id=\"heading-organizational-failures\">\u062a\u0646\u0638\u06cc\u0645\u06cc \u0646\u0627\u06a9\u0627\u0645\u06cc<\/h3>\n<p><strong>\u0633\u0628 \u0633\u06d2 \u067e\u06c1\u0644\u06d2\u060c \u06a9\u0648\u0626\u06cc \u0628\u06be\u06cc \u067e\u06cc\u0645\u0627\u0626\u0634 \u06a9\u06d2 \u0688\u06cc\u0632\u0627\u0626\u0646 \u06a9\u0627 \u0645\u0627\u0644\u06a9 \u0646\u06c1\u06cc\u06ba \u06c1\u06d2\u06d4<\/strong> \u0632\u06cc\u0627\u062f\u06c1 \u062a\u0631 \u0679\u06cc\u0645\u0648\u06ba \u0645\u06cc\u06ba\u060c \u0688\u06cc\u0679\u0627 \u0633\u0627\u0626\u0646\u0633\u062f\u0627\u0646 \u062e\u0635\u0648\u0635\u06cc\u0627\u062a \u06a9\u06d2 \u062c\u0627\u0631\u06cc \u06c1\u0648\u0646\u06d2 \u06a9\u06d2 \u0628\u0639\u062f \u062a\u062c\u0632\u06cc\u0627\u062a \u0644\u06a9\u06be\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4 \u0686\u0648\u0646\u06a9\u06c1 \u06cc\u06c1 \u0645\u0639\u06cc\u0627\u0631\u06cc \u0648\u0631\u06a9 \u0641\u0644\u0648 \u06c1\u06d2\u060c \u0622\u067e \u06c1\u0645\u06cc\u0634\u06c1 \u0627\u06cc\u0633\u06d2 \u0688\u06cc\u0679\u0627 \u067e\u0631 \u0633\u0627\u0628\u0642\u06c1 \u200b\u200b\u062a\u062c\u0632\u06cc\u06d2 \u06a9\u0631\u062a\u06d2 \u0631\u06c1\u06cc\u06ba \u06af\u06d2 \u062c\u0648 \u0648\u062c\u06c1 \u06a9\u06cc \u0634\u0646\u0627\u062e\u062a \u06a9\u06d2 \u0644\u06cc\u06d2 \u0646\u06c1\u06cc\u06ba \u0628\u0646\u0627\u0626\u06d2 \u06af\u0626\u06d2 \u06c1\u06cc\u06ba\u06d4<\/p>\n<p>\u062d\u0644 \u0641\u06cc\u0686\u0631 \u0631\u06cc\u0644\u06cc\u0632 \u0633\u06d2 \u067e\u06c1\u0644\u06d2 \u067e\u06cc\u0645\u0627\u0626\u0634 \u06a9\u06d2 \u0688\u06cc\u0632\u0627\u0626\u0646 \u06a9\u0627 \u062c\u0627\u0626\u0632\u06c1 \u06c1\u06d2\u06d4 \u06a9\u0646\u0679\u0631\u0648\u0644 \u06af\u0631\u0648\u067e \u06a9\u0648\u0646 \u06c1\u06d2\u060c \u067e\u0686\u06be\u0644\u06cc \u0645\u062f\u062a \u06a9\u062a\u0646\u06cc \u06c1\u06d2\u060c \u06a9\u0644\u06cc\u062f\u06cc \u0645\u0641\u0631\u0648\u0636\u06d2 \u06a9\u06cc\u0627 \u06c1\u06cc\u06ba\u060c \u0627\u0648\u0631 \u06a9\u0648\u0646 \u0633\u06cc \u062a\u0634\u062e\u06cc\u0635 \u0627\u0646 \u06a9\u0648 \u063a\u0644\u0637 \u062b\u0627\u0628\u062a \u06a9\u0631\u06d2 \u06af\u06cc\u061f 30 \u0645\u0646\u0679 \u06a9\u0627 \u062c\u0627\u0626\u0632\u06c1 \u0639\u0627\u0645 \u0642\u0633\u0645 \u06a9\u06d2 \u062a\u062c\u0632\u06cc\u0648\u06ba \u0633\u06d2 \u06af\u0631\u06cc\u0632 \u06a9\u0631\u062a\u0627 \u06c1\u06d2 \u062c\u0646 \u06a9\u06cc \u0645\u0631\u0645\u062a \u0646\u06c1\u06cc\u06ba \u06a9\u06cc \u062c\u0627 \u0633\u06a9\u062a\u06cc\u06d4<\/p>\n<p><strong>\u062f\u0648\u0633\u0631\u0627\u060c \u0646\u062a\u06cc\u062c\u06c1 \u062e\u06cc\u0632 \u0646\u062a\u0627\u0626\u062c \u0641\u06cc\u0635\u0644\u06c1 \u0633\u0627\u0632\u0648\u06ba \u06a9\u0648 \u0646\u06c1\u06cc\u06ba \u0628\u062a\u0627\u0626\u06d2 \u062c\u0627\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4<\/strong> \u0627\u0686\u06be\u06d2 \u06a9\u0627\u0631\u0646\u0627\u0645\u06d2 \u062c\u0648 \u06a9\u06c1 \u067e\u0631\u0648\u0688\u06a9\u0679 \u06a9\u06d2 \u0641\u06cc\u0635\u0644\u0648\u06ba \u06a9\u0648 \u0645\u0637\u0644\u0639 \u0646\u06c1\u06cc\u06ba \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba \u0646\u0627\u06a9\u0627\u0645 \u062a\u062c\u0632\u06cc\u06c1 \u06c1\u0648\u062a\u06d2 \u06c1\u06cc\u06ba \u0686\u0627\u06c1\u06d2 \u0627\u0639\u062f\u0627\u062f \u0648 \u0634\u0645\u0627\u0631 \u062f\u0631\u0633\u062a \u06c1\u0648\u06ba\u06d4 \u0628\u06c1\u062a\u0631 \u0637\u0631\u06cc\u0642\u06c1 \u06a9\u0627\u0631 \u0627\u0633 \u0645\u0633\u0626\u0644\u06d2 \u06a9\u0648 \u062d\u0644 \u0646\u06c1\u06cc\u06ba \u06a9\u0631 \u0633\u06a9\u062a\u0627\u06d4 \u06a9\u0627\u0632\u0644 \u067e\u0627\u0626\u067e \u0644\u0627\u0626\u0646\u0648\u06ba \u06a9\u0648 \u0633\u062e\u062a \u0631\u067e\u0648\u0631\u0679\u0646\u06af \u06a9\u06d2 \u0633\u0627\u062a\u06be \u0633\u0627\u062a\u06be \u0641\u0627\u0633\u0679 \u0679\u0631\u06cc\u06a9 \u0631\u067e\u0648\u0631\u0679\u0646\u06af \u06a9\u06cc \u0636\u0631\u0648\u0631\u062a \u06c1\u0648\u062a\u06cc \u06c1\u06d2\u06d4<\/p>\n<h3 id=\"heading-technical-failures\">\u062a\u06a9\u0646\u06cc\u06a9\u06cc \u0646\u0627\u06a9\u0627\u0645\u06cc<\/h3>\n<p><strong>\u0633\u0628 \u0633\u06d2 \u067e\u06c1\u0644\u06d2\u060c \u067e\u06cc\u0645\u0627\u0626\u0634 \u06a9\u06d2 \u0641\u0631\u0642 \u06a9\u0648 \u062d\u0642\u06cc\u0642\u062a \u06a9\u06d2 \u0628\u0639\u062f \u062f\u0631\u06cc\u0627\u0641\u062a \u06a9\u06cc\u0627 \u062c\u0627\u062a\u0627 \u06c1\u06d2\u06d4<\/strong> \u0633\u0628 \u0633\u06d2 \u0639\u0627\u0645 \u062a\u06a9\u0646\u06cc\u06a9\u06cc \u0646\u0627\u06a9\u0627\u0645\u06cc \u063a\u06cc\u0631 \u0631\u06cc\u06a9\u0627\u0631\u0688 \u0634\u062f\u06c1 \u06a9\u0648\u0648\u0627\u0631\u06cc\u0679\u0633 \u06a9\u06cc \u0636\u0631\u0648\u0631\u062a \u06c1\u06d2\u06d4 \u062a\u062c\u0631\u0628\u06c1 \u062e\u062a\u0645 \u06c1\u0648\u0646\u06d2 \u06a9\u06d2 \u062a\u06cc\u0646 \u06c1\u0641\u062a\u06d2 \u0628\u0639\u062f\u060c \u062c\u0628 \u0622\u067e \u0628\u06cc\u0644\u0646\u0633 \u0686\u06cc\u06a9 \u06a9\u0631\u0646\u06d2 \u06cc\u0627 \u0631\u062c\u062d\u0627\u0646 \u06a9\u0627 \u0645\u0627\u0688\u0644 \u0686\u0644\u0627\u0646\u06d2 \u06a9\u06cc \u06a9\u0648\u0634\u0634 \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba \u062a\u0648 \u0622\u067e \u06a9\u0648 \u0641\u0631\u0642 \u0646\u0638\u0631 \u0622\u062a\u0627 \u06c1\u06d2\u06d4<\/p>\n<p>\u0627\u0648\u067e\u0631 \u062f\u06cc\u06d2 \u06af\u0626\u06d2 \u0622\u0644\u0627\u062a \u06a9\u06d2 \u0627\u0628\u062a\u062f\u0627\u0626\u06cc \u0627\u0635\u0648\u0644 \u0627\u0633 \u0645\u0633\u0626\u0644\u06d2 \u06a9\u0648 \u062d\u0644 \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba\u060c \u0644\u06cc\u06a9\u0646 \u0627\u0646\u06c1\u06cc\u06ba \u0627\u06cc\u0648\u0646\u0679 \u0644\u0627\u06af\u0646\u06af \u06a9\u0648 \u062a\u0631\u062c\u06cc\u062d \u062f\u06cc\u0646\u06d2 \u06a9\u06d2 \u0644\u06cc\u06d2 \u0628\u0646\u06cc\u0627\u062f\u06cc \u0688\u06be\u0627\u0646\u0686\u06d2 \u06a9\u06cc \u0679\u06cc\u0645 \u0633\u06d2 \u062e\u0631\u06cc\u062f\u0627\u0631\u06cc \u06a9\u06cc \u0636\u0631\u0648\u0631\u062a \u06c1\u0648\u062a\u06cc \u06c1\u06d2 \u062c\u0648 \u0628\u0631\u0627\u06c1 \u0631\u0627\u0633\u062a \u067e\u0631\u0648\u0688\u06a9\u0679 \u0688\u06cc\u0634 \u0628\u0648\u0631\u0688 \u0641\u0631\u0627\u06c1\u0645 \u06a9\u0631\u0646\u06d2 \u06a9\u06cc \u0637\u0631\u062d \u06a9\u0627\u0632\u0644 \u062a\u062c\u0632\u06cc\u06c1 \u0641\u0631\u0627\u06c1\u0645 \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u06d4 \u06cc\u06c1 \u062e\u0631\u06cc\u062f\u0646\u0627 \u062e\u0648\u062f \u0644\u0627\u06af \u0627\u0646 \u06a9\u0631\u0646\u06d2 \u0633\u06d2 \u0632\u06cc\u0627\u062f\u06c1 \u0645\u0634\u06a9\u0644 \u06c1\u06d2\u06d4<\/p>\n<p><strong>\u062f\u0648\u0633\u0631\u0627\u060c \u0645\u0635\u0646\u0648\u0639\u06cc \u0688\u06cc\u0679\u0627\u0633\u06cc\u0679 \u0645\u06cc\u06ba \u0639\u0644\u0627\u062c \u06a9\u0627 \u0631\u0633\u0627\u0648 \u06c1\u06d2\u06d4<\/strong> \u0645\u0635\u0646\u0648\u0639\u06cc \u06cc\u0627 \u0627\u0646\u062f\u0631\u0648\u0646\u06cc \u0688\u06cc\u0679\u0627 \u067e\u0631 \u06a9\u0627\u0632\u0644 \u0637\u0631\u06cc\u0642\u0648\u06ba \u06a9\u06cc \u062c\u0627\u0646\u0686 \u06a9\u0631\u0646\u06d2 \u0648\u0627\u0644\u06cc \u0679\u06cc\u0645\u0648\u06ba \u06a9\u06d2 \u0644\u06cc\u06d2\u060c \u06a9\u0648\u0626\u06cc \u0628\u06be\u06cc \u0637\u0631\u06cc\u0642\u06c1 \u0646\u0627\u062f\u0627\u0646\u0633\u062a\u06c1 \u0637\u0648\u0631 \u067e\u0631 \u0627\u0646 \u06a9\u0627\u0632\u0644 \u0627\u062b\u0631\u0627\u062a \u06a9\u0648 \u0644\u0627\u06af\u0648 \u06a9\u0631\u06a9\u06d2 \u06a9\u0627\u0645 \u06a9\u0631\u062a\u0627 \u062f\u06a9\u06be\u0627\u0626\u06cc \u062f\u06d2 \u0633\u06a9\u062a\u0627 \u06c1\u06d2 \u062c\u0646 \u06a9\u0627 \u0648\u06c1 \u0688\u06cc\u0679\u0627 \u0628\u0646\u0627\u0646\u06d2 \u06a9\u06d2 \u0639\u0645\u0644 \u06a9\u06d2 \u062f\u0648\u0631\u0627\u0646 \u0627\u0646\u062f\u0627\u0632\u06c1 \u0644\u06af\u0627\u0646\u06d2 \u06a9\u06cc \u06a9\u0648\u0634\u0634 \u06a9\u0631 \u0631\u06c1\u06d2 \u06c1\u06cc\u06ba\u06d4<\/p>\n<p>\u062a\u062e\u0644\u06cc\u0642 \u0648\u0646\u0688\u0648 \u06a9\u06d2 \u0628\u0627\u06c1\u0631 \u0628\u06cc\u0631\u0648\u0646\u06cc \u06c1\u0648\u0644\u0688 \u0622\u0624\u0679 \u0688\u06cc\u0679\u0627 \u06cc\u0627 \u06a9\u0648\u06c1\u0648\u0631\u0679\u0633 \u067e\u0631 \u062a\u062c\u0632\u06cc\u06c1 \u06a9\u06cc \u062a\u0648\u062b\u06cc\u0642 \u06a9\u0631\u06cc\u06ba\u06d4 \u06cc\u06c1 \u06cc\u0627\u062f \u06a9\u0631\u0646\u0627 \u0622\u0633\u0627\u0646 \u06c1\u06d2 \u06a9\u06cc\u0648\u0646\u06a9\u06c1 \u0645\u0635\u0646\u0648\u0639\u06cc \u0688\u06cc\u0679\u0627 \u0635\u0627\u0641 \u0646\u0638\u0631 \u0622\u062a\u0627 \u06c1\u06d2\u06d4 \u0627\u0639\u062f\u0627\u062f \u0648 \u0634\u0645\u0627\u0631 \u06a9\u06cc \u0627\u06cc\u06a9 \u0642\u0637\u0627\u0631 \u06a9\u06d2 \u0627\u0646\u062f\u0631 \u0633\u0627\u062e\u062a\u06cc \u0622\u0644\u0648\u062f\u06af\u06cc \u0679\u06be\u06cc\u06a9 \u0679\u06be\u06cc\u06a9 \u0627\u0648\u0631 \u067e\u062a\u06c1 \u0644\u06af\u0627\u0646\u0627 \u0645\u0634\u06a9\u0644 \u06c1\u0648 \u0633\u06a9\u062a\u0627 \u06c1\u06d2\u06d4<\/p>\n<h3 id=\"heading-interpretive-failures\">\u062a\u0634\u0631\u06cc\u062d \u0645\u06cc\u06ba \u0646\u0627\u06a9\u0627\u0645\u06cc<\/h3>\n<p><strong>\u0633\u0628 \u0633\u06d2 \u067e\u06c1\u0644\u06d2\u060c \u06cc\u06c1 \u0644\u06cc\u0679 \u0627\u0648\u0631 ATE \u06a9\u0648 \u06cc\u06a9\u062c\u0627 \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u06d4<\/strong> RDD \u0645\u0642\u0627\u0645\u06cc \u0627\u0648\u0633\u0637 \u0639\u0644\u0627\u062c \u06a9\u06d2 \u0627\u062b\u0631 (LATE) \u06a9\u0627 \u062a\u062e\u0645\u06cc\u0646\u06c1 \u0644\u06af\u0627\u062a\u0627 \u06c1\u06d2\u060c \u06cc\u0639\u0646\u06cc \u062d\u062f \u06a9\u06d2 \u0642\u0631\u06cc\u0628 \u06a9\u0633\u06cc \u062e\u0627\u0635 \u0635\u0627\u0631\u0641 \u06a9\u06d2 \u0644\u06cc\u06d2 \u06a9\u0679 \u0622\u0641 \u0627\u062b\u0631\u06d4 \u0631\u062c\u062d\u0627\u0646 \u0633\u06d2 \u0645\u0645\u0627\u062b\u0644 \u062a\u062e\u0645\u06cc\u0646\u06c1 ATT: \u0639\u0644\u0627\u062c \u06a9\u0631\u0646\u06d2 \u0648\u0627\u0644\u06d2 \u0635\u0627\u0631\u0641\u06cc\u0646 \u067e\u0631 \u0627\u062b\u0631\u0627\u062a\u06d4 \u067e\u0648\u0631\u06cc \u0622\u0628\u0627\u062f\u06cc \u06a9\u06d2 \u0644\u06cc\u06d2 ATE \u0627\u06cc\u06a9 \u0645\u062e\u062a\u0644\u0641 \u0646\u0642\u0637\u06c1 \u0646\u0638\u0631 \u06a9\u06cc \u0636\u0631\u0648\u0631\u062a \u06c1\u06d2\u06d4<\/p>\n<p>\u062c\u0628 \u0627\u06cc\u06a9 \u0648\u0632\u06cc\u0631 \u0627\u0639\u0638\u0645 \u067e\u0648\u0686\u06be\u062a\u0627 \u06c1\u06d2 &quot;\u0627\u0633 \u062e\u0635\u0648\u0635\u06cc\u062a \u06a9\u0627 \u06a9\u06cc\u0627 \u0627\u062b\u0631 \u06c1\u06d2\u061f&#8221; \u0627\u0646 \u06a9\u0627 \u0645\u0637\u0644\u0628 \u0639\u0627\u0645 \u0637\u0648\u0631 \u067e\u0631 ATE \u06c1\u06d2\u06d4 \u0627\u06af\u0631 \u0627\u062e\u062a\u0644\u0627\u0641\u0627\u062a \u06a9\u0627 \u0645\u062d\u0627\u0633\u0628\u06c1 \u06a9\u06cc\u06d2 \u0628\u063a\u06cc\u0631 \u0648\u062c\u06c1 \u06a9\u06d2 \u062a\u062c\u0632\u06cc\u06c1 \u0645\u06cc\u06ba \u062a\u0627\u062e\u06cc\u0631 \u06c1\u0648\u062a\u06cc \u06c1\u06d2\u060c \u062a\u0648 \u062a\u062e\u0645\u06cc\u0646\u06d2 \u0627\u0646 \u0641\u06cc\u0635\u0644\u0648\u06ba \u067e\u0631 \u0644\u0627\u06af\u0648 \u06a9\u06cc\u06d2 \u062c\u0627\u0626\u06cc\u06ba \u06af\u06d2 \u062c\u0646 \u06a9\u06cc \u062d\u0645\u0627\u06cc\u062a \u06a9\u06d2 \u0644\u06cc\u06d2 \u0648\u06c1 \u0688\u06cc\u0632\u0627\u0626\u0646 \u0646\u06c1\u06cc\u06ba \u06a9\u06cc\u06d2 \u06af\u0626\u06d2 \u062a\u06be\u06d2\u060c \u0627\u0648\u0631 \u0646\u062a\u06cc\u062c\u06d2 \u0645\u06cc\u06ba \u0622\u0646\u06d2 \u0648\u0627\u0644\u06d2 \u067e\u0631\u0648\u0688\u06a9\u0679 \u06a9\u06d2 \u0627\u0646\u062a\u062e\u0627\u0628 \u0627\u0646 \u0637\u0631\u06cc\u0642\u0648\u06ba \u0633\u06d2 \u063a\u0644\u0637 \u06c1\u0648\u06ba \u06af\u06d2 \u062c\u0646 \u06a9\u0627 \u062a\u062c\u0632\u06cc\u06c1 \u062a\u06a9 \u0648\u0627\u067e\u0633 \u0646\u06c1\u06cc\u06ba \u0644\u0627\u06cc\u0627 \u062c\u0627 \u0633\u06a9\u062a\u0627\u06d4<\/p>\n<p><strong>\u062f\u0648\u0633\u0631\u0627\u060c \u06cc\u06c1 \u0627\u06cc\u06a9 \u062e\u0627\u0631\u062c\u06cc \u062c\u0648\u0627\u0632 \u06a9\u0627 \u0645\u0641\u0631\u0648\u0636\u06c1 \u06c1\u06d2 \u062c\u0648 \u0646\u06c1\u06cc\u06ba \u0631\u06a9\u06be\u062a\u0627\u06d4<\/strong> \u067e\u0686\u06be\u0644\u06cc \u0633\u06c1 \u0645\u0627\u06c1\u06cc \u06a9\u06cc \u0635\u0627\u0631\u0641 \u06a9\u06cc \u0622\u0628\u0627\u062f\u06cc \u06a9\u06d2 \u0633\u0628\u0628 \u06a9\u06d2 \u062a\u062e\u0645\u06cc\u0646\u06d2 \u0627\u06af\u0644\u06cc \u0633\u06c1 \u0645\u0627\u06c1\u06cc \u062a\u06a9 \u0639\u0627\u0645 \u0646\u06c1\u06cc\u06ba \u06c1\u0648\u0633\u06a9\u062a\u06d2 \u06c1\u06cc\u06ba\u060c \u062e\u0627\u0635 \u0637\u0648\u0631 \u067e\u0631 \u0627\u06af\u0631 \u06c1\u0645 \u0646\u0626\u06d2 \u062d\u0635\u0648\u06ba \u0645\u06cc\u06ba \u067e\u06be\u06cc\u0644 \u062c\u0627\u0626\u06cc\u06ba \u06cc\u0627 \u0628\u06cc\u0646 \u0627\u0644\u0627\u0642\u0648\u0627\u0645\u06cc \u0645\u0646\u0688\u06cc\u0648\u06ba \u0645\u06cc\u06ba \u062f\u0627\u062e\u0644 \u06c1\u0648\u06ba\u06d4<\/p>\n<p>\u0686\u0648\u0646\u06a9\u06c1 \u06cc\u06c1 \u062e\u0635\u0648\u0635\u06cc\u062a \u06c1\u0644\u06a9\u06d2 \u0633\u06d2 \u0645\u0635\u0631\u0648\u0641 \u0635\u0627\u0631\u0641\u06cc\u0646 \u06a9\u06d2 \u0644\u06cc\u06d2 \u0631\u0648\u0644 \u0622\u0624\u0679 \u06c1\u0648\u062a\u06cc \u06c1\u06d2\u060c \u06cc\u06c1 \u067e\u0627\u0648\u0631 \u0635\u0627\u0631\u0641\u06cc\u0646 \u06a9\u06d2 \u0644\u06cc\u06d2 \u0645\u062a\u0648\u0642\u0639 \u0627\u062b\u0631 \u06c1\u06d2 \u062c\u0648 \u062c\u0644\u062f \u0627\u0646\u062a\u062e\u0627\u0628 \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4 \u0627\u0633 \u0622\u0628\u0627\u062f\u06cc \u06a9\u0648 \u062f\u0633\u062a\u0627\u0648\u06cc\u0632 \u06a9\u0631\u06cc\u06ba \u062c\u0633 \u067e\u0631 \u0622\u067e \u06a9\u0627 \u062a\u062e\u0645\u06cc\u0646\u06c1 \u0644\u0627\u06af\u0648 \u06c1\u0648\u062a\u0627 \u06c1\u06d2\u06d4 \u0627\u0633 \u0622\u0628\u0627\u062f\u06cc \u0633\u06d2 \u0628\u0627\u06c1\u0631 \u062f\u0631\u062e\u0648\u0627\u0633\u062a \u062f\u06cc\u0646\u06d2 \u06a9\u06cc \u06a9\u0648\u0634\u0634 \u06a9\u0631\u062a\u06d2 \u0648\u0642\u062a \u0648\u0627\u0636\u062d \u0637\u0648\u0631 \u067e\u0631 \u062c\u06be\u0646\u0688\u0627 \u0644\u06af\u0627\u0626\u06cc\u06ba\u06d4<\/p>\n<p><strong>\u062a\u06cc\u0633\u0631\u0627\u060c \u0631\u067e\u0648\u0631\u0679\u0646\u06af \u06a9\u06cc \u062f\u0631\u0633\u062a\u06af\u06cc \u06cc\u0642\u06cc\u0646 \u0633\u06d2 \u0628\u0627\u0644\u0627\u062a\u0631 \u06c1\u06d2\u06d4<\/strong> \u0645\u0628\u06c1\u0645 \u06c1\u0648\u0646\u06d2 \u06a9\u06d2 \u0628\u0642\u0627\u06cc\u0627 \u062e\u0637\u0631\u06d2 \u06a9\u06d2 \u0633\u0627\u062a\u06be \u0645\u0634\u0627\u06c1\u062f\u0627\u062a\u06cc \u0645\u0637\u0627\u0644\u0639\u0627\u062a \u0633\u06d2 \u0631\u067e\u0648\u0631\u0679 \u06a9\u0631\u062f\u06c1 \u062f\u0648 \u0627\u0639\u0634\u0627\u0631\u06cc\u06c1 \u06a9\u06cc \u062f\u0631\u0633\u062a\u06af\u06cc \u06a9\u06d2 \u0633\u0627\u062a\u06be \u06a9\u0627\u0632\u0644 \u062a\u062e\u0645\u06cc\u0646\u06d2 \u062a\u062c\u0632\u06cc\u06c1 \u06a9\u06d2 \u0648\u0627\u0631\u0646\u0679 \u0633\u06d2 \u0632\u06cc\u0627\u062f\u06c1 \u06cc\u0642\u06cc\u0646 \u06a9\u0627 \u0627\u0638\u06c1\u0627\u0631 \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4<\/p>\n<p>\u067e\u0648\u0627\u0626\u0646\u0679 \u06a9\u06d2 \u062a\u062e\u0645\u06cc\u0646\u06d2\u060c \u0627\u0646 \u06a9\u06d2 \u0627\u0639\u062a\u0645\u0627\u062f \u06a9\u06d2 \u0648\u0642\u0641\u0648\u06ba \u06a9\u06d2 \u0633\u0627\u062a\u06be\u060c \u0627\u0646 \u0645\u0641\u0631\u0648\u0636\u0648\u06ba \u067e\u0631 \u062c\u0646 \u067e\u0631 \u0648\u06c1 \u0627\u0646\u062d\u0635\u0627\u0631 \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba\u060c \u0627\u0648\u0631 \u0648\u0632\u0646\u06cc \u062a\u062c\u0627\u0631\u062a \u06a9\u06d2 \u0628\u0627\u0631\u06d2 \u0645\u06cc\u06ba \u06cc\u06c1 \u0633\u0628 \u0627\u06cc\u06a9 \u062e\u0644\u0627\u0635\u06d2 \u0645\u06cc\u06ba \u0631\u067e\u0648\u0631\u0679 \u06a9\u06cc\u06d2 \u06af\u0626\u06d2 \u06c1\u06cc\u06ba \u062c\u0633\u06d2 \u0641\u06cc\u0635\u0644\u06c1 \u0633\u0627\u0632 \u062d\u0642\u06cc\u0642\u062a \u0645\u06cc\u06ba \u062f\u06cc\u06a9\u06be \u0633\u06a9\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4 \u062a\u062c\u0632\u06cc\u06c1 \u0627\u0633 \u0648\u0642\u062a \u062a\u06a9 \u0645\u06a9\u0645\u0644 \u0646\u06c1\u06cc\u06ba \u06c1\u0648\u062a\u0627 \u062c\u0628 \u062a\u06a9 \u06a9\u06c1 \u062a\u062c\u0632\u06cc\u06c1 \u06a9\u0631\u0646\u06d2 \u0648\u0627\u0644\u06d2 \u063a\u06cc\u0631 \u06cc\u0642\u06cc\u0646\u06cc \u0635\u0648\u0631\u062a\u062d\u0627\u0644 \u06a9\u0648 \u0646\u06c1 \u062f\u06cc\u06a9\u06be\u06cc\u06ba\u06d4<\/p>\n<h2 id=\"heading-bootstrap-confidence-intervals\">\u0628\u0648\u0679\u0633\u0679\u0631\u06cc\u067e \u0627\u0639\u062a\u0645\u0627\u062f \u06a9\u0627 \u0648\u0642\u0641\u06c1<\/h2>\n<p>\u0645\u0634\u0627\u06c1\u062f\u0627\u062a\u06cc \u062a\u062c\u0632\u06cc\u0648\u06ba \u0633\u06d2 \u0646\u0642\u0637\u06c1 \u062a\u062e\u0645\u06cc\u0646\u06c1 \u0646\u0645\u0648\u0646\u06d2 \u0644\u06cc\u0646\u06d2 \u06a9\u06cc \u063a\u06cc\u0631 \u06cc\u0642\u06cc\u0646\u06cc \u0635\u0648\u0631\u062a\u062d\u0627\u0644 \u0633\u06d2 \u0645\u0634\u0631\u0648\u0637 \u06c1\u06cc\u06ba\u06d4 \u0646\u06cc\u0686\u06d2 \u062f\u06cc\u0627 \u06af\u06cc\u0627 \u0628\u0648\u0679\u0633\u0679\u0631\u06cc\u067e (500 \u062a\u06a9\u0631\u0627\u0631\u060c \u0628\u06cc\u062c = 7) \u0627\u0633 \u0645\u0636\u0645\u0648\u0646 \u0645\u06cc\u06ba \u062a\u06cc\u0646 \u0639\u062f\u062f\u06cc \u062a\u062e\u0645\u06cc\u0646\u0648\u06ba \u06a9\u06d2 \u0644\u06cc\u06d2 95% \u0627\u0639\u062a\u0645\u0627\u062f \u06a9\u06d2 \u0648\u0642\u0641\u06d2 \u0641\u0631\u0627\u06c1\u0645 \u06a9\u0631\u062a\u0627 \u06c1\u06d2: \u0645\u0633\u062a\u0642\u0628\u0644 \u06a9\u06d2 \u0648\u06cc\u0644\u06cc\u0648 \u0627\u0633\u06a9\u0648\u0631\u0632 \u067e\u0631 Airbnb DiD \u06a9\u0627 \u0627\u062b\u0631\u060c Lyft IPW ATE\u060c \u0627\u0648\u0631 Uber RDD \u06a9\u0648\u0627\u0644\u0679\u06cc \u0627\u062b\u0631\u06d4<\/p>\n<pre><code class=\"language-python\">import pandas as pd\nimport numpy as np\nfrom sklearn.linear_model import LinearRegression, LogisticRegression\n\nrng = np.random.default_rng(7)\ndf = pd.read_csv(\"data\/synthetic_llm_logs.csv\")\nn_boot = 500\n\n# Bootstrap 1: DiD on future-value score (Airbnb)\nhistorical = df[df.signup_week < 10].copy()\nfeature_cols = [\"task_completed\", \"thumbs_up\", \"session_minutes\"]\nfv_model = LinearRegression().fit(historical[feature_cols].fillna(0), historical[\"retained_7d\"].values)\ndf[\"future_value_score\"] = fv_model.predict(df[feature_cols].fillna(0))\nanalysis = df[df.signup_week < 30].copy()\nanalysis[\"post\"] = (analysis.signup_week >= 20).astype(int)\nanalysis[\"treated\"] = (analysis.wave == 1).astype(int)\n\ndid_boots = []\nfor _ in range(n_boot):\n    s = analysis.sample(frac=1, replace=True, random_state=rng.integers(1e9))\n    c = s.groupby([\"treated\", \"post\"]).future_value_score.mean()\n    try:\n        did_boots.append((c.loc[(1, 1)] - c.loc[(1, 0)]) - (c.loc[(0, 1)] - c.loc[(0, 0)]))\n    except KeyError:\n        pass\nci_did = np.percentile(did_boots, [2.5, 97.5])\nprint(f\"DiD future-value 95% CI: [{ci_did[0]:+.4f}, {ci_did[1]:+.4f}]\")\n\n# Bootstrap 2: IPW ATE trimmed (Lyft)\nX = pd.get_dummies(df[[\"engagement_tier\", \"query_confidence\"]], drop_first=True).astype(float)\nps_model = LogisticRegression(max_iter=1000).fit(X, df[\"opt_in_agent_mode\"])\ndf[\"propensity\"] = ps_model.predict_proba(X)[:, 1]\ndf[\"ipw\"] = np.where(df.opt_in_agent_mode == 1, 1 \/ df.propensity, 1 \/ (1 - df.propensity))\ntrim_thr = np.percentile(df.ipw, 99)\ndf[\"ipw_trimmed\"] = df.ipw.clip(upper=trim_thr)\n\nate_boots = []\nfor _ in range(n_boot):\n    s = df.sample(frac=1, replace=True, random_state=rng.integers(1e9))\n    t = s[s.opt_in_agent_mode == 1]\n    c = s[s.opt_in_agent_mode == 0]\n    ate_boots.append(\n        (t.task_completed * t.ipw_trimmed).sum() \/ t.ipw_trimmed.sum()\n        - (c.task_completed * c.ipw_trimmed).sum() \/ c.ipw_trimmed.sum()\n    )\nci_ate = np.percentile(ate_boots, [2.5, 97.5])\nprint(f\"IPW ATE trimmed 95% CI:  [{ci_ate[0]:+.4f}, {ci_ate[1]:+.4f}]\")\n\n# Bootstrap 3: RDD quality effect near routing cutoff (Uber)\ncutoff = 0.85\nbw = 0.10\nnear = df[(df.query_confidence > cutoff - bw) & (df.query_confidence < cutoff + bw)].copy()\nnear[\"routed_premium\"] = (near.query_confidence < cutoff).astype(int)\n\nqe_boots = []\nfor _ in range(n_boot):\n    s = near.sample(frac=1, replace=True, random_state=rng.integers(1e9))\n    qe_boots.append(\n        s[s.routed_premium == 1].task_completed.mean()\n        - s[s.routed_premium == 0].task_completed.mean()\n    )\nci_qe = np.percentile(qe_boots, [2.5, 97.5])\nprint(f\"RDD quality effect 95% CI: [{ci_qe[0]:+.4f}, {ci_qe[1]:+.4f}]\")\n<\/code><\/pre>\n<p><strong>\u0645\u062a\u0648\u0642\u0639 \u067e\u06cc\u062f\u0627\u0648\u0627\u0631:<\/strong><\/p>\n<pre><code class=\"language-text\">DiD future-value 95% CI: [+0.0023, +0.0093]\nIPW ATE trimmed 95% CI:  [+0.0727, +0.0966]\nRDD quality effect 95% CI: [+0.0490, +0.0748]\n<\/code><\/pre>\n<p>\u06cc\u06c1\u0627\u06ba \u06a9\u06cc\u0627 \u06c1\u0648 \u0631\u06c1\u0627 \u06c1\u06d2: \u062a\u06cc\u0646 \u0627\u0644\u06af \u0627\u0644\u06af \u0628\u0648\u0679\u0633\u0679\u0631\u06cc\u067e \u0644\u0648\u067e\u0633 \u06c1\u0631 \u0627\u06cc\u06a9 \u0645\u0634\u062a\u0631\u06a9\u06c1 \u0628\u06cc\u062c \u06a9\u0627 \u0627\u0633\u062a\u0639\u0645\u0627\u0644 \u06a9\u0631\u062a\u06d2 \u06c1\u0648\u0626\u06d2 \u062a\u062c\u0632\u06cc\u06c1 \u0688\u06cc\u0679\u0627\u0633\u06cc\u0679 \u06a9\u0648 500 \u0628\u0627\u0631 \u062f\u0648\u0628\u0627\u0631\u06c1 \u0646\u0645\u0648\u0646\u06c1 \u062f\u06cc\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4<\/p>\n<p>DiD \u0628\u0648\u0679\u0633\u0679\u0631\u06cc\u067e \u067e\u0648\u0631\u06d2 \u062a\u062c\u0632\u06cc\u06c1 \u06a9\u0627\u0631 \u06a9\u0648 \u062f\u0648\u0628\u0627\u0631\u06c1 \u0646\u0645\u0648\u0646\u06c1 \u0628\u0646\u0627\u062a\u0627 \u06c1\u06d2 \u0627\u0648\u0631 2x2 \u0633\u06cc\u0644 \u06a9\u06d2 \u0630\u0631\u0627\u0626\u0639 \u06a9\u0627 \u062f\u0648\u0628\u0627\u0631\u06c1 \u062d\u0633\u0627\u0628 \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u06d4 \u0648\u0642\u0641\u06c1 <code>[+0.0023, +0.0093]<\/code> \u06c1\u0645 \u062a\u0635\u062f\u06cc\u0642 \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba \u06a9\u06c1 \u0645\u0633\u062a\u0642\u0628\u0644 \u06a9\u06cc \u0642\u062f\u0631 \u06a9\u0627 \u0627\u062b\u0631 \u0634\u0645\u0627\u0631\u06cc\u0627\u062a\u06cc \u0627\u0639\u062a\u0628\u0627\u0631 \u0633\u06d2 \u0635\u0641\u0631 \u0633\u06d2 \u0645\u0645\u062a\u0627\u0632 \u06c1\u06d2\u06d4<\/p>\n<p>IPW ATE \u0628\u0648\u0679\u0633\u0679\u0631\u06cc\u067e \u062a\u0645\u0627\u0645 50,000 \u0635\u0627\u0631\u0641\u06cc\u0646 \u06a9\u0648 \u062f\u0648\u0628\u0627\u0631\u06c1 \u0646\u0645\u0648\u0646\u06d2 \u062f\u06cc\u062a\u0627 \u06c1\u06d2 \u0627\u0648\u0631 \u06c1\u0631 \u0642\u0631\u0639\u06c1 \u0627\u0646\u062f\u0627\u0632\u06cc \u06a9\u0648 \u0631\u06cc \u0648\u06cc\u0679 \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u06d4 \u0648\u0642\u0641\u06c1 <code>[+0.0727, +0.0966]<\/code> \u0632\u0645\u06cc\u0646\u06cc \u0633\u0686\u0627\u0626\u06cc +0.08 \u0622\u067e\u0679 \u0627\u0646 \u0627\u062b\u0631\u0627\u062a \u06a9\u0627 \u0627\u062d\u0627\u0637\u06c1 \u06a9\u0631\u062a\u0627 \u06c1\u06d2 \u0627\u0648\u0631 0 \u06a9\u0648 \u062e\u0627\u0631\u062c \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u06d4<\/p>\n<p>RDD \u0628\u0648\u0679\u0633\u0679\u0631\u06cc\u067e \u0635\u0631\u0641 \u0627\u0646 \u0635\u0627\u0631\u0641\u06cc\u0646 \u06a9\u0648 \u062f\u0648\u0628\u0627\u0631\u06c1 \u0646\u0645\u0648\u0646\u06d2 \u062f\u06cc\u062a\u0627 \u06c1\u06d2 \u062c\u0648 0.85 \u06a9\u0679 \u0622\u0641 \u06a9\u06d2 \u0627\u0631\u062f \u06af\u0631\u062f \u0628\u06cc\u0646\u0688\u0648\u0688\u062a\u06be \u0648\u0646\u0688\u0648 \u06a9\u06d2 \u0627\u0646\u062f\u0631 \u06c1\u06cc\u06ba\u06d4 \u0648\u0642\u0641\u06c1 <code>[+0.0490, +0.0748]<\/code> \u0627\u0633 \u0628\u0627\u062a \u06a9\u0648 \u06cc\u0642\u06cc\u0646\u06cc \u0628\u0646\u0627\u062a\u0627 \u06c1\u06d2 \u06a9\u06c1 \u0645\u0642\u0627\u0645\u06cc \u0645\u0639\u06cc\u0627\u0631 \u06a9\u0627 \u0627\u062b\u0631 \u063a\u06cc\u0631 \u0635\u0641\u0631 \u06c1\u06d2\u06d4<\/p>\n<p>\u062a\u06cc\u0646\u0648\u06ba \u0648\u0642\u0641\u06d2 \u0642\u0627\u0628\u0644 \u0639\u0645\u0644 \u06c1\u0648\u0646\u06d2 \u06a9\u06d2 \u0644\u06cc\u06d2 \u06a9\u0627\u0641\u06cc \u062a\u0646\u06af \u06c1\u06cc\u06ba \u0627\u0648\u0631 \u0645\u0634\u0627\u06c1\u062f\u0627\u062a\u06cc \u062a\u062e\u0645\u06cc\u0646\u0648\u06ba \u0645\u06cc\u06ba \u063a\u06cc\u0631 \u06cc\u0642\u06cc\u0646\u06cc \u06a9\u06cc \u0639\u06a9\u0627\u0633\u06cc \u06a9\u0631\u0646\u06d2 \u06a9\u06d2 \u0644\u06cc\u06d2 \u06a9\u0627\u0641\u06cc \u0648\u0633\u06cc\u0639 \u06c1\u06cc\u06ba\u06d4 \u0627\u06af\u0631 \u0622\u067e \u0627\u0646 \u0648\u0642\u0641\u0648\u06ba \u0645\u06cc\u06ba \u0633\u06d2 \u06a9\u0633\u06cc \u0627\u06cc\u06a9 \u06a9\u06d2 \u0628\u063a\u06cc\u0631 \u067e\u0648\u0627\u0626\u0646\u0679 \u06a9\u06d2 \u062a\u062e\u0645\u06cc\u0646\u06d2 \u06a9\u06cc \u0627\u0637\u0644\u0627\u0639 \u062f\u06cc\u062a\u06d2 \u06c1\u06cc\u06ba\u060c \u062a\u0648 \u0622\u067e \u0627\u0633\u0679\u06cc\u06a9 \u06c1\u0648\u0644\u0688\u0631\u0632 \u06a9\u06d2 \u062c\u0630\u0628 \u06a9\u0631\u062f\u06c1 \u062e\u0637\u0631\u06d2 \u06a9\u0648 \u06a9\u0645 \u06a9\u0631 \u0631\u06c1\u06d2 \u06c1\u06cc\u06ba\u06d4<\/p>\n<h2 id=\"heading-run-the-notebook-then-instrument-your-next-feature\">\u0646\u0648\u0679 \u0628\u06a9 \u0686\u0644\u0627\u0646\u06d2 \u06a9\u06d2 \u0628\u0639\u062f\u060c \u0645\u0646\u062f\u0631\u062c\u06c1 \u0630\u06cc\u0644 \u062e\u0635\u0648\u0635\u06cc\u0627\u062a \u06a9\u0648 \u0622\u0644\u06c1 \u0628\u0646\u0627\u0646\u06d2 \u06a9\u06cc \u06a9\u0648\u0634\u0634 \u06a9\u0631\u06cc\u06ba:<\/h2>\n<p>\u0627\u0633 \u0645\u0636\u0645\u0648\u0646 \u06a9\u06cc \u0633\u0627\u062a\u06be\u06cc \u0646\u0648\u0679 \u0628\u06a9 github.com\/RudrenduPaul\/product-experimentation-causal-inference-genai-llm\/tree\/main\/13_case_studies\/ \u067e\u0631 \u06c1\u06d2\u06d4 \u0631\u06cc\u067e\u0648\u0632\u0679\u0631\u06cc \u06a9\u0648 \u06a9\u0644\u0648\u0646 \u06a9\u0631\u06cc\u06ba\u060c \u0627\u0648\u067e\u0631 \u062f\u06cc \u06af\u0626\u06cc \u0634\u0631\u0637 \u06a9\u0627 \u0627\u0633\u062a\u0639\u0645\u0627\u0644 \u06a9\u0631\u062a\u06d2 \u06c1\u0648\u0626\u06d2 \u0627\u06cc\u06a9 \u0645\u0635\u0646\u0648\u0639\u06cc \u0688\u06cc\u0679\u0627\u0633\u06cc\u0679 \u0628\u0646\u0627\u0626\u06cc\u06ba\u060c \u0627\u0648\u0631 \u0627\u0633\u06d2 \u0686\u0644\u0627\u0626\u06cc\u06ba\u06d4 <code>case_studies_demo.ipynb<\/code> \u06c1\u0645 \u0627\u0633 \u0645\u0636\u0645\u0648\u0646 \u0633\u06d2 \u062a\u0645\u0627\u0645 \u06a9\u0648\u0688 \u0628\u0644\u0627\u06a9\u0633 \u06a9\u0648 \u062f\u0648\u0628\u0627\u0631\u06c1 \u067e\u06cc\u0634 \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba\u060c \u0628\u0634\u0645\u0648\u0644 \u0686\u0627\u0631 \u06a9\u06cc\u0633 \u0627\u0633\u0679\u0688\u06cc \u06a9\u06d2 \u0646\u0641\u0627\u0630 \u0627\u0648\u0631 \u0628\u0648\u0679\u0633\u0679\u0631\u06cc\u067e \u06a9\u06cc \u062a\u0648\u062b\u06cc\u0642\u06d4 \u0627\u0633 \u0645\u06cc\u06ba \u0641\u06cc\u0635\u0644\u06c1 \u0633\u0627\u0632\u06cc \u06a9\u0627 \u0641\u0646\u06a9\u0634\u0646 \u0628\u06be\u06cc \u0634\u0627\u0645\u0644 \u06c1\u06d2 \u062c\u0648 Netflix \u062f\u0631\u062c\u06c1 \u0628\u0646\u062f\u06cc \u06a9\u0648 \u0645\u0632\u06cc\u062f \u0645\u06a9\u0645\u0644 \u0637\u0631\u06cc\u0642\u06c1 \u0627\u0646\u062a\u062e\u0627\u0628 \u06af\u0627\u0626\u06cc\u0688 \u0645\u06cc\u06ba \u067e\u06be\u06cc\u0644\u0627\u062a\u0627 \u06c1\u06d2\u06d4<\/p>\n<p>\u0686\u0627\u0631 \u06a9\u06cc\u0633 \u0627\u0633\u0679\u0688\u06cc\u0632 \u06a9\u06d2 \u0644\u06cc\u06d2 \u0627\u0635\u0644 \u0645\u0648\u0627\u062f \u0628\u0631\u0627\u06c1 \u0631\u0627\u0633\u062a \u06c1\u0631 \u0679\u06cc\u0645 \u06a9\u06d2 \u0627\u0646\u062c\u06cc\u0646\u0626\u0631\u0646\u06af \u0628\u0644\u0627\u06af \u067e\u0631 \u067e\u0627\u06cc\u0627 \u062c\u0627 \u0633\u06a9\u062a\u0627 \u06c1\u06d2\u06d4<\/p>\n<ol>\n<li>\n<p>\u062c\u06cc\u0646\u06cc \u0686\u0646 \u06a9\u06cc \u0641\u06cc\u0648\u0686\u0631 \u0648\u06cc\u0644\u06cc\u0648 \u067e\u0648\u0633\u0679 \u0622\u0646 \u06c1\u06d2 (\u0627\u06cc\u0626\u0631 \u0628\u06cc \u0627\u06cc\u0646 \u0628\u06cc \u0679\u06cc\u06a9\u0646\u0627\u0644\u0648\u062c\u06cc \u0628\u0644\u0627\u06af)\u06d4<\/p>\n<\/li>\n<li>\n<p>\u0646\u06cc\u0645 \u062a\u062c\u0631\u0628\u0627\u062a\u06cc \u062f\u0631\u062c\u06c1 \u0628\u0646\u062f\u06cc (Netflix Technology Blog) \u067e\u0631 \u0645\u0644 \u0633\u06a9\u062a\u06cc \u06c1\u06d2\u06d4<\/p>\n<\/li>\n<li>\n<p>\u0646\u0627\u0635\u0631\u06cc \u06a9\u06cc \u062f\u0648\u06af\u0646\u0627 \u0637\u0627\u0642\u062a\u0648\u0631 \u062a\u0648\u062b\u06cc\u0642 (Lyft Engineering) \u067e\u0631 \u062f\u0633\u062a\u06cc\u0627\u0628 \u06c1\u06d2\u06d4<\/p>\n<\/li>\n<li>\n<p>(Uber \u0627\u0646\u062c\u06cc\u0646\u0626\u0631\u0646\u06af) \u0645\u06cc\u06ba Harinen \u0627\u0648\u0631 Li \u06a9\u0627 causal inference \u06a9\u0627 \u062c\u0627\u0626\u0632\u06c1 \u06c1\u06d2\u06d4<\/p>\n<\/li>\n<\/ol>\n<p>\u06cc\u06c1 \u0627\u0635\u0644 \u067e\u0691\u06be\u0646\u06d2 \u06a9\u06d2 \u0642\u0627\u0628\u0644 \u06c1\u06d2\u06d4 \u06cc\u06c1 \u067e\u06cc\u062f\u0627\u0648\u0627\u0631\u06cc \u0646\u0638\u0627\u0645 \u06a9\u0648 \u062a\u0641\u0635\u06cc\u0644 \u0633\u06d2 \u0628\u06cc\u0627\u0646 \u06a9\u0631\u062a\u0627 \u06c1\u06d2 \u062c\u0633\u06d2 \u062e\u0644\u0627\u0635\u06c1 \u0645\u06cc\u06ba \u0645\u06a9\u0645\u0644 \u0637\u0648\u0631 \u067e\u0631 \u0646\u06c1\u06cc\u06ba \u0644\u06cc\u0627 \u062c\u0627\u0633\u06a9\u062a\u0627\u06d4<\/p>\n<p>\u0648\u06c1 \u0679\u06cc\u0645\u06cc\u06ba \u062c\u0648 \u0642\u0627\u0628\u0644 \u0627\u0639\u062a\u0645\u0627\u062f \u0637\u0631\u06cc\u0642\u06d2 \u0633\u06d2 AI \u0627\u062b\u0631\u0627\u062a \u06a9\u06cc \u067e\u06cc\u0645\u0627\u0626\u0634 \u06a9\u0631\u062a\u06cc \u06c1\u06cc\u06ba \u0627\u06cc\u06a9 \u0645\u0634\u0642 \u06a9\u0627 \u0627\u0634\u062a\u0631\u0627\u06a9 \u06a9\u0631\u062a\u06cc \u06c1\u06cc\u06ba: \u0645\u062e\u062a\u0635 \u06a9\u0631\u0646\u06d2 \u06a9\u06d2 \u0637\u0631\u06cc\u0642\u06c1 \u06a9\u0627\u0631 \u0633\u06d2 \u0645\u0645\u0627\u062b\u0644 \u0637\u0631\u06cc\u0642\u06d2\u060c \u062a\u062e\u0645\u06cc\u0646\u0648\u06ba \u067e\u0631 \u0628\u06be\u0631\u0648\u0633\u06c1 \u06a9\u0631\u0646\u06d2 \u0633\u06d2 \u067e\u06c1\u0644\u06d2 \u062a\u0634\u062e\u06cc\u0635 \u06a9\u0648 \u0686\u0644\u0627\u0646\u0627\u060c \u0627\u0648\u0631 \u0641\u06cc\u0635\u0644\u06d2 \u06a9\u06cc \u06a9\u06be\u0691\u06a9\u06cc \u0628\u0646\u062f \u06c1\u0648\u0646\u06d2 \u0633\u06d2 \u067e\u06c1\u0644\u06d2 \u0646\u062a\u06cc\u062c\u06c1 \u062e\u06cc\u0632 \u0646\u062a\u0627\u0626\u062c \u06a9\u0648 \u0641\u06cc\u0635\u0644\u0648\u06ba \u0633\u06d2 \u062c\u0648\u0691\u0646\u0627\u06d4<\/p>\n<p>\u0631\u06a9\u0627\u0648\u0679 \u062a\u0642\u0631\u06cc\u0628\u0627 \u06c1\u0645\u06cc\u0634\u06c1 \u0622\u0644\u06c1 \u06c1\u06d2. \u0648\u06c1 \u0688\u06cc\u0679\u0627 \u062c\u0633 \u067e\u0631 \u06cc\u06c1 \u062a\u062c\u0632\u06cc\u06c1 \u0627\u0646\u062d\u0635\u0627\u0631 \u06a9\u0631\u062a\u0627 \u06c1\u06d2 \u0627\u0633 \u062e\u0635\u0648\u0635\u06cc\u062a \u06a9\u06d2 \u062c\u0627\u0631\u06cc \u06c1\u0648\u0646\u06d2 \u0633\u06d2 \u067e\u06c1\u0644\u06d2 \u0645\u0648\u062c\u0648\u062f \u06c1\u0648\u0646\u0627 \u0686\u0627\u06c1\u06cc\u06d2\u06d4 \u06cc\u06c1 \u0648\u06c1 \u062e\u0644\u0627 \u06c1\u06d2 \u062c\u0633\u06d2 \u0627\u0648\u067e\u0631 \u0648\u0627\u0644\u0627 \u0641\u0631\u06cc\u0645 \u0648\u0631\u06a9 \u067e\u064f\u0631 \u0646\u06c1\u06cc\u06ba \u06a9\u0631 \u0633\u06a9\u062a\u0627\u060c \u0627\u0648\u0631 \u06cc\u06c1\u06cc \u0648\u062c\u06c1 \u06c1\u06d2 \u06a9\u06c1 \u0679\u0648\u0644\u0632 \u06a9\u06d2 \u0627\u0628\u062a\u062f\u0627\u0626\u06cc \u0645\u0631\u0627\u062d\u0644 \u067e\u06c1\u0644\u06d2 \u0622\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4<\/p>\n<\/p><\/div>\n","protected":false},"excerpt":{"rendered":"<p>LLM \u067e\u0631 \u0645\u0628\u0646\u06cc AI \u0641\u0646\u06a9\u0634\u0646\u0632 \u06a9\u06d2 \u0644\u06cc\u06d2 \u06a9\u0627\u0632\u0644 \u0627\u0646\u0641\u0631\u0646\u0633 \u0627\u0628 \u0646\u0638\u0631\u06cc\u0627\u062a\u06cc \u0646\u06c1\u06cc\u06ba \u06c1\u06d2\u06d4 Airbnb\u060c Netflix\u060c Lyft\u060c \u0627\u0648\u0631 Uber \u0646\u06d2 \u0627\u0646\u062c\u06cc\u0646\u0626\u0631\u0646\u06af \u06a9\u06d2 \u062a\u0641\u0635\u06cc\u0644\u06cc \u0628\u0644\u0627\u06af \u067e\u0648\u0633\u0679\u0633 \u0634\u0627\u0626\u0639 \u06a9\u06cc\u06d2 \u06c1\u06cc\u06ba \u062c\u0633 \u0645\u06cc\u06ba \u06cc\u06c1 \u0648\u0636\u0627\u062d\u062a \u06a9\u06cc \u06af\u0626\u06cc \u06c1\u06d2 \u06a9\u06c1 \u0648\u06c1 \u0635\u0627\u0631\u0641 \u06a9\u06d2 \u0631\u0648\u06cc\u06d2 \u067e\u0631 \u0645\u0635\u0646\u0648\u0639\u0627\u062a \u06a9\u06cc \u062a\u0628\u062f\u06cc\u0644\u06cc\u0648\u06ba \u06a9\u06d2 \u0627\u0635\u0644 \u0627\u062b\u0631\u0627\u062a \u06a9\u06cc \u067e\u06cc\u0645\u0627\u0626\u0634 \u06a9\u06cc\u0633\u06d2 \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4 \u0648\u06c1 \u062c\u0646 \u062a\u06a9\u0646\u06cc\u06a9\u0648\u06ba \u06a9\u0627 [&hellip;]<\/p>\n","protected":false},"author":7,"featured_media":27534,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"site-sidebar-layout":"default","site-content-layout":"","ast-site-content-layout":"default","site-content-style":"default","site-sidebar-style":"default","ast-global-header-display":"","ast-banner-title-visibility":"","ast-main-header-display":"","ast-hfb-above-header-display":"","ast-hfb-below-header-display":"","ast-hfb-mobile-header-display":"","site-post-title":"","ast-breadcrumbs-content":"","ast-featured-img":"","footer-sml-layout":"","ast-disable-related-posts":"","theme-transparent-header-meta":"","adv-header-id-meta":"","stick-header-meta":"","header-above-stick-meta":"","header-main-stick-meta":"","header-below-stick-meta":"","astra-migrate-meta-layouts":"default","ast-page-background-enabled":"default","ast-page-background-meta":{"desktop":{"background-color":"var(--ast-global-color-5)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"tablet":{"background-color":"","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"mobile":{"background-color":"","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""}},"ast-content-background-meta":{"desktop":{"background-color":"var(--ast-global-color-4)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"tablet":{"background-color":"var(--ast-global-color-4)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"mobile":{"background-color":"var(--ast-global-color-4)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""}},"footnotes":""},"categories":[1],"tags":[],"class_list":["post-27533","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-blog"],"_links":{"self":[{"href":"https:\/\/umang.pk\/ur\/wp-json\/wp\/v2\/posts\/27533","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/umang.pk\/ur\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/umang.pk\/ur\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/umang.pk\/ur\/wp-json\/wp\/v2\/users\/7"}],"replies":[{"embeddable":true,"href":"https:\/\/umang.pk\/ur\/wp-json\/wp\/v2\/comments?post=27533"}],"version-history":[{"count":1,"href":"https:\/\/umang.pk\/ur\/wp-json\/wp\/v2\/posts\/27533\/revisions"}],"predecessor-version":[{"id":27535,"href":"https:\/\/umang.pk\/ur\/wp-json\/wp\/v2\/posts\/27533\/revisions\/27535"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/umang.pk\/ur\/wp-json\/wp\/v2\/media\/27534"}],"wp:attachment":[{"href":"https:\/\/umang.pk\/ur\/wp-json\/wp\/v2\/media?parent=27533"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/umang.pk\/ur\/wp-json\/wp\/v2\/categories?post=27533"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/umang.pk\/ur\/wp-json\/wp\/v2\/tags?post=27533"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}