{"id":23325,"date":"2026-05-01T08:13:23","date_gmt":"2026-05-01T08:13:23","guid":{"rendered":"https:\/\/umang.pk\/2026\/05\/01\/%d9%be%d8%b1%d9%88%d9%be%db%8c%d9%86%d8%b3%d9%b9%db%8c-%d8%a7%d8%b3%da%a9%d9%88%d8%b1%d8%b2-%da%a9%d8%a7-%d8%a7%d8%b3%d8%aa%d8%b9%d9%85%d8%a7%d9%84-%da%a9%d8%b1%d8%aa%db%92-%db%81%d9%88%d8%a6%db%92\/"},"modified":"2026-05-01T08:13:24","modified_gmt":"2026-05-01T08:13:24","slug":"%d9%be%d8%b1%d9%88%d9%be%db%8c%d9%86%d8%b3%d9%b9%db%8c-%d8%a7%d8%b3%da%a9%d9%88%d8%b1%d8%b2-%da%a9%d8%a7-%d8%a7%d8%b3%d8%aa%d8%b9%d9%85%d8%a7%d9%84-%da%a9%d8%b1%d8%aa%db%92-%db%81%d9%88%d8%a6%db%92","status":"publish","type":"post","link":"https:\/\/umang.pk\/ur\/2026\/05\/01\/%d9%be%d8%b1%d9%88%d9%be%db%8c%d9%86%d8%b3%d9%b9%db%8c-%d8%a7%d8%b3%da%a9%d9%88%d8%b1%d8%b2-%da%a9%d8%a7-%d8%a7%d8%b3%d8%aa%d8%b9%d9%85%d8%a7%d9%84-%da%a9%d8%b1%d8%aa%db%92-%db%81%d9%88%d8%a6%db%92\/","title":{"rendered":"\u067e\u0631\u0648\u067e\u06cc\u0646\u0633\u0679\u06cc \u0627\u0633\u06a9\u0648\u0631\u0632 \u06a9\u0627 \u0627\u0633\u062a\u0639\u0645\u0627\u0644 \u06a9\u0631\u062a\u06d2 \u06c1\u0648\u0626\u06d2 \u067e\u0631\u0648\u0688\u06a9\u0679 \u06a9\u0627 \u062a\u062c\u0631\u0628\u06c1: \u0627\u0632\u06af\u0631 \u0645\u06cc\u06ba \u0627\u06cc\u0644 \u0627\u06cc\u0644 \u0627\u06cc\u0645 \u067e\u0631 \u0645\u0628\u0646\u06cc \u062e\u0635\u0648\u0635\u06cc\u0627\u062a \u06a9\u06d2 \u0644\u06cc\u06d2 \u06a9\u0627\u0632\u0644 \u0627\u0646\u0641\u0631\u0646\u0633\u06d4"},"content":{"rendered":"\n<div id=\"\">\n<p>LLM \u067e\u0631 \u0645\u0628\u0646\u06cc \u062e\u0635\u0648\u0635\u06cc\u0627\u062a \u067e\u0631 \u06a9\u0627\u0631\u0622\u0645\u062f \u0646\u062a\u06cc\u062c\u06c1 \u0686\u0644\u0627\u0646\u06d2 \u0648\u0627\u0644\u06cc \u06a9\u0648\u0626\u06cc \u0628\u06be\u06cc \u0645\u0635\u0646\u0648\u0639\u0627\u062a \u06a9\u06cc \u062a\u062c\u0631\u0628\u0627\u062a\u06cc \u0679\u06cc\u0645 \u0628\u0627\u0644\u0622\u062e\u0631 \u0627\u0633\u06cc \u062f\u06cc\u0648\u0627\u0631 \u0633\u06d2 \u0679\u06a9\u0631\u0627\u0626\u06d2 \u06af\u06cc\u06d4 \u062c\u0628 \u06a9\u0648\u0626\u06cc \u0635\u0627\u0631\u0641 &quot;AI \u0627\u0633\u0633\u0679\u0646\u0679 \u06a9\u0648 \u0622\u0632\u0645\u0627\u0626\u06cc\u06ba&#8221; \u067e\u0631 \u06a9\u0644\u06a9 \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u060c \u062a\u0648 \u0631\u0636\u0627\u06a9\u0627\u0631 \u0628\u06d2 \u062a\u0631\u062a\u06cc\u0628 \u0646\u0645\u0648\u0646\u06c1 \u0646\u06c1\u06cc\u06ba \u06c1\u0648\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4<\/p>\n<p>\u0622\u067e \u06a9\u06d2 \u067e\u0631\u0648\u0688\u06a9\u0679 \u0646\u06d2 \u067e\u0686\u06be\u0644\u06cc \u0633\u06c1 \u0645\u0627\u06c1\u06cc \u0645\u06cc\u06ba \u0627\u06cc\u06a9 \u0646\u06cc\u0627 \u0627\u06cc\u062c\u0646\u0679 \u0645\u0648\u0688 \u0644\u0627\u0646\u0686 \u06a9\u06cc\u0627\u06d4 \u0627\u0633\u06d2 \u0641\u0639\u0627\u0644 \u06a9\u0631\u0646\u06d2 \u06a9\u06d2 \u0644\u06cc\u06d2\u060c \u0635\u0627\u0631\u0641\u06cc\u0646 \u06a9\u0648 &#8216;\u0627\u06cc\u062c\u0646\u0679 \u0645\u0648\u0688 \u0622\u0632\u0645\u0627\u0626\u06cc\u06ba&#8217; \u0679\u0648\u06af\u0644 \u067e\u0631 \u0679\u06cc\u067e \u06a9\u0631\u0646\u0627 \u0686\u0627\u06c1\u06cc\u06d2\u06d4 \u0688\u06cc\u0634 \u0628\u0648\u0631\u0688 \u0646\u0645\u0628\u0631\u0632 \u062d\u06cc\u0631\u062a \u0627\u0646\u06af\u06cc\u0632 \u06c1\u06cc\u06ba\u06d4 \u0627\u06cc\u062c\u0646\u0679 \u0645\u0648\u0688 \u06a9\u06d2 \u0635\u0627\u0631\u0641\u06cc\u0646 \u063a\u06cc\u0631 \u0627\u0633\u062a\u0639\u0645\u0627\u0644 \u06a9\u0646\u0646\u062f\u06af\u0627\u0646 \u06a9\u06d2 \u0645\u0642\u0627\u0628\u0644\u06d2 \u0645\u06cc\u06ba 21 \u0641\u06cc\u0635\u062f \u067e\u0648\u0627\u0626\u0646\u0679\u0633 \u0632\u06cc\u0627\u062f\u06c1 \u06a9\u0627\u0645 \u0645\u06a9\u0645\u0644 \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4 CPO \u0627\u0633\u06d2 \u0633\u0627\u0644 \u06a9\u0627 \u0628\u06c1\u062a\u0631\u06cc\u0646 \u0641\u06cc\u0686\u0631 \u0644\u0627\u0646\u0686 \u0642\u0631\u0627\u0631 \u062f\u06cc\u062a\u0627 \u06c1\u06d2\u06d4<\/p>\n<p>\u0644\u06cc\u06a9\u0646 \u0645\u06cc\u06ba \u062c\u0627\u0646\u062a\u0627 \u06c1\u0648\u06ba \u06a9\u06c1 \u06a9\u0686\u06be \u063a\u0644\u0637 \u06c1\u06d2\u06d4 \u0627\u0646\u062a\u06c1\u0627\u0626\u06cc \u0645\u0635\u0631\u0648\u0641\u06cc\u062a \u0631\u06a9\u06be\u0646\u06d2 \u0648\u0627\u0644\u06d2 \u0635\u0627\u0631\u0641\u06cc\u0646 \u0645\u0633\u0644\u0633\u0644 \u0646\u0626\u06cc \u062e\u0635\u0648\u0635\u06cc\u0627\u062a \u062d\u0627\u0635\u0644 \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba\u060c \u062c\u0628\u06a9\u06c1 \u06a9\u0645 \u0645\u0635\u0631\u0648\u0641 \u0635\u0627\u0631\u0641\u06cc\u0646 \u0679\u0648\u06af\u0644\u0632 \u06a9\u0648 \u0645\u06a9\u0645\u0644 \u0637\u0648\u0631 \u067e\u0631 \u0646\u0638\u0631 \u0627\u0646\u062f\u0627\u0632 \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4 21 \u0646\u06a9\u0627\u062a\u06cc \u0641\u0631\u0642 \u0627\u06cc\u062c\u0646\u0679 \u06a9\u06cc \u062a\u0627\u062b\u06cc\u0631 \u06a9\u06cc \u067e\u06cc\u0645\u0627\u0626\u0634 \u06a9\u0631\u062a\u0627 \u06c1\u06d2 \u062c\u0648 \u0628\u062c\u0644\u06cc \u0627\u0633\u062a\u0639\u0645\u0627\u0644 \u06a9\u0631\u0646\u06d2 \u0648\u0627\u0644\u0648\u06ba \u0627\u0648\u0631 \u0628\u0627\u0642\u06cc\u0648\u06ba \u06a9\u06d2 \u062f\u0631\u0645\u06cc\u0627\u0646 \u0645\u0648\u062c\u0648\u062f\u06c1 \u0641\u0631\u0642 \u06a9\u06d2 \u0633\u0627\u062a\u06be \u0645\u0644 \u06a9\u0631 \u06c1\u06d2\u06d4<\/p>\n<p>\u06cc\u06c1 \u0627\u06cc\u06a9 \u0622\u067e\u0679 \u0627\u0646 \u0679\u0631\u06cc\u067e \u06c1\u06d2\u06d4 \u06cc\u06c1 \u06a9\u0633\u06cc \u0628\u06be\u06cc \u062a\u062e\u0644\u06cc\u0642\u06cc AI \u067e\u0631\u0648\u0688\u06a9\u0679 \u0645\u06cc\u06ba \u0638\u0627\u06c1\u0631 \u06c1\u0648\u06af\u0627 \u062c\u0648 \u0635\u0627\u0631\u0641 \u06a9\u06d2 \u0632\u06cc\u0631 \u06a9\u0646\u0679\u0631\u0648\u0644 \u0679\u0648\u06af\u0644 \u06a9\u06d2 \u067e\u06cc\u0686\u06be\u06d2 \u0641\u0639\u0627\u0644\u06cc\u062a \u0641\u0631\u0627\u06c1\u0645 \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u06d4 &quot;AI \u0627\u0633\u0633\u0679\u0646\u0679 \u06a9\u0648 \u0622\u0632\u0645\u0627\u0626\u06cc\u06ba&#8221;\u060c &quot;\u0633\u0645\u0627\u0631\u0679 \u062c\u0648\u0627\u0628 \u06a9\u0648 \u0641\u0639\u0627\u0644 \u06a9\u0631\u06cc\u06ba&#8221;\u060c &quot;\u06a9\u0648\u0688 \u06a9\u06cc \u062a\u062c\u0627\u0648\u06cc\u0632 \u06a9\u0648 \u0622\u0646 \u06a9\u0631\u06cc\u06ba&#8221;\u06d4 \u0648\u06c1 \u0635\u0627\u0631\u0641\u06cc\u0646 \u062c\u0648 \u0645\u0646\u062a\u062e\u0628 \u06a9\u0631\u0646\u06d2 \u06a9\u06d2 \u0644\u06cc\u06d2 \u06a9\u0644\u06a9 \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba \u0648\u06c1 \u0645\u0627\u0636\u06cc \u0645\u06cc\u06ba \u0627\u0633\u06a9\u0631\u0648\u0644 \u06a9\u0631\u0646\u06d2 \u0648\u0627\u0644\u06d2 \u0635\u0627\u0631\u0641\u06cc\u0646 \u0633\u06d2 \u0645\u0646\u0638\u0645 \u0637\u0631\u06cc\u0642\u06d2 \u0633\u06d2 \u0645\u062e\u062a\u0644\u0641 \u06c1\u0648\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4 \u062f\u0648 \u06af\u0631\u0648\u06c1\u0648\u06ba \u06a9\u06d2 \u062f\u0631\u0645\u06cc\u0627\u0646 \u0627\u06cc\u06a9 \u0633\u0627\u062f\u06c1 \u0645\u0648\u0627\u0632\u0646\u06c1 \u06a9\u0633\u06cc \u062e\u0635\u0648\u0635\u06cc\u062a \u06a9\u06d2 \u06a9\u0627\u0631\u0622\u0645\u062f \u0627\u062b\u0631 \u06a9\u0648 \u06a9\u0645 \u06a9\u0631\u062a\u0627 \u06c1\u06d2 \u062c\u0633 \u0646\u06d2 \u0635\u0627\u0631\u0641 \u06a9\u0648 \u067e\u06c1\u0644\u06cc \u062c\u06af\u06c1 \u0627\u0646\u062a\u062e\u0627\u0628 \u06a9\u0631\u0646\u06d2 \u067e\u0631 \u0627\u06a9\u0633\u0627\u06cc\u0627\u06d4<\/p>\n<p>\u0679\u0648\u06af\u0644\u0632 \u06a9\u06d2 \u067e\u06cc\u0686\u06be\u06d2 AI \u062e\u0635\u0648\u0635\u06cc\u0627\u062a \u06a9\u0648 \u0686\u0644\u0627\u0646\u0627 \u0627\u06cc\u06a9 \u067e\u0631\u0648\u0688\u06a9\u0679 \u06a9\u0627 \u062a\u062c\u0631\u0628\u06c1 \u06c1\u06d2\u06d4 \u0645\u0641\u0631\u0648\u0636\u06c1: \u06cc\u06c1 \u062e\u0635\u0648\u0635\u06cc\u062a \u0627\u0646 \u0635\u0627\u0631\u0641\u06cc\u0646 \u06a9\u06d2 \u0646\u062a\u0627\u0626\u062c \u06a9\u0648 \u0628\u06c1\u062a\u0631 \u0628\u0646\u0627\u062a\u06cc \u06c1\u06d2 \u062c\u0648 \u0627\u0633\u06d2 \u0627\u067e\u0646\u0627\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4<\/p>\n<p>A\/B \u0679\u06cc\u0633\u0679\u0646\u06af \u06a9\u06d2 \u0628\u0631\u0639\u06a9\u0633\u060c \u062c\u0648 \u0627\u06cc\u06a9 \u0633\u06a9\u06d2 \u06a9\u0648 \u067e\u0644\u0679 \u06a9\u0631 \u062f\u0648 \u063a\u06cc\u0631 \u0645\u0633\u0627\u0648\u06cc \u0622\u0628\u0627\u062f\u06cc \u067e\u06cc\u062f\u0627 \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u060c \u0627\u06cc\u06a9 \u0679\u0648\u06af\u0644 \u0627\u0646\u062a\u062e\u0627\u0628 \u06a9\u0631\u0646\u06d2 \u0633\u06d2 \u067e\u06c1\u0644\u06d2 \u062f\u0648 \u0645\u062e\u062a\u0644\u0641 \u0622\u0628\u0627\u062f\u06cc\u0648\u06ba \u06a9\u0648 \u062a\u062e\u0644\u06cc\u0642 \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u06d4 \u0645\u0648\u062c\u0648\u062f\u06c1 \u0627\u062e\u062a\u0644\u0627\u0641\u0627\u062a \u067e\u06cc\u0645\u0627\u0626\u0634 \u06a9\u0627 \u0645\u0633\u0626\u0644\u06c1 \u06c1\u06cc\u06ba \u0627\u0648\u0631 \u0688\u06cc\u0634 \u0628\u0648\u0631\u0688 \u0646\u0645\u0628\u0631\u0632 \u067e\u0631 \u0679\u06cc \u0679\u06cc\u0633\u0679 \u06a9\u06d2 \u0630\u0631\u06cc\u0639\u06d2 \u062d\u0644 \u0646\u06c1\u06cc\u06ba \u06a9\u06cc\u0627 \u062c\u0627 \u0633\u06a9\u062a\u0627\u06d4<\/p>\n<p>\u067e\u0631\u0648\u067e\u06cc\u0646\u0633\u0679\u06cc \u0633\u06a9\u0648\u0631 \u06a9\u0627 \u0637\u0631\u06cc\u0642\u06c1 \u0627\u06cc\u06a9 \u0634\u0645\u0627\u0631\u06cc\u0627\u062a\u06cc \u0679\u0648\u0644 \u06c1\u06d2 \u062c\u0633\u06d2 \u0688\u06cc\u0679\u0627 \u0633\u0627\u0626\u0646\u0633\u062f\u0627\u0646 \u0627\u067e\u0646\u0627\u0646\u06d2 \u06a9\u06d2 \u062a\u0639\u0635\u0628 \u06a9\u0648 \u06a9\u0633\u06cc \u062e\u0635\u0648\u0635\u06cc\u062a \u06a9\u06cc \u062d\u0642\u06cc\u0642\u06cc \u062a\u0627\u062b\u06cc\u0631 \u0633\u06d2 \u0627\u0644\u06af \u06a9\u0631\u0646\u06d2 \u06a9\u06d2 \u0644\u06cc\u06d2 \u0627\u0633\u062a\u0639\u0645\u0627\u0644 \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4 \u0645\u0648\u0627\u0632\u0646\u06c1 \u06a9\u0648 \u062f\u0648\u0628\u0627\u0631\u06c1 \u0648\u0632\u0646 \u062f\u06cc\u0627 \u062c\u0627\u062a\u0627 \u06c1\u06d2 (\u06cc\u0627 \u062f\u0648\u0628\u0627\u0631\u06c1 \u0645\u0644\u0627\u06cc\u0627 \u062c\u0627\u062a\u0627 \u06c1\u06d2) \u062a\u0627\u06a9\u06c1 \u0645\u0646\u062a\u062e\u0628 \u0627\u0648\u0631 \u063a\u06cc\u0631 \u0645\u0646\u062a\u062e\u0628 \u06af\u0631\u0648\u067e\u0648\u06ba \u06a9\u0627 \u0645\u0648\u0627\u0632\u0646\u06c1 \u0642\u0627\u0628\u0644 \u0645\u0634\u0627\u06c1\u062f\u06c1 \u062e\u0635\u0648\u0635\u06cc\u0627\u062a \u067e\u0631 \u06a9\u06cc\u0627 \u062c\u0627 \u0633\u06a9\u06d2\u060c \u062c\u06cc\u0633\u0627 \u06a9\u06c1 \u0628\u06d2 \u062a\u0631\u062a\u06cc\u0628 \u062a\u062c\u0631\u0628\u06c1 \u0641\u0631\u0627\u06c1\u0645 \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u06d4<\/p>\n<p>\u06cc\u06c1 \u0679\u06cc\u0648\u0679\u0648\u0631\u06cc\u0644 \u0622\u067e \u06a9\u0648 50,000 \u0635\u0627\u0631\u0641\u06cc\u0646 \u06a9\u06d2 \u0645\u0635\u0646\u0648\u0639\u06cc SaaS \u0688\u06cc\u0679\u0627\u0633\u06cc\u0679 \u067e\u0631 \u067e\u0648\u0631\u06cc \u067e\u0627\u0626\u067e \u0644\u0627\u0626\u0646 (\u0645\u062a\u0648\u0642\u0639 \u062a\u062e\u0645\u06cc\u0646\u06c1\u060c \u0627\u0644\u0679\u0627 \u0627\u0645\u06a9\u0627\u0646\u06cc \u0648\u0632\u0646\u060c \u0642\u0631\u06cc\u0628 \u062a\u0631\u06cc\u0646 \u067e\u0691\u0648\u0633\u06cc \u0645\u0645\u0627\u062b\u0644\u062a\u060c \u062a\u0648\u0627\u0632\u0646 \u06a9\u06cc \u062a\u0634\u062e\u06cc\u0635\u060c \u0627\u0648\u0631 \u0628\u0648\u0679\u0633\u0679\u0631\u06cc\u067e \u0627\u0639\u062a\u0645\u0627\u062f \u06a9\u06d2 \u0648\u0642\u0641\u0648\u06ba) \u06a9\u06d2 \u0628\u0627\u0631\u06d2 \u0645\u06cc\u06ba \u0645\u0639\u0644\u0648\u0645 \u0632\u0645\u06cc\u0646\u06cc \u0633\u0686\u0627\u0626\u06cc \u06a9\u0627\u0632\u0644 \u0627\u062b\u0631\u0627\u062a \u06a9\u06d2 \u0633\u0627\u062a\u06be \u0644\u06d2 \u06a9\u0631 \u062c\u0627\u062a\u0627 \u06c1\u06d2\u06d4 \u0622\u067e \u0627\u0633 \u06a9\u0627 \u0627\u0646\u062f\u0627\u0632\u06c1 \u0644\u06af\u0627\u0626\u06cc\u06ba \u06af\u06d2\u060c \u063a\u06cc\u0631 \u06cc\u0642\u06cc\u0646\u06cc \u0635\u0648\u0631\u062a\u062d\u0627\u0644 \u06a9\u0627 \u0627\u0646\u062f\u0627\u0632\u06c1 \u0644\u06af\u0627\u0626\u06cc\u06ba \u06af\u06d2\u060c \u0627\u0648\u0631 \u062f\u06cc\u06a9\u06be\u06cc\u06ba \u06af\u06d2 \u06a9\u06c1 \u0622\u067e \u06a9\u0627 \u0646\u0642\u0637\u06c1 \u0646\u0638\u0631 \u062e\u0627\u0645\u0648\u0634\u06cc \u0633\u06d2 \u06a9\u06c1\u0627\u06ba \u0679\u0648\u0679\u062a\u0627 \u06c1\u06d2\u06d4<\/p>\n<p><strong>\u0633\u0627\u062a\u06be\u06cc \u06a9\u0648\u0688:<\/strong> \u062a\u0645\u0627\u0645 \u06a9\u0648\u0688 \u0628\u0644\u0627\u06a9\u0633 \u0633\u0627\u062a\u06be\u06cc \u0646\u0648\u0679 \u0628\u06a9 \u0645\u06cc\u06ba github.com\/RudrenduPaul\/product-experimentation-causal-inference-genai-llm\/tree\/main\/02_propensity_opt_in \u067e\u0631 \u0627\u06cc\u0646\u0688 \u0679\u0648 \u0627\u06cc\u0646\u0688 \u0686\u0644\u0627\u0626\u06d2 \u062c\u0627\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4 \u0644\u06cc\u067e \u0679\u0627\u067e (<code>psm_demo.ipynb<\/code>) \u0645\u06cc\u06ba \u062a\u0645\u0627\u0645 \u0622\u0624\u0679 \u067e\u0679 \u067e\u0631\u06cc \u0631\u0646 \u06c1\u06d2\u060c \u0644\u06c1\u0630\u0627 \u0622\u067e \u0627\u0633\u06d2 \u0645\u0642\u0627\u0645\u06cc \u0637\u0648\u0631 \u067e\u0631 \u0686\u0644\u0627\u0646\u06d2 \u0633\u06d2 \u067e\u06c1\u0644\u06d2 GitHub \u0633\u06d2 \u067e\u0691\u06be \u0633\u06a9\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4<\/p>\n<h2 id=\"heading-table-of-contents\">\u0627\u0646\u0688\u06cc\u06a9\u0633<\/h2>\n<h2 id=\"heading-why-opt-in-features-break-naive-comparisons\">\u06a9\u06cc\u0648\u06ba \u0622\u067e\u0679 \u0627\u0646 \u0628\u06d2 \u06c1\u0648\u062f\u06c1 \u0645\u0648\u0627\u0632\u0646\u06c1 \u06a9\u0648 \u062a\u0648\u0691 \u062f\u06cc\u062a\u0627 \u06c1\u06d2\u06d4<\/h2>\n<p>A\/B \u0679\u06cc\u0633\u0679\u0646\u06af \u06a9\u06cc \u0631\u06cc\u0627\u0636\u06cc \u0627\u06cc\u06a9 \u0645\u0641\u0631\u0648\u0636\u06d2 \u06a9\u06cc \u0648\u062c\u06c1 \u0633\u06d2 \u062e\u0648\u0628\u0635\u0648\u0631\u062a \u06c1\u06d2: \u0639\u0644\u0627\u062c \u06c1\u0631 \u0686\u06cc\u0632 \u0633\u06d2 \u0622\u0632\u0627\u062f\u0627\u0646\u06c1 \u0637\u0648\u0631 \u067e\u0631 \u062a\u0641\u0648\u06cc\u0636 \u06a9\u06cc\u0627 \u062c\u0627\u062a\u0627 \u06c1\u06d2\u06d4 \u0633\u06a9\u06d2 \u067e\u0644\u0679\u0627\u0626\u06cc\u06ba: \u0622\u062f\u06be\u06d2 \u0635\u0627\u0631\u0641\u06cc\u0646 \u0627\u06cc\u062c\u0646\u0679 \u0645\u0648\u0688 \u0627\u0633\u062a\u0639\u0645\u0627\u0644 \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba\u060c \u0633\u06a9\u06d2 \u06a9\u0627 \u067e\u0644\u0679\u0646\u0627 \u06a9\u0633\u06cc \u0628\u06be\u06cc \u0627\u0644\u062c\u06be\u0646 \u06a9\u0648 \u062a\u0648\u0691 \u062f\u06cc\u062a\u0627 \u06c1\u06d2 \u062c\u0648 \u06a9\u0646\u0641\u06cc\u06af\u0631\u06cc\u0634\u0646 \u06a9\u06cc \u0648\u062c\u06c1 \u0633\u06d2 \u06c1\u0648 \u0633\u06a9\u062a\u0627 \u06c1\u06d2\u06d4 \u0622\u067e\u0679 \u0627\u0646 \u062f\u0646\u06cc\u0627 \u0645\u06cc\u06ba \u06a9\u0648\u0626\u06cc \u0633\u06a9\u06d2 \u0646\u06c1\u06cc\u06ba \u06c1\u06cc\u06ba\u06d4<\/p>\n<p>\u062a\u06cc\u0646 \u0637\u0631\u06cc\u0642\u06c1 \u06a9\u0627\u0631 \u0627\u0646\u062a\u062e\u0627\u0628 \u06a9\u06d2 \u0645\u0648\u0627\u0632\u0646\u06c1 \u06a9\u0648 \u06af\u0645\u0631\u0627\u06c1 \u06a9\u0646 \u0628\u0646\u0627\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4<\/p>\n<h4 id=\"heading-1-selection-on-engagement\">1. \u0634\u0631\u06a9\u062a \u06a9\u06d2 \u0628\u0627\u0631\u06d2 \u0645\u06cc\u06ba \u0627\u0646\u062a\u062e\u0627\u0628<\/h4>\n<p>\u067e\u0627\u0648\u0631 \u0635\u0627\u0631\u0641\u06cc\u0646 \u06c1\u0631 \u0686\u06cc\u0632 \u067e\u0631 \u06a9\u0644\u06a9 \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4 \u0627\u06af\u0631 \u0622\u067e \u06a9\u0627 \u0627\u0646\u062a\u06c1\u0627\u0626\u06cc \u0645\u0635\u0631\u0648\u0641 \u06af\u0631\u0648\u067e 65% \u0648\u0642\u062a \u0627\u06cc\u062c\u0646\u0679 \u0645\u0648\u0688 \u06a9\u0627 \u0627\u0646\u062a\u062e\u0627\u0628 \u06a9\u0631\u062a\u0627 \u06c1\u06d2 \u0627\u0648\u0631 \u0622\u067e \u06a9\u0627 \u06a9\u0645 \u0645\u0635\u0631\u0648\u0641 \u06af\u0631\u0648\u067e \u0627\u0633\u06d2 12% \u0648\u0642\u062a \u06a9\u0627 \u0627\u0646\u062a\u062e\u0627\u0628 \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u060c \u062a\u0648 \u0622\u067e \u0646\u06d2 \u0627\u067e\u0646\u06d2 \u0645\u0646\u062a\u062e\u0628 \u06af\u0631\u0648\u067e \u06a9\u0648 \u0635\u0627\u0631\u0641\u06cc\u0646 \u06a9\u06d2 \u0633\u0627\u062a\u06be \u0627\u0633\u0679\u06cc\u06a9 \u06a9\u06cc\u0627 \u06c1\u06d2 \u062c\u0648 \u0628\u06c1\u0631\u062d\u0627\u0644 \u0632\u06cc\u0627\u062f\u06c1 \u06a9\u0627\u0645 \u06a9\u0631\u06cc\u06ba \u06af\u06d2\u06d4<\/p>\n<p>\u06cc\u06c1 \u0633\u0627\u062e\u062a\u06cc \u0639\u062f\u0645 \u062a\u0648\u0627\u0632\u0646 \u062e\u0648\u062f \u0627\u06cc\u062c\u0646\u0679 \u06a9\u06d2 \u0627\u067e\u0646\u06d2 \u0639\u0645\u0644 \u06a9\u0648 \u0627\u0646\u062c\u0627\u0645 \u062f\u06cc\u0646\u06d2 \u0633\u06d2 \u067e\u06c1\u0644\u06d2 \u0632\u06cc\u0627\u062f\u06c1 \u062a\u0631 \u0645\u0634\u0627\u06c1\u062f\u06c1 \u0634\u062f\u06c1 \u0644\u0641\u0679 \u06a9\u06cc \u0648\u0636\u0627\u062d\u062a \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u06d4<\/p>\n<h4 id=\"heading-2-selection-on-intent\">2. \u0646\u06cc\u062a \u067e\u0631 \u0645\u0628\u0646\u06cc \u0627\u0646\u062a\u062e\u0627\u0628<\/h4>\n<p>\u0648\u06c1 \u0635\u0627\u0631\u0641\u06cc\u0646 \u062c\u0648 \u0646\u0626\u06cc \u062e\u0635\u0648\u0635\u06cc\u0627\u062a \u06a9\u0627 \u0627\u0646\u062a\u062e\u0627\u0628 \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba \u0627\u0646 \u06a9\u06d2 \u0630\u06c1\u0646 \u0645\u06cc\u06ba \u0627\u0633\u062a\u0639\u0645\u0627\u0644 \u06a9\u06d2 \u0645\u062e\u0635\u0648\u0635 \u0645\u0639\u0627\u0645\u0644\u0627\u062a \u06c1\u0648\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4 &quot;\u06a9\u0648\u0688 \u06a9\u06cc \u062a\u062c\u0627\u0648\u06cc\u0632 \u0622\u0632\u0645\u0627\u0626\u06cc\u06ba&#8221; \u067e\u0631 \u06a9\u0644\u06a9 \u06a9\u0631\u0646\u06d2 \u0648\u0627\u0644\u06d2 \u0688\u0648\u06cc\u0644\u067e\u0631\u0632 \u06a9\u06d2 \u067e\u0627\u0633 \u0644\u06a9\u06be\u0646\u06d2 \u06a9\u06d2 \u0644\u06cc\u06d2 \u06a9\u0648\u0688 \u067e\u06c1\u0644\u06d2 \u0633\u06d2 \u0645\u0648\u062c\u0648\u062f \u06c1\u0648\u062a\u0627 \u06c1\u06d2\u06d4 \u0627\u0646 \u0635\u0627\u0631\u0641\u06cc\u0646 \u0646\u06d2 \u06a9\u0646\u0679\u0631\u0648\u0644 UI \u06a9\u06d2 \u0633\u0627\u062a\u06be \u0628\u06be\u06cc \u0627\u067e\u0646\u06d2 \u06a9\u0627\u0645\u0648\u06ba \u06a9\u0648 \u0632\u06cc\u0627\u062f\u06c1 \u0634\u0631\u062d \u067e\u0631 \u0645\u06a9\u0645\u0644 \u06a9\u06cc\u0627 \u06c1\u0648\u06af\u0627\u06d4<\/p>\n<h4 id=\"heading-3-selection-on-risk-tolerance\">3. \u0627\u067e\u0646\u06cc \u062e\u0637\u0631\u06d2 \u06a9\u06cc \u0628\u0631\u062f\u0627\u0634\u062a \u06a9\u0627 \u0627\u0646\u062a\u062e\u0627\u0628 \u06a9\u0631\u06cc\u06ba\u06d4<\/h4>\n<p>\u0627\u0628\u062a\u062f\u0627\u0626\u06cc \u06af\u0648\u062f \u0644\u06cc\u0646\u06d2 \u0648\u0627\u0644\u06d2 \u06a9\u06be\u0631\u062f\u0631\u06d2 \u06a9\u0646\u0627\u0631\u0648\u06ba \u06a9\u0648 \u0628\u0631\u062f\u0627\u0634\u062a \u06a9\u0631 \u0633\u06a9\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4 \u0648\u06c1 \u0635\u0627\u0631\u0641\u06cc\u0646 \u062c\u0648 &#8216;\u0628\u06cc\u0679\u0627 \u06a9\u0648 \u0622\u0632\u0645\u0627\u0626\u06cc\u06ba&#8217; \u067e\u0631 \u06a9\u0644\u06a9 \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba \u0627\u0648\u0631 \u06a9\u0645 \u062a\u0627\u062e\u06cc\u0631 \u0633\u06d2 \u0642\u06cc\u0627\u0645 \u062f\u06cc\u06a9\u06be\u062a\u06d2 \u06c1\u06cc\u06ba\u060c \u062c\u0628\u06a9\u06c1 \u062e\u0637\u0631\u06d2 \u0633\u06d2 \u0628\u0686\u0646\u06d2 \u0648\u0627\u0644\u06d2 \u0635\u0627\u0631\u0641\u06cc\u0646 \u0645\u0646\u062a\u06cc\u06ba \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4<\/p>\n<p>\u0622\u067e \u06a9\u0627 \u0645\u0646\u062a\u062e\u0628 \u06af\u0631\u0648\u067e \u0627\u0646 \u0644\u0648\u06af\u0648\u06ba \u06a9\u06d2 \u0644\u06cc\u06d2 \u0627\u0641\u0632\u0648\u062f\u06c1 \u06c1\u06d2 \u062c\u0648 \u0627\u06cc\u06a9 \u062e\u0631\u0627\u0628 \u062a\u062c\u0631\u0628\u06c1 \u06a9\u06d2 \u0633\u0627\u062a\u06be \u067e\u06cc\u0634 \u06a9\u0631\u0646\u0627 \u0686\u0627\u06c1\u062a\u06d2 \u06c1\u06cc\u06ba \u062c\u0648 \u0622\u067e \u06a9\u06cc \u067e\u06cc\u0645\u0627\u0626\u0634 \u06a9\u0631 \u0633\u06a9\u062a\u06d2 \u06c1\u06cc\u06ba \u06c1\u0631 \u0628\u06c1\u0627\u0624 \u0645\u06cc\u0679\u0631\u06a9 \u06a9\u0648 \u0645\u062a\u0627\u062b\u0631 \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u06d4<\/p>\n<p>\u062a\u06cc\u0646\u0648\u06ba \u0627\u06cc\u06a9 \u062c\u06cc\u0633\u06cc \u0639\u0644\u0627\u0645\u0627\u062a \u06a9\u0627 \u0633\u0628\u0628 \u0628\u0646\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4 \u06cc\u0639\u0646\u06cc\u060c \u062f\u0648\u0633\u0631\u06d2 \u062a\u0645\u0627\u0645 \u0635\u0627\u0631\u0641\u06cc\u0646 \u06a9\u06d2 \u0633\u0627\u062a\u06be \u0627\u06cc\u06a9 \u062e\u0627\u0645 \u0645\u0648\u0627\u0632\u0646\u06c1\u060c \u062c\u0648 \u06a9\u0633\u06cc \u062e\u0635\u0648\u0635\u06cc\u062a \u06a9\u06d2 \u06a9\u0627\u0631\u0622\u0645\u062f \u0627\u062b\u0631 \u06a9\u0648 2 \u06cc\u0627 \u0627\u0633 \u0633\u06d2 \u0632\u06cc\u0627\u062f\u06c1 \u06a9\u06d2 \u0639\u0646\u0635\u0631 \u0633\u06d2 \u0628\u0691\u06be\u0627 \u0633\u06a9\u062a\u0627 \u06c1\u06d2\u060c \u0627\u0633 \u0628\u0627\u062a \u067e\u0631 \u0645\u0646\u062d\u0635\u0631 \u06c1\u06d2 \u06a9\u06c1 \u0633\u0628 \u0633\u06d2 \u0632\u06cc\u0627\u062f\u06c1 \u0635\u0627\u0631\u0641\u06cc\u0646 \u06a9\u06d2 \u062f\u0631\u0645\u06cc\u0627\u0646 \u0627\u0646\u062a\u062e\u0627\u0628 \u06a9\u062a\u0646\u0627 \u0645\u0631\u062a\u06a9\u0632 \u06c1\u06d2\u06d4<\/p>\n<p>\u0627\u0633 \u0679\u06cc\u0648\u0679\u0648\u0631\u06cc\u0644 \u0645\u06cc\u06ba \u0633\u06cc\u0679 \u0645\u0635\u0646\u0648\u0639\u06cc \u0688\u06cc\u0679\u0627 \u067e\u0631\u060c \u0627\u06cc\u06a9 \u0633\u0627\u062f\u06c1 \u0645\u0648\u0627\u0632\u0646\u06c1 \u062d\u0642\u06cc\u0642\u06cc +8pp \u0627\u062b\u0631 \u06a9\u0648 +21pp (2.6x \u0627\u0648\u0648\u0631 \u0634\u0648\u0679) \u062a\u06a9 \u0628\u0691\u06be\u0627\u062a\u0627 \u06c1\u06d2\u06d4 \u0627\u0633 \u06a9\u0648 \u062f\u0631\u0633\u062a \u06a9\u0631\u0646\u06d2 \u06a9\u06d2 \u0644\u06cc\u06d2 \u067e\u0631\u0648\u067e\u06cc\u0646\u0633\u06cc\u0679\u06cc \u0633\u06a9\u0648\u0631 \u06a9\u06d2 \u0637\u0631\u06cc\u0642\u06d2 \u0645\u0648\u062c\u0648\u062f \u06c1\u06cc\u06ba\u06d4<\/p>\n<h2 id=\"heading-what-propensity-scores-actually-do\">\u067e\u0631\u0648\u067e\u06cc\u0646\u0633\u0679\u06cc \u0627\u0633\u06a9\u0648\u0631\u0632 \u062f\u0631\u0627\u0635\u0644 \u06a9\u06cc\u0627 \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4<\/h2>\n<p><em>\u0634\u06a9\u0644 1: \u062f\u0648 \u0641\u0631\u0636\u06cc \u06af\u0631\u0648\u06c1\u0648\u06ba \u06a9\u06d2 \u0644\u06cc\u06d2 \u0627\u0633\u06a9\u06cc\u0645\u06cc\u0679\u06a9 \u0631\u062c\u062d\u0627\u0646 \u0633\u06a9\u0648\u0631 \u06a9\u06cc \u062a\u0642\u0633\u06cc\u0645\u06d4 \u0645\u0646\u062a\u062e\u0628 \u06af\u0631\u0648\u067e (\u0633\u0631\u062e) \u06a9\u0648 \u0627\u0639\u0644\u06cc \u0631\u062c\u062d\u0627\u0646\u0627\u062a \u06a9\u06cc \u0637\u0631\u0641 \u062c\u06be\u06a9\u0627 \u062f\u06cc\u0627 \u06af\u06cc\u0627 \u06c1\u06d2\u060c \u062c\u0628\u06a9\u06c1 \u063a\u06cc\u0631 \u0645\u0646\u062a\u062e\u0628 \u06af\u0631\u0648\u067e (\u0646\u06cc\u0644\u06d2) \u06a9\u0648 \u06a9\u0645 \u0631\u062c\u062d\u0627\u0646\u0627\u062a \u06a9\u06cc \u0637\u0631\u0641 \u062c\u06be\u06a9\u0627 \u062f\u06cc\u0627 \u06af\u06cc\u0627 \u06c1\u06d2\u06d4<\/em><\/p>\n<p>\u0627\u0648\u067e\u0631 \u062f\u06cc \u06af\u0626\u06cc \u062a\u0635\u0648\u06cc\u0631 \u0645\u06cc\u06ba\u060c x-axis \u06a9\u06d2 \u0646\u06cc\u0686\u06d2 \u0642\u0648\u0633\u06cc\u0646 \u06a9\u06cc \u067e\u0679\u06cc \u0627\u0633\u06a9\u0648\u0631 \u06a9\u06cc \u062d\u062f \u06a9\u0648 \u062a\u06cc\u0646 \u062d\u0635\u0648\u06ba \u0645\u06cc\u06ba \u062a\u0642\u0633\u06cc\u0645 \u06a9\u0631\u062a\u06cc \u06c1\u06d2\u06d4 \u06cc\u0639\u0646\u06cc\u060c \u0627\u06cc\u06a9 \u06a9\u0645 \u067e\u0631\u0648\u067e\u06cc\u0646\u0633\u06cc\u0679\u06cc \u06a9\u0646\u0679\u0631\u0648\u0644-\u0628\u06be\u0627\u0631\u06cc \u0639\u0644\u0627\u0642\u06c1 \u062c\u0633 \u0645\u06cc\u06ba \u06a9\u0686\u06be \u0639\u0644\u0627\u062c \u06a9\u06cc\u06d2 \u06af\u0626\u06d2 \u0635\u0627\u0631\u0641\u06cc\u0646 \u06c1\u0648\u06ba\u060c \u0627\u06cc\u06a9 \u0645\u0631\u06a9\u0632\u06cc \u0645\u0634\u062a\u0631\u06a9\u06c1 \u0633\u067e\u0648\u0631\u0679 \u0627\u06cc\u0631\u06cc\u0627 \u062c\u06c1\u0627\u06ba \u062f\u0648\u0646\u0648\u06ba \u06af\u0631\u0648\u067e\u0648\u06ba \u06a9\u06cc \u0627\u0686\u06be\u06cc \u0646\u0645\u0627\u0626\u0646\u062f\u06af\u06cc \u06a9\u06cc \u06af\u0626\u06cc \u06c1\u0648\u060c \u0627\u0648\u0631 \u06a9\u0686\u06be \u06a9\u0646\u0679\u0631\u0648\u0644\u0632 \u06a9\u06d2 \u0633\u0627\u062a\u06be \u0627\u06cc\u06a9 \u0627\u0639\u0644\u06cc \u067e\u0631\u0648\u067e\u06cc\u0646\u0633\u06cc\u0679\u06cc \u0679\u0631\u06cc\u0679\u0645\u0646\u0679 \u06c1\u06cc\u0648\u06cc \u0627\u06cc\u0631\u06cc\u0627\u06d4 \u067e\u0631\u0648\u067e\u06cc\u0646\u0633\u0679\u06cc \u0633\u06a9\u0648\u0631 \u06a9\u06d2 \u0637\u0631\u06cc\u0642\u06d2 \u0631\u06cc \u0648\u06cc\u0679\u0646\u06af \u06cc\u0627 \u0631\u06cc \u0633\u06cc\u0679\u0645\u06cc\u0679\u0631\u06cc \u06a9\u06d2 \u0630\u0631\u06cc\u0639\u06d2 \u0633\u067e\u0648\u0631\u0679 \u06a9\u06d2 \u0627\u06cc\u06a9 \u0645\u0634\u062a\u0631\u06a9\u06c1 \u0639\u0644\u0627\u0642\u06d2 \u0645\u06cc\u06ba \u06a9\u0627\u0645 \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba \u0627\u0633 \u0637\u0631\u062d \u06a9\u06c1 \u062f\u0648\u0646\u0648\u06ba \u06af\u0631\u0648\u067e \u0642\u0627\u0628\u0644 \u0645\u0634\u0627\u06c1\u062f\u06c1 \u067e\u0631 \u0645\u062a\u0648\u0627\u0632\u0646 \u0646\u0638\u0631 \u0622\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4 \u0627\u062d\u062a\u06cc\u0627\u0637 \u06a9\u06d2 \u0633\u0627\u062a\u06be \u0627\u0646\u062a\u06c1\u0627\u0626\u06cc \u062d\u0635\u0648\u06ba \u06a9\u0648 \u06a9\u0627\u0679\u06cc\u06ba \u06cc\u0627 \u06c1\u06cc\u0646\u0688\u0644 \u06a9\u0631\u06cc\u06ba\u06d4<\/p>\n<p>\u0631\u062c\u062d\u0627\u0646 \u0633\u06a9\u0648\u0631 \u0648\u06c1 \u0627\u0645\u06a9\u0627\u0646 \u06c1\u06d2 \u06a9\u06c1 \u0635\u0627\u0631\u0641 \u0642\u0627\u0628\u0644 \u0645\u0634\u0627\u06c1\u062f\u06c1 \u062e\u0635\u0648\u0635\u06cc\u0627\u062a \u06a9\u06d2 \u067e\u06cc\u0634 \u0646\u0638\u0631 \u06a9\u0633\u06cc \u0686\u06cc\u0632 \u06a9\u0627 \u0627\u0646\u062a\u062e\u0627\u0628 \u06a9\u0631\u06d2 \u06af\u0627\u06d4 \u06c1\u0645 \u0627\u0633 \u0627\u0645\u06a9\u0627\u0646 \u06a9\u0627 \u0627\u06cc\u06a9 \u0627\u0686\u06be\u0627 \u0627\u0646\u062f\u0627\u0632\u06c1 \u0644\u06af\u0627 \u0633\u06a9\u062a\u06d2 \u06c1\u06cc\u06ba \u0627\u0648\u0631 \u0646\u0645\u0648\u0646\u06d2 \u06a9\u0648 \u062f\u0648\u0628\u0627\u0631\u06c1 \u0648\u0632\u0646 \u062f\u06cc\u0646\u06d2 \u06a9\u06d2 \u0644\u06cc\u06d2 \u0627\u0633 \u06a9\u0627 \u0627\u0633\u062a\u0639\u0645\u0627\u0644 \u06a9\u0631 \u0633\u06a9\u062a\u06d2 \u06c1\u06cc\u06ba \u062a\u0627\u06a9\u06c1 \u0645\u0646\u062a\u062e\u0628 \u0627\u0648\u0631 \u063a\u06cc\u0631 \u0645\u0646\u062a\u062e\u0628 \u0635\u0627\u0631\u0641\u06cc\u0646 \u0645\u0634\u0627\u06c1\u062f\u0627\u062a \u0645\u06cc\u06ba \u0627\u06cc\u06a9 \u062c\u06cc\u0633\u06d2 \u0646\u0638\u0631 \u0622\u0626\u06cc\u06ba\u06d4 \u06cc\u06c1 \u0627\u06cc\u0633\u06d2 \u06c1\u06cc \u06c1\u06d2 \u062c\u06cc\u0633\u06d2 \u0627\u0646\u062a\u062e\u0627\u0628 \u0628\u06d2 \u062a\u0631\u062a\u06cc\u0628 \u062a\u06be\u06d2\u06d4<\/p>\n<p>\u0631\u062c\u062d\u0627\u0646 \u06a9\u06d2 \u0627\u0633\u06a9\u0648\u0631 \u0627\u0633\u062a\u0639\u0645\u0627\u0644 \u06a9\u0631\u0646\u06d2 \u06a9\u06d2 \u0644\u06cc\u06d2 \u062f\u0648 \u0639\u0645\u0644\u06cc \u062d\u06a9\u0645\u062a \u0639\u0645\u0644\u06cc \u06cc\u06c1 \u06c1\u06cc\u06ba:<\/p>\n<ul>\n<li>\n<p><strong>\u0627\u0644\u0679\u0627 \u0627\u0645\u06a9\u0627\u0646\u06cc \u0648\u0632\u0646 (IPW)<\/strong> \u06c1\u0631 \u0635\u0627\u0631\u0641 \u06a9\u0648 \u0627\u06cc\u06a9 \u0648\u0632\u0646 \u062a\u0641\u0648\u06cc\u0636 \u06a9\u06cc\u0627 \u062c\u0627\u062a\u0627 \u06c1\u06d2 \u062c\u0648 \u0627\u0633\u06d2 \u062f\u0631\u062d\u0642\u06cc\u0642\u062a \u062d\u0627\u0635\u0644 \u06a9\u0631\u062f\u06c1 \u0639\u0644\u0627\u062c \u062d\u0627\u0635\u0644 \u06a9\u0631\u0646\u06d2 \u06a9\u06d2 \u0627\u0645\u06a9\u0627\u0646 \u06a9\u06d2 \u0627\u0644\u0679\u0627 \u06a9\u06d2 \u0628\u0631\u0627\u0628\u0631 \u06c1\u0648\u062a\u0627 \u06c1\u06d2\u06d4 \u0645\u0646\u062a\u062e\u0628 \u0635\u0627\u0631\u0641\u06cc\u0646 \u06a9\u0627 \u0648\u0632\u0646 1\/P \u06c1\u06d2 (\u0645\u0646\u062a\u062e\u0628 \u0634\u062f\u06c1)\u06d4 \u063a\u06cc\u0631 \u0622\u067e\u0679 \u0627\u0646 \u0635\u0627\u0631\u0641\u06cc\u0646 \u06a9\u0627 \u0648\u0632\u0646 1\/P \u06c1\u06d2 (\u06a9\u0648\u0626\u06cc \u0622\u067e\u0679 \u0627\u0646 \u0646\u06c1\u06cc\u06ba)\u06d4 \u0648\u0632\u0646 \u06a9\u06d2 \u0628\u0639\u062f\u060c \u062f\u0648\u0646\u0648\u06ba \u06af\u0631\u0648\u06c1\u0648\u06ba \u06a9\u0648 \u0642\u0627\u0628\u0644 \u0645\u0634\u0627\u06c1\u062f\u06c1 \u06a9\u0631\u0646\u06d2 \u067e\u0631 \u0645\u062a\u0648\u0627\u0632\u0646 \u06a9\u06cc\u0627 \u062c\u0627\u062a\u0627 \u06c1\u06d2\u060c \u0627\u0648\u0631 \u0646\u062a\u0627\u0626\u062c \u0645\u06cc\u06ba \u0648\u0632\u0646\u06cc \u0641\u0631\u0642 \u0627\u0648\u0633\u0637 \u0639\u0644\u0627\u062c \u06a9\u06d2 \u0627\u062b\u0631 \u06a9\u0627 \u062a\u062e\u0645\u06cc\u0646\u06c1 \u0644\u06af\u0627\u062a\u0627 \u06c1\u06d2\u06d4<\/p>\n<\/li>\n<li>\n<p><strong>\u0645\u0644\u0627\u067e<\/strong> \u06c1\u0645 \u06c1\u0631 \u0622\u067e\u0679 \u0627\u0646 \u0635\u0627\u0631\u0641 \u06a9\u0648 \u0627\u06cc\u06a9 \u06cc\u0627 \u0632\u06cc\u0627\u062f\u06c1 \u063a\u06cc\u0631 \u0645\u0646\u062a\u062e\u0628 \u06a9\u0631\u062f\u06c1 \u0635\u0627\u0631\u0641\u06cc\u0646 \u06a9\u06d2 \u0633\u0627\u062a\u06be \u0645\u0644\u062a\u06d2 \u06c1\u06cc\u06ba \u062c\u0633 \u06a9\u06d2 \u0627\u0633\u06cc \u0637\u0631\u062d \u06a9\u06d2 \u0631\u062c\u062d\u0627\u0646 \u0633\u06a9\u0648\u0631 \u06c1\u0648\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4 \u0645\u0645\u0627\u062b\u0644 \u062c\u0648\u0691\u0648\u06ba \u06a9\u06d2 \u062f\u0631\u0645\u06cc\u0627\u0646 \u0646\u062a\u0627\u0626\u062c \u06a9\u0627 \u0627\u0648\u0633\u0637 \u0641\u0631\u0642 \u0639\u0644\u0627\u062c \u06a9\u06d2 \u06c1\u062f\u0641 (ATT) \u067e\u0631 \u0639\u0644\u0627\u062c \u06a9\u06d2 \u0627\u0648\u0633\u0637 \u0627\u062b\u0631 \u06a9\u0627 \u062a\u062e\u0645\u06cc\u0646\u06c1 \u0644\u06af\u0627\u062a\u0627 \u06c1\u06d2\u060c \u06cc\u0639\u0646\u06cc \u0627\u0635\u0644 \u0645\u06cc\u06ba \u0631\u0636\u0627\u0645\u0646\u062f\u06cc \u06a9\u06d2 \u0635\u0627\u0631\u0641\u06cc\u0646 \u0633\u06d2 \u062d\u0627\u0635\u0644 \u06c1\u0648\u0646\u06d2 \u0648\u0627\u0644\u0627 \u0646\u062a\u06cc\u062c\u06c1\u06d4<\/p>\n<\/li>\n<\/ul>\n<p>\u062f\u0648\u0646\u0648\u06ba \u0637\u0631\u06cc\u0642\u06d2 \u062a\u06cc\u0646 \u0634\u0646\u0627\u062e\u062a\u06cc \u0645\u0641\u0631\u0648\u0636\u0648\u06ba \u067e\u0631 \u0645\u0628\u0646\u06cc \u06c1\u06cc\u06ba \u062c\u0648 \u0627\u06cc\u06a9 \u0633\u0627\u062a\u06be \u06a9\u0627\u0645 \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4<\/p>\n<ol>\n<li>\n<p>\u0633\u0628 \u0633\u06d2 \u067e\u06c1\u0644\u06d2 <strong>\u0645\u0628\u06c1\u0645 \u0646\u06c1\u06cc\u06ba<\/strong>: \u062a\u0645\u0627\u0645 \u0642\u0627\u0628\u0644 \u0645\u0634\u0627\u06c1\u062f\u06c1 \u0645\u062a\u063a\u06cc\u0631\u0627\u062a \u062c\u0648 \u0627\u0646\u062a\u062e\u0627\u0628 \u06a9\u0648 \u0622\u06af\u06d2 \u0628\u0691\u06be\u0627\u062a\u06d2 \u06c1\u06cc\u06ba \u0627\u0648\u0631 \u0646\u062a\u0627\u0626\u062c \u06a9\u0648 \u0645\u062a\u0627\u062b\u0631 \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba \u0631\u062c\u062d\u0627\u0646 \u0645\u0627\u0688\u0644 \u0645\u06cc\u06ba \u06c1\u06cc\u06ba\u06d4<\/p>\n<\/li>\n<li>\n<p>\u062f\u0648\u0633\u0631\u0627 <strong>\u0627\u06cc\u06a9 \u062f\u0648\u0633\u0631\u06d2 \u067e\u0631 \u0631\u06a9\u06be\u0648<\/strong> (\u062c\u0633\u06d2 \u0645\u062b\u0628\u062a\u06cc\u062a \u0628\u06be\u06cc \u06a9\u06c1\u0627 \u062c\u0627\u062a\u0627 \u06c1\u06d2): \u06c1\u0631 \u0635\u0627\u0631\u0641 \u06a9\u06d2 \u067e\u0627\u0633 \u0622\u067e\u0679 \u0627\u0646 \u06a9\u0631\u0646\u06d2 \u06a9\u0627 \u063a\u06cc\u0631 \u0635\u0641\u0631 \u0627\u0645\u06a9\u0627\u0646 \u06c1\u0648\u062a\u0627 \u06c1\u06d2 \u0627\u0648\u0631 \u0622\u067e\u0679 \u0622\u0624\u0679 \u06a9\u0631\u0646\u06d2 \u06a9\u0627 \u063a\u06cc\u0631 \u0635\u0641\u0631 \u0627\u0645\u06a9\u0627\u0646 \u06c1\u0648\u062a\u0627 \u06c1\u06d2\u06d4<\/p>\n<\/li>\n<li>\n<p>\u062a\u06cc\u0633\u0631\u0627 <strong>\u06a9\u0648\u0626\u06cc \u0645\u062f\u0627\u062e\u0644\u062a \u0646\u06c1\u06cc\u06ba\u06d4<\/strong>: \u0627\u06cc\u06a9 \u0635\u0627\u0631\u0641 \u06a9\u06d2 \u0627\u0646\u062a\u062e\u0627\u0628 \u06a9\u0627 \u0641\u06cc\u0635\u0644\u06c1 \u062f\u0648\u0633\u0631\u06d2 \u0635\u0627\u0631\u0641 \u06a9\u06d2 \u0646\u062a\u0627\u0626\u062c (\u0645\u0633\u062a\u062d\u06a9\u0645 \u06cc\u0648\u0646\u0679 \u0679\u0631\u06cc\u0679\u0645\u0646\u0679 \u0648\u06cc\u0644\u06cc\u0648 \u0645\u0641\u0631\u0648\u0636\u06c1\u060c \u06cc\u0639\u0646\u06cc SUTVA) \u06a9\u0648 \u0645\u062a\u0627\u062b\u0631 \u0646\u06c1\u06cc\u06ba \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u06d4<\/p>\n<\/li>\n<\/ol>\n<p>\u0627\u0646 \u0645\u06cc\u06ba \u0633\u06d2 \u0627\u06cc\u06a9 \u06a9\u06cc \u062e\u0644\u0627\u0641 \u0648\u0631\u0632\u06cc \u062a\u062e\u0645\u06cc\u0646\u06c1 \u06a9\u06cc \u0637\u0631\u0641\u062f\u0627\u0631\u06cc \u06a9\u0631\u06d2 \u06af\u06cc \u0686\u0627\u06c1\u06d2 \u0628\u0627\u0642\u06cc \u062f\u0648 \u06a9\u06d2 \u067e\u0627\u0633 \u06c1\u0648\u06ba\u06d4 \u0627\u0633 \u0679\u06cc\u0648\u0679\u0648\u0631\u06cc\u0644 \u06a9\u06d2 \u0622\u062e\u0631 \u0645\u06cc\u06ba \u0646\u0627\u06a9\u0627\u0645\u06cc \u06a9\u06d2 \u0637\u0631\u06cc\u0642\u06d2 \u06c1\u0631 \u0645\u0648\u0688 \u0645\u06cc\u06ba \u0622\u067e \u06a9\u06cc \u0631\u06c1\u0646\u0645\u0627\u0626\u06cc \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4<\/p>\n<h2 id=\"heading-prerequisites\">\u0634\u0631\u0637\u06cc\u06ba<\/h2>\n<p>Python 3.11 \u06cc\u0627 \u0627\u0633 \u0633\u06d2 \u0632\u06cc\u0627\u062f\u06c1\u060c \u067e\u0627\u0646\u0688\u0648\u06ba \u0627\u0648\u0631 \u0633\u06a9\u0650\u0679 \u0644\u0631\u0646 \u0633\u06d2 \u0648\u0627\u0642\u0641\u06cc\u062a\u060c \u0627\u0648\u0631 \u0644\u0627\u062c\u0633\u0679\u06a9 \u0631\u06cc\u06af\u0631\u06cc\u0634\u0646 \u06a9\u06d2 \u0628\u0627\u0631\u06d2 \u0645\u06cc\u06ba \u0642\u0637\u0639\u06cc \u0645\u0639\u0644\u0648\u0645\u0627\u062a \u06a9\u06cc \u0636\u0631\u0648\u0631\u062a \u06c1\u06d2\u06d4<\/p>\n<p>\u0627\u0633 \u0679\u06cc\u0648\u0679\u0648\u0631\u06cc\u0644 \u06a9\u06d2 \u0644\u06cc\u06d2 \u067e\u06cc\u06a9\u062c\u0632 \u0627\u0646\u0633\u0679\u0627\u0644 \u06a9\u0631\u06cc\u06ba\u06d4<\/p>\n<pre><code class=\"language-shell\">pip install numpy pandas scikit-learn matplotlib\n<\/code><\/pre>\n<p><strong>\u0645\u0648\u062c\u0648\u062f\u06c1 \u0635\u0648\u0631\u062a\u062d\u0627\u0644 \u06a9\u0686\u06be \u06cc\u0648\u06ba \u06c1\u06d2:<\/strong> \u0686\u0627\u0631 \u067e\u06cc\u06a9\u062c \u067e\u0648\u0631\u06cc \u067e\u0627\u0626\u067e \u0644\u0627\u0626\u0646 \u06a9\u0627 \u0627\u062d\u0627\u0637\u06c1 \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4 \u067e\u0627\u0646\u0688\u0627\u0633 \u0688\u06cc\u0679\u0627 \u06a9\u0648 \u0644\u0648\u0688 \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u060c NumPy \u0648\u0632\u0646 \u0627\u0648\u0631 \u0633\u0631\u0646\u06cc \u0631\u06cc\u0627\u0636\u06cc \u06a9\u0648 \u06c1\u06cc\u0646\u0688\u0644 \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u060c scikit-learn propensity \u0645\u0627\u0688\u0644 \u0645\u06cc\u06ba \u0641\u0679 \u0628\u06cc\u0679\u06be\u062a\u0627 \u06c1\u06d2 \u0627\u0648\u0631 \u0642\u0631\u06cc\u0628 \u062a\u0631\u06cc\u0646 \u067e\u0691\u0648\u0633\u06cc \u0645\u06cc\u0686\u0646\u06af \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u060c \u0627\u0648\u0631 matplotlib \u0628\u06d2 \u06a9\u0627\u0631 \u062a\u0634\u062e\u06cc\u0635 \u067e\u06cc\u0634 \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u06d4<\/p>\n<p>\u0645\u0635\u0646\u0648\u0639\u06cc \u0688\u06cc\u0679\u0627\u0633\u06cc\u0679 \u062d\u0627\u0635\u0644 \u06a9\u0631\u0646\u06d2 \u06a9\u06d2 \u0644\u06cc\u06d2\u060c \u0633\u0627\u062a\u06be\u06cc \u0631\u06cc\u067e\u0648\u0632\u0679\u0631\u06cc \u06a9\u0648 \u06a9\u0644\u0648\u0646 \u06a9\u0631\u06cc\u06ba\u06d4<\/p>\n<pre><code class=\"language-shell\">git clone https:\/\/github.com\/RudrenduPaul\/product-experimentation-causal-inference-genai-llm.git\ncd product-experimentation-causal-inference-genai-llm\npython data\/generate_data.py --seed 42 --n-users 50000 --out data\/synthetic_llm_logs.csv\n<\/code><\/pre>\n<p><strong>\u0645\u0648\u062c\u0648\u062f\u06c1 \u0635\u0648\u0631\u062a\u062d\u0627\u0644 \u06a9\u0686\u06be \u06cc\u0648\u06ba \u06c1\u06d2:<\/strong> \u06a9\u0644\u0648\u0646 \u0633\u0627\u062a\u06be\u06cc \u0630\u062e\u06cc\u0631\u06c1 \u062f\u0631\u0622\u0645\u062f \u06a9\u0631\u062a\u0627 \u06c1\u06d2 \u0627\u0648\u0631 <code>generate_data.py<\/code> \u0627\u06cc\u06a9 \u0645\u0634\u062a\u0631\u06a9\u06c1 \u0645\u0635\u0646\u0648\u0639\u06cc \u0688\u06cc\u0679\u0627\u0633\u06cc\u0679 \u062a\u062e\u0644\u06cc\u0642 \u06a9\u0631\u062a\u0627 \u06c1\u06d2 \u062c\u0648 \u067e\u0648\u0631\u06cc \u0633\u06cc\u0631\u06cc\u0632 \u0645\u06cc\u06ba \u0627\u0633\u062a\u0639\u0645\u0627\u0644 \u06c1\u0648\u062a\u0627 \u06c1\u06d2\u06d4 \u0633\u06cc\u0688 42 \u0688\u06cc\u0679\u0627\u0633\u06cc\u0679 \u06a9\u0648 \u062f\u0648\u0628\u0627\u0631\u06c1 \u067e\u06cc\u062f\u0627 \u06a9\u0631\u0646\u06d2 \u06a9\u06d2 \u0642\u0627\u0628\u0644 \u0631\u06a9\u06be\u062a\u0627 \u06c1\u06d2 \u0627\u0648\u0631 50,000 \u0635\u0627\u0631\u0641\u06cc\u0646 \u0627\u0633 \u0679\u06cc\u0648\u0679\u0648\u0631\u06cc\u0644 \u0645\u06cc\u06ba \u062a\u0645\u0627\u0645 \u062a\u062e\u0645\u06cc\u0646\u0648\u06ba \u06a9\u06d2 \u0644\u06cc\u06d2 \u0648\u0627\u0636\u062d \u0633\u06af\u0646\u0644 \u0641\u0631\u0627\u06c1\u0645 \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4 \u0622\u0624\u0679 \u067e\u0679 CSV \u0627\u0633 \u067e\u0631 \u067e\u06c1\u0646\u0686\u06d2 \u06af\u0627: <code>data\/synthetic_llm_logs.csv<\/code>.<\/p>\n<h2 id=\"heading-setting-up-the-working-example\">\u0648\u0631\u06a9\u0646\u06af \u0645\u062b\u0627\u0644 \u0633\u06cc\u0679 \u0627\u067e<\/h2>\n<p>\u0645\u0635\u0646\u0648\u0639\u06cc \u0688\u06cc\u0679\u0627\u0633\u06cc\u0679 SaaS \u067e\u0631\u0648\u0688\u06a9\u0679 \u06a9\u06cc \u0646\u0642\u0644 \u06a9\u0631\u062a\u0627 \u06c1\u06d2 \u062c\u06c1\u0627\u06ba \u0635\u0627\u0631\u0641 \u0627\u06cc\u06a9 \u0627\u06cc\u062c\u0646\u0679 \u0645\u0648\u0688 \u06a9\u0627 \u0627\u0646\u062a\u062e\u0627\u0628 \u06a9\u0631 \u0633\u06a9\u062a\u06d2 \u06c1\u06cc\u06ba \u062c\u0648 \u0632\u06cc\u0627\u062f\u06c1 \u0645\u06c1\u0646\u06af\u0627 \u0645\u0627\u0688\u0644 \u0627\u0633\u062a\u0639\u0645\u0627\u0644 \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u06d4 \u0627\u06af\u0631 \u0622\u067e \u06a9\u06d2 50,000 \u0635\u0627\u0631\u0641\u06cc\u0646 \u06c1\u06cc\u06ba\u060c \u062a\u0648 \u0622\u067e \u06a9\u06cc \u0645\u0646\u06af\u0646\u06cc \u06a9\u06cc \u0634\u0631\u062d \u0645\u0646\u06af\u0646\u06cc \u06a9\u06d2 \u0645\u0631\u062d\u0644\u06d2 \u06a9\u06d2 \u0644\u062d\u0627\u0638 \u0633\u06d2 \u0628\u06c1\u062a \u0645\u062e\u062a\u0644\u0641 \u06c1\u0648\u06af\u06cc\u06d4 \u0628\u06be\u0627\u0631\u06cc \u0635\u0627\u0631\u0641\u06cc\u0646 65%\u060c \u062f\u0631\u0645\u06cc\u0627\u0646\u06d2 \u0635\u0627\u0631\u0641\u06cc\u0646 35%\u060c \u0627\u0648\u0631 \u06c1\u0644\u06a9\u06d2 \u0635\u0627\u0631\u0641\u06cc\u0646 12% \u067e\u0631 \u0627\u0646\u062a\u062e\u0627\u0628 \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4<\/p>\n<p>\u0688\u06cc\u0679\u0627 \u062c\u0646\u0631\u06cc\u0679\u0631 \u0645\u06cc\u06ba \u0638\u0627\u06c1\u0631 \u06c1\u0648\u0646\u06d2 \u0648\u0627\u0644\u0627 \u0627\u0635\u0644 \u06a9\u0627\u0632\u0644 \u0627\u062b\u0631 \u0645\u0646\u062a\u062e\u0628 \u0635\u0627\u0631\u0641 \u06a9\u06d2 \u0644\u06cc\u06d2 \u06a9\u0627\u0645 \u06a9\u06cc \u062a\u06a9\u0645\u06cc\u0644 \u067e\u0631 +8 \u0641\u06cc\u0635\u062f \u067e\u0648\u0627\u0626\u0646\u0679\u0633 \u06c1\u06d2\u06d4 \u0627\u06cc\u06a9 \u0633\u0627\u062f\u06c1 \u0645\u0648\u0627\u0632\u0646\u06c1 \u0645\u06cc\u06ba\u060c \u0627\u0646\u062a\u062e\u0627\u0628\u06cc \u062a\u0639\u0635\u0628 \u0627\u0633\u06d2 \u062a\u0642\u0631\u06cc\u0628\u0627\u064b +21 \u0641\u06cc\u0635\u062f \u067e\u0648\u0627\u0626\u0646\u0679\u0633 \u062a\u06a9 \u0628\u0691\u06be\u0627\u062a\u0627 \u06c1\u06d2 \u06a9\u06cc\u0648\u0646\u06a9\u06c1 \u06cc\u06c1 \u0645\u0646\u062a\u062e\u0628 \u06af\u0631\u0648\u067e \u06a9\u0648 \u0633\u0628 \u0633\u06d2 \u0632\u06cc\u0627\u062f\u06c1 \u0645\u0635\u0631\u0648\u0641 \u0635\u0627\u0631\u0641\u06cc\u0646 \u06a9\u06d2 \u0633\u0627\u062a\u06be \u0627\u0633\u0679\u06cc\u06a9 \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u06d4<\/p>\n<p>\u0627\u0635\u0644 \u062d\u0642\u0627\u0626\u0642 \u06a9\u0648 \u062c\u0627\u0646\u0646\u0627 \u06c1\u0645\u06cc\u06ba \u06cc\u06c1 \u062f\u06cc\u06a9\u06be\u0646\u06d2 \u06a9\u06cc \u0627\u062c\u0627\u0632\u062a \u062f\u06cc\u062a\u0627 \u06c1\u06d2 \u06a9\u06c1 \u0622\u06cc\u0627 \u067e\u0631\u0648\u067e\u06cc\u0646\u0633\u06cc\u0679\u06cc \u0633\u06a9\u0648\u0631 \u06a9\u0627 \u0637\u0631\u06cc\u0642\u06c1 \u0627\u0646\u06c1\u06cc\u06ba \u0628\u062d\u0627\u0644 \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u06d4<\/p>\n<p>\u0627\u067e\u0646\u0627 \u0688\u06cc\u0679\u0627 \u0644\u0648\u0688 \u06a9\u0631\u06cc\u06ba \u0627\u0648\u0631 \u0627\u0646\u062a\u062e\u0627\u0628 \u06a9\u06d2 \u0645\u0633\u0627\u0626\u0644 \u06a9\u06cc \u062c\u0627\u0646\u0686 \u06a9\u0631\u06cc\u06ba\u06d4<\/p>\n<pre><code class=\"language-python\">import pandas as pd\n\ndf = pd.read_csv(\"data\/synthetic_llm_logs.csv\")\n\nprint(df.groupby(\"engagement_tier\").opt_in_agent_mode.mean().round(3))\n\nnaive_effect = (\n    df[df.opt_in_agent_mode == 1].task_completed.mean()\n    - df[df.opt_in_agent_mode == 0].task_completed.mean()\n)\nprint(f\"nNaive opt-in effect: {naive_effect:+.4f}\")\n<\/code><\/pre>\n<p><strong>\u0645\u062a\u0648\u0642\u0639 \u067e\u06cc\u062f\u0627\u0648\u0627\u0631:<\/strong><\/p>\n<pre><code class=\"language-python\">engagement_tier\nheavy     0.647\nlight     0.120\nmedium    0.353\nName: opt_in_agent_mode, dtype: float64\n\nNaive opt-in effect: +0.2106\n<\/code><\/pre>\n<p><strong>\u0645\u0648\u062c\u0648\u062f\u06c1 \u0635\u0648\u0631\u062a\u062d\u0627\u0644 \u06a9\u0686\u06be \u06cc\u0648\u06ba \u06c1\u06d2:<\/strong> 50,000 \u0642\u0637\u0627\u0631\u06cc\u06ba \u0644\u0648\u0688 \u06a9\u0631\u06cc\u06ba\u060c \u0627\u0646\u06c1\u06cc\u06ba \u0634\u0631\u06a9\u062a \u06a9\u06d2 \u062f\u0631\u062c\u06d2 \u06a9\u06d2 \u0645\u0637\u0627\u0628\u0642 \u06af\u0631\u0648\u067e \u06a9\u0631\u06cc\u06ba\u060c \u0627\u0648\u0631 \u06c1\u0631 \u06af\u0631\u0648\u067e \u0645\u06cc\u06ba \u0627\u0646\u062a\u062e\u0627\u0628 \u06a9\u0627 \u0641\u06cc\u0635\u062f \u067e\u0631\u0646\u0679 \u06a9\u0631\u06cc\u06ba\u06d4 \u0628\u06be\u0627\u0631\u06cc \u0635\u0627\u0631\u0641\u06cc\u0646 \u06a9\u06d2 \u067e\u0627\u0633 \u06c1\u0644\u06a9\u06d2 \u0635\u0627\u0631\u0641\u06cc\u0646 \u06a9\u06d2 \u0645\u0642\u0627\u0628\u0644\u06d2 \u0645\u06cc\u06ba \u0628\u06c1\u062a \u0632\u06cc\u0627\u062f\u06c1 \u0627\u0646\u062a\u062e\u0627\u0628 \u06c1\u0648\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4 \u0645\u0634\u063a\u0648\u0644 \u06c1\u0648\u0646\u06d2 \u067e\u0631 \u06cc\u06c1 \u0627\u0646\u062a\u062e\u0627\u0628 \u06a9\u0627 \u0627\u06cc\u06a9 \u0646\u0645\u0648\u0646\u06c1 \u06c1\u06d2 \u062c\u0648 \u0688\u06cc\u0679\u0627 \u0645\u06cc\u06ba \u0638\u0627\u06c1\u0631 \u06c1\u0648\u062a\u0627 \u06c1\u06d2\u06d4 \u0633\u0627\u062f\u06c1 \u0627\u062b\u0631 +0.2106 (21 \u0641\u06cc\u0635\u062f \u067e\u0648\u0627\u0626\u0646\u0679\u0633) \u062a\u06a9 \u067e\u06c1\u0646\u0686 \u062c\u0627\u062a\u0627 \u06c1\u06d2\u060c \u062c\u0648 +0.08 \u06a9\u06cc \u0627\u0635\u0644 \u0642\u06cc\u0645\u062a \u0633\u06d2 \u062a\u0642\u0631\u06cc\u0628\u0627\u064b \u062a\u06cc\u0646 \u06af\u0646\u0627 \u0632\u06cc\u0627\u062f\u06c1 \u06c1\u06d2\u06d4 \u06cc\u06c1 \u0641\u0631\u0642 \u0628\u0627\u0644\u06a9\u0644 \u0648\u06c1\u06cc \u06c1\u06cc\u06ba \u062c\u0646 \u06a9\u0648 \u062e\u062a\u0645 \u06a9\u0631\u0646\u06d2 \u06a9\u06d2 \u0644\u06cc\u06d2 \u067e\u0631\u0648\u067e\u06cc\u0646\u0633\u06cc\u0679\u06cc \u0633\u06a9\u0648\u0631 \u06a9\u06d2 \u0637\u0631\u06cc\u0642\u06d2 \u06c1\u06cc\u06ba\u06d4<\/p>\n<h2 id=\"heading-step-1-estimate-the-propensity-score\">\u0645\u0631\u062d\u0644\u06c1 1: \u067e\u0631\u0648\u067e\u06cc\u0646\u0633\u0679\u06cc \u0633\u06a9\u0648\u0631 \u06a9\u0627 \u062a\u062e\u0645\u06cc\u0646\u06c1<\/h2>\n<p>\u0631\u062c\u062d\u0627\u0646 \u0633\u06a9\u0648\u0631 \u0627\u06cc\u06a9 \u0645\u0627\u0688\u0644 \u06a9\u0627 \u0622\u0624\u0679 \u067e\u0679 \u06c1\u06d2 \u062c\u0648 \u0642\u0627\u0628\u0644 \u0645\u0634\u0627\u06c1\u062f\u06c1 \u062e\u0635\u0648\u0635\u06cc\u0627\u062a \u0633\u06d2 \u0622\u067e\u0679 \u0627\u0646 \u06a9\u06cc \u067e\u06cc\u0634 \u06af\u0648\u0626\u06cc \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u06d4 \u0644\u0627\u062c\u0633\u0679\u06a9 \u0631\u06cc\u06af\u0631\u06cc\u0634\u0646 \u0627\u06cc\u06a9 \u0627\u0686\u06be\u0627 \u0646\u0642\u0637\u06c1 \u0622\u063a\u0627\u0632 \u06c1\u06d2 \u06a9\u06cc\u0648\u0646\u06a9\u06c1 \u06cc\u06c1 \u0642\u0627\u0628\u0644 \u062a\u0634\u0631\u06cc\u062d \u0627\u0648\u0631 \u062a\u06cc\u0632 \u06c1\u06d2\u060c \u0644\u06cc\u06a9\u0646 \u0645\u0631\u062d\u0644\u06c1 4 \u0645\u06cc\u06ba \u0628\u06cc\u0644\u0646\u0633 \u06a9\u06cc \u062a\u0634\u062e\u06cc\u0635 \u06a9\u0648 \u062f\u06cc\u06a9\u06be\u06cc\u06ba\u06d4 \u0627\u06af\u0631 \u0648\u0632\u0646\u06cc SMD 0.1 \u0633\u06d2 \u0627\u0648\u067e\u0631 \u0631\u06c1\u062a\u0627 \u06c1\u06d2\u060c \u062a\u0648 \u0644\u0627\u062c\u0633\u0679\u06a9 \u0645\u0627\u0688\u0644 \u0645\u06cc\u06ba \u062a\u0639\u0627\u0645\u0644\u0627\u062a \u063a\u0627\u0626\u0628 \u06c1\u06cc\u06ba \u0627\u0648\u0631 \u06af\u0631\u06cc\u0688\u06cc\u0646\u0679 \u0628\u0648\u0633\u0679\u0646\u06af \u0627\u06af\u0644\u06cc \u06a9\u0627\u0631\u0631\u0648\u0627\u0626\u06cc \u06c1\u06d2\u06d4<\/p>\n<p>\u0627\u0633 \u0688\u06cc\u0679\u0627\u0633\u06cc\u0679 \u06a9\u06d2 \u0644\u06cc\u06d2\u060c \u0645\u062a\u0639\u0644\u0642\u06c1 \u0645\u0634\u0627\u06c1\u062f\u0627\u062a \u0645\u06cc\u06ba \u0634\u0631\u06a9\u062a \u06a9\u0627 \u062f\u0631\u062c\u06c1 \u0628\u0646\u062f\u06cc \u0627\u0648\u0631 \u0627\u0633\u062a\u0641\u0633\u0627\u0631 \u06a9\u0627 \u0627\u0639\u062a\u0645\u0627\u062f \u06c1\u06d2\u06d4 \u0627\u0635\u0644 \u067e\u0631\u0648\u0688\u06a9\u0679 \u0645\u06cc\u06ba \u0648\u06c1 \u062a\u0645\u0627\u0645 \u0645\u062a\u063a\u06cc\u0631\u0627\u062a \u0634\u0627\u0645\u0644 \u06c1\u06cc\u06ba \u062c\u0646 \u06a9\u06d2 \u0628\u0627\u0631\u06d2 \u0645\u06cc\u06ba \u0633\u0648\u0686\u0627 \u06af\u06cc\u0627 \u062a\u06be\u0627 \u06a9\u06c1 \u0622\u067e\u0679 \u0627\u0646 \u0688\u0631\u0627\u0626\u06cc\u0648 \u06a9\u0631\u06cc\u06ba\u060c \u0628\u0634\u0645\u0648\u0644 \u0688\u06cc\u0648\u0627\u0626\u0633 \u06a9\u06cc \u0642\u0633\u0645\u060c \u0627\u0633\u062a\u0639\u0645\u0627\u0644 \u06a9\u06cc \u0645\u062f\u062a\u060c \u067e\u0644\u0627\u0646 \u0679\u0627\u0626\u0631\u060c \u0627\u0648\u0631 \u0627\u0633\u062a\u0639\u0645\u0627\u0644 \u06a9\u06d2 \u0645\u0627\u0636\u06cc \u06a9\u06d2 \u0646\u0645\u0648\u0646\u06d2\u06d4<\/p>\n<pre><code class=\"language-python\">from sklearn.linear_model import LogisticRegression\nfrom sklearn.metrics import roc_auc_score\n\nX = pd.get_dummies(\n    df[[\"engagement_tier\", \"query_confidence\"]],\n    drop_first=True\n).astype(float)\ny_treat = df.opt_in_agent_mode\n\nps_model = LogisticRegression(max_iter=1000).fit(X, y_treat)\ndf[\"propensity\"] = ps_model.predict_proba(X)[:, 1]\n\n# Basic sanity checks\nprint(df.groupby(\"engagement_tier\").propensity.mean().round(3))\nprint(\n    f\"nPropensity range (treated):  \"\n    f\"{df[df.opt_in_agent_mode == 1].propensity.min():.3f} - \"\n    f\"{df[df.opt_in_agent_mode == 1].propensity.max():.3f}\"\n)\nprint(\n    f\"Propensity range (control):  \"\n    f\"{df[df.opt_in_agent_mode == 0].propensity.min():.3f} - \"\n    f\"{df[df.opt_in_agent_mode == 0].propensity.max():.3f}\"\n)\nprint(f\"Propensity model AUC: {roc_auc_score(y_treat, df.propensity):.3f}\")\n<\/code><\/pre>\n<p><strong>\u0645\u062a\u0648\u0642\u0639 \u067e\u06cc\u062f\u0627\u0648\u0627\u0631:<\/strong><\/p>\n<pre><code class=\"language-python\">engagement_tier\nheavy     0.646\nlight     0.120\nmedium    0.353\nName: propensity, dtype: float64\n\nPropensity range (treated):  0.114 - 0.675\nPropensity range (control):  0.114 - 0.673\nPropensity model AUC: 0.744\n<\/code><\/pre>\n<p><strong>\u0645\u0648\u062c\u0648\u062f\u06c1 \u0635\u0648\u0631\u062a\u062d\u0627\u0644 \u06a9\u0686\u06be \u06cc\u0648\u06ba \u06c1\u06d2:<\/strong> \u06cc\u06c1 \u0634\u0631\u06a9\u062a \u06a9\u06cc \u067e\u0631\u062a \u06a9\u0648 \u0627\u06cc\u06a9 \u0688\u0645\u06cc \u0645\u062a\u063a\u06cc\u0631 \u06a9\u06d2 \u0637\u0648\u0631 \u067e\u0631 \u0627\u0646\u06a9\u0648\u0688 \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u060c \u0627\u0633\u062a\u0641\u0633\u0627\u0631 \u06a9\u06d2 \u0627\u0639\u062a\u0645\u0627\u062f \u06a9\u0648 \u0645\u0633\u062a\u0642\u0644 \u0628\u0646\u0627\u062a\u0627 \u06c1\u06d2\u060c \u0627\u0648\u0631 \u0644\u0627\u062c\u0633\u0679\u06a9 \u0631\u06cc\u06af\u0631\u06cc\u0634\u0646 \u0645\u0627\u0688\u0644 \u0645\u06cc\u06ba \u0641\u0679 \u0628\u06cc\u0679\u06be\u062a\u0627 \u06c1\u06d2\u06d4 \u0645\u0627\u0688\u0644 \u0633\u06d2 \u0645\u062a\u0648\u0642\u0639 \u0627\u0645\u06a9\u0627\u0646 \u06c1\u0631 \u0635\u0627\u0631\u0641 \u06a9\u0627 \u0631\u062c\u062d\u0627\u0646 \u0633\u06a9\u0648\u0631 \u06c1\u06d2\u06d4<\/p>\n<p>\u0633\u06cc\u06a9\u06be\u0646\u0627 <code>LogisticRegression<\/code> L2 \u0631\u06cc\u06af\u0648\u0644\u0631\u0627\u0626\u0632\u06cc\u0634\u0646 \u06a9\u0648 \u0628\u0637\u0648\u0631 \u0688\u06cc\u0641\u0627\u0644\u0679 \u0644\u0627\u06af\u0648 \u06a9\u0631\u06cc\u06ba (<code>C=1.0<\/code>)\u060c \u062c\u0648 \u0631\u062c\u062d\u0627\u0646 \u06a9\u0648 0.5 \u06a9\u06cc \u0637\u0631\u0641 \u062a\u06be\u0648\u0691\u0627 \u0633\u0627 \u0633\u06a9\u0691\u062a\u0627 \u06c1\u06d2\u06d4 \u0622\u067e \u0627\u0633\u06d2 \u067e\u06cc\u062f\u0627\u0648\u0627\u0631 \u06a9\u06d2 \u0627\u0633\u062a\u0639\u0645\u0627\u0644 \u06a9\u06d2 \u0644\u06cc\u06d2 \u062a\u0631\u062a\u06cc\u0628 \u062f\u06d2 \u0633\u06a9\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4 <code>penalty=None<\/code> \u0627\u06af\u0631 \u0622\u067e \u0641\u0627\u0633\u062f \u0641\u0679 \u0686\u0627\u06c1\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4<\/p>\n<p>\u0645\u0627\u0688\u0644 \u06a9\u0648 \u06a9\u06cc\u0644\u06cc\u0628\u0631\u06cc\u0679 \u06a9\u06cc\u0627 \u06af\u06cc\u0627 \u06c1\u06d2 \u062a\u0627\u06a9\u06c1 \u06c1\u0631 \u0634\u0631\u06a9\u062a \u06a9\u06cc \u0633\u0637\u062d \u06a9\u06d2 \u0627\u0646\u062f\u0631 \u0627\u0648\u0633\u0637 \u0631\u062c\u062d\u0627\u0646 \u0627\u0633 \u062f\u0631\u062c\u06c1 \u06a9\u06d2 \u0644\u0626\u06d2 \u0627\u0635\u0644 \u0622\u067e\u0679 \u0627\u0646 \u06a9\u06cc \u0634\u0631\u062d \u06a9\u0648 \u062a\u0642\u0631\u06cc\u0628\u0627 \u0628\u0627\u0644\u06a9\u0644 \u0679\u06be\u06cc\u06a9 \u06a9\u0631 \u0644\u06d2\u06d4 0.744 \u06a9\u0627 AUC \u0627\u0633 \u0628\u0627\u062a \u06a9\u06cc \u062a\u0635\u062f\u06cc\u0642 \u06a9\u0631\u062a\u0627 \u06c1\u06d2 \u06a9\u06c1 \u0645\u0627\u0688\u0644 \u0622\u067e\u0679 \u0627\u0646\u0632 \u0627\u0648\u0631 \u0646\u0627\u0646 \u0622\u067e\u0679 \u0627\u0646\u0632 \u06a9\u06d2 \u062f\u0631\u0645\u06cc\u0627\u0646 \u0628\u06c1\u062a \u0632\u06cc\u0627\u062f\u06c1 \u0645\u0648\u0642\u0639 (0.5) \u0645\u06cc\u06ba \u0641\u0631\u0642 \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u06d4<\/p>\n<p>\u0627\u0648\u0631 \u0639\u0644\u0627\u062c \u0627\u0648\u0631 \u06a9\u0646\u0679\u0631\u0648\u0644 \u06af\u0631\u0648\u067e\u0633 (\u062f\u0648\u0646\u0648\u06ba \u06a9\u06cc \u062d\u062f \u062a\u0642\u0631\u06cc\u0628\u0627\u064b 0.11 \u0633\u06d2 0.67 \u062a\u06a9) \u06a9\u06d2 \u062f\u0631\u0645\u06cc\u0627\u0646 \u0631\u062c\u062d\u0627\u0646 \u06a9\u06cc \u062d\u062f \u0627\u0648\u0648\u0631\u0644\u06cc\u067e \u06c1\u0648\u062a\u06cc \u06c1\u06d2\u060c \u0628\u0635\u0631\u06cc \u0627\u0648\u0648\u0631\u0644\u06cc\u067e \u067e\u0631 \u0645\u0634\u0631\u0648\u0637\u06d4<\/p>\n<p><img decoding=\"async\" src=\"https:\/\/umang.pk\/wp-content\/uploads\/2026\/05\/1777623203_772_\u067e\u0631\u0648\u067e\u06cc\u0646\u0633\u0679\u06cc-\u0627\u0633\u06a9\u0648\u0631\u0632-\u06a9\u0627-\u0627\u0633\u062a\u0639\u0645\u0627\u0644-\u06a9\u0631\u062a\u06d2-\u06c1\u0648\u0626\u06d2-\u067e\u0631\u0648\u0688\u06a9\u0679-\u06a9\u0627-\u062a\u062c\u0631\u0628\u06c1-\u0627\u0632\u06af\u0631.png\" alt=\"50,000 \u062d\u0642\u06cc\u0642\u06cc \u0635\u0627\u0631\u0641\u06cc\u0646 \u06a9\u06d2 \u0633\u0627\u062a\u06be \u0645\u0635\u0646\u0648\u0639\u06cc \u0688\u06cc\u0679\u0627\u0633\u06cc\u0679 \u067e\u0631 \u0627\u06cc\u06a9 \u06c1\u06cc \u0645\u062b\u0628\u062a \u0679\u06cc\u0633\u0679 \u06a9\u06d2 \u062f\u0648 \u062e\u06cc\u0627\u0644\u0627\u062a\u06d4\" style=\"display:block;margin:0 auto\" width=\"600\" height=\"400\" loading=\"lazy\" title=\"\"><\/p>\n<p><em>\u0634\u06a9\u0644 2: 50,000 \u062d\u0642\u06cc\u0642\u06cc \u0635\u0627\u0631\u0641\u06cc\u0646 \u06a9\u06d2 \u0633\u0627\u062a\u06be \u0645\u0635\u0646\u0648\u0639\u06cc \u0688\u06cc\u0679\u0627\u0633\u06cc\u0679 \u067e\u0631 \u0627\u06cc\u06a9 \u06c1\u06cc \u0645\u062b\u0628\u062a \u0679\u06cc\u0633\u0679 \u06a9\u06d2 \u062f\u0648 \u062e\u06cc\u0627\u0644\u0627\u062a\u06d4<\/em><\/p>\n<p>\u0627\u0648\u067e\u0631 \u062f\u06cc \u06af\u0626\u06cc \u062a\u0635\u0648\u06cc\u0631 \u0645\u06cc\u06ba\u060c \u0627\u0648\u067e\u0631 \u0648\u0627\u0644\u0627 \u067e\u06cc\u0646\u0644 \u06c1\u0631 \u06af\u0631\u0648\u067e \u06a9\u06d2 \u0644\u06cc\u06d2 \u0641\u0679\u0688 \u067e\u0631\u06cc\u0646\u0633\u0679\u06cc \u0633\u06a9\u0648\u0631 \u06a9\u06d2 \u06c1\u0645\u0648\u0627\u0631 \u06a9\u0631\u0646\u0644 \u06a9\u062b\u0627\u0641\u062a \u06a9\u06d2 \u0645\u0646\u062d\u0646\u06cc \u062e\u0637\u0648\u0637 \u062f\u06a9\u06be\u0627\u062a\u0627 \u06c1\u06d2\u06d4 \u062c\u06cc\u0633\u0627 \u06a9\u06c1 \u062a\u0648\u0642\u0639 \u06a9\u06cc \u06af\u0626\u06cc \u06c1\u06d2\u060c \u062a\u06cc\u0646 \u0686\u0648\u0679\u06cc\u0627\u06ba \u0634\u0631\u06a9\u062a \u06a9\u06d2 \u062a\u06cc\u0646 \u062f\u0631\u062c\u0648\u06ba \u0633\u06d2 \u0645\u0633\u0627\u0648\u06cc \u06c1\u06cc\u06ba: p \u2252 0.12 \u067e\u0631 \u06c1\u0644\u06a9\u06cc\u060c p \u2252 0.35 \u067e\u0631 \u062f\u0631\u0645\u06cc\u0627\u0646\u06cc\u060c \u0627\u0648\u0631 p \u2252 0.65 \u067e\u0631 \u0628\u06be\u0627\u0631\u06cc\u06d4 \u06a9\u06cc\u0648\u0646\u06a9\u06c1 \u0622\u067e\u0679 \u0627\u0646 \u06a9\u06cc \u0634\u0631\u062d \u06a9\u0627 \u062a\u0639\u06cc\u0646 \u062f\u0631\u062c\u06d2 \u06a9\u06d2 \u0644\u062d\u0627\u0638 \u0633\u06d2 \u06c1\u0648\u062a\u0627 \u06c1\u06d2\u06d4 \u0646\u06cc\u0686\u06d2 \u0648\u0627\u0644\u0627 \u067e\u06cc\u0646\u0644 \u0627\u0633\u06cc \u062a\u0642\u0633\u06cc\u0645 \u06a9\u0648 \u062e\u0627\u0645 \u0634\u0645\u0627\u0631 \u0641\u06cc \u067e\u0631\u062a \u0645\u06cc\u06ba \u062a\u0628\u062f\u06cc\u0644 \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u06d4 \u06c1\u0631 \u062f\u0631\u062c\u06d2 \u0645\u06cc\u06ba \u06c1\u0632\u0627\u0631\u0648\u06ba \u0635\u0627\u0631\u0641\u06cc\u0646 \u06c1\u0648\u062a\u06d2 \u06c1\u06cc\u06ba\u060c \u0622\u067e\u0679 \u0627\u0650\u0646 \u0627\u0648\u0631 \u0622\u067e\u0679 \u0627\u0650\u0646 \u062f\u0648\u0646\u0648\u06ba\u060c \u0628\u0627\u0644\u06a9\u0644 \u0648\u06c1\u06cc \u062c\u0648 \u0645\u062b\u0628\u062a\u06cc\u062a \u06a9\u06cc \u0636\u0631\u0648\u0631\u062a \u06c1\u06d2\u06d4<\/p>\n<p>\u0627\u06af\u0631 \u0634\u06a9\u0644 1 \u0627\u0633\u06a9\u06cc\u0645\u06cc\u0679\u06a9 \u0637\u0648\u0631 \u067e\u0631 \u062e\u06cc\u0627\u0644 \u06a9\u0648 \u0648\u0627\u0636\u062d \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u060c \u062a\u0648 \u06cc\u06c1 \u0638\u0627\u06c1\u0631 \u06a9\u0631\u062a\u0627 \u06c1\u06d2 \u06a9\u06c1 \u0627\u0633 \u06a9\u0627 \u0627\u0637\u0644\u0627\u0642 \u0688\u06cc\u0679\u0627 \u067e\u0631 \u06c1\u0648\u062a\u0627 \u06c1\u06d2\u060c \u062a\u0627\u06a9\u06c1 \u062f\u0631\u062c \u0630\u06cc\u0644 \u0648\u0632\u0646 \u0627\u0648\u0631 \u0645\u0645\u0627\u062b\u0644\u062a \u0627\u0635\u0644 \u0645\u062a\u0636\u0627\u062f \u06a9\u0648 \u0627\u0633\u062a\u0639\u0645\u0627\u0644 \u06a9\u0631 \u0633\u06a9\u06d2\u06d4<\/p>\n<h2 id=\"heading-step-2-inverse-probability-weighting\">\u0645\u0631\u062d\u0644\u06c1 2: \u0627\u0644\u0679\u0627 \u0627\u0645\u06a9\u0627\u0646\u06cc \u0648\u0632\u0646<\/h2>\n<p>IPW \u06c1\u0631 \u0635\u0627\u0631\u0641 \u06a9\u06d2 \u0631\u062c\u062d\u0627\u0646\u0627\u062a \u06a9\u06d2 \u0627\u0644\u0679\u06d2 \u062a\u0646\u0627\u0633\u0628 \u0645\u06cc\u06ba \u0648\u0632\u0646 \u062a\u0641\u0648\u06cc\u0636 \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u06d4 0.12 \u06a9\u06d2 \u0631\u062c\u062d\u0627\u0646 \u06a9\u06d2 \u0633\u0627\u062a\u06be \u0622\u067e\u0679 \u0627\u0646 \u0635\u0627\u0631\u0641\u06cc\u0646 \u0646\u0627\u06cc\u0627\u0628 \u06c1\u06cc\u06ba (\u06c1\u0644\u06a9\u06d2 \u0635\u0627\u0631\u0641 \u062c\u0648 \u06a9\u0645 \u0645\u0635\u0631\u0648\u0641\u06cc\u062a \u06a9\u06d2 \u0628\u0627\u0648\u062c\u0648\u062f \u0622\u067e\u0679 \u0627\u0646 \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba) \u0627\u0648\u0631 \u0622\u0628\u0627\u062f\u06cc \u0645\u06cc\u06ba 1\/0.12 \u2252 8 \u0645\u0644\u062a\u06d2 \u062c\u0644\u062a\u06d2 \u0635\u0627\u0631\u0641\u06cc\u0646 \u06a9\u06d2 \u0628\u0627\u0631\u06d2 \u0645\u06cc\u06ba \u0645\u0639\u0644\u0648\u0645\u0627\u062a \u0641\u0631\u0627\u06c1\u0645 \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4 0.12 \u06a9\u06d2 \u0631\u062c\u062d\u0627\u0646 \u06a9\u06d2 \u0633\u0627\u062a\u06be \u06a9\u0646\u0679\u0631\u0648\u0644 \u0635\u0627\u0631\u0641 \u0627\u06cc\u06a9 \u06c1\u0644\u06a9\u06d2 \u0635\u0627\u0631\u0641 \u06a9\u06d2 \u0644\u0626\u06d2 \u0645\u062a\u0648\u0642\u0639 \u06a9\u06cc\u0633 \u06c1\u06d2 \u062c\u0648 \u0628\u0627\u06c1\u0631 \u0631\u06c1\u062a\u0627 \u06c1\u06d2\u060c \u0644\u06c1\u0630\u0627 \u06cc\u06c1 \u0639\u0627\u0645 \u06c1\u06d2 \u0627\u0648\u0631 \u0627\u0633 \u06a9\u0627 \u0648\u0632\u0646 1\/(1 &#8211; 0.12) \u2252 1.14 \u06c1\u0648\u062a\u0627 \u06c1\u06d2\u06d4<\/p>\n<pre><code class=\"language-python\">import numpy as np\n\n# ATE weights: 1\/P(treat) for treated, 1\/P(no treat) for control\ndf[\"ipw\"] = np.where(\n    df.opt_in_agent_mode == 1,\n    1 \/ df.propensity,\n    1 \/ (1 - df.propensity)\n)\n\nt = df[df.opt_in_agent_mode == 1]\nc = df[df.opt_in_agent_mode == 0]\nate_ipw = (\n    (t.task_completed * t.ipw).sum() \/ t.ipw.sum()\n    - (c.task_completed * c.ipw).sum() \/ c.ipw.sum()\n)\nprint(f\"IPW average treatment effect (ATE): {ate_ipw:+.4f}\")\n\n# ATT: what opt-in users actually gained\ndf[\"ipw_att\"] = np.where(\n    df.opt_in_agent_mode == 1,\n    1,\n    df.propensity \/ (1 - df.propensity)\n)\nt = df[df.opt_in_agent_mode == 1]   # re-slice now that ipw_att is in df\nc = df[df.opt_in_agent_mode == 0]\ntreated_mean = t.task_completed.mean()\ncontrol_w_mean = (c.task_completed * c.ipw_att).sum() \/ c.ipw_att.sum()\natt_ipw = treated_mean - control_w_mean\nprint(f\"IPW average treatment effect on treated (ATT): {att_ipw:+.4f}\")\n<\/code><\/pre>\n<p><strong>\u0645\u062a\u0648\u0642\u0639 \u067e\u06cc\u062f\u0627\u0648\u0627\u0631:<\/strong><\/p>\n<pre><code class=\"language-python\">IPW average treatment effect (ATE): +0.0851\nIPW average treatment effect on treated (ATT): +0.0770\n<\/code><\/pre>\n<p><strong>\u0645\u0648\u062c\u0648\u062f\u06c1 \u0635\u0648\u0631\u062a\u062d\u0627\u0644 \u06a9\u0686\u06be \u06cc\u0648\u06ba \u06c1\u06d2:<\/strong> \u0633\u0628 \u0633\u06d2 \u067e\u06c1\u0644\u06d2\u060c \u062a\u0645\u0627\u0645 \u0635\u0627\u0631\u0641\u06cc\u0646 \u06a9\u06d2 \u0644\u06cc\u06d2 ATE \u0648\u0632\u0646 \u06a9\u0627 \u062d\u0633\u0627\u0628 \u0644\u06af\u0627\u0626\u06cc\u06ba \u0627\u0648\u0631 \u0645\u0646\u062a\u062e\u0628 \u0627\u0648\u0631 \u063a\u06cc\u0631 \u0645\u0646\u062a\u062e\u0628 \u06af\u0631\u0648\u067e\u0648\u06ba \u06a9\u06d2 \u062f\u0631\u0645\u06cc\u0627\u0646 \u06a9\u0627\u0645 \u06a9\u06cc \u062a\u06a9\u0645\u06cc\u0644 \u06a9\u06d2 \u0644\u06cc\u06d2 \u0648\u0632\u0646 \u0645\u06cc\u06ba \u0641\u0631\u0642 \u062d\u0627\u0635\u0644 \u06a9\u0631\u06cc\u06ba\u06d4 \u0627\u0633 \u06a9\u06d2 \u0628\u0639\u062f \u06c1\u0645 ATT \u0648\u0632\u0646 \u06a9\u0627 \u062d\u0633\u0627\u0628 \u0644\u06af\u0627\u062a\u06d2 \u06c1\u06cc\u06ba\u060c \u062c\u0648 \u0639\u0644\u0627\u062c \u0634\u062f\u06c1 \u06af\u0631\u0648\u067e \u06a9\u06cc \u06a9\u0648\u0648\u06cc\u0631\u06cc\u0679 \u062a\u0642\u0633\u06cc\u0645 \u0633\u06d2 \u0645\u0645\u0627\u062b\u0644 \u06c1\u0648\u0646\u06d2 \u06a9\u06d2 \u0644\u06cc\u06d2 \u0635\u0631\u0641 \u06a9\u0646\u0679\u0631\u0648\u0644 \u06af\u0631\u0648\u067e \u06a9\u0627 \u0648\u0632\u0646 \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba\u060c \u0627\u0648\u0631 \u0639\u0644\u0627\u062c \u06a9\u06cc\u06d2 \u06af\u0626\u06d2 \u06af\u0631\u0648\u067e \u06a9\u06d2 \u0644\u06cc\u06d2 \u0639\u0644\u0627\u062c \u06a9\u06d2 \u0627\u0648\u0633\u0637 \u0627\u062b\u0631 \u06a9\u0627 \u062d\u0633\u0627\u0628 \u0644\u06af\u0627\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4<\/p>\n<p>ATE \u0622\u0628\u0627\u062f\u06cc \u06a9\u06d2 \u0633\u0648\u0627\u0644\u0627\u062a \u06a9\u0627 \u062c\u0648\u0627\u0628 \u062f\u06cc\u062a\u0627 \u06c1\u06d2\u06d4 \u0628\u06d2 \u062a\u0631\u062a\u06cc\u0628 \u0635\u0627\u0631\u0641\u06cc\u0646 \u06a9\u06d2 \u0644\u06cc\u06d2 \u06a9\u06cc\u0627 \u0645\u0636\u0645\u0631\u0627\u062a \u06c1\u06cc\u06ba \u062c\u0646\u06c1\u0648\u06ba \u0646\u06d2 \u0628\u06c1\u0631\u062d\u0627\u0644 \u0627\u0646\u062a\u062e\u0627\u0628 \u06a9\u06cc\u0627 \u06c1\u0648 \u06cc\u0627 \u0646\u06c1 \u06a9\u06cc\u0627 \u06c1\u0648\u061f ATT \u0635\u0627\u0631\u0641 \u06a9\u06d2 \u0633\u0648\u0627\u0644\u0627\u062a \u06a9\u0627 \u062c\u0648\u0627\u0628 \u062f\u06cc\u062a\u0627 \u06c1\u06d2 \u062c\u06cc\u0633\u06d2: \u0622\u067e\u0679 \u0627\u0646 \u0635\u0627\u0631\u0641\u06cc\u0646 \u06a9\u0648 \u0648\u0627\u0642\u0639\u06cc \u06a9\u06cc\u0627 \u0645\u0644\u0627\u061f \u0627\u0633 \u0688\u06cc\u0679\u0627\u0633\u06cc\u0679 \u0645\u06cc\u06ba\u060c ATE +0.0851 \u062a\u06a9 \u067e\u06c1\u0646\u0686 \u062c\u0627\u062a\u0627 \u06c1\u06d2 \u0627\u0648\u0631 ATT +0.0770 \u062a\u06a9 \u067e\u06c1\u0646\u0686 \u062c\u0627\u062a\u0627 \u06c1\u06d2\u06d4 \u062f\u0648\u0646\u0648\u06ba \u062d\u0642\u06cc\u0642\u06cc +0.08 \u06a9\u06d2 \u0642\u0631\u06cc\u0628 \u06c1\u06cc\u06ba \u0627\u0648\u0631 \u0628\u0648\u0644\u06cc +0.2106 \u06a9\u06d2 \u0645\u0642\u0627\u0628\u0644\u06d2 \u0645\u06cc\u06ba \u0628\u06c1\u062a \u0628\u0691\u06cc \u0628\u06c1\u062a\u0631\u06cc \u06c1\u06d2\u06d4<\/p>\n<p>\u0639\u0645\u0644\u06cc \u0637\u0648\u0631 \u067e\u0631\u060c \u0641\u0631\u0642 \u0627\u06c1\u0645 \u06c1\u06d2. \u0627\u0633 \u0628\u0627\u062a \u06a9\u0627 \u062a\u0639\u06cc\u0646 \u06a9\u0631\u062a\u0627 \u06c1\u06d2 \u06a9\u06c1 \u0622\u06cc\u0627 \u0627\u0633 \u062e\u0635\u0648\u0635\u06cc\u062a \u06a9\u0648 \u0627\u0646 \u0635\u0627\u0631\u0641\u06cc\u0646 \u06a9\u06d2 \u0644\u06cc\u06d2 \u062c\u0627\u0631\u06cc \u06a9\u0631\u0646\u0627 \u06c1\u06d2 \u062c\u0646\u06c1\u0648\u06ba \u0646\u06d2 ATE \u06a9\u0648 \u06a9\u0627\u0644 \u06a9\u0631\u0646\u06d2 \u06a9\u0627 \u0627\u0646\u062a\u062e\u0627\u0628 \u0646\u06c1\u06cc\u06ba \u06a9\u06cc\u0627 \u06c1\u06d2\u06d4 \u0622\u067e\u0679 \u0627\u0646 \u0635\u0627\u0631\u0641\u06cc\u0646 \u06a9\u06d2 \u0630\u0631\u06cc\u0639\u06c1 ATT \u06a9\u0631\u0646\u0633\u06cc \u0645\u06cc\u06ba \u06a9\u06cc\u067e\u0686\u0631 \u06a9\u06cc \u06af\u0626\u06cc \u0642\u062f\u0631 \u067e\u0631 \u0631\u067e\u0648\u0631\u0679\u0633\u06d4<\/p>\n<h2 id=\"heading-step-3-nearest-neighbor-matching\">\u0645\u0631\u062d\u0644\u06c1 3: \u0642\u0631\u06cc\u0628 \u062a\u0631\u06cc\u0646 \u067e\u0691\u0648\u0633\u06cc \u0645\u06cc\u0686<\/h2>\n<p>\u0645\u0644\u0627\u067e \u0627\u06cc\u06a9 \u0645\u062e\u062a\u0644\u0641 \u0646\u0642\u0637\u06c1 \u0646\u0638\u0631 \u0644\u06cc\u062a\u0627 \u06c1\u06d2. \u06cc\u0639\u0646\u06cc\u060c \u06c1\u0645 \u06c1\u0631 \u0645\u0646\u062a\u062e\u0628 \u0635\u0627\u0631\u0641 \u06a9\u0648 \u063a\u06cc\u0631 \u0645\u0646\u062a\u062e\u0628 \u0635\u0627\u0631\u0641 \u06a9\u06d2 \u0633\u0627\u062a\u06be \u0642\u0631\u06cc\u0628 \u062a\u0631\u06cc\u0646 \u0631\u062c\u062d\u0627\u0646 \u06a9\u06d2 \u0627\u0633\u06a9\u0648\u0631 \u06a9\u06d2 \u0633\u0627\u062a\u06be \u062c\u0648\u0691\u0627 \u0628\u0646\u0627\u062a\u06d2 \u06c1\u06cc\u06ba \u0627\u0648\u0631 \u0645\u0645\u0627\u062b\u0644 \u062c\u0648\u0691\u0648\u06ba \u06a9\u06d2 \u0627\u0648\u0633\u0637 \u0646\u062a\u0627\u0626\u062c \u06a9\u0627 \u0641\u0631\u0642 \u0644\u06cc\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4 \u0646\u062a\u0627\u0626\u062c \u06a9\u0627 \u062a\u062e\u0645\u06cc\u0646\u06c1 \u0627\u06d2 \u0679\u06cc \u0679\u06cc \u06c1\u06d2\u06d4<\/p>\n<pre><code class=\"language-python\">from sklearn.neighbors import NearestNeighbors\n\ntreated_ps = df[df.opt_in_agent_mode == 1][[\"propensity\"]].values\ncontrol_ps = df[df.opt_in_agent_mode == 0][[\"propensity\"]].values\n\nnn = NearestNeighbors(n_neighbors=1).fit(control_ps)\n_, idx = nn.kneighbors(treated_ps)\n\ntreated_outcomes = df[df.opt_in_agent_mode == 1].task_completed.values\nmatched_control_outcomes = (\n    df[df.opt_in_agent_mode == 0].task_completed.values[idx.flatten()]\n)\n\natt_match = (treated_outcomes - matched_control_outcomes).mean()\nprint(f\"1-NN matching ATT: {att_match:+.4f}\")\n<\/code><\/pre>\n<p><strong>\u0645\u062a\u0648\u0642\u0639 \u067e\u06cc\u062f\u0627\u0648\u0627\u0631:<\/strong><\/p>\n<pre><code class=\"language-python\">1-NN matching ATT: +0.0752\n<\/code><\/pre>\n<p><strong>\u0645\u0648\u062c\u0648\u062f\u06c1 \u0635\u0648\u0631\u062a\u062d\u0627\u0644 \u06a9\u0686\u06be \u06cc\u0648\u06ba \u06c1\u06d2:<\/strong> \u06c1\u0645 \u06c1\u0631 \u06af\u0631\u0648\u067e \u06a9\u06d2 \u0644\u06cc\u06d2 \u067e\u0631\u0648\u067e\u06cc\u0646\u0633\u06cc\u0679\u06cc \u0633\u06a9\u0648\u0631 \u0646\u06a9\u0627\u0644\u062a\u06d2 \u06c1\u06cc\u06ba\u060c \u06a9\u0646\u0679\u0631\u0648\u0644 \u06af\u0631\u0648\u067e \u06a9\u06d2 \u0642\u0631\u06cc\u0628 \u062a\u0631\u06cc\u0646 \u0627\u0646\u0688\u06cc\u06a9\u0633 \u0645\u06cc\u06ba \u0641\u0679 \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba\u060c \u0627\u0648\u0631 \u06c1\u0631 \u0639\u0644\u0627\u062c \u06a9\u06cc\u06d2 \u062c\u0627\u0646\u06d2 \u0648\u0627\u0644\u06d2 \u0635\u0627\u0631\u0641 \u06a9\u06d2 \u0644\u06cc\u06d2 \u0642\u0631\u06cc\u0628 \u062a\u0631\u06cc\u0646 \u06a9\u0646\u0679\u0631\u0648\u0644 \u0635\u0627\u0631\u0641 \u062a\u0644\u0627\u0634 \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4<\/p>\n<p>\u06a9\u06c1 <code>NearestNeighbors<\/code> \u06cc\u06c1 \u0645\u062a\u0628\u0627\u062f\u0644 \u06a9\u06d2 \u0630\u0631\u06cc\u0639\u06d2 \u0645\u0645\u0627\u062b\u0644\u062a \u06a9\u0627 \u0645\u0639\u0627\u0645\u0644\u06c1 \u06c1\u06d2\u060c \u06a9\u06cc\u0648\u0646\u06a9\u06c1 \u0627\u0646\u0688\u06cc\u06a9\u0633 \u0627\u06cc\u06a9 \u06c1\u06cc \u06a9\u0646\u0679\u0631\u0648\u0644 \u06a9\u0631\u0646\u06d2 \u0648\u0627\u0644\u06d2 \u0635\u0627\u0631\u0641 \u06a9\u0648 \u0645\u062a\u0639\u062f\u062f \u067e\u0631\u0648\u0633\u06cc\u0633\u0646\u06af \u0635\u0627\u0631\u0641\u06cc\u0646 \u06a9\u06d2 \u0644\u06cc\u06d2 \u0645\u06cc\u0686 \u06a9\u06d2 \u0637\u0648\u0631 \u067e\u0631 \u0645\u0646\u062a\u062e\u0628 \u06a9\u0631\u0646\u06d2 \u06a9\u06cc \u0627\u062c\u0627\u0632\u062a \u062f\u06cc\u062a\u0627 \u06c1\u06d2\u06d4<\/p>\n<p>\u06c1\u0631 \u067e\u0631\u0648\u0633\u06cc\u0633 \u0634\u062f\u06c1 \u0635\u0627\u0631\u0641 \u0627\u0648\u0631 \u0627\u0646 \u06a9\u06d2 \u0645\u0645\u0627\u062b\u0644 \u06a9\u0646\u0679\u0631\u0648\u0644 \u06a9\u06d2 \u0646\u062a\u0627\u0626\u062c \u0644\u06cc\u06ba\u060c \u0641\u06cc \u062c\u0648\u0691\u0627 \u0641\u0631\u0642 \u062a\u0644\u0627\u0634 \u06a9\u0631\u06cc\u06ba\u060c \u0627\u0648\u0631 \u062c\u0648\u0691\u0648\u06ba \u0645\u06cc\u06ba \u0627\u0648\u0633\u0637\u06d4 \u0646\u062a\u0627\u0626\u062c \u06a9\u0627 \u0627\u0646\u062f\u0627\u0632\u06c1 \u0644\u06af\u0627\u06cc\u0627 \u06af\u06cc\u0627 \u06c1\u06d2 \u06a9\u06c1 \u0631\u0636\u0627\u0645\u0646\u062f\u06cc \u062f\u06cc\u0646\u06d2 \u0648\u0627\u0644\u06d2 \u0635\u0627\u0631\u0641 \u0646\u06d2 \u0627\u0633 \u0633\u06d2 \u0645\u0644\u062a\u06d2 \u062c\u0644\u062a\u06d2 \u0635\u0627\u0631\u0641 \u06a9\u06d2 \u0645\u0642\u0627\u0628\u0644\u06d2 \u0645\u06cc\u06ba \u06a9\u06cc\u0627 \u062d\u0627\u0635\u0644 \u06a9\u06cc\u0627 \u062c\u0633 \u0646\u06d2 \u0631\u0636\u0627\u0645\u0646\u062f\u06cc \u0646\u06c1\u06cc\u06ba \u062f\u06cc\u06d4<\/p>\n<p>+0.0752 \u06a9\u0627 \u0646\u062a\u06cc\u062c\u06c1 +0.08 \u06a9\u06cc \u0627\u0635\u0644 \u0642\u06cc\u0645\u062a \u06a9\u06d2 \u0642\u0631\u06cc\u0628 \u06c1\u06d2\u060c \u0644\u06cc\u06a9\u0646 IPW ATT \u0633\u06d2 \u0642\u062f\u0631\u06d2 \u06a9\u0645 \u06c1\u06d2\u06d4 \u06cc\u06c1 \u0627\u06cc\u06a9 \u0639\u0627\u0645 1-NN \u0645\u06cc\u0686 \u06c1\u06d2 \u06a9\u06cc\u0648\u0646\u06a9\u06c1 \u0648\u0627\u062d\u062f \u0642\u0631\u06cc\u0628\u06cc \u067e\u0691\u0648\u0633\u06cc \u0627\u06cc\u06a9 \u0627\u0639\u0644\u06cc \u062a\u063a\u06cc\u0631 \u06a9\u0627 \u062a\u062e\u0645\u06cc\u0646\u06c1 \u0644\u06af\u0627\u0646\u06d2 \u0648\u0627\u0644\u0627 \u06c1\u06d2\u06d4<\/p>\n<p>\u062f\u0648 \u0645\u062e\u062a\u0644\u0641 \u0642\u0633\u0645\u0648\u06ba \u06a9\u06d2 \u0628\u0627\u0631\u06d2 \u0645\u06cc\u06ba \u062c\u0627\u0646\u0646\u06d2 \u06a9\u06d2 \u0642\u0627\u0628\u0644 \u06c1\u06cc\u06ba\u06d4 \u0641\u0627\u0644 \u0628\u06cc\u06a9 \u0645\u0645\u0627\u062b\u0644\u062a \u06a9\u0627 \u0627\u0633\u062a\u0639\u0645\u0627\u0644 (\u062c\u0648 \u06c1\u0645 \u0646\u06d2 \u0627\u0628\u06be\u06cc \u06a9\u06cc\u0627 \u06c1\u06d2) \u0627\u06cc\u06a9 \u0648\u0627\u062d\u062f \u06a9\u0646\u0679\u0631\u0648\u0644 \u0635\u0627\u0631\u0641 \u06a9\u0648 \u0645\u062a\u0639\u062f\u062f \u067e\u0631\u0648\u0633\u06cc\u0633 \u0634\u062f\u06c1 \u0635\u0627\u0631\u0641\u06cc\u0646 \u06a9\u06d2 \u0644\u06cc\u06d2 \u0645\u06cc\u0686 \u06a9\u06d2 \u0637\u0648\u0631 \u067e\u0631 \u06a9\u0627\u0645 \u06a9\u0631\u0646\u06d2 \u06a9\u06cc \u0627\u062c\u0627\u0632\u062a \u062f\u06cc\u062a\u0627 \u06c1\u06d2\u060c \u062c\u0648 \u062a\u0639\u0635\u0628 \u06a9\u0648 \u06a9\u0645 \u06a9\u0631\u062a\u0627 \u06c1\u06d2 \u0644\u06cc\u06a9\u0646 \u062c\u0628 \u0627\u0686\u06be\u06d2 \u0645\u0645\u0627\u062b\u0644\u062a\u0648\u06ba \u06a9\u06cc \u06a9\u0645\u06cc \u06c1\u0648\u062a\u06cc \u06c1\u06d2 \u062a\u0648 \u0641\u0631\u0642 \u0628\u0691\u06be \u062c\u0627\u062a\u0627 \u06c1\u06d2\u06d4<\/p>\n<p>\u0645\u062a\u0628\u0627\u062f\u0644 \u06a9\u06d2 \u0628\u063a\u06cc\u0631 \u0645\u06cc\u0686\u0646\u06af \u06c1\u0631 \u06a9\u0646\u0679\u0631\u0648\u0644 \u0635\u0627\u0631\u0641 \u06a9\u0648 \u0632\u06cc\u0627\u062f\u06c1 \u0633\u06d2 \u0632\u06cc\u0627\u062f\u06c1 \u0627\u06cc\u06a9 \u067e\u0631\u0648\u0633\u06cc\u0633 \u0634\u062f\u06c1 \u0635\u0627\u0631\u0641 \u06a9\u0648 \u062a\u0641\u0648\u06cc\u0636 \u06a9\u0631\u062a\u06cc \u06c1\u06d2\u06d4 \u06cc\u06c1 \u0641\u0631\u0642 \u06a9\u0648 \u06a9\u0645 \u0631\u06a9\u06be\u062a\u0627 \u06c1\u06d2 \u0644\u06cc\u06a9\u0646 \u062c\u0628 \u0639\u0644\u0627\u062c \u0634\u062f\u06c1 \u06af\u0631\u0648\u067e \u062f\u0633\u062a\u06cc\u0627\u0628 \u06a9\u0646\u0679\u0631\u0648\u0644 \u06a9\u0648 \u0628\u0648\u0646\u0627 \u06a9\u0631\u062a\u0627 \u06c1\u06d2 \u062a\u0648 \u06a9\u0645 \u0645\u0639\u06cc\u0627\u0631 \u06a9\u06d2 \u062c\u0648\u0691\u06d2 \u06a9\u0648 \u0645\u062c\u0628\u0648\u0631 \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u06d4<\/p>\n<p>\u0632\u06cc\u0627\u062f\u06c1 \u062a\u0631 \u067e\u06cc\u062f\u0627\u0648\u0627\u0631\u06cc \u062a\u062c\u0632\u06cc\u0648\u06ba \u06a9\u06d2 \u0644\u06cc\u06d2\u060c k = 3-5 \u0627\u0648\u0631 k-\u0642\u0631\u06cc\u0628 \u062a\u0631\u06cc\u0646 \u067e\u0691\u0648\u0633\u06cc\u0648\u06ba \u06a9\u06d2 \u0645\u0645\u0627\u062b\u0644 \u0645\u062a\u0628\u0627\u062f\u0644 \u0645\u0639\u0642\u0648\u0644 \u0688\u06cc\u0641\u0627\u0644\u0679\u0633 \u06c1\u06cc\u06ba\u06d4<\/p>\n<h2 id=\"heading-step-4-check-covariate-balance\">\u0645\u0631\u062d\u0644\u06c1 4: \u06a9\u0648\u0648\u06cc\u0631\u06cc\u0679 \u0628\u06cc\u0644\u0646\u0633 \u0686\u06cc\u06a9 \u06a9\u0631\u06cc\u06ba\u06d4<\/h2>\n<p>\u067e\u0631\u0648\u067e\u06cc\u0646\u0633\u0679\u06cc \u0633\u06a9\u0648\u0631 \u06a9\u06d2 \u0637\u0631\u06cc\u0642\u06d2 \u0635\u0631\u0641 \u0627\u0633 \u0635\u0648\u0631\u062a \u0645\u06cc\u06ba \u06a9\u0627\u0645 \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba \u062c\u0628 \u0622\u067e \u06af\u0631\u0648\u067e\u0648\u06ba \u0645\u06cc\u06ba \u06c1\u0645 \u0622\u06c1\u0646\u06af\u06cc \u06a9\u0648 \u0645\u062a\u0648\u0627\u0632\u0646 \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4 \u0627\u06af\u0631 \u0622\u067e \u06a9\u0627 \u0628\u06cc\u0644\u0646\u0633 \u06a9\u0645 \u06c1\u06d2 \u062a\u0648 \u0622\u067e \u06a9\u0627 \u062a\u062e\u0645\u06cc\u0646\u06c1 \u063a\u0644\u0637 \u06c1\u06d2 \u0627\u0648\u0631 \u0627\u0633\u06d2 \u0686\u06cc\u06a9 \u06a9\u06cc\u0627 \u062c\u0627\u0646\u0627 \u0686\u0627\u06c1\u06cc\u06d2\u06d4<\/p>\n<p>\u0645\u0639\u06cc\u0627\u0631\u06cc \u062a\u0634\u062e\u06cc\u0635 \u06c1\u0631 \u06a9\u0648\u0648\u06cc\u0631\u06cc\u0679 \u06a9\u06d2 \u0644\u06cc\u06d2 \u0645\u0639\u06cc\u0627\u0631\u06cc \u0627\u0648\u0633\u0637 \u0641\u0631\u0642 (SMD) \u06c1\u06d2\u06d4 SMD \u0679\u0631\u06cc\u0679\u0645\u0646\u0679 \u06af\u0631\u0648\u067e \u06a9\u06d2 \u0648\u0633\u0637 \u06a9\u0627 \u0645\u0648\u0627\u0632\u0646\u06c1 \u0627\u0633\u0679\u06cc\u0646\u0688\u0631\u0688 \u0627\u0646\u062d\u0631\u0627\u0641 \u06a9\u06d2 \u0630\u0631\u06cc\u0639\u06d2 \u062a\u0642\u0633\u06cc\u0645 \u06a9\u0631\u062f\u06c1 \u06a9\u0646\u0679\u0631\u0648\u0644 \u0645\u0637\u0644\u0628 \u0633\u06d2 \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u06d4<\/p>\n<p>\u0648\u0632\u0646 \u06a9\u0631\u0646\u06d2 \u0633\u06d2 \u067e\u06c1\u0644\u06d2\u060c SMD \u06c1\u0645\u06cc\u06ba \u0628\u062a\u0627\u062a\u0627 \u06c1\u06d2 \u06a9\u06c1 \u062e\u0627\u0645 \u06af\u0631\u0648\u067e \u06a9\u062a\u0646\u0627 \u063a\u06cc\u0631 \u0645\u062a\u0648\u0627\u0632\u0646 \u06c1\u06d2\u06d4 \u0648\u0632\u0646 \u06a9\u06d2 \u0628\u0639\u062f\u060c \u06cc\u06c1 \u0686\u06be\u0648\u0679\u0627 \u06c1\u0648\u0646\u0627 \u0686\u0627\u06c1\u06cc\u06d2 (|SMD| <0.1 \u0631\u0648\u0627\u06cc\u062a\u06cc \u0645\u0639\u06cc\u0627\u0631 \u06c1\u06d2)\u06d4<\/p>\n<pre><code class=\"language-python\">def smd(treated_vals, control_vals, treated_w=None, control_w=None):\n    \"\"\"Standardized mean difference, optionally with weights.\"\"\"\n    if treated_w is None:\n        treated_w = np.ones(len(treated_vals))\n    if control_w is None:\n        control_w = np.ones(len(control_vals))\n    t_mean = np.average(treated_vals, weights=treated_w)\n    c_mean = np.average(control_vals, weights=control_w)\n    pooled_std = np.sqrt((treated_vals.var() + control_vals.var()) \/ 2)\n    return (t_mean - c_mean) \/ pooled_std\n\nengagement_heavy = (df.engagement_tier == \"heavy\").astype(float).values\nqc = df.query_confidence.values\ntr = (df.opt_in_agent_mode == 1).values\n\ncovariates = {\n    \"engagement_tier_heavy\": engagement_heavy,\n    \"query_confidence\": qc,\n}\n\nprint(f\"{'Covariate':<30} {'Raw SMD':>10} {'Weighted SMD':>15}\")\nfor name, vals in covariates.items():\n    smd_raw = smd(vals[tr], vals[~tr])\n    smd_weighted = smd(\n        vals[tr], vals[~tr],\n        treated_w=df[tr].ipw.values,\n        control_w=df[~tr].ipw.values,\n    )\n    print(f\"{name:<30} {smd_raw:>+10.3f} {smd_weighted:>+15.3f}\")\n<\/code><\/pre>\n<p><strong>\u0645\u062a\u0648\u0642\u0639 \u067e\u06cc\u062f\u0627\u0648\u0627\u0631:<\/strong><\/p>\n<pre><code class=\"language-python\">Covariate                         Raw SMD    Weighted SMD\nengagement_tier_heavy              +0.742          +0.002\nquery_confidence                   -0.032          -0.003\n<\/code><\/pre>\n<p><strong>\u0645\u0648\u062c\u0648\u062f\u06c1 \u0635\u0648\u0631\u062a\u062d\u0627\u0644 \u06a9\u0686\u06be \u06cc\u0648\u06ba \u06c1\u06d2:<\/strong> \u0645\u062f\u062f\u06af\u0627\u0631 \u0627\u062e\u062a\u06cc\u0627\u0631\u06cc IPW \u0648\u0632\u0646 \u06a9\u0627 \u0627\u0633\u062a\u0639\u0645\u0627\u0644 \u06a9\u0631\u062a\u06d2 \u06c1\u0648\u0626\u06d2 \u062a\u0645\u0627\u0645 \u06a9\u0648\u0648\u06cc\u0631\u06cc\u0679\u0633 \u06a9\u06d2 \u0644\u06cc\u06d2 \u0645\u0639\u06cc\u0627\u0631\u06cc \u0627\u0648\u0633\u0637 \u0641\u0631\u0642 \u06a9\u0627 \u062d\u0633\u0627\u0628 \u0644\u06af\u0627\u062a\u0627 \u06c1\u06d2\u06d4<\/p>\n<p>\u067e\u06be\u0631 \u06c1\u0645 \u06c1\u0631 \u06a9\u0648\u0648\u06cc\u0631\u06cc\u0679 \u06a9\u06d2 \u0644\u06cc\u06d2 \u062e\u0627\u0645 \u0627\u0648\u0631 \u0648\u0632\u0646\u06cc SMD \u067e\u0631\u0646\u0679 \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4 \u062e\u0627\u0645 \u0627\u06cc\u0633 \u0627\u06cc\u0645 \u0688\u06cc <code>engagement_tier_heavy<\/code> \u06cc\u06c1 +0.742 \u06c1\u06d2 (\u062c\u0633\u06d2 \u0628\u06c1\u062a \u0633\u06d2 \u0635\u0627\u0631\u0641\u06cc\u0646 \u0633\u0628 \u0633\u06d2 \u0632\u06cc\u0627\u062f\u06c1 \u0645\u0646\u062a\u062e\u0628 \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba) \u0627\u0648\u0631 \u0648\u0632\u0646\u06cc SMD +0.002 \u062a\u06a9 \u06af\u0631 \u062c\u0627\u062a\u0627 \u06c1\u06d2\u060c \u062c\u0648 \u06a9\u06c1 \u0627\u06cc\u06a9 \u0635\u0627\u0641 \u067e\u0627\u0633 \u06c1\u06d2\u06d4 \u0633\u0648\u0627\u0644 \u06a9\u0627 \u0627\u0639\u062a\u0645\u0627\u062f \u067e\u06c1\u0644\u06d2 \u0633\u06d2 \u06c1\u06cc \u062e\u0627\u0645 \u0688\u06cc\u0679\u0627 \u0645\u06cc\u06ba \u062a\u0648\u0627\u0632\u0646 \u06a9\u06d2 \u0642\u0631\u06cc\u0628 \u06c1\u06d2\u060c \u0627\u0648\u0631 \u06c1\u0645 \u0627\u0633\u06d2 \u0648\u0632\u0646 \u06a9\u06d2 \u0630\u0631\u06cc\u0639\u06d2 \u0628\u0631\u0642\u0631\u0627\u0631 \u0631\u06a9\u06be\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4 \u0627\u06af\u0631 \u0648\u0632\u0646\u06cc SMD \u0645\u0637\u0644\u0642 \u0642\u062f\u0631 \u0645\u06cc\u06ba 0.1 \u0633\u06d2 \u0627\u0648\u067e\u0631 \u0648\u0627\u067e\u0633 \u0622\u062c\u0627\u062a\u0627 \u06c1\u06d2\u060c \u062a\u0648 \u0622\u067e \u06a9\u06d2 \u0631\u062c\u062d\u0627\u0646 \u06a9\u06d2 \u0645\u0627\u0688\u0644 \u0645\u06cc\u06ba \u06a9\u0686\u06be \u06a9\u0645\u06cc \u06c1\u06d2\u06d4 \u0644\u0627\u062c\u0633\u0679\u06a9 \u0631\u06cc\u06af\u0631\u06cc\u0634\u0646 \u0645\u06cc\u06ba \u062a\u0631\u0627\u0645\u06cc\u0645 \u0639\u0627\u0645 \u0637\u0648\u0631 \u067e\u0631 \u0627\u0645\u06cc\u0631 \u062e\u0635\u0648\u0635\u06cc\u0627\u062a \u06cc\u0627 \u062a\u0639\u0627\u0645\u0644 \u06a9\u06cc \u0634\u0631\u0627\u0626\u0637 \u06c1\u06cc\u06ba\u06d4<\/p>\n<p>\u0627\u0648\u067e\u0631 \u0648\u0627\u0644\u0627 \u0634\u06a9\u0644 2 \u0627\u0628 \u0628\u0635\u0631\u06cc \u0637\u0648\u0631 \u067e\u0631 \u0627\u0633 \u0628\u0627\u062a \u06a9\u06cc \u062a\u0635\u062f\u06cc\u0642 \u06a9\u0631\u062a\u0627 \u06c1\u06d2 \u06a9\u06c1 SMD \u0646\u06d2 \u0639\u062f\u062f\u06cc \u0627\u0639\u062a\u0628\u0627\u0631 \u0633\u06d2 \u06a9\u0633 \u0686\u06cc\u0632 \u06a9\u06cc \u062a\u0635\u062f\u06cc\u0642 \u06a9\u06cc \u06c1\u06d2: \u06a9\u06c1 \u0633\u067e\u0631\u067e\u0648\u0632\u06cc\u0634\u0646 \u06a9\u06cc \u0634\u0631\u0627\u0626\u0637 \u0628\u0631\u0642\u0631\u0627\u0631 \u06c1\u06cc\u06ba \u0627\u0648\u0631 \u06cc\u06c1 \u062a\u0648\u0627\u0632\u0646 \u0642\u0627\u0628\u0644 \u062d\u0635\u0648\u0644 \u06c1\u06d2\u06d4<\/p>\n<h2 id=\"heading-step-5-bootstrap-confidence-intervals\">\u0645\u0631\u062d\u0644\u06c1 5: \u0628\u0648\u0679\u0633\u0679\u0631\u06cc\u067e \u0627\u0639\u062a\u0645\u0627\u062f \u06a9\u0627 \u0648\u0642\u0641\u06c1<\/h2>\n<p>\u0646\u0642\u0637\u06c1 \u062a\u062e\u0645\u06cc\u0646\u06c1 \u0635\u0631\u0641 \u0622\u062f\u06be\u06cc \u06a9\u06c1\u0627\u0646\u06cc \u06c1\u06d2\u06d4 \u06c1\u0631 \u062a\u062e\u0645\u06cc\u0646\u06c1 \u062c\u0648 \u0622\u067e \u067e\u0631\u0648\u0688\u06a9\u0679 \u0679\u06cc\u0645 \u06a9\u0648 \u0631\u067e\u0648\u0631\u0679 \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba \u0627\u06cc\u06a9 \u0648\u0642\u0641\u06c1 \u062f\u0631\u06a9\u0627\u0631 \u06c1\u0648\u062a\u0627 \u06c1\u06d2 \u062c\u0648 \u0622\u067e \u06a9\u0648 \u0628\u062a\u0627\u062a\u0627 \u06c1\u06d2 \u06a9\u06c1 +0.08 +0.03 \u06cc\u0627 +0.12 \u0633\u06d2 \u0645\u062e\u062a\u0644\u0641 \u06c1\u06d2\u06d4 \u0686\u0648\u0646\u06a9\u06c1 IPW \u0627\u0648\u0631 \u0645\u0645\u0627\u062b\u0644\u062a \u06a9\u06d2 \u0644\u06cc\u06d2 \u062a\u062c\u0632\u06cc\u0627\u062a\u06cc \u0645\u0639\u06cc\u0627\u0631\u06cc \u063a\u0644\u0637\u06cc\u0627\u06ba \u062a\u062e\u0645\u06cc\u0646\u06cc \u0631\u062c\u062d\u0627\u0646 \u06a9\u06d2 \u0627\u0633\u06a9\u0648\u0631 \u06a9\u06cc \u0648\u062c\u06c1 \u0633\u06d2 \u0645\u0634\u06a9\u0644 \u06c1\u0648\u062a\u06cc \u06c1\u06cc\u06ba\u060c \u0627\u0633 \u0644\u06cc\u06d2 \u0633\u0628 \u0633\u06d2 \u0622\u0633\u0627\u0646 \u0627\u0648\u0631 \u0627\u06cc\u0645\u0627\u0646\u062f\u0627\u0631\u0627\u0646\u06c1 \u0627\u0642\u062f\u0627\u0645 \u0627\u06cc\u06a9 \u0646\u0627\u0646 \u067e\u06cc\u0631\u0627\u0645\u06cc\u0679\u0631\u06a9 \u0628\u0648\u0679\u0633\u0679\u0631\u06cc\u067e \u06c1\u06d2\u06d4<\/p>\n<pre><code class=\"language-python\">def estimate_all(sample):\n    \"\"\"Return (ATE_IPW, ATT_IPW, ATT_match) on a bootstrap sample.\"\"\"\n    s = sample.copy()\n    X_s = pd.get_dummies(\n        s[[\"engagement_tier\", \"query_confidence\"]], drop_first=True\n    ).astype(float)\n    ps = LogisticRegression(max_iter=1000).fit(X_s, s.opt_in_agent_mode)\n    s[\"p\"] = ps.predict_proba(X_s)[:, 1]\n\n    s[\"w_ate\"] = np.where(\n        s.opt_in_agent_mode == 1, 1 \/ s.p, 1 \/ (1 - s.p)\n    )\n    s[\"w_att\"] = np.where(\n        s.opt_in_agent_mode == 1, 1, s.p \/ (1 - s.p)\n    )\n    t, c = s[s.opt_in_agent_mode == 1], s[s.opt_in_agent_mode == 0]\n\n    ate = (\n        (t.task_completed * t.w_ate).sum() \/ t.w_ate.sum()\n        - (c.task_completed * c.w_ate).sum() \/ c.w_ate.sum()\n    )\n    att = t.task_completed.mean() - (\n        (c.task_completed * c.w_att).sum() \/ c.w_att.sum()\n    )\n    nn_b = NearestNeighbors(n_neighbors=1).fit(c[[\"p\"]].values)\n    _, idx_b = nn_b.kneighbors(t[[\"p\"]].values)\n    match = (\n        t.task_completed.values\n        - c.task_completed.values[idx_b.flatten()]\n    ).mean()\n    return ate, att, match\n\nrng = np.random.default_rng(7)\nn_reps = 500\nresults = np.zeros((n_reps, 3))\nfor i in range(n_reps):\n    boot = df.iloc[rng.integers(0, len(df), size=len(df))]\n    results[i] = estimate_all(boot)\n\nfor name, col in zip([\"IPW ATE\", \"IPW ATT\", \"1-NN ATT\"], range(3)):\n    lo, hi = np.percentile(results[:, col], [2.5, 97.5])\n    print(f\"{name:<10} 95% CI: [{lo:+.4f}, {hi:+.4f}]\")\n<\/code><\/pre>\n<p><strong>\u0645\u062a\u0648\u0642\u0639 \u067e\u06cc\u062f\u0627\u0648\u0627\u0631:<\/strong><\/p>\n<pre><code class=\"language-python\">IPW ATE    95% CI: [+0.0745, +0.0954]\nIPW ATT    95% CI: [+0.0687, +0.0865]\n1-NN ATT   95% CI: [+0.0659, +0.0940]\n<\/code><\/pre>\n<p><strong>\u0645\u0648\u062c\u0648\u062f\u06c1 \u0635\u0648\u0631\u062a\u062d\u0627\u0644 \u06a9\u0686\u06be \u06cc\u0648\u06ba \u06c1\u06d2:<\/strong> \u06c1\u0645 \u0688\u06cc\u0679\u0627 \u0633\u06cc\u0679 \u06a9\u0648 500 \u0628\u0627\u0631 \u062a\u0628\u062f\u06cc\u0644 \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba\u060c \u067e\u0631\u0648\u067e\u06cc\u0646\u0633\u06cc\u0679\u06cc \u0645\u0627\u0688\u0644 \u06a9\u0648 \u0631\u06cc\u0641\u0679 \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba\u060c \u06c1\u0631 \u062a\u062e\u0645\u06cc\u0646\u06c1 \u0644\u06af\u0627\u0646\u06d2 \u0648\u0627\u0644\u06d2 \u06a9\u0648 \u06c1\u0631 \u0627\u06cc\u06a9 \u0646\u0645\u0648\u0646\u06d2 \u06a9\u06d2 \u0644\u06cc\u06d2 \u062f\u0648\u0628\u0627\u0631\u06c1 \u0634\u0645\u0627\u0631 \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba\u060c \u0627\u0648\u0631 \u0628\u0648\u0679\u0633\u0679\u0631\u06cc\u067e \u06a9\u06cc \u062a\u0642\u0633\u06cc\u0645 \u06a9\u06d2 2.5\u0648\u06cc\u06ba \u0627\u0648\u0631 97.5\u0648\u06cc\u06ba \u067e\u0631\u0633\u0646\u0679\u0627\u0626\u0644 \u06a9\u0648 95% \u0627\u0639\u062a\u0645\u0627\u062f \u06a9\u06d2 \u0648\u0642\u0641\u0648\u06ba \u06a9\u06d2 \u0637\u0648\u0631 \u067e\u0631 \u0627\u0633\u062a\u0639\u0645\u0627\u0644 \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4 \u062a\u06cc\u0646\u0648\u06ba \u0648\u0642\u0641\u0648\u06ba \u0645\u06cc\u06ba \u06af\u0631\u0627\u0624\u0646\u0688 \u0679\u0631\u0648\u062a\u06be +0.08 \u0634\u0627\u0645\u0644 \u06c1\u06cc\u06ba \u0627\u0648\u0631 \u0628\u0691\u06d2 \u0645\u0627\u0631\u062c\u0646 \u0633\u06d2 Naive +0.21 \u06a9\u0648 \u062e\u0627\u0631\u062c \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4<\/p>\n<p>IPW ATT \u0648\u0642\u0641\u06c1 \u0633\u0628 \u0633\u06d2 \u0633\u062e\u062a \u06c1\u06d2 \u06a9\u06cc\u0648\u0646\u06a9\u06c1 ATT \u0635\u0631\u0641 \u06a9\u0646\u0679\u0631\u0648\u0644 \u06af\u0631\u0648\u067e \u06a9\u0648 \u0631\u06cc \u0648\u06cc\u0679 \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u06d4 \u0633\u0646\u06af\u0644 \u067e\u0691\u0648\u0633\u06cc \u0645\u0645\u0627\u062b\u0644\u062a \u0645\u06cc\u06ba \u0633\u0628 \u0633\u06d2 \u0632\u06cc\u0627\u062f\u06c1 1-NN \u0645\u0645\u0627\u062b\u0644\u062a \u06a9\u0627 \u0648\u0642\u0641\u06c1 \u06c1\u0648\u062a\u0627 \u06c1\u06d2 \u06a9\u06cc\u0648\u0646\u06a9\u06c1 \u06cc\u06c1 \u0645\u0645\u0627\u062b\u0644 \u0633\u06cc\u0679 \u0633\u06d2 \u0628\u0627\u06c1\u0631 \u06a9\u0646\u0679\u0631\u0648\u0644 \u0635\u0627\u0631\u0641\u06cc\u0646 \u06a9\u0648 \u0636\u0627\u0626\u0639 \u06a9\u0631 \u062f\u06cc\u062a\u0627 \u06c1\u06d2\u06d4<\/p>\n<p>\u0627\u0633\u06d2 \u0627\u06cc\u06a9 \u0628\u0627\u0631 \u0686\u0644\u0627\u0646\u06d2 \u0645\u06cc\u06ba \u0645\u06cc\u0631\u06d2 \u0644\u06cc\u067e \u0679\u0627\u067e \u067e\u0631 \u062a\u0642\u0631\u06cc\u0628\u0627\u064b 90 \u0633\u06cc\u06a9\u0646\u0688 \u0644\u06af\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4 \u0627\u0633\u0679\u06cc\u06a9 \u06c1\u0648\u0644\u0688\u0631 \u06a9\u06cc \u0631\u067e\u0648\u0631\u0679\u0633 \u06a9\u06d2 \u0644\u06cc\u06d2\u060c \u062a\u062e\u0645\u06cc\u0646\u06d2 \u0627\u0648\u0631 \u0627\u0642\u062a\u0628\u0627\u0633 \u06a9\u06d2 \u0648\u0642\u0641\u0648\u06ba \u06a9\u06d2 \u0644\u06cc\u06d2 \u06c1\u06cc\u0688 \u0644\u0627\u0626\u0646 \u06a9\u0648 \u0627\u06cc\u0646\u06a9\u0631 \u06a9\u0631\u06cc\u06ba \u062a\u0627\u06a9\u06c1 \u0679\u06cc\u0645 \u0646\u0645\u0628\u0631\u0648\u06ba \u06a9\u06d2 \u0633\u0627\u062a\u06be \u0633\u0627\u062a\u06be \u063a\u06cc\u0631 \u06cc\u0642\u06cc\u0646\u06cc \u0635\u0648\u0631\u062a\u062d\u0627\u0644 \u062f\u06cc\u06a9\u06be \u0633\u06a9\u06d2\u06d4<\/p>\n<h2 id=\"heading-when-propensity-score-methods-fail\">\u062c\u0628 \u067e\u0631\u0648\u067e\u06cc\u0646\u0633\u0679\u06cc \u0633\u06a9\u0648\u0631 \u06a9\u06d2 \u0637\u0631\u06cc\u0642\u06d2 \u0646\u0627\u06a9\u0627\u0645 \u06c1\u0648 \u062c\u0627\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4<\/h2>\n<p>\u062c\u0628 \u0645\u0641\u0631\u0648\u0636\u06d2 \u0628\u0631\u0642\u0631\u0627\u0631 \u0631\u06c1\u062a\u06d2 \u06c1\u06cc\u06ba \u062a\u0648 \u0631\u062c\u062d\u0627\u0646 \u06a9\u06d2 \u0627\u0633\u06a9\u0648\u0631 \u0628\u0627\u062e\u0628\u0631 \u0631\u0636\u0627\u0645\u0646\u062f\u06cc \u06a9\u06d2 \u0645\u0648\u0627\u0632\u0646\u06c1 \u06a9\u0648 \u0633\u062e\u062a \u0628\u0646\u0627\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4 \u0648\u06c1 \u0645\u062a\u0639\u0635\u0628\u0627\u0646\u06c1 \u0627\u0646\u062f\u0627\u0632\u06d2 \u0644\u06af\u0627\u062a\u06d2 \u06c1\u06cc\u06ba \u062c\u0648 \u0635\u0627\u0641 \u0638\u0627\u06c1\u0631 \u06c1\u0648\u062a\u06d2 \u06c1\u06cc\u06ba \u062c\u0628 \u0648\u06c1 \u0645\u0641\u0631\u0648\u0636\u06d2 \u0646\u0627\u06a9\u0627\u0645 \u06c1\u0648 \u062c\u0627\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4<\/p>\n<p>\u0686\u0627\u0631 \u0639\u0627\u0645 \u0646\u0627\u06a9\u0627\u0645\u06cc \u06a9\u06d2 \u0637\u0631\u06cc\u0642\u06d2 \u062a\u06cc\u0646 \u067e\u0686\u06be\u0644\u06d2 \u0634\u0646\u0627\u062e\u062a\u06cc \u0645\u0641\u0631\u0648\u0636\u0648\u06ba \u06a9\u0627 \u0646\u0642\u0634\u06c1 \u0628\u0646\u0627\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4<\/p>\n<h3 id=\"heading-1-unmeasured-confounders-violate-unconfoundedness\">1. \u0628\u06d2 \u062d\u0633\u0627\u0628 \u06a9\u0646\u0641\u0627\u0624\u0646\u0688\u0631\u0632<\/h3>\n<p>\u0627\u06af\u0631 \u06a9\u0648\u0626\u06cc \u0686\u06cc\u0632 \u0622\u067e\u0679 \u0627\u0650\u0646 \u0627\u0648\u0631 \u0646\u062a\u06cc\u062c\u06c1 \u062f\u0648\u0646\u0648\u06ba \u06a9\u0648 \u0686\u0644\u0627\u062a\u06cc \u06c1\u06d2 \u0644\u06cc\u06a9\u0646 \u067e\u0631\u0648\u067e\u06cc\u0646\u0633\u0679\u06cc \u0645\u0627\u0688\u0644 \u0645\u06cc\u06ba \u0646\u06c1\u06cc\u06ba \u06c1\u06d2\u060c \u062a\u0648 IPW \u0627\u0648\u0631 \u0645\u0645\u0627\u062b\u0644\u062a \u0645\u062a\u0639\u0635\u0628 \u0627\u0646\u062f\u0627\u0632\u06d2 \u067e\u06cc\u062f\u0627 \u06a9\u0631\u06d2 \u06af\u06cc\u06d4 \u06cc\u06c1 \u062f\u0631\u0627\u0635\u0644 \u0633\u0628 \u0633\u06d2 \u0639\u0627\u0645 \u0646\u0627\u06a9\u0627\u0645\u06cc \u06c1\u06d2\u06d4<\/p>\n<p>\u0645\u062b\u0627\u0644: \u0627\u06cc\u06a9 \u0635\u0627\u0631\u0641 \u062c\u0648 \u0627\u06cc\u062c\u0646\u0679 \u0645\u0648\u0688 \u06a9\u0627 \u0627\u0646\u062a\u062e\u0627\u0628 \u06a9\u0631\u062a\u0627 \u06c1\u06d2 \u0648\u06c1 \u0628\u06be\u06cc \u0627\u06cc\u06a9 \u0635\u0627\u0631\u0641 \u06c1\u06d2 \u062c\u0648 \u0627\u0646\u062c\u06cc\u0646\u0626\u0631\u0646\u06af \u0628\u0644\u0627\u06af\u0632 \u06a9\u06cc \u067e\u06cc\u0631\u0648\u06cc \u06a9\u0631\u062a\u0627 \u06c1\u06d2 \u0627\u0648\u0631 \u0631\u06cc\u0644\u06cc\u0632 \u0646\u0648\u0679\u0633 \u067e\u0691\u06be\u062a\u0627 \u06c1\u06d2\u06d4 \u0627\u06af\u0631 \u0628\u0644\u0627\u06af \u067e\u0691\u06be\u0646\u06d2 \u06a9\u0627 \u0631\u0648\u06cc\u06c1 \u062e\u0635\u0648\u0635\u06cc\u0627\u062a \u0633\u06d2 \u0642\u0637\u0639 \u0646\u0638\u0631 \u06a9\u0627\u0645 \u06a9\u06cc \u062a\u06a9\u0645\u06cc\u0644 \u06a9\u0648 \u0628\u0691\u06be\u0627\u062a\u0627 \u06c1\u06d2\u060c \u062a\u0648 \u0627\u0633 \u0633\u06af\u0646\u0644 \u06a9\u06cc \u06a9\u0645\u06cc \u0627\u06cc\u062c\u0646\u0679 \u0645\u0648\u0688 \u06a9\u0648 \u0645\u062a\u0627\u062b\u0631 \u06a9\u0631\u06d2 \u06af\u06cc\u060c \u062a\u062e\u0645\u06cc\u0646\u0648\u06ba \u06a9\u0648 \u0628\u0691\u06be\u0627\u062a\u0627 \u06c1\u06d2\u06d4<\/p>\n<p>\u0635\u0631\u0641 \u062d\u0642\u06cc\u0642\u06cc \u062f\u0641\u0627\u0639\u0648\u06ba \u0645\u06cc\u06ba \u0622\u067e\u0679 \u0627\u0646 \u067e\u0631\u0648\u067e\u06cc\u0646\u0633\u06cc\u0679\u06cc \u0645\u0627\u0688\u0644\u0632\u060c \u0688\u0648\u0645\u06cc\u0646 \u06a9\u0627 \u0639\u0644\u0645 \u06c1\u06d2 \u062c\u0648 \u0632\u06cc\u0627\u062f\u06c1 \u0641\u06cc\u0686\u0631 \u0627\u0646\u062c\u06cc\u0646\u0626\u0631\u0646\u06af \u06a9\u0648 \u0622\u06af\u06d2 \u0628\u0691\u06be\u0627\u062a\u0627 \u06c1\u06d2\u060c \u0627\u0648\u0631 \u0628\u0627\u0636\u0627\u0628\u0637\u06c1 \u062d\u0633\u0627\u0633\u06cc\u062a \u06a9\u06d2 \u0679\u0648\u0644\u0632 (\u0631\u0648\u0632\u0646\u0628\u0627\u0645 \u0628\u0627\u0624\u0646\u0688\u0632\u060c \u0627\u06cc \u0648\u06cc\u0644\u06cc\u0648\u0632) \u062c\u0648 \u0627\u0633 \u0628\u0627\u062a \u06a9\u0627 \u0627\u0646\u062f\u0627\u0632\u06c1 \u0644\u06af\u0627\u062a\u06d2 \u06c1\u06cc\u06ba \u06a9\u06c1 \u0646\u062a\u0627\u0626\u062c \u06a9\u0648 \u0627\u0644\u0679\u0646\u06d2 \u06a9\u06d2 \u0644\u06cc\u06d2 \u06a9\u062a\u0646\u06d2 \u0637\u0627\u0642\u062a\u0648\u0631 \u063a\u06cc\u0631 \u067e\u06cc\u0645\u0627\u0626\u0634\u06cc \u06a9\u0646\u0641\u0627\u0624\u0646\u0688\u0631\u0632 \u06c1\u0648\u0646\u06d2 \u0686\u0627\u06c1\u0626\u06cc\u06ba\u06d4<\/p>\n<h3 id=\"heading-2-positivity-overlap-failures-violates-overlap\">2. \u062a\u0635\u062f\u06cc\u0642 (\u0646\u0642\u0644) \u0646\u0627\u06a9\u0627\u0645 \u06c1\u0648 \u062c\u0627\u062a\u06cc \u06c1\u06d2 (\u0646\u0642\u0644 \u06a9\u06cc \u062e\u0644\u0627\u0641 \u0648\u0631\u0632\u06cc)<\/h3>\n<p>\u0627\u06af\u0631 \u06a9\u0686\u06be \u0635\u0627\u0631\u0641\u06cc\u0646 \u06a9\u06d2 \u0627\u0646\u062a\u062e\u0627\u0628 \u06a9\u0627 \u0627\u0645\u06a9\u0627\u0646 0 (\u06cc\u0627 1 \u06a9\u06d2 \u0642\u0631\u06cc\u0628) \u06a9\u06d2 \u0642\u0631\u06cc\u0628 \u06c1\u06d2\u060c \u062a\u0648 \u0627\u0633 \u0635\u0627\u0631\u0641 \u06a9\u0627 \u06a9\u0648\u0626\u06cc \u0645\u0648\u0627\u0632\u0646\u06c1 \u0646\u06c1\u06cc\u06ba \u06c1\u06d2\u06d4 \u0645\u06cc\u06ba<\/p>\n<p>PW \u0627\u0646\u062a\u06c1\u0627\u0626\u06cc \u0648\u0632\u0646 (1 \/ 0.001 = 1,000) \u067e\u06cc\u062f\u0627 \u06a9\u0631\u062a\u0627 \u06c1\u06d2 \u062c\u06c1\u0627\u06ba \u0627\u06cc\u06a9 \u06c1\u06cc \u0622\u0624\u0679 \u0644\u06cc\u0626\u0631 \u062a\u062e\u0645\u06cc\u0646\u06c1 \u067e\u0631 \u063a\u0644\u0628\u06c1 \u062d\u0627\u0635\u0644 \u06a9\u0631 \u0633\u06a9\u062a\u0627 \u06c1\u06d2\u06d4 \u0627\u0633 \u0644\u06cc\u06d2 \u0645\u0644\u0627\u067e \u06a9\u0648 \u0646\u0627\u0642\u0635 \u0645\u0639\u06cc\u0627\u0631 \u06a9\u06cc \u062c\u0648\u0691\u06cc \u0628\u0646\u0627\u0646\u06d2 \u067e\u0631 \u0645\u062c\u0628\u0648\u0631 \u06a9\u06cc\u0627 \u062c\u0627\u062a\u0627 \u06c1\u06d2\u06d4<\/p>\n<p>\u0631\u062c\u062d\u0627\u0646 \u06c1\u0633\u0679\u0648\u06af\u0631\u0627\u0645 \u06a9\u0648 \u0686\u06cc\u06a9 \u06a9\u0631\u06cc\u06ba \u0627\u0648\u0631 \u0631\u062c\u062d\u0627\u0646 \u06a9\u0648 \u0628\u06cc\u0631\u0648\u0646\u06cc \u0637\u0648\u0631 \u067e\u0631 \u0628\u06c1\u062a\u0631 \u06a9\u0631\u06cc\u06ba\u06d4 [0.05, 0.95] \u0648\u0632\u0646 \u0633\u06d2 \u067e\u06c1\u0644\u06d2 \u062c\u0628 \u0627\u0646\u062a\u06c1\u0627\u0626\u06cc \u0642\u062f\u0631\u06cc\u06ba \u0645\u0648\u062c\u0648\u062f \u06c1\u0648\u06ba\u06d4<\/p>\n<h3 id=\"heading-3-misspecified-propensity-models-degrade-unconfoundedness-in-practice\">3. \u063a\u0644\u0637 \u0628\u06cc\u0627\u0646 \u06a9\u0631\u062f\u06c1 \u0631\u062c\u062d\u0627\u0646 \u06a9\u0627 \u0645\u0627\u0688\u0644 (\u0630\u0644\u062a \u0622\u0645\u06cc\u0632\u060c \u062d\u0642\u06cc\u0642\u062a \u0645\u06cc\u06ba \u0627\u0644\u062c\u06be\u0627\u0646\u06d2 \u0648\u0627\u0644\u0627 \u0646\u06c1\u06cc\u06ba)<\/h3>\n<p>\u0644\u06a9\u06cc\u0631\u06cc \u0644\u0627\u062c\u0633\u0679\u06a9 \u0631\u06cc\u06af\u0631\u06cc\u0634\u0646 \u0646\u0627\u0646 \u0644\u0627\u0626\u0646\u0631 \u062a\u0639\u0644\u0642\u0627\u062a \u06a9\u0648 \u062d\u0627\u0635\u0644 \u0646\u06c1\u06cc\u06ba \u06a9\u0631 \u0633\u06a9\u062a\u06cc\u06d4 \u0627\u06af\u0631 \u0627\u0646\u062a\u062e\u0627\u0628 \u0634\u0631\u06a9\u062a \u06a9\u06cc \u067e\u0631\u062a \u0627\u0648\u0631 \u0627\u0633\u062a\u0641\u0633\u0627\u0631 \u06a9\u06d2 \u0627\u0639\u062a\u0645\u0627\u062f \u06a9\u06d2 \u062f\u0631\u0645\u06cc\u0627\u0646 \u062a\u0639\u0627\u0645\u0644 \u067e\u0631 \u0645\u0646\u062d\u0635\u0631 \u06c1\u06d2 (\u067e\u06cc\u0686\u06cc\u062f\u06c1 \u0633\u0648\u0627\u0644\u0627\u062a \u06a9\u06d2 \u0633\u0627\u062a\u06be \u0637\u0627\u0642\u062a \u0627\u0633\u062a\u0639\u0645\u0627\u0644 \u06a9\u0631\u0646\u06d2 \u0648\u0627\u0644\u06d2 \u0645\u0646\u062a\u062e\u0628 \u06a9\u0631\u06cc\u06ba \u06af\u06d2\u060c \u06c1\u0644\u06a9\u06d2 \u0635\u0627\u0631\u0641\u06cc\u0646 \u067e\u0627\u0633 \u06c1\u0648\u06ba \u06af\u06d2)\u060c \u0627\u06c1\u0645 \u0627\u062b\u0631\u0627\u062a \u06a9\u0627 \u0645\u0627\u0688\u0644 \u0627\u0633 \u0633\u06d2 \u0645\u062d\u0631\u0648\u0645 \u06c1\u0648 \u062c\u0627\u0626\u06d2 \u06af\u0627 \u0627\u0648\u0631 \u0627\u0633 \u06a9\u0627 \u062a\u0648\u0627\u0632\u0646 \u062e\u0631\u0627\u0628 \u06c1\u0648\u06af\u0627\u06d4<\/p>\n<p>\u0644\u0686\u06a9\u062f\u0627\u0631 \u0645\u0627\u0688\u0644\u0632 \u06a9\u0627 \u0627\u0633\u062a\u0639\u0645\u0627\u0644 \u06a9\u0631\u06cc\u06ba (\u0645\u062b\u0644\u0627\u064b \u067e\u0631\u0648\u067e\u06cc\u0646\u0633\u0679\u06cc \u0633\u06a9\u0648\u0631 \u067e\u0631 \u06af\u0631\u06cc\u0688\u06cc\u0646\u0679 \u0628\u0691\u06be\u0627\u0646\u0627 \u06cc\u0627 \u0648\u0632\u0646 \u06a9\u06cc \u0628\u0646\u06cc\u0627\u062f \u067e\u0631 \u0631\u06cc\u06af\u0631\u06cc\u0634\u0646 \u0627\u0633\u06a9\u06cc\u0644\u0646\u06af) \u0627\u0648\u0631 \u0648\u0632\u0646 \u062f\u06cc\u0646\u06d2 \u06a9\u06d2 \u0628\u0639\u062f \u06c1\u0645\u06cc\u0634\u06c1 \u0628\u06cc\u0644\u0646\u0633 \u0686\u06cc\u06a9 \u06a9\u0631\u06cc\u06ba\u06d4 \u0648\u0632\u0646 \u06a9\u06d2 \u0628\u0639\u062f \u0646\u0627\u0642\u0635 \u062a\u0648\u0627\u0632\u0646 \u062a\u0635\u0631\u06cc\u062d \u06a9\u06cc \u063a\u0644\u0637\u06cc \u06a9\u06cc \u0627\u06cc\u06a9 \u0627\u06c1\u0645 \u0639\u0644\u0627\u0645\u062a \u06c1\u06d2\u06d4<\/p>\n<h3 id=\"heading-4-spillovers-between-users-violates-sutva\">4. \u0635\u0627\u0631\u0641\u06cc\u0646 \u06a9\u06d2 \u062f\u0631\u0645\u06cc\u0627\u0646 \u067e\u06be\u06cc\u0644\u0627\u0624 (SUTVA \u06a9\u06cc \u062e\u0644\u0627\u0641 \u0648\u0631\u0632\u06cc)<\/h3>\n<p>\u067e\u0631\u0648\u067e\u06cc\u0646\u0633\u0679\u06cc \u0633\u06a9\u0648\u0631 \u06a9\u06d2 \u0637\u0631\u06cc\u0642\u06d2 \u06cc\u06c1 \u0641\u0631\u0636 \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba \u06a9\u06c1 \u0635\u0627\u0631\u0641 \u062e\u0648\u062f \u0645\u062e\u062a\u0627\u0631 \u06c1\u06cc\u06ba\u06d4 \u0627\u06af\u0631 \u0627\u06cc\u06a9 \u0635\u0627\u0631\u0641 \u062c\u0648 \u0627\u06cc\u062c\u0646\u0679 \u0645\u0648\u0688 \u06a9\u0627 \u0627\u0646\u062a\u062e\u0627\u0628 \u06a9\u0631\u062a\u0627 \u06c1\u06d2 \u06a9\u0633\u06cc \u062f\u0648\u0633\u0631\u06d2 \u0635\u0627\u0631\u0641 \u06a9\u06d2 \u06a9\u0627\u0645 \u06a9\u06cc \u062a\u06a9\u0645\u06cc\u0644 \u067e\u0631 \u0627\u062b\u0631 \u0627\u0646\u062f\u0627\u0632 \u06c1\u0648\u062a\u0627 \u06c1\u06d2 (\u0645\u062b\u0627\u0644 \u06a9\u06d2 \u0637\u0648\u0631 \u067e\u0631\u060c \u062c\u0628 \u0679\u06cc\u0645 \u06a9\u06d2 \u0627\u0631\u0627\u06a9\u06cc\u0646 \u0645\u0634\u062a\u0631\u06a9\u06c1 \u0648\u0631\u06a9 \u0627\u0633\u067e\u06cc\u0633 \u0645\u06cc\u06ba \u0627\u06cc\u06a9 \u062e\u0635\u0648\u0635\u06cc\u062a \u06a9\u0648 \u0627\u067e\u0646\u0627\u062a\u06d2 \u06c1\u06cc\u06ba)\u060c \u062a\u0648 \u0645\u062a\u0648\u0642\u0639 \u0627\u062b\u0631 \u0645\u06cc\u06ba \u0627\u06cc\u06a9 \u0644\u06c1\u0631 \u06a9\u0627 \u0627\u062b\u0631 \u0634\u0627\u0645\u0644 \u06c1\u0648\u062a\u0627 \u06c1\u06d2\u06d4<\/p>\n<p>\u06cc\u06c1 \u0645\u0633\u062a\u062d\u06a9\u0645 \u06cc\u0648\u0646\u0679 \u067e\u0631\u0648\u0633\u06cc\u0633\u0646\u06af \u0648\u06cc\u0644\u06cc\u0648 \u06a9\u06d2 \u0645\u0641\u0631\u0648\u0636\u06d2 \u06a9\u06cc \u062e\u0644\u0627\u0641 \u0648\u0631\u0632\u06cc \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u060c \u0627\u0648\u0631 \u0627\u0633\u06d2 \u0635\u0627\u0641 \u0633\u062a\u06be\u0631\u0627 \u0637\u0631\u06cc\u0642\u06d2 \u0633\u06d2 \u0633\u0646\u0628\u06be\u0627\u0644\u0646\u06d2 \u06a9\u06d2 \u0644\u06cc\u06d2 \u062f\u06cc\u06af\u0631 \u0679\u0648\u0644 \u06a9\u0679\u0633 \u06a9\u06cc \u0636\u0631\u0648\u0631\u062a \u06c1\u0648\u062a\u06cc \u06c1\u06d2\u060c \u062c\u06cc\u0633\u06d2 \u06a9\u06c1 \u0648\u0631\u06a9 \u0627\u0633\u067e\u06cc\u0633 \u06a9\u06cc \u0633\u0637\u062d \u067e\u0631 \u0627\u062e\u062a\u06cc\u0627\u0631 \u06a9\u0631\u062f\u06c1 \u062e\u0635\u0648\u0635\u06cc\u0627\u062a \u06a9\u06d2 \u0644\u06cc\u06d2 \u06a9\u0644\u0633\u0679\u0631 \u0631\u06cc\u0646\u0688\u0645\u0627\u0626\u0632\u06cc\u0634\u0646 \u06cc\u0627 \u0635\u0627\u0631\u0641 \u06a9\u06cc \u0633\u0637\u062d \u06a9\u06d2 \u0631\u0633\u0627\u0648 \u06a9\u06d2 \u0644\u06cc\u06d2 \u0646\u06cc\u0679 \u0648\u0631\u06a9 \u0633\u06d2 \u0622\u06af\u0627\u06c1 \u062a\u062c\u0631\u0628\u0627\u062a\u06cc \u0688\u06cc\u0632\u0627\u0626\u0646\u06d4<\/p>\n<p>\u06cc\u06c1 \u0646\u0627\u06a9\u0627\u0645\u06cc \u06a9\u06d2 \u0637\u0631\u06cc\u0642\u0648\u06ba \u06a9\u0648 \u0631\u06cc\u06af\u0631\u06cc\u0634\u0646 \u06af\u062a\u0627\u0646\u06a9 \u0645\u06cc\u06ba \u0646\u06c1\u06cc\u06ba \u062f\u06a9\u06be\u0627\u06cc\u0627 \u06af\u06cc\u0627 \u06c1\u06d2\u06d4 \u06cc\u06c1 \u0648\u06c1 \u062a\u062e\u0645\u06cc\u0646\u06d2 \u06c1\u06cc\u06ba \u062c\u0648 \u06a9\u0627\u063a\u0630 \u067e\u0631 \u0627\u0686\u06be\u06d2 \u0644\u06af\u062a\u06d2 \u06c1\u06cc\u06ba \u0644\u06cc\u06a9\u0646 \u0627\u06cc\u06a9 \u0628\u0627\u0631 \u062c\u0628 \u0641\u06cc\u0686\u0631 \u06a9\u0648 \u0645\u0632\u06cc\u062f \u0635\u0627\u0631\u0641\u06cc\u0646 \u062a\u06a9 \u067e\u06c1\u0646\u0686\u0627 \u062f\u06cc\u0627 \u062c\u0627\u062a\u0627 \u06c1\u06d2 \u062a\u0648 \u0648\u06c1 \u0628\u0631\u0642\u0631\u0627\u0631 \u0646\u06c1\u06cc\u06ba \u0631\u06c1\u062a\u06d2\u06d4<\/p>\n<p>\u0628\u06cc\u0644\u0646\u0633 \u0688\u0627\u0626\u06cc\u06af\u0646\u0627\u0633\u0679\u06a9 \u0686\u0644\u0627\u0626\u06cc\u06ba\u060c \u0688\u067e\u0644\u06cc\u06a9\u06cc\u0679 \u062e\u0627\u06a9\u0648\u06ba \u06a9\u06cc \u062c\u0627\u0646\u0686 \u06a9\u0631\u06cc\u06ba\u060c \u0627\u0648\u0631 \u062c\u0648 \u06a9\u0686\u06be \u0628\u06be\u06cc \u0622\u067e \u0633\u06d2 \u0686\u06be\u0648\u0679 \u06af\u06cc\u0627 \u06c1\u0648 \u0627\u0633\u06d2 \u062f\u0633\u062a\u0627\u0648\u06cc\u0632 \u06a9\u0631\u06cc\u06ba\u06d4 \u06cc\u06c1 \u0622\u067e \u06a9\u0627 \u0648\u0627\u062d\u062f \u062d\u0642\u06cc\u0642\u06cc \u062f\u0641\u0627\u0639 \u06c1\u06d2\u06d4<\/p>\n<h2 id=\"heading-what-to-do-next\">\u0622\u06af\u06d2 \u06a9\u06cc\u0627 \u06a9\u0631\u0646\u0627 \u06c1\u06d2\u06d4<\/h2>\n<p>\u062c\u0628 \u0622\u067e\u0679 \u0627\u0646 \u0679\u0648\u06af\u0644 \u06a9\u06d2 \u067e\u06cc\u0686\u06be\u06d2 \u062e\u0635\u0648\u0635\u06cc\u062a \u0641\u0631\u0627\u06c1\u0645 \u06a9\u06cc \u062c\u0627\u062a\u06cc \u06c1\u06d2 \u0627\u0648\u0631 \u0645\u0627\u0688\u0644 \u06a9\u06d2 \u0627\u0646\u062a\u062e\u0627\u0628 \u06a9\u06d2 \u0644\u06cc\u06d2 \u06a9\u0648\u0648\u06cc\u0631\u06cc\u0679\u0633 \u06a9\u06cc \u0627\u06cc\u06a9 \u062f\u0648\u0644\u062a \u062f\u0633\u062a\u06cc\u0627\u0628 \u06c1\u0648\u062a\u06cc \u06c1\u06d2 \u062a\u0648 \u067e\u0631\u0648\u067e\u06cc\u0646\u0633\u06cc\u0679\u06cc \u0633\u06a9\u0648\u0631 \u06a9\u0627 \u0637\u0631\u06cc\u0642\u06c1 \u0627\u06cc\u06a9 \u0645\u0648\u0632\u0648\u06ba \u0679\u0648\u0644 \u06c1\u06d2\u06d4<\/p>\n<p>\u0627\u06af\u0631 \u0622\u067e\u0679 \u0627\u0646 \u0648\u0627\u0636\u062d \u0627\u0635\u0648\u0644\u0648\u06ba \u06a9\u06cc \u067e\u06cc\u0631\u0648\u06cc \u06a9\u0631\u062a\u0627 \u06c1\u06d2 (\u0627\u0633\u062a\u0641\u0633\u0627\u0631 \u06a9\u06cc \u067e\u06cc\u0686\u06cc\u062f\u06af\u06cc \u06a9\u06cc \u062d\u062f\u060c \u0627\u062f\u0627\u0626\u06cc\u06af\u06cc \u0648\u0627\u0644\u06d2 \u062f\u0631\u062c\u06d2 \u06a9\u06d2 \u062f\u0631\u0648\u0627\u0632\u06d2)\u060c \u0631\u062c\u0639\u062a \u06a9\u0627 \u0633\u0644\u0633\u0644\u06c1 \u0632\u06cc\u0627\u062f\u06c1 \u0645\u0646\u0627\u0633\u0628 \u06c1\u06d2\u06d4 \u0627\u06af\u0631 \u063a\u06cc\u0631 \u0645\u0634\u0627\u06c1\u062f\u06c1 \u06a9\u0646\u0641\u0627\u0624\u0646\u0688\u0631\u0632 \u06a9\u0627 \u0634\u0628\u06c1 \u06c1\u06d2 \u0627\u0648\u0631 \u0628\u06cc\u0631\u0648\u0646\u06cc \u0628\u06d2 \u062a\u0631\u062a\u06cc\u0628 \u0630\u0631\u0627\u0626\u0639 (\u0628\u06d2 \u062a\u0631\u062a\u06cc\u0628 \u0631\u0648\u0644 \u0622\u0624\u0679 \u0634\u0648\u0631\u060c \u0634\u0631\u062d \u06a9\u0648 \u0645\u062d\u062f\u0648\u062f \u06a9\u0631\u0646\u06d2 \u0633\u06d2 \u0679\u0631\u06af\u0631\u0688 \u0631\u0648\u0679\u0646\u06af) \u0645\u0648\u062c\u0648\u062f \u06c1\u06cc\u06ba\u060c \u062a\u0648 \u0627\u0646\u0633\u0679\u0631\u0648\u0645\u06cc\u0646\u0679\u0644 \u0645\u062a\u063a\u06cc\u0631\u0627\u062a \u0628\u06c1\u062a\u0631 \u06a9\u0627\u0645 \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4<\/p>\n<p>\u062a\u062e\u0645\u06cc\u0646\u0648\u06ba \u06a9\u0648 \u063a\u0644\u0637 \u0631\u062c\u062d\u0627\u0646 \u06a9\u06cc \u062a\u0635\u0631\u06cc\u062d\u0627\u062a \u0633\u06d2 \u0628\u0686\u0627\u0646\u06d2 \u06a9\u06d2 \u0644\u06cc\u06d2\u060c \u062f\u0648\u06af\u0646\u0627 \u0645\u0636\u0628\u0648\u0637 \u062a\u062e\u0645\u06cc\u0646\u06c1 \u0644\u06af\u0627\u0646\u06d2 \u0648\u0627\u0644\u0627 \u0631\u062c\u062d\u0627\u0646 \u06a9\u06d2 \u0648\u0632\u0646 \u0627\u0648\u0631 \u0631\u062c\u0639\u062a \u06a9\u06cc \u0627\u06cc\u0688\u062c\u0633\u0679\u0645\u0646\u0679 \u06a9\u0648 \u06cc\u06a9\u062c\u0627 \u06a9\u0631\u062a\u0627 \u06c1\u06d2 \u0627\u0648\u0631 \u062c\u0628 \u062f\u0648 \u062c\u0632\u0648 \u0645\u0627\u0688\u0644\u0632 \u0645\u06cc\u06ba \u0633\u06d2 \u06a9\u0645 \u0627\u0632 \u06a9\u0645 \u0627\u06cc\u06a9 \u0635\u062d\u06cc\u062d \u0637\u0631\u06cc\u0642\u06d2 \u0633\u06d2 \u0645\u062a\u0639\u06cc\u0646 \u06a9\u06cc\u0627 \u062c\u0627\u062a\u0627 \u06c1\u06d2 \u062a\u0648 \u0645\u0633\u062a\u0642\u0644 \u0631\u06c1\u062a\u0627 \u06c1\u06d2\u06d4<\/p>\n<p>\u0627\u0633 \u0679\u06cc\u0648\u0679\u0648\u0631\u06cc\u0644 \u06a9\u06d2 \u0644\u06cc\u06d2 \u0633\u0627\u062a\u06be\u06cc \u0646\u0648\u0679 \u0628\u06a9 \u06cc\u06c1\u0627\u06ba \u06c1\u06d2\u06d4 \u0631\u06cc\u067e\u0648\u0632\u0679\u0631\u06cc \u06a9\u0648 \u06a9\u0644\u0648\u0646 \u06a9\u0631\u06cc\u06ba\u060c \u0627\u06cc\u06a9 \u0645\u0635\u0646\u0648\u0639\u06cc \u0688\u06cc\u0679\u0627\u0633\u06cc\u0679 \u0628\u0646\u0627\u0626\u06cc\u06ba\u060c \u0627\u0648\u0631 \u0627\u0633\u06d2 \u0686\u0644\u0627\u0626\u06cc\u06ba\u06d4 <code>psm_demo.ipynb<\/code> (\u06cc\u0627 <code>psm_demo.py<\/code>) \u0627\u0633 \u0679\u06cc\u0648\u0679\u0648\u0631\u06cc\u0644 \u0645\u06cc\u06ba \u06c1\u0631 \u06a9\u0648\u0688 \u0628\u0644\u0627\u06a9\u060c \u06c1\u0631 \u0646\u0645\u0628\u0631\u060c \u0627\u0648\u0631 \u06c1\u0631 \u062a\u0635\u0648\u06cc\u0631 \u06a9\u0648 \u062f\u0648\u0628\u0627\u0631\u06c1 \u067e\u06cc\u0634 \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u06d4<\/p>\n<p>\u062c\u0628 \u0679\u0648\u06af\u0644 \u06a9\u06d2 \u0628\u0639\u062f \u0627\u06cc\u06a9 AI \u0641\u0646\u06a9\u0634\u0646 \u0641\u0631\u0627\u06c1\u0645 \u06a9\u06cc\u0627 \u062c\u0627\u062a\u0627 \u06c1\u06d2\u060c \u062a\u0648 \u0633\u0627\u062f\u06c1 \u0627\u0646\u062a\u062e\u0627\u0628 \u06a9\u0627 \u0645\u0648\u0627\u0632\u0646\u06c1 \u0639\u0627\u0645 \u0637\u0648\u0631 \u067e\u0631 \u0627\u06cc\u06a9 \u0628\u0631\u0627 \u0646\u0645\u0628\u0631 \u06c1\u0648\u062a\u0627 \u06c1\u06d2\u06d4 \u067e\u0631\u0648\u067e\u06cc\u0646\u0633\u06cc\u0679\u06cc \u0633\u06a9\u0648\u0631 \u06a9\u06d2 \u0637\u0631\u06cc\u0642\u06d2 \"\u0627\u0633 \u0622\u0626\u0679\u0645 \u067e\u0631 \u06a9\u0644\u06a9 \u06a9\u0631\u0646\u06d2 \u0648\u0627\u0644\u06d2 \u0635\u0627\u0631\u0641\u06cc\u0646 \u0633\u06d2 \u0645\u0648\u0627\u0632\u0646\u06c1 \u06a9\u0631\u0646\u06d2 \u0648\u0627\u0644\u06d2 \u0635\u0627\u0631\u0641\u06cc\u0646\" \u06a9\u0627 \u062c\u0648\u0627\u0628\u06cc \u062d\u0642\u0627\u0626\u0642 \u0641\u0631\u0627\u06c1\u0645 \u06a9\u0631\u062a\u06d2 \u06c1\u06cc\u06ba\u060c \u062c\u0628 \u06a9\u06c1 \u0628\u0648\u0679\u0633\u0679\u0631\u06cc\u067e\u0646\u06af \u0627\u06cc\u06a9 \u0642\u0627\u0628\u0644 \u062f\u0641\u0627\u0639 \u0648\u0642\u0641\u06c1 \u0641\u0631\u0627\u06c1\u0645 \u06a9\u0631\u062a\u06cc \u06c1\u06d2 \u062c\u0628 \u0627\u0633\u0679\u06cc\u06a9 \u06c1\u0648\u0644\u0688\u0631\u0632 \u0633\u06d2 \u067e\u0648\u0686\u06be\u0627 \u062c\u0627\u062a\u0627 \u06c1\u06d2 \u06a9\u06c1 \u0648\u06c1 \u06a9\u062a\u0646\u06d2 \u067e\u0631\u0627\u0639\u062a\u0645\u0627\u062f \u06c1\u06cc\u06ba\u06d4<\/p>\n<\/p><\/div>\n","protected":false},"excerpt":{"rendered":"<p>LLM \u067e\u0631 \u0645\u0628\u0646\u06cc \u062e\u0635\u0648\u0635\u06cc\u0627\u062a \u067e\u0631 \u06a9\u0627\u0631\u0622\u0645\u062f \u0646\u062a\u06cc\u062c\u06c1 \u0686\u0644\u0627\u0646\u06d2 \u0648\u0627\u0644\u06cc \u06a9\u0648\u0626\u06cc \u0628\u06be\u06cc \u0645\u0635\u0646\u0648\u0639\u0627\u062a \u06a9\u06cc \u062a\u062c\u0631\u0628\u0627\u062a\u06cc \u0679\u06cc\u0645 \u0628\u0627\u0644\u0622\u062e\u0631 \u0627\u0633\u06cc \u062f\u06cc\u0648\u0627\u0631 \u0633\u06d2 \u0679\u06a9\u0631\u0627\u0626\u06d2 \u06af\u06cc\u06d4 \u062c\u0628 \u06a9\u0648\u0626\u06cc \u0635\u0627\u0631\u0641 &quot;AI \u0627\u0633\u0633\u0679\u0646\u0679 \u06a9\u0648 \u0622\u0632\u0645\u0627\u0626\u06cc\u06ba&#8221; \u067e\u0631 \u06a9\u0644\u06a9 \u06a9\u0631\u062a\u0627 \u06c1\u06d2\u060c \u062a\u0648 \u0631\u0636\u0627\u06a9\u0627\u0631 \u0628\u06d2 \u062a\u0631\u062a\u06cc\u0628 \u0646\u0645\u0648\u0646\u06c1 \u0646\u06c1\u06cc\u06ba \u06c1\u0648\u062a\u06d2 \u06c1\u06cc\u06ba\u06d4 \u0622\u067e \u06a9\u06d2 \u067e\u0631\u0648\u0688\u06a9\u0679 \u0646\u06d2 \u067e\u0686\u06be\u0644\u06cc \u0633\u06c1 \u0645\u0627\u06c1\u06cc \u0645\u06cc\u06ba \u0627\u06cc\u06a9 \u0646\u06cc\u0627 \u0627\u06cc\u062c\u0646\u0679 \u0645\u0648\u0688 \u0644\u0627\u0646\u0686 \u06a9\u06cc\u0627\u06d4 \u0627\u0633\u06d2 [&hellip;]<\/p>\n","protected":false},"author":7,"featured_media":23326,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"site-sidebar-layout":"default","site-content-layout":"","ast-site-content-layout":"default","site-content-style":"default","site-sidebar-style":"default","ast-global-header-display":"","ast-banner-title-visibility":"","ast-main-header-display":"","ast-hfb-above-header-display":"","ast-hfb-below-header-display":"","ast-hfb-mobile-header-display":"","site-post-title":"","ast-breadcrumbs-content":"","ast-featured-img":"","footer-sml-layout":"","ast-disable-related-posts":"","theme-transparent-header-meta":"","adv-header-id-meta":"","stick-header-meta":"","header-above-stick-meta":"","header-main-stick-meta":"","header-below-stick-meta":"","astra-migrate-meta-layouts":"default","ast-page-background-enabled":"default","ast-page-background-meta":{"desktop":{"background-color":"var(--ast-global-color-5)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"tablet":{"background-color":"","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"mobile":{"background-color":"","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""}},"ast-content-background-meta":{"desktop":{"background-color":"var(--ast-global-color-4)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"tablet":{"background-color":"var(--ast-global-color-4)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""},"mobile":{"background-color":"var(--ast-global-color-4)","background-image":"","background-repeat":"repeat","background-position":"center center","background-size":"auto","background-attachment":"scroll","background-type":"","background-media":"","overlay-type":"","overlay-color":"","overlay-opacity":"","overlay-gradient":""}},"footnotes":""},"categories":[1],"tags":[],"class_list":["post-23325","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-blog"],"_links":{"self":[{"href":"https:\/\/umang.pk\/ur\/wp-json\/wp\/v2\/posts\/23325","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/umang.pk\/ur\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/umang.pk\/ur\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/umang.pk\/ur\/wp-json\/wp\/v2\/users\/7"}],"replies":[{"embeddable":true,"href":"https:\/\/umang.pk\/ur\/wp-json\/wp\/v2\/comments?post=23325"}],"version-history":[{"count":1,"href":"https:\/\/umang.pk\/ur\/wp-json\/wp\/v2\/posts\/23325\/revisions"}],"predecessor-version":[{"id":23327,"href":"https:\/\/umang.pk\/ur\/wp-json\/wp\/v2\/posts\/23325\/revisions\/23327"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/umang.pk\/ur\/wp-json\/wp\/v2\/media\/23326"}],"wp:attachment":[{"href":"https:\/\/umang.pk\/ur\/wp-json\/wp\/v2\/media?parent=23325"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/umang.pk\/ur\/wp-json\/wp\/v2\/categories?post=23325"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/umang.pk\/ur\/wp-json\/wp\/v2\/tags?post=23325"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}