ڈیٹا پائپ لائنز میں سکیما ڈرفٹ اور سیمنٹک ڈرفٹ

جب کسی کالم کو سورس ڈیٹا بیس یا ڈیٹاسیٹ سے ہٹا دیا جاتا ہے، تو اگلی پائپ لائن رن عام طور پر ناکام ہوجاتی ہے، جس سے مسئلہ کا پتہ لگانا آسان ہوجاتا ہے۔ تاہم، اگر فیلڈز ایک ہی نام اور ڈیٹا کی قسم رکھتے ہیں لیکن ان کے معنی بدل جاتے ہیں (جسے سیمنٹک ڈرفٹ کہا جاتا ہے)، پائپ لائن معمول کے مطابق چلتی رہے گی، جس سے مسئلہ ناقابل توجہ ہوگا۔

ایسا اس لیے ہوتا ہے کیونکہ اسکیما ڈیٹا کی ساخت کو بیان کرتا ہے بجائے اس کے کہ اقدار اصل میں کیا نمائندگی کرتی ہیں۔ یہ آپ کو بتاتا ہے کہ کون سے فیلڈز موجود ہیں، ان کے ڈیٹا کی قسم، اور آیا ان میں کالعدم اقدار شامل ہو سکتی ہیں، لیکن یہ آپ کو یہ نہیں بتاتا ہے کہ آیا ٹائم اسٹیمپ UTC کا استعمال کرتا ہے، کیا پائیداری کا سکور 10 سے 100 تک ہونا چاہیے، یا کیا خالی سٹرنگ کا مطلب null سے کچھ مختلف ہے۔

نتیجے کے طور پر، جب کہ زیادہ تر پائپ لائن چیک واضح غلطیوں کو پکڑنے کے لیے بنائے گئے ہیں، جیسے کہ کالم غائب یا ڈیٹا کی غلط قسمیں، وہ اکثر کم واضح مسائل کا پتہ لگانے میں ناکام رہتے ہیں جہاں ڈیٹا درست معلوم ہوتا ہے لیکن اس کا معنی یا قدر بدل گیا ہے۔

میں یہ دیکھنا چاہتا تھا کہ یہ حد عملی طور پر کس حد تک پہنچے گی، اس لیے میں نے ایک چھوٹی سی لیب بنائی جہاں میں نے پائپ لائن کی نو قسم کی خرابیاں متعارف کروائیں اور ہر قسم کے لیے چار ڈیٹیکٹرز کا تجربہ کیا۔ اس آرٹیکل میں، ہم دیکھتے ہیں کہ ہر ڈٹیکٹر کیا پکڑتا ہے اور کیا ہوتا ہے جب تبدیلیوں کا دھیان نہیں جاتا اور ڈیٹا کرپٹ ہوجاتا ہے۔

آپ یہاں کوڈ تلاش کر سکتے ہیں اور چند کمانڈز کا استعمال کرتے ہوئے تجربہ کو دوبارہ پیش کر سکتے ہیں۔

ہم کیا احاطہ کریں گے:

شرطیں

اٹھنے اور مشقوں کے ساتھ خود چلانے کے لیے، آپ کو ضرورت ہو گی:

  • Python 3.10 یا اس سے زیادہPython کوڈ پڑھنے میں بنیادی سکون
  • فیڈانٹک v2کے ساتھ نصب ہے۔ pip install pydantic
  • خوش ہو جاؤایک ذخیرہ کلون کرنے کے لیے
  • ٹرمینلسکرپٹ چلانے کے لیے
  • بنیادی ایس کیو ایلاس طرح GROUP BY اور WHERE ... IS NULL. SQLite Python کے ساتھ آتا ہے، لہذا انسٹال کرنے کے لیے کوئی اضافی چیز نہیں ہے۔
  • ڈیٹا پائپ لائن کیا کرتی ہے اس کا عمومی خیال: کسی ماخذ سے ڈیٹا پڑھیں، اسے تبدیل کریں، اور اسے کہیں اور لوڈ کریں۔

لیب کیسے کام کرتی ہے۔

میں نے جان بوجھ کر پائپ لائن کو سادہ رکھا۔ JSONL فائل سے 1,000 گیم انوینٹری ریکارڈ پڑھیں اور نیسٹڈ ریکارڈز کو فلیٹ کریں۔ stats اور attributes آبجیکٹ بنانے اور ڈیٹا کو SQLite میں لوڈ کرنے کے بعد، ہم چھ میٹرکس کا حساب لگاتے ہیں: ریکارڈز کی کل تعداد، غیر لیس آئٹمز، نایاب اشیاء کی تعداد، زمرہ کے لحاظ سے اوسط حملہ، روزانہ حاصل ہونے والی اشیاء، اور اوسط پائیداری۔ ہم نے دفاعی جانچ پڑتال کو بھی چھوڑ دیا ہے تاکہ ہر تبدیلی پائپ لائن کو اسی طرح متاثر کر سکتی ہے جس طرح یہ اصل پائپ لائن کو متاثر کر سکتی ہے، یہ فرض کرتے ہوئے کہ کسی کا ماخذ ڈیٹا قابل اعتماد ہے۔

ہر بہاؤ ایک ریکارڈ لیتا ہے اور ایک تعییناتی فنکشن کا اطلاق کرتا ہے جو بدلے ہوئے ریکارڈ کو لوٹاتا ہے، اس لیے تمام نتائج دہرائے جا سکتے ہیں۔ مثال کے طور پر، ٹائم زون ڈرفٹ ہر UTC ٹائم اسٹیمپ کو UTC+4 کے اصل اوقات میں شفٹ کرتا ہے اور آفسیٹ کو رد کر دیتا ہے۔

def local_time_without_offset(row):
    timestamp = row["acquired_at"]
    if not timestamp.endswith("Z"):
        raise ValueError(f"Expected UTC timestamp ending in Z, got: {timestamp!r}")

    utc_time = datetime.fromisoformat(timestamp.removesuffix("Z") + "+00:00")
    local_time = utc_time + timedelta(hours=4)
    row["acquired_at"] = local_time.replace(tzinfo=None).isoformat()
    return row

ہر ڈرفٹ کو لاگو کرنے کے بعد، ہم نے پائپ لائن چلائی اور اس کے آؤٹ پٹ کو علیحدہ SQLite ڈیٹا بیس میں محفوظ کیا۔ پھر ہم نے ہر قطار اور کالم میں فرق دیکھنے کے لیے اس کا موازنہ اصل ڈیٹا سے بنائے گئے ڈیٹا بیس سے کیا۔ اس قدم نے ہمیں اس بات کی توثیق کرنے میں مدد کی کہ پائپ لائن نے صحیح نتائج پیدا کیے ہیں، بجائے اس کے کہ اس بات کی تصدیق کی جائے کہ پائپ لائن کامیابی سے چلی ہے۔

موازنہ کے نتیجے میں ہر تبدیلی چار میں سے ایک زمرے میں آتی ہے:

  • اونچی آواز میں ناکام (خرابی اس فیلڈ کا نام دیتی ہے جسے ڈرفٹ نے چھوا)
  • یہ مبہم طور پر ناکام ہو گیا (پائپ لائن کریش ہو گئی، لیکن خرابی میں وجہ بیان نہیں کی گئی)۔
  • پاس شدہ خراب (مکمل لیکن بیس لائن سے مختلف)
  • یا صاف ستھرا گزر گیا (ڈیٹا بیس بیس لائن سے بالکل مماثل ہے)۔

میں نے چار ڈیٹیکٹرز کا استعمال کرتے ہوئے ہر بڑھے ہوئے ڈھیر کا تجربہ کیا۔ ہر ڈٹیکٹر ایک ہی ساخت کی پیروی کرتا ہے۔ یہ بیس فائل اور آنے والی فائل کو بطور ان پٹ لیتا ہے، تبدیلیوں کی جانچ کرتا ہے، اور اس پیغام کے ساتھ واپس آتا ہے کہ آیا کوئی مسئلہ پایا گیا ہے۔ یہ مشترکہ انٹرفیس سیٹ اپ کو آسان بناتا ہے اور ڈیٹیکٹرز کو شامل کرنا آسان بناتا ہے۔

چار ڈٹیکٹر ہیں:

  1. اسکیما سنیپ شاٹ اختلافات: اسکیما کی تبدیلیوں کی شناخت کے لیے آنے والی فائلوں میں فیلڈز اور ڈیٹا کی اقسام کا بیس لائن سے موازنہ کریں۔
  2. لوز پیڈینٹک ماڈل: پہلے سے طے شدہ قواعد کے سیٹ کی بنیاد پر ڈیٹا کی توثیق اور پابندی کریں۔ rarity پانچ معروف اقدار پر تبادلہ خیال کیا گیا ہے۔
  3. سخت پیڈینٹک ماڈل: اضافی توثیق کے قواعد کا اطلاق کریں۔ اس کی بھی حد ہوتی ہے۔ rarity پانچ معلوم اقدار کے لیے ٹائم زون سے آگاہ ٹائم اسٹیمپ، رکاوٹوں کی ضرورت ہوتی ہے۔ equipped_slot معلوم اقدار کو 5 تک بڑھائیں اور نامعلوم ٹاپ لیول فیلڈز کو مسترد کریں۔ اس سے مراد ماڈل کے توثیق کے اصول ہیں، Pydantic کے قواعد نہیں۔ strict=True طریقہ
  4. شماریاتی پروفائل: آنے والے ڈیٹا کے شماریاتی پروفائل کا بیس لائن سے موازنہ کریں۔ ہر فیلڈ کے لیے اوسط، زمرہ کا حصہ، اور صفر کی شرح کو چیک کریں تاکہ ان تبدیلیوں کی نشاندہی کی جا سکے جو دوسرے ڈیٹیکٹرز سے محروم ہو سکتے ہیں۔

ڈیٹا فارمیٹ اور معنی کو سمجھیں۔

اس دستاویز کا بقیہ حصہ درج ذیل دو اصطلاحات استعمال کرتا ہے: ڈیٹا فارمیٹ اور ڈیٹا کا مطلب. ڈیٹا کی شکل ڈیٹاسیٹ میں ایک فیلڈ، اس کے راستے، اور اس میں موجود اقدار کی اقسام کی نمائندگی کرتی ہے۔ اسکیما ڈٹیکٹر ہر فیلڈ اور اس فیلڈ میں پائی جانے والی قسم کی جانچ کرکے اس معلومات کو حاصل کرتے ہیں۔

def walk(obj, prefix, schema):
    for key, value in obj.items():
        field = f"{prefix}{key}"
        if isinstance(value, dict):
            walk(value, field + ".", schema)
        else:
            schema.setdefault(field, set()).add(type(value).__name__)

بیس لائن کے لیے، درج ذیل کو واپس کیا جاتا ہے: acquired_at: {'str'}, equipped_slot: {'NoneType', 'str'}اور attributes.durability: {'int'}.

تاہم، ڈیٹا سیمنٹکس میں لغت سے باہر رہ جانے والی ہر چیز شامل ہوتی ہے، بشمول قدر کی اکائی اور ٹائم زون، متوقع حد، درست سٹرنگز کا سیٹ، اور null قدر کس چیز کی نمائندگی کرتی ہے۔ اس سے پتہ لگانے والوں کی ان حدود کو بے نقاب کیا جاتا ہے جو صرف ڈیٹا کی شکل کو دیکھتے ہیں۔ چونکہ اسکیما ڈٹیکٹر اپنے نتائج کو فیلڈ پاتھ اور ڈیٹا کی اقسام کی ڈکشنریوں پر مبنی بناتے ہیں، اس لیے وہ ڈیٹاسیٹس کے درمیان فرق نہیں کر سکتے جو ایک ہی لغت تیار کرتے ہیں لیکن مختلف معانی کے ساتھ اقدار پر مشتمل ہوتے ہیں۔

نو میں سے تین ڈرافٹ (ٹائم زون کی تبدیلیاں، نئی گنتی کی قدریں، اور پائیداری کی توسیع) نے اس لغت کو کوئی تبدیلی نہیں کی۔ نتیجے کے طور پر، سکیما ڈیٹیکٹر نے ان میں سے کسی کو بھی جھنڈا نہیں لگایا۔

ڈیٹیکٹر مختلف سطحوں پر ڈیٹا چیک کر سکتے ہیں۔

  1. ظاہری شکل: موجود فیلڈز کی اقسام اور ان میں موجود اقدار کو چیک کرتا ہے۔
  2. قدر کی پابندیاں: یقینی بنائیں کہ انفرادی اقدار مخصوص اصولوں پر عمل کرتی ہیں، جیسے ٹائم زون کی معلومات کی ضرورت یا کسی فیلڈ کو معلوم اقدار کے سیٹ تک محدود کرنا۔
  3. تقسیم: اعداد و شمار کا موازنہ کریں جیسے کہ اوسط، زمرہ کا حصہ، اور صفر کی شرح ایک بنیادی لائن سے۔ یہ آپ کو اپنے ڈیٹا میں تبدیلیاں دیکھنے کی اجازت دیتا ہے بغیر اس کی وضاحت کیے کہ ہر قدر کا کیا مطلب ہے۔
  4. مطلب: معلوم کریں کہ آپ کا ڈیٹا اصل میں کیا نمائندگی کرتا ہے، بشمول یونٹس، ٹائم زون کے قواعد، اور کالعدم اقدار کا کیا مطلب ہے۔ ان اصولوں کے لیے ڈیٹا کے بارے میں معلومات کی ضرورت ہوتی ہے اور یہ ان لوگوں یا سسٹمز سے آنا چاہیے جو ڈیٹا تیار کرتے اور استعمال کرتے ہیں۔

چار ڈٹیکٹر پہلی تین سطحوں کا احاطہ کرتے ہیں۔ چوتھی سطح اس سے آگے ہے جو یہ ڈیٹیکٹر قائم کر سکتے ہیں کیونکہ ڈیٹا سیٹ ساخت، انفرادی اقدار اور شماریاتی تقسیم کے لیے چیک پاس کر سکتا ہے جب کہ ان کے معنی بدل جاتے ہیں۔ ڈیٹا کا کیا مطلب ہے یہ جاننے کے لیے سیاق و سباق کی ضرورت ہوتی ہے جو آپ اکیلے اقدار سے حاصل نہیں کر سکتے۔

نتیجہ میٹرکس

نتیجے میں آنے والا میٹرکس خلاصہ کرتا ہے کہ چار ڈٹیکٹروں میں سے ہر ایک نے نو بڑھے ہوئے منظرناموں کا کیا جواب دیا۔

for drift in ALL_DRIFTS:
    dst = ROOT / "data" / "drifted" / f"{drift.name}.jsonl"
    drifted_db = DB_DIR / f"{drift.name}.db"

    apply_drift(drift, BASELINE, dst)
    result = run_pipeline(dst, db_path=str(drifted_db))
    outcome = classify(result, baseline_db, drifted_db, drift.fields)

    detected = {
        det.name: det.check(str(BASELINE), str(dst))["detected"]
        for det in DETECTORS
    }

    rows.append((drift, outcome, detected, result.get("error")))

یہ دکھاتا ہے کہ کون سی تبدیلیاں کیپچر کی گئیں، کون سی تبدیلیاں چھوٹ گئیں، اور آیا پائپ لائن ناکام ہوئی یا خراب ڈیٹا کے ساتھ جاری رہی۔

رجحان کیا بدل گیا ہے پائپ لائن کے نتائج صف خراب ہو گئی ہے۔ سکیما اختلافات فیڈانٹک (ڈھیلا) پیڈینٹک (سخت) شماریاتی پروفائل
rename_rarity rarity نام بدل گیا۔ بری طرح ناکام قابل اطلاق نہیں۔ ہاں ہاں ہاں نہیں
drop_equipped_slot equipped_slot ہٹا دیا بری طرح ناکام قابل اطلاق نہیں۔ ہاں ہاں ہاں نہیں
stats_become_list stats آبجیکٹ اب صفیں ہیں۔ الجھن میں ناکام قابل اطلاق نہیں۔ ہاں ہاں ہاں نہیں
add_column نیا guild میدان صاف گزر گیا 0 ہاں نہیں ہاں نہیں
type_change_level level int ایک تار بن جاتا ہے۔ صاف گزر گیا 0 ہاں (صرف) نہیں نہیں نہیں
empty_equipped_slot ایک null سلاٹ بن جاتا ہے "" کرپشن کی وجہ سے پاس ہو گئے۔ 205 ہاں نہیں ہاں ہاں
new_enum_value 20 قطاریں دوبارہ لیبل کی گئیں۔ mythic کرپشن کی وجہ سے پاس ہو گئے۔ 20 نہیں ہاں ہاں نہیں
local_time_without_offset ٹائم اسٹیمپس کو UTC+4 میں منتقل کر دیا گیا ہے اور آفسیٹس کو ہٹا دیا گیا ہے۔ کرپشن کی وجہ سے پاس ہو گئے۔ 1,000 نہیں نہیں ہاں (صرف) نہیں
durability_scaled 10 گنا زیادہ پائیدار کرپشن کی وجہ سے پاس ہو گئے۔ 1,000 نہیں نہیں نہیں ہاں (صرف)
کل کیچ 6/9 4/9 7/9 2/9

"ہاں (صرف)” کا مطلب ہے کہ پتہ لگانے والا واحد ہے جس نے تبدیلی کو اٹھایا۔ "n/a” کا مطلب ہے کہ پائپ لائن کریش ہونے کی وجہ سے قطار کو لوڈ نہیں کیا گیا تھا۔

پائپ لائن کی خرابی

رجحان برانڈ غلطی
rename_rarity بری طرح ناکام KeyError: 'rarity'
drop_equipped_slot بری طرح ناکام KeyError: 'equipped_slot'
stats_become_list الجھن میں ناکام TypeError: list indices must be integers or slices, not str

سخت ماڈل نے سب سے زیادہ تبدیلیوں کا پتہ لگایا (9 میں سے 7)، اس کے بعد اسکیما فرق (6)، ڈھیلا ماڈل (4)، اور شماریاتی پروفائلز (2)۔

تاہم، ہر ڈٹیکٹر نے کچھ تبدیلیاں کیں۔ صرف ایک ڈیٹیکٹر میں تین بہاؤ کا پتہ چلا۔ سخت ماڈل نے ٹائم زون کی تبدیلیوں کو کیپچر کیا، اور اسکیما کے فرق نے ٹائم زون کی تبدیلیوں کو پکڑ لیا۔ level بدلتے ہوئے شماریاتی پروفائل نے پائیداری کی پیمائش کو پکڑ لیا۔

ڈیٹا فارمیٹ میں تبدیلیوں کا پتہ لگائیں۔

نو میں سے پانچ نے ڈیٹا کا ڈھانچہ بدل دیا۔ اس میں نام بدلنا بھی شامل ہے۔ rarityختم equipped_slotاضافہ guild فیلڈ، تبدیل کریں stats صفوں کا استعمال کرتے ہوئے اشیاء میں ترمیم کرنا level انٹیجر سے سٹرنگ تک۔

سکیما اختلافات نے پانچوں تبدیلیوں کا پتہ لگایا۔ سخت ماڈل نے 4 کا پتہ لگایا، اور ڈھیلے ماڈل نے 3 کا پتہ لگایا۔

پائپ لائن تین بہاؤ پر ناکام ہوگئی، لیکن کچھ غلطی کے پیغامات دوسروں کے مقابلے میں زیادہ کارآمد تھے۔ نام تبدیل کریں rarity وجہ KeyError: 'rarity'یہ آپ کو بالکل بتائے گا کہ کون سے فیلڈز غائب ہیں۔ شفٹ stats کے ساتھ [attack, defense, speed] وجہ TypeError: list indices must be integers or slices, not str. یہ پیغام غلطی کی قسم کی وضاحت کرتا ہے لیکن اس میں شامل فیلڈز کی شناخت نہیں کرتا ہے۔ وجہ تلاش کرنے کے لیے، قاری کو تبادلوں کے کوڈ کے ذریعے غلطی کا سراغ لگانا چاہیے۔

درجہ بندی کرنے والا پہلی خرابی کے لیے ایک بڑا لیبل اور دوسری غلطی پر ایک مبہم لیبل تفویض کرتا ہے۔ یہ فرق چیک کرکے بنائیں کہ آیا غلطی کے پیغام میں یہ بتایا گیا ہے کہ کون سے فیلڈز بڑھے سے متاثر ہوئے ہیں۔

if result["status"] == "error":
    error_text = result["error"].lower()
    names_cause = any(f.lower() in error_text for f in drift_fields)
    return {
        "label": "failed_loudly" if names_cause else "failed_confusingly",
        "rows_affected": None,
        "loss_cells": 0,
        "corrupt_cells": 0,
        "extra_rows": 0,
    }

Pydantic ڈیٹیکٹر کو اسی فائل پر چلایا اور رپورٹ کیا گیا۔ stats: Input should be a valid dictionaryبراہ راست مسائل والے شعبوں کی نشاندہی کریں۔

کہ level شفٹ ایک اور طریقہ دکھاتی ہے جس میں ساختی تبدیلیوں کا پتہ نہیں چل سکتا۔ Pydantic کے دونوں ماڈلز نے اس کی اجازت دی کیونکہ Pydantic کا ڈیفالٹ lax mode تاروں کو تبدیل کرتا ہے۔ "42" عدد کے ساتھ 42. پائپ لائن نے اس کی بھی اجازت دی کیونکہ SQLite کی INTEGEER وابستگی متن کو تبدیل کرتی ہے جو ایک عدد کی طرح نظر آتا ہے جب ایک INTEGEر کالم میں داخل کیا جاتا ہے۔ نتیجے کے طور پر، ڈیٹا بیس بیس لائن سے مماثل ہے اور درجہ بندی کرنے والے کو رن کا لیبل لگا دیا گیا ہے۔ passed_clean.

صرف اسکیما کے فرق سے ہی تبدیلیوں کا پتہ چلا کیونکہ تبادلوں سے پہلے خام قدروں کی اقسام کی جانچ کی جاتی ہے۔ یہ جبر کے بعد ڈیٹا کی تصدیق کی حدود کو ظاہر کرتا ہے۔ ایک بار ایک قدر تبدیل ہونے کے بعد، اصل قسم کی تبدیلی اب نظر نہیں آتی۔ اس معاملے میں، سب سے آسان ڈٹیکٹر نے ان تبدیلیوں کو پکڑا ہے جن کی دونوں پیڈینٹک ماڈل اجازت دیتے ہیں۔

تجربات نے یہ بھی ظاہر کیا کہ تمام پتہ چلنے والی تبدیلیاں مسائل کا باعث نہیں بنتی ہیں۔ شامل کرنا guild اور تبدیلی level انٹیجرز سے لے کر سٹرنگز تک ہر چیز نے الرٹ کو متحرک کیا۔ سکیما کے اختلافات نے دونوں تبدیلیوں کا پتہ لگایا، جبکہ سخت ماڈل نے صرف اس کے اضافے کا پتہ لگایا: guild. تاہم، چونکہ لوڈ کا مرحلہ صرف متوقع فیلڈز کو پڑھتا ہے، اس لیے کوئی بھی تبدیلی قطار کو نہیں توڑے گی۔

یہ ان تبدیلیوں کے درمیان فرق کرنے کی ضرورت پر روشنی ڈالتا ہے جن کے لیے پائپ لائن کو روکنے کی ضرورت ہوتی ہے اور ان تبدیلیوں کو جو صرف لاگ ان کرنے کی ضرورت ہوتی ہے۔ اگر ڈیٹیکٹر بہت زیادہ بے ضرر تبدیلیاں دکھاتا ہے، تو صارفین انتباہات کو نظر انداز کرنا شروع کر سکتے ہیں۔

سیمنٹک تبدیلی: غلط نمبر کس طرح نظر آتے ہیں۔

بقیہ drifts نے کسی بھی فیلڈ یا ڈیٹا کی قسموں کو تبدیل نہیں کیا۔ انہوں نے اس چیز کو تبدیل کیا جو قدر کی نمائندگی کرتا ہے۔ ان تبدیلیوں کا پتہ لگانا مشکل تھا، لیکن نتائج پر ان کا حقیقی اثر پڑا۔ نیچے دی گئی جدول ہر بہاؤ کے اثرات کو ظاہر کرتی ہے اور آیا یہ پائپ لائن کے آؤٹ پٹ میں ظاہر ہوتا ہے۔

رجحان صف خراب ہو گئی ہے۔ میٹرکس منتقل ہو گئے۔ پہلے بعد میں
ٹائم اسٹیمپس کو UTC+4 میں منتقل کر دیا گیا ہے اور آفسیٹس کو ہٹا دیا گیا ہے۔ 1,000 فی دن حاصل کردہ اشیاء جنوری 2:9، جنوری 3:3 جنوری 2:6، جنوری 3:6
null سلاٹس کو اس سے تبدیل کر دیا گیا ہے: "" 205 غیر لیس اشیاء کی تعداد 205 0
نیا mythic 20 قطاروں میں نایاب 20 نایاب کے لحاظ سے اشیاء کی تعداد عام: 619 عمومی: 609، افسانوی: 20
10 گنا زیادہ پائیدار 1,000 اوسط استحکام 54.78 547.85

سب سے اہم چیز جو میں نے محسوس کی وہ یہ ہے کہ زیادہ تر نمبر اب بھی نارمل نظر آتے ہیں۔ مثال کے طور پر، ٹائم اسٹیمپ کو 4 گھنٹے آگے منتقل کرنے سے کچھ آئٹمز اگلی کیلنڈر کی تاریخ میں منتقل ہو جاتی ہیں۔ چار گھنٹے دن کا چھٹا حصہ ہوتا ہے، لہٰذا تقریباً چھ میں سے ایک آئٹم دوسرے دن منتقل ہو جائے گا۔ ہر روز، کچھ آئٹمز اگلے دن غائب ہو جاتے ہیں، لیکن آپ کو پچھلے دن کی چیزیں بھی مل جاتی ہیں۔

آئٹمز کی کل تعداد 1,000 پر باقی ہے اور روزانہ کی گنتی مجموعی طور پر بہت کم تبدیل ہوتی ہے۔ اوسطا تقریباً 5.5 آئٹمز فی دن ہے، اور یہ تعداد پہلے سے ہی 2 سے 3 آئٹمز سے مختلف ہوتی ہے۔ لہذا 9 آئٹمز سے 6 آئٹمز میں کمی آسانی سے ڈیٹا کے مسئلے کی بجائے ایک عام تغیر کی طرح لگ سکتی ہے۔

پائپ لائن میں قطاروں کی چیک کی کل تعداد اب بھی گزر گئی ہے کیونکہ کوئی آئٹم ضائع نہیں ہوا تھا۔ ٹیسٹ جو صرف رقوم کا موازنہ کرتے ہیں وہ بھی مسائل سے محروم ہو سکتے ہیں۔ ٹوٹل درست ہیں، لیکن اب کچھ اشیاء کا حساب غلط تاریخوں کے ساتھ کیا گیا ہے۔

ہم نے یہ بھی دیکھا کہ پائپ لائن مسائل کی اطلاع کیوں نہیں دے رہی ہے۔ اصل ٹائم اسٹیمپ، 2026-01-02T22:30:00+00:00میں تبدیل کر دیا گیا، 2026-01-03T02:30:00 بڑھنے کے بعد۔ نئے ٹائم اسٹیمپ میں کوئی ٹائم زون آفسیٹ نہیں ہے، لہذا datetime.fromisoformat یہ ایک بولی ڈیٹ ٹائم کے طور پر پڑھتا ہے۔ کہ isoformat() طریقہ پھر بغیر آفسیٹ کے واپس لکھتا ہے۔ SQLite DATE() اس آف سیٹ سے پاک ٹائم اسٹیمپ کو UTC سمجھا جاتا ہے، آئٹم کو 2 جنوری کی بجائے 3 جنوری کو رکھا جاتا ہے۔

پائپ لائن نے بغیر کسی غلطی کے ٹائم اسٹیمپ پر کارروائی کی، لیکن آئٹم کو غلط تاریخ پر تفویض کر دیا۔ اگر پروڈیوسر نے لکھا 2026-01-03T02:30:00+04:00 اس کے بجائے، ٹائم اسٹیمپ اسی لمحے کی نمائندگی کرتا ہے جو اصل ہے۔ SQLite نے اسے UTC میں تبدیل کر دیا ہو گا اور اندراج کا حساب ابھی بھی 2 جنوری کو ہو گا۔

مسئلہ یہ ہے کہ آپ ٹائم زون آفسیٹ سے محروم ہیں۔ اس کے بغیر، پائپ لائن کو یہ معلوم نہیں ہوگا کہ ٹائم اسٹیمپ کس ٹائم زون کی نمائندگی کرتا ہے، لہذا یہ وقت کو UTC سمجھے گی۔

خالی سٹرنگ بڑھنے سے ایک اور مسئلہ پیدا ہوا۔ شفٹ null کے ساتھ "" چونکہ ہم فیلڈ کو سٹرنگ کے طور پر رکھتے ہیں، اس لیے صرف ایک چیک کیا جاتا ہے تاکہ اس بات کو یقینی بنایا جا سکے کہ ڈیٹا ٹائپ اب بھی پاس ہے۔

اسکیما فرق نے تبدیلی پکڑی کیونکہ اس قسم کو سیٹ کیا گیا تھا: equipped_slot سے تبدیل کر دیا گیا۔ {'NoneType', 'str'} کو {'str'}. پائپ لائن میں کوئی غلطی نہیں ہوئی، لیکن استفسار WHERE equipped_slot IS NULL کوئی قطار واپس نہیں کی گئی۔ ڈیش بورڈ 205 کے بجائے 0 غیر لیس آئٹمز دکھاتا ہے، جس سے ایسا ظاہر ہوتا ہے جیسے تمام کھلاڑی ان سے لیس ہیں۔

شماریاتی پروفائل ظاہر کرتا ہے کہ کیا ہوا۔ equipped_slot: null rate 20% -> 0%; equipped_slot="": share 0% -> 20%. خالی قدروں کو اصل قدر کے بجائے خالی سٹرنگ سے بدل دیا گیا ہے۔

نیا mythic اسی طرح کی وجوہات کی بناء پر نایاب نے بغیر کسی غلطی کے پائپ لائن کو پاس کیا۔ بڑھنے کی وجہ سے، 20 ریکارڈز کو تبدیل کر دیا گیا: mythic: 10 سے common (619~609)، 9 سے uncommon (236 تا 227) اور 1 rare (98-97)۔ استفسار GROUP BY rarity نئی قیمت بغیر کسی غلطی کے قبول کر لی گئی۔ ایک نئی قطار صرف اس کے لیے بنائی گئی تھی: mythic مختلف نایاب چیزوں کی تعداد کو کم کیا۔ ڈیش بورڈ جو صرف 5 اصل نایاب چیزوں کو جانتا ہے پوشیدہ ہوسکتا ہے۔ mythic یا ان کو "دیگر” میں گروپ کریں اس پر منحصر ہے کہ وہ نامعلوم اقدار کو کیسے ہینڈل کرتے ہیں۔

پائیداری کی تبدیلیاں اس بات کی واضح مثال ہیں کہ ایک ہی ڈھانچے کو برقرار رکھتے ہوئے ڈیٹا کے مختلف معنی کیسے ہوسکتے ہیں۔ اصل اعداد و شمار میں، استحکام 10 سے 100 تک ہے، لہذا 547.85 کی اوسط واضح طور پر غلط ہے. تاہم، فیلڈز نے ایک ہی نام اور عددی قسم کو رکھا، اس لیے اسکیما ڈیف نے تبدیلی کا پتہ نہیں لگایا۔

پائپ لائن نے بھی قیمت کو قبول کر لیا کیونکہ متوقع حد کے لیے کوئی تصدیق شدہ قدر نہیں تھی۔ صرف ایک تلوار باز جو جانتا ہے کہ استحکام 10 اور 100 کے درمیان ہونا چاہئے اس مسئلے کو دیکھ سکتا ہے۔ اس کی جانچ کرنے کے لیے، ہم نے سخت Pydantic ماڈل میں حدود کی رکاوٹیں شامل کیں۔

class RangedAttributes(Attributes):
    durability: int = Field(ge=10, le=100)


class StrictWithRange(StrictItem):
    attributes: RangedAttributes


flagged = 0
for row in drifted:
    try:
        StrictWithRange(**row)
    except ValidationError:
        flagged += 1

اس کا مطلب ہے کہ 1,000 میں سے 985 بڑھے ہوئے ریکارڈ پکڑے گئے تھے۔ بقیہ 15 کی اصل میں پائیداری کی قیمت 10 تھی، لیکن جب 10 کی توسیع کی گئی تو یہ 100 ہو گئی۔ چونکہ 100 اب بھی قابل قبول حد کے اندر ہے، اس لیے ریکارڈ کی توثیق ہو گئی۔

نقصان بمقابلہ مرئیت

چار بہاؤ کے نتیجے میں ٹوٹی ہوئی قطاریں 1,000, 205, 20, اور 1,000 ہوئیں، لیکن ہر بڑھے نے پائپ لائن کے حساب سے چھ میٹرکس میں سے صرف ایک کو تبدیل کیا۔ باقی پانچ اشاریے وہی رہے۔ پائپ لائن کی نگرانی کرنے والا کوئی بھی شخص اس وقت تک نقصان سے محروم رہ سکتا ہے جب تک کہ وہ یہ نہ جانتا ہو کہ کون سے میٹرکس متاثر ہوئے ہیں اور ان کی متوقع قدریں کیا ہیں۔

کلیدی تلاش یہ ہے کہ ڈیٹا متعدد قطاروں میں تبدیل ہو سکتا ہے ان نتائج کو تبدیل کیے بغیر جن کی لوگ نگرانی کرتے ہیں۔ لوگوں کو مسائل صرف اس وقت نظر آتے ہیں جب وہ دیکھتے ہیں کہ بڑھنے سے کون سے میٹرکس متاثر ہو رہے ہیں۔

ڈیٹا کے معنی میں تبدیلیوں کا پتہ لگائیں۔

اعداد و شمار کے ڈھانچے سے باہر کی تبدیلیوں کو پکڑنے کے لیے، آپ کو ایسے چیکس کی ضرورت ہے جو خود اقدار کی جانچ کریں۔

ایک سخت ماڈل چیک کرتا ہے کہ آیا کوئی قدر کچھ اصولوں کی پیروی کرتی ہے۔ ہم نے ٹائم زون کے بہاؤ کو پکڑ لیا۔ AwareDatetime ٹائم زون آفسیٹ کے بغیر ٹائم اسٹیمپ کو مسترد کریں (acquired_at: Input should have timezone info)۔ اس نے خالی سٹرنگ سلاٹس کو بھی پکڑ لیا۔ Literal اصول صرف پانچ معلوم سلاٹ ناموں کو قبول اور مسترد کرتا ہے۔ "".

ڈھیلے ماڈلز میں کم پابندیاں ہیں۔ اس کے لیے کسی بھی تار کو قبول کرتا ہے: acquired_atبے ترتیب تار یا None کے لیے equipped_slotاور نامعلوم فیلڈز۔ نتیجے کے طور پر، ٹائم زون کی تبدیلی، خالی سٹرنگ سلاٹ، اور نئے کالم غائب ہیں۔

سخت ماڈل میں پائیداری کی تبدیلیوں سے بھی محروم رہا کیونکہ اس نے اس فیلڈ کے لیے قابل قبول حد کی وضاحت نہیں کی۔ میں نے اسے ایک الگ رن میں شامل کیا۔ Field(ge=10, le=100) ماڈل کی ایک کاپی پر۔ اس نے 1,000 تبدیل شدہ قطاروں میں سے 985 کو پکڑ لیا۔ اصل پائیداری 10 تھی، لیکن اسکیلنگ کے بعد یہ بالکل 100 تھی اور پھر بھی ٹیسٹ پاس کر لیا، اس لیے میں نے باقی 15 کو کھو دیا۔

ایک شماریاتی پروفائل ڈیٹا کی تقسیم کا بیس لائن سے موازنہ کرتا ہے۔ یہ واحد ڈٹیکٹر تھا جس نے پائیداری کی پیمائش کو حاصل کیا کیونکہ اسے پہلے سے طے شدہ حد کی ضرورت نہیں تھی۔ یہ صرف سمجھا گیا تھا کہ اوسط پائیداری 54.8 سے بڑھ کر 547.9 ہوگئی۔

تاہم، یہ اعداد و شمار میں عام تبدیلیوں کی بھی نشاندہی کر سکتا ہے۔ اس کی جانچ کرنے کے لیے، ہم نے پائیداری کو 1.02 سے 1.3 تک بڑھایا اور چار اوسط تبدیلی کی حدوں کو آزمایا۔ ہم نے مختلف بیجوں سے پیدا ہونے والی 200 صاف فائلوں پر بھی ڈیٹیکٹر کا تجربہ کیا تاکہ یہ معلوم کیا جا سکے کہ اس نے کتنی بار جھوٹے الارم کو جنم دیا۔ میں نے حوالہ کے بیج کو خارج کر دیا کیونکہ یہ وہی ڈیٹا تیار کرتا ہے۔

اوسط حد غلط الارم، صرف استحکام غلط الارم، کوئی بھی عددی فیلڈ شفٹ پکڑا
25% 0/200 0/200 صرف 1.3 بار
10% 0/200 0/200 1.1x یا اس سے زیادہ
5% 0/200 23 / 200 (11.5%) 1.05x یا اس سے زیادہ
2% 37 / 200 (18.5%) 188 / 200 (94%) ہر شفٹ کی جانچ کریں۔

2% حد سے پتہ چلتا ہے کہ پتہ لگانے والا کتنی آسانی سے عام تبدیلیاں دکھا سکتا ہے۔ پائیداری 10 سے 100 کے درمیان تقریباً یکساں ہے، اس لیے 1,000 قطار کے نمونے کے لیے معیاری انحراف تقریباً 26 ہے۔ اس کا مطلب ہے کہ نمونے کا مطلب عام طور پر حقیقی اوسط (اس قدر کا تقریباً 1.5%) کے تقریباً 0.8 کے اندر ہوتا ہے۔ 2% کی حد اس سے تھوڑی زیادہ ہے، لہذا اسے تقریباً 18% صاف فائلوں پر چلنا چاہیے۔ 200 میں سے 37 (18.5%) بھاگے۔ یہ ایک تجارتی بندش کو ظاہر کرتا ہے: حد کو کم کرنے سے چھوٹی تبدیلیوں کو پکڑنے میں مدد ملتی ہے، لیکن غلط الارم میں بھی اضافہ ہوتا ہے۔

نتائج یہ بھی ظاہر کرتے ہیں کہ ایک حد تمام عددی شعبوں کے لیے کیوں کام نہیں کرتی ہے۔ stats.attack, levelاور player_id استحکام کے لحاظ سے اوسط سے زیادہ متغیر۔ 2% کی حد پر، ان میں سے کم از کم ایک فیلڈ نے 200 کلین فائلوں میں سے 188 میں الارم کو متحرک کیا۔ 5% پر، تمام 23 جھوٹے الارم واقع ہوئے لیکن کوئی پائیداری واقع نہیں ہوئی۔ stats.attack ان میں سے 15 انتباہات کو متحرک کیا گیا تھا۔ یہاں تک کہ player_id ایک الارم ہوا ہے، لیکن اوسط قدر کا کوئی مفید مطلب نہیں ہے۔

ایک ہی حد استعمال کرنے سے تمام عددی فیلڈز کو ایک جیسا سمجھا جاتا ہے، حالانکہ کچھ عددی فیلڈز دوسروں سے زیادہ مختلف ہو سکتے ہیں اور کچھ فیلڈز کا اوسط نہیں ہونا چاہیے۔

زمرہ کا اشتراک چیک ایک مقررہ 5 فیصد پوائنٹ کی حد استعمال کرتا ہے، لہذا اوسط حد کو تبدیل کرنے سے نتائج متاثر نہیں ہوتے ہیں۔ 200 صاف فائلوں میں سے 22 (11%) کے نتیجے میں 26 الارم نکلے۔ 17 متعلقہ الارم equipped_slotان میں سے 16 ملوث ہیں۔ chest یا off_hand.

اس خطرے کی دو وجوہات ہیں۔ سب سے پہلے، چیک تمام 1,000 قطاروں کے بجائے صرف 795 غیر صفر قطاروں کا استعمال کرتے ہوئے ہر سلاٹ کے حصہ کا حساب لگاتا ہے۔ یہ ہر اسٹاک کے لیے تقریباً 1.4 فیصد پوائنٹس کی معیاری غلطی دیتا ہے۔

دوسرا، میرا معیار میری مطلوبہ اشتراک سے بالکل میل نہیں کھاتا۔ chest یہ مطلوبہ 20٪ کے بجائے بیس لائن کا 17.2٪ ہے۔ نتیجتاً، جب کلین فائلیں صرف 22.2% تک پہنچ جاتی ہیں تو ایک الارم اٹھ جاتا ہے۔ یہ تقریباً 6% فائلوں میں ہوتا ہے۔ off_hand اس کے برعکس مسئلہ ہے۔ بیس لائن شیئر 22.3% ہے، جو کہ مطلوبہ سے زیادہ ہے۔ اس سے ظاہر ہوتا ہے کہ بیس لائن میں نمونے لینے کی اپنی غلطی ہے، جو تمام موازنہ کو متاثر کر سکتی ہے۔

ایک اور حد ناپے ہوئے نتائج کے بجائے ڈیٹیکٹر ڈیزائن سے آتی ہے۔ میں نے اس کیس کی جانچ نہیں کی ہے، لیکن کوڈ سے پتہ چلتا ہے کہ اس کا پتہ کیوں نہیں چلا۔ سخت ماڈل نے ٹائم زون ڈرفٹ کو پکڑ لیا کیونکہ ٹائم اسٹیمپ کا آفسیٹ کھو گیا تھا۔ تاہم، پروڈیوسر گھڑی کو تبدیل کرکے وقت رکھ سکتے ہیں۔ Z لاحقہ تمام ڈٹیکٹر اس کے بعد ڈیٹا کو قبول کریں گے۔ ایک سخت ماڈل صرف یہ چیک کرتا ہے کہ آیا ٹائم اسٹیمپ میں آفسیٹ ہے، نہ کہ وقت درست ہے۔ شماریاتی پروفائلز ٹائم اسٹیمپ کے تاروں کو چھوڑ دیتے ہیں کیونکہ ان کے پاس زمرہ جات کے طور پر شمار کیے جانے کے لیے بہت زیادہ منفرد اقدار ہیں اور وہ عددی نہیں ہیں۔

یہ چوتھی پرت کی ایک حد ہے۔ ٹائم اسٹیمپ اب بھی درست لگتا ہے، لیکن غلط وقت کی نمائندگی کرتا ہے۔ نہ ہی ڈیٹیکٹر اس بات کی تصدیق کرتا ہے کہ ٹائم اسٹیمپ اصل وقت سے میل کھاتا ہے جو اسے ظاہر کرنا چاہئے۔

یہ تجربہ کیا تجویز کرتا ہے۔

نتائج بتاتے ہیں کہ چاروں ڈٹیکٹرز کو یکجا کرنا بہتر کوریج فراہم کرتا ہے کیونکہ ہر ایک کیپچر تبدیلیاں دوسرے ڈٹیکٹرز سے چھوٹ جاتی ہیں۔

کسی بھی بوجھ کے نیچے چلانے کے لیے سکیما ڈِف آسان اور سستا ہے۔ 9 میں سے 6 ڈرفٹ پکڑے گئے۔ level تبدیل کریں کہ دونوں Pydantic ماڈلز چھوٹ گئے کیونکہ انہوں نے اقدار کو چیک کرنے سے پہلے تبدیل کر دیا تھا۔ ہم نے ان فیلڈز کی بھی نشاندہی کی جن کی وجہ سے خرابیاں ہوئیں حالانکہ پائپ لائن کے اپنے ایرر میسیجز نہیں تھے۔ تاہم، اس نے ڈیٹا کو خراب کرنے والے چار بہاؤ میں سے صرف ایک کو پکڑا۔

سخت ماڈل اور شماریاتی پروفائل نے ان کے درمیان چاروں نقصان دہ بہاؤ کو پکڑ لیا۔ ہم ان فیلڈز کے لیے سخت ماڈل استعمال کریں گے جن کے قواعد معلوم ہوں، جیسے ٹائم زون سے آگاہ ٹائم اسٹیمپ، اجازت شدہ اقدار، اور عددی حدود۔ ان اہم اشاریوں کے لیے جن کے لیے توثیق کے کوئی واضح اصول نہیں تھے، ہم نے تاریخی اعداد و شمار کی بنیاد پر ہر فیلڈ کے لیے علیحدہ حد مقرر کرنے کے لیے شماریاتی ٹیسٹ کا استعمال کیا۔

لیب نے یہ ظاہر کیا کہ ایک حد تمام شعبوں کے لیے کیوں کام نہیں کرتی۔ مجموعی اوسط 5% حد کے نتیجے میں 200 کلین فائلوں سے 23 جھوٹے الارم نکلے، یہ سب پائیداری کے علاوہ دیگر علاقوں میں ہیں۔ ہم نے شماریاتی ٹیسٹ صرف ان فیلڈز پر لاگو کیے جن کے ذرائع معنی خیز تھے اور اس بنیاد پر حدیں مقرر کیں کہ ہر فیلڈ عام طور پر کتنا مختلف ہے۔

چوتھی پرت پر، پروڈیوسر اور صارفین کو ڈیٹا کے معنی پر متفق ہونا چاہیے۔ اگر کوئی پروڈیوسر کسی کو بتائے بغیر فیلڈ کی اکائیوں، ٹائم زون یا اجازت شدہ اقدار کو تبدیل کرتا ہے، تو صارفین اس کی صحیح تشریح نہیں کر پائیں گے۔ دونوں فریقوں کو واضح اصولوں پر متفق ہونا چاہیے، بشمول پیمائش کی اکائیاں، ٹائم فریم، اور قابل قبول اقدار۔

یہ ایک تجویز ہے جس کی بنیاد پر میرے ڈیٹیکٹر نے نہیں اٹھایا۔ ہم نے ابھی تک لیبارٹری میں اس نقطہ نظر کا تجربہ نہیں کیا ہے۔

پابندیاں

ڈیٹا مصنوعی اور خودمختار ہے، جو اسے موسمی نمونوں اور قدرتی نمو کے ساتھ حقیقی ڈیٹا سے بہت آسان بناتا ہے۔ لہذا اصل غلط الارم کی شرح اس سے زیادہ ہوسکتی ہے جس کی میں نے پیمائش کی ہے۔ مزید برآں، کیونکہ ہم نے ایک ہی فکسڈ بیس لائن استعمال کی ہے، اس لیے اس نمونے سے نمونے لینے کی خرابی تمام موازنہوں کو متاثر کرے گی۔ پیداواری نظام ممکنہ طور پر اس کی بجائے رولنگ بیس لائن کا استعمال کرے گا۔

ہم نے متعدد فیلڈز میں ایک ہی حد کا استعمال کیا۔ عام طور پر، ہر فیلڈ کے لیے تبدیلی کی ڈگری کی بنیاد پر علیحدہ حد مقرر کرنا زیادہ مؤثر ہو سکتا ہے، لیکن میں نے اس کا تجربہ نہیں کیا ہے۔ مزید برآں، ہم نے دستیاب ٹولز کے بہت بڑے سیٹ میں سے صرف چار ڈیٹیکٹرز کا تجربہ کیا۔ یہ نتائج یہ نہیں دکھاتے ہیں کہ کون سا ٹول بہترین ہے، بلکہ یہ ظاہر کرتے ہیں کہ پتہ لگانے والے کے اندھے دھبے کہاں ہیں۔

آخر میں، میں نے تبدیلیوں کو "ظاہر” اور "معنی” کے لحاظ سے گروپ کرنے کا انتخاب کیا، لیکن کچھ تبدیلیاں، بشمول تبدیلیاں، درج ذیل ہیں: null ایک خالی تار اسے دو گروہوں میں سے ایک میں گرنے کی اجازت دیتا ہے۔

یہاں تک کہ میرے پہلے تھریشولڈ ٹیسٹ میں بھی ایک بگ تھا۔ آپ نے ایک غلط متغیر نام استعمال کیا (SEED اس کے بجائے seed) کو ڈیٹا جنریٹر پر چلایا گیا تاکہ یہ یقینی بنایا جا سکے کہ تمام 20 صاف فائلیں معیار سے بالکل مماثل ہیں۔ اس کے نتیجے میں کوئی غلط الارم نہیں ہوا۔ 2٪ کی حد کے ساتھ یہ بہت کم امکان ہے کہ کچھ بھی اچھا نکلے گا، لہذا میں نے کوڈ کو چیک کیا اور غلطی پائی۔ ایک بگ کو ٹھیک کیا اور بیس لائن کے اپنے بیج کو خارج کر دیا، بیج 42۔ کیونکہ آپ وہی ڈیٹا نہیں بنا سکتے اور الارم کو متحرک نہیں کر سکتے۔ اس مقالے کے تمام نتائج ترمیم شدہ رن کا استعمال کرتے ہیں۔

نتیجہ

ہمارے تجربات سے پتہ چلتا ہے کہ اسکیما کی تبدیلیاں پائپ لائن کی ناکامی کی واحد وجہ نہیں ہیں۔ سکیما کے فرق نے پانچوں ساختی تبدیلیوں کو اپنی گرفت میں لے لیا، لیکن ان سیمنٹک تبدیلیوں سے محروم رہ گئے جنہوں نے فیلڈ کے نام اور اقسام کو یکساں رکھا۔ مثال کے طور پر، ٹائم اسٹیمپ کو غلط تاریخوں میں منتقل کیا گیا، صفر کی قدریں خالی تاریں بن گئیں، اور پائیداری کی قدروں کو 10 کے عنصر سے بڑھایا گیا۔ ہر معاملے میں، پائپ لائن کامیابی سے چلی لیکن غلط نتائج برآمد ہوئے۔

چار ڈیٹیکٹرز نے مختلف قسم کی تبدیلیوں کو حاصل کیا اور، جب ایک ساتھ استعمال کیا گیا تو، پتہ لگانے کی حد میں بہتری آئی۔ لیکن تبدیلیوں کا پتہ لگانا مسئلے کا صرف ایک حصہ ہے۔ پائپ لائن چیکس کو یہ بھی طے کرنا چاہئے کہ آیا قدریں متوقع حدود میں ہیں اور پھر بھی وہ نمائندگی کرتی ہیں جو بہاو کے حسابات میں فرض کیا گیا تھا۔

پائپ لائن کی کامیاب تکمیل کا مطلب یہ نہیں ہے کہ ڈیٹا درست ہے۔ اس بات کو یقینی بنانا بھی ضروری ہے کہ ڈیٹا اپنے مطلوبہ معنی کو برقرار رکھے اور نیچے دھارے کے حساب سے اب بھی قابل اعتماد نتائج برآمد ہوں۔

Scroll to Top