Olostep کا استعمال کرتے ہوئے ازگر میں ویب سائٹ کو کیسے کھرچنا ہے۔

ازگر میں ویب سکریپنگ عام طور پر اس سے شروع ہوتی ہے: requests اور ایک خوبصورت سوپ۔ یہ جامد صفحات کے لیے اچھا کام کرتا ہے، لیکن اگر آپ کی سائٹ جاوا اسکرپٹ کے ساتھ مواد لوڈ کرتی ہے، بار بار کی گئی درخواستوں کو روکتی ہے، یا مارک اپ کو تبدیل کرتی ہے تو یہ زیادہ مشکل ہو جاتا ہے۔

Olostep Python SDK آپ کو URL پاس کرنے اور صفحہ کو مارک ڈاؤن، HTML، یا سادہ متن کے طور پر واپس حاصل کرنے کی اجازت دیتا ہے۔ Olostep JavaScript کو رینڈر کرتا ہے اور براؤزرز اور پراکسیز کا انتظام کرتا ہے، اور یہ ٹیوٹوریل آپ کی پہلی سکریپنگ میں رہنمائی کرتا ہے۔ آپ سیکھیں گے کہ کیسے:

  • Olostep Python SDK اور API کلید ترتیب دیں۔
  • صفحہ کو مارک ڈاؤن میں سکریپ کریں۔
  • مارک ڈاؤن، ایچ ٹی ایم ایل اور ٹیکسٹ آؤٹ پٹ کے درمیان انتخاب کریں۔
  • سکریپ صفحہ جو جاوا اسکرپٹ کے ساتھ مواد لوڈ کرتا ہے۔
  • عملدرآمد کو روکے بغیر ہینڈلنگ میں خرابی۔

یہاں کی تمام مثالیں سکریپنگ سائٹس (بک ٹو سکریپ اور کوٹس ٹو سکریپ) پریکٹس کے لیے بنائی گئی ہیں۔ لہذا آپ یہاں لکھی گئی تمام مثالوں کو چلا سکتے ہیں۔

شروع کرنے سے پہلے براہ کرم نوٹ کریں: ہمیشہ ذمہ داری سے کھرچنا۔ دو پریکٹس سائٹس آپ کو ویب سکریپنگ پروگرام کے ساتھ شروع کرنے میں مدد کر سکتی ہیں۔ کسی بھی دوسری سائٹ کے لیے جو آپ سکریپ کرنا چاہتے ہیں، آپ کو ان کی سروس کی شرائط کو چیک کرنا چاہیے اور ان پر عمل کرنا چاہیے۔ robots.txtصرف عوامی ڈیٹا اکٹھا کریں اور درخواست کی شرح کم رکھیں۔

انڈیکس

شرائط

  • Olostep SDK کے لیے Python 3.11 سے 3.13 درکار ہے۔
  • Olostep SDK کے ساتھ انسٹال ہے۔ pip install olostep
  • یہ آپ کے ڈیش بورڈ کے لیے Olostep API کلید ہے۔ پہلے 500 کریڈٹ مفت ہیں۔ یہ بھی نوٹ کریں: دستاویزات ایک سکریپ کی قیمت 1 کریڈٹ پر طے کرتی ہے، اور اس گائیڈ میں موجود کوڈ 4 سکریپ تیار کرتا ہے، لہذا تمام مثالوں کو چلانے میں تقریباً 4 کریڈٹ لگتے ہیں۔

کلائنٹ کو کیسے ترتیب دیا جائے۔

اس گائیڈ میں تمام کوڈ ایک کلائنٹ کا استعمال کرتا ہے، اور کلائنٹ کو API کلید کی ضرورت ہوتی ہے۔ ذیل کی ترتیبات چابیاں پڑھیں۔ OLOSTEP_API_KEY یہ ماحولیاتی متغیرات کی جانچ کرتا ہے اور اگر وہ غائب ہیں تو ان سے درخواست کرتا ہے، لہذا کلید کوڈ میں موجود نہیں ہے۔

import os
from getpass import getpass

from olostep import Olostep

api_key = os.getenv("OLOSTEP_API_KEY") or getpass("Olostep API key: ")
client = Olostep(api_key=api_key)

اب ہم تجزیہ کرتے ہیں کہ ہر حصہ کیا کرتا ہے۔

  • os.getenv("OLOSTEP_API_KEY") برآمد کرتے وقت، کلید واپس کریں اور None جب تم نے نہیں کیا۔
  • getpass ایک کلید کا اشارہ کرتا ہے اور جو آپ ٹائپ کرتے ہیں اسے چھپاتا ہے۔ یہ گوگل کولاب جیسے لیپ ٹاپ پر بھی کام کرتا ہے۔
  • Olostep(api_key=api_key) ایک کلائنٹ بناتا ہے جو بعد کے تمام کوڈ میں استعمال ہوتا ہے۔

اسی سیشن میں بعد کے ٹکڑوں کو چلائیں، یا فائل کے اوپری حصے میں سیٹنگ لائن چسپاں کریں۔ ہر ٹکڑا اسے دوبارہ استعمال کرتا ہے۔ client. کلید اس فائل میں رکھیں جس کا آپ نے وعدہ کیا ہے۔

مارک ڈاؤن کے ساتھ کسی صفحے کو کیسے کھرچنا ہے۔

سکریپنگ ایک واحد URL لیتا ہے اور اس کا مواد واپس کرتا ہے۔ مارک ڈاون زیادہ تر کاموں کے لیے پہلے سے طے شدہ انتخاب ہے کیونکہ یہ صفحہ کے عنوانات، فہرستوں اور میزوں کو محفوظ رکھتا ہے اور صفحہ کروم کو اپنے ارد گرد رکھتا ہے۔ یہ کوڈ کتابوں کے ہوم پیج کو سکریپ کرتا ہے۔

page = client.scrapes.create(
    url_to_scrape="https://books.toscrape.com/",
    formats=["markdown"],
)

print("Credits used:", page.credits_consumed)
print(page.markdown_content[:400])

یہ کوڈ کیا کرتا ہے:

  • url_to_scrape یہ ایک پڑھنے کے قابل صفحہ ہے۔
  • formats مطلوبہ آؤٹ پٹ کی فہرست بنائیں۔ ہر ایک درج ذیل خصوصیات کے ساتھ آتا ہے: markdown_content.
  • credits_consumed یہ آپ کے کال کے اخراجات کی اطلاع دیتا ہے تاکہ آپ جاتے جاتے اپنے اخراجات کو ٹریک کر سکیں۔
  • یہ نتائج بھی لے جاتا ہے۔ id، urlاور retrieve_idمحفوظ کردہ نتائج کی شناخت کرتا ہے۔

حساب کتاب:

Credits used: 1
All products | Books to Scrape - Sandbox           

[Books to Scrape](index.html) We love being scraped!

*   [Home](index.html)
*   All products

*   [Books](catalogue/category/books_1/index.html)
    *   [Travel](catalogue/category/books/travel_2/index.html)
    *   [Mystery](catalogue/category/books/mystery_3/index.html)
    *   [Historical Fiction](catalogue/category/books/historical-fiction_

آؤٹ پٹ فارمیٹ کا انتخاب کیسے کریں۔

ایک کال ایک ہی وقت میں متعدد اقسام کو واپس کر سکتی ہے۔ یہ کوڈ HTML، Markdown اور متن کو ایک ساتھ درخواست کرتا ہے اور ان کے سائز کا موازنہ کرتا ہے۔

page = client.scrapes.create(
    url_to_scrape="https://books.toscrape.com/",
    formats=["html", "markdown", "text"],
)

print("Credits used:       ", page.credits_consumed)
print("HTML characters:    ", len(page.html_content))
print("Markdown characters:", len(page.markdown_content))
print("Text characters:    ", len(page.text_content))

حساب کتاب:

Credits used:        1
HTML characters:     49846
Markdown characters: 11179
Text characters:     10318

سائز ظاہر کرتا ہے کہ فارمیٹ کیوں اہم ہے۔ ایچ ٹی ایم ایل تمام ٹیگز اور اوصاف فراہم کرتا ہے، جبکہ مارک ڈاؤن بہت چھوٹی جگہ میں مواد فراہم کرتا ہے۔ یہاں یہ فیصلہ کرنے کا طریقہ ہے کہ کون سا عام فارمیٹ منتخب کرنا ہے:

فارمیٹ درج ذیل صورتوں میں استعمال کریں:
markdown LLM کو صفحات فراہم کریں یا انہیں تلاش کے لیے انڈیکس کریں۔
html میں BeautifulSoup یا اسی طرح کی لائبریری کا استعمال کرتے ہوئے صفحہ کو خود پارس کرنا چاہوں گا۔
text آپ کو صرف الفاظ کی ضرورت ہے، کوئی فارمیٹنگ نہیں۔

بہت بڑے صفحات کے لیے، SDK فیلڈز میں میزبان مواد کی ایک کاپی کو بھی ظاہر کرتا ہے جیسے: markdown_hosted_url.

جاوا اسکرپٹ کے ساتھ لوڈ ہونے والے صفحے کو کیسے کھرچنا ہے۔

بہت سے صفحات ایک خالی کنٹینر فراہم کرتے ہیں اور براؤزر کے اسکرپٹ چلانے کے بعد اسے بھر دیتے ہیں۔ کوٹس ٹو سکریپ میں یہ دکھانے کے لیے ایک ورژن بنایا گیا ہے: https://quotes.toscrape.com/js/ جاوا اسکرپٹ کے ساتھ اقتباس لوڈ کریں۔

Olostep صفحات کو براؤزر کی طرح پیش کرتا ہے۔ کچھ دیر بعد ظاہر ہونے والے مواد کے لیے، wait_before_scraping صفحہ پڑھنے سے پہلے گزرے ہوئے ملی سیکنڈز کی تعداد کے لیے ایک وقفہ ہے۔

page = client.scrapes.create(
    url_to_scrape="https://quotes.toscrape.com/js/",
    formats=["markdown"],
    wait_before_scraping=2000,
)

print(page.markdown_content[:500])

حساب کتاب:

Quotes to Scrape  

# [Quotes to Scrape](/)

[Login](/login)

“The world as we have created it is a process of our thinking. It cannot be changed without changing our thinking.”by Albert Einstein

Tags: change deep-thoughts thinking world

“It is our choices, Harry, that show what we truly are, far more than our abilities.”by J.K. Rowling

Tags: abilities choices

“There are only two ways to live your life. One is as though nothing is a miracle. The other is as though everything is a miracle.”by

کچھ صفحات کو تعاملات کی ضرورت ہوتی ہے، جیسے سکرولنگ، جو مواد کے ظاہر ہونے سے پہلے مزید آئٹمز کو متحرک کرتی ہے۔ کہ actions دلیل صفحہ کو پڑھنے سے پہلے عمل میں آنے والے اقدامات کی فہرست لیتی ہے۔

page = client.scrapes.create(
    url_to_scrape="https://quotes.toscrape.com/js/",
    formats=["markdown"],
    actions=[
        {"type": "wait", "milliseconds": 1500},
        {"type": "scroll", "direction": "down", "amount": 1000},
    ],
)

ملازمت کی اقسام میں شامل ہیں: wait، click، fill_inputاور scroll. کوئی راستہ نہیں click CSS استعمال کرتا ہے۔ selectorاور fill_input خلل selector اور value.

غلطیوں کو کیسے ہینڈل کریں۔

کوڈ جو بہت سے صفحات کو پڑھتا ہے اسے جلد یا بدیر غلط ان پٹ کا سامنا کرنا پڑے گا، اور ایک خراب URL کو باقی صفحہ کو نہیں توڑنا چاہیے۔ اگر سکریپ نہیں چلتی ہے تو کیا ہوگا؟ آئیے سب سے آسان کیس دیکھیں: ایک خراب URL۔

مسئلہ: ایک خراب یو آر ایل ایک استثنا دے گا اور پورے عمل کو روک دے گا۔

client.scrapes.create(url_to_scrape="not-a-url", formats=["markdown"])

جب میں مندرجہ بالا کوڈ کو چلانے کی کوشش کرتا ہوں تو مجھے درج ذیل خامی ملتی ہے۔

olostep.errors.OlostepClientError_RequestValidationFailed: The request is invalid
Field: url_parsing ('body_params', 'url_to_scrape'), Error: Input should be a valid URL, relative URL without a base

SDK درخواست کو بھیجنے سے پہلے اس کی تصدیق کرتا ہے، لہذا اس ناکامی کا نتیجہ کریڈٹ نہیں ہوتا ہے۔

تو آپ غلط URLs اور توثیق کی غلطیوں کو کیسے محفوظ طریقے سے سنبھال سکتے ہیں؟

SDK کو غلط URL بھیجنے کے نتیجے میں پس منظر کے تھریڈ میں توثیق کی خرابی پیدا ہو جائے گی۔ جس طرح سے SDK غیر مطابقت پذیر کالوں کو ہم آہنگی کے طور پر لپیٹتا ہے، اس پس منظر کا کریش مرکزی دھاگے کو کسی بھی قدر حاصل کرنے سے روکتا ہے، جس سے فال بیک ہوتا ہے۔ KeyError: 'value' مرکزی دھاگے پر۔

اگر آپ اپنی اسکرپٹ کو کریش کیے بغیر یا پس منظر کے دھاگے کے نشانات کے ساتھ کنسول کو بے ترتیبی کیے بغیر صاف طور پر کرنا چاہتے ہیں تو آپ یہ کر سکتے ہیں:

  1. مرمت threading.excepthook پس منظر کی توثیق کے نشانات کو خاموش کریں۔
  2. دونوں کو پکڑو Olostep_BaseError اور KeyError مرکزی دھاگے پر۔
import threading
from olostep import Olostep_BaseError

# 1. Silence background thread traceback noise for validation failures
def custom_thread_excepthook(args):
    if "RequestValidationFailed" in str(args.exc_value) or "ValidationError" in str(args.exc_value):
        return
    threading.__excepthook__(args)

threading.excepthook = custom_thread_excepthook

# 2. Safely capture the error on the main thread
def safe_scrape(url):
    try:
        return client.scrapes.create(url_to_scrape=url, formats=["markdown"])
    except (Olostep_BaseError, KeyError) as error:
        print(f"skipped {url}: OlostepClientError_RequestValidationFailed")
        return None

page = safe_scrape("not-a-url")

اب آپ اسی طرح کا آؤٹ پٹ پیغام دیکھیں گے۔

Field: url_parsing ('body_params', 'url_to_scrape'), Error: Input should be a valid URL, relative URL without a base
skipped not-a-url: KeyError (likely invalid URL or validation error)

Olostep_BaseError یہ ان تمام خرابیوں کا احاطہ کرتا ہے جو SDK جان بوجھ کر پھینکتی ہے۔ وہ ذیلی طبقات اسباب کے درمیان فرق کرتے ہیں جیسے درخواست کی توثیق کی ناکامی، سرور کی طرف کی خرابیاں، اور کنکشن کے مسائل۔ ہر ایک کو مختلف طریقے سے ہینڈل کرنے کے لیے مخصوص ذیلی طبقات کو پکڑیں۔

نتیجہ

اب آپ نے اپنا کام Olostep کا استعمال کرتے ہوئے ازگر میں سکریپنگ کے لیے ترتیب دیا ہے۔ ہم نے کلائنٹ بنایا، صفحہ کو مارک ڈاؤن میں سکریپ کیا، آؤٹ پٹ فارمیٹس کا موازنہ کیا، JavaScript صفحہ پڑھا، اور غلطیوں کو سنبھالا۔ client.scrapes.create.

دوسری لائبریریوں کے ساتھ ایک ہی کام کو پورا کرنے کا مطلب ہے متعدد ٹولز کو یکجا کرنا۔ requests ہم جامد صفحات کے لیے بیوٹیفل سوپ، جاوا اسکرپٹ کے صفحات کے لیے براؤزر چلانے کے لیے پلے رائٹ یا سیلینیم، اور پراکسیز اور دوبارہ کوششوں کے لیے کوڈ فراہم کرتے ہیں۔ مجھے اس نقطہ نظر کو استعمال کرنا بہت آسان لگتا ہے کیونکہ اس میں علیحدہ لائبریریوں کو یکجا کرنے کے مقابلے میں بہت کم گلو کوڈ کی ضرورت ہوتی ہے۔

اس کے علاوہ، ذمہ داری سے ریک کرنا یاد رکھیں۔ براہ کرم آگے بڑھنے سے پہلے سائٹ کی شرائط و ضوابط کو چیک کریں۔ robots.txt اس سے پہلے کہ آپ شروع کریں۔

اوپر تک سکرول کریں۔