Puppeteer দিয়ে ওয়েব স্ক্র্যাপিং পর্ব ২

import puppeteer from "puppeteer";
import fs from "fs";

(async () => {
  const allProductsData = [];
  const browser = await puppeteer.launch({
    headless: false,
    defaultViewport: { width: 1110, height: 1080 },
    userDataDir: "/temp",
  });
  const page = await browser.newPage();

  const searchTerm = `dell monitor 24 inch`;

  try {
    // ওয়েবসাইটে যান
    await page.goto("https://www.ryans.com", {
      waitUntil: "networkidle2",
      timeout: 600000,
    });
    // অনুসন্ধান পদ্ধতিতে লিখুন
    await page.type("#search", searchTerm);
    // অনুসন্ধান বাটনে ক্লিক করুন
    await page.click('button[type="submit"]');
    // সমস্ত পণ্যের কার্ড লোড হওয়ার জন্য অপেক্ষা করুন
    await page.waitForSelector(".card.h-100");

    // সমস্ত পণ্যের তথ্য উপস্থাপন করুন
    const allProducts = await page.evaluate(() => {
      // সমস্ত পণ্যের কার্ড নির্বাচন করুন
      const products = [...document.querySelectorAll(".card.h-100")];
      // প্রতিটি পণ্যের উপর ম্যাপিং করুন যাতে প্রাসঙ্গিক তথ্য প্রাপ্ত হয়
      return products.map((product, index) => {
        const id = index + 1;
        // পণ্যের URL প্রাপ্ত করুন
        const urlElement = product.querySelector(".image-box a");
        const url = urlElement ? urlElement.href : "N/A";
        // পণ্যের ছবি প্রাপ্ত করুন
        const imgElement = product.querySelector(".image-box img");
        const feature_image = imgElement ? imgElement.src : "N/A";
        return { id, url, feature_image };
      });
    });

    // প্রতিটি পণ্য থেকে বিস্তারিত তথ্য স্ক্রেপ করার জন্য লুপ চালান
    for (const product of allProducts) {
      const productPage = await browser.newPage();
      // পণ্যের পৃষ্ঠায় যান
      await productPage.goto(product.url, {
        waitUntil: "networkidle2",
        timeout: 600000,
      });

      // বিস্তারিত পণ্যের তথ্য স্ক্রেপ করুন
      const productDescription = await scrapeProductData(productPage);
      productPage.close();
      // সাধারণ পণ্যের ডেটা সহ বিস্তারিত তথ্য যোগ করুন
      allProductsData.push({ ...product, ...productDescription });
    }
    // স্ক্রেপ করা পণ্যের সংখ্যা লগ করুন
    console.log(allProductsData.length);
    // স্ক্রেপ করা ডেটা জেসন ফাইলে লেখো
    fs.writeFileSync(
      `./products_${searchTerm}.json`,
      JSON.stringify(allProductsData, null, 2)
    );
  } catch (error) {
    // ত্রুটি হ্যান্ডেল করুন
    console.error("Error scraping ryans:", error);
  } finally {
    // ব্রাউজার বন্ধ করুন
    await browser.close();
  }
})();

const scrapeProductData = async (productPage) => {
  // পণ্যের তথ্য স্ক্রেপ করুন
  const productData = await productPage.evaluate(() => {
    // পণ্যের শিরোনামের উপাদান নির্বাচন করুন
    const producttitleElement = document.querySelector(
      ".product_content.h-100 h1"
    );
    const product_title = producttitleElement
      ? producttitleElement.textContent.trim().replace(/\s{2,}/g, " ")
      : "N/A";

    // বিষয়বস্তু উপাদান নির্বাচন করুন
    const contentElement = document.querySelector(".product_content.h-100");
    const product_content = contentElement
      ? contentElement.textContent.trim().replace(/\s{2,}/g, " ")
      : "N/A";

    // পণ্যের বিবরণের উপাদান নির্বাচন করুন
    const productDetailsElement = document.querySelector(
      ".card-body.details-tab.seo-footer"
    );
    const product_details = productDetailsElement
      ? productDetailsElement.textContent.trim().replace(/\s{2,}/g, " ")
      : "N/A";

    // নির্দিষ্টকরণের উপাদান নির্বাচন করুন
    const specificationElement = document.querySelector(".specification-table");
    const product_specification = specificationElement
      ? specificationElement.textContent.trim().replace(/\s{2,}/g, " ")
      : "N/A";

    // পণ্যের ইমেজ উপাদান নির্বাচন করুন
    const productImgElements = [
      ...document.querySelectorAll(".order-lg-first img"),
    ];
    const product_images = productImgElements.map((e) => e.src);

    // পণ্যের মূল্যের উপাদান নির্বাচন করুন
    const productPrices = [...document.querySelectorAll(".price-block")];
    const product_price = productPrices.map((e) =>
      e.textContent.trim().replace(/\s{2,}/g, " ")
    );

    return {
      product_title,
      product_content,
      product_details,
      product_specification,
      product_images,
      product_price,
    };
  });
  return productData;
};