Pricing

from $2.10 / 1,000 results

Try for free

Go to Apify Store

Playwright Scraper — Python, Any Website

Try for free

Scrape any JavaScript-heavy site with Playwright and a Python page function. Pages that returned nothing are marked in the data and cost you nothing — you pay per delivered record, never per run. Every record says whether the page loaded, timed out or was blocked.

Pricing

from $2.10 / 1,000 results

Rating

0.0

(0)

Developer

Radosław Szal

Actor stats

Bookmarked

Total users

Monthly active users

2 days ago

Last modified

Changelog

0.4 (2026-08-10) — przyczyna przekroczeń czasu, zmierzona na własnym przebiegu

Budżet strony jest teraz budżetem. Nawigacja i czekanie na waitUntil brały własne domyślne limity Playwrighta (30 s + 30 s), niezwiązane z requestTimeoutSecs (45 s). Suma przekraczała budżet uchwytu, Crawlee zamykał stronę, wiszące wywołanie rzucało wyjątek bez treści (stąd Retrying request ... due to: . w dziennikach), szły trzy ponowienia — i tak do limitu przebiegu. Oba etapy dostają teraz udział budżetu strony (page_budget_ms), z zapasem na ekstrakcję.
Nawigacja kończy się na domcontentloaded, a stan zamówiony przez klienta osiągamy po niej, na ograniczonym czasie. Pełna treść jak dotąd, gdy strona ładuje się normalnie; ułamek budżetu, gdy nie kończy się nigdy.
Niedoczekane strony są widoczne — karta przebiegu podaje ich liczbę i co z tym zrobić. Uboższa treść nie ma prawa wyglądać identycznie jak kompletna.
Zmierzone 10.08 na docs.apify.com (12 żądań, 4096 MB): load 158 s / 1194 MB, sam DOM 76 s / 520 MB, blokowanie zasobów bez znaczenia (147 s). Porównanie rekord po rekordzie: domcontentloaded gubi treść na 2 z 10 adresów (−10,8% na stronie głównej) — dlatego czekanie zostało ograniczone, a nie skrócone.

0.2 (2026-07-23) — G4 panel round 1 fixes (empirycznie zweryfikowane vs crawlee 1.8.3)

ConcurrencySettings: desired<=max (default desired=10 rzucał ValueError dla max<10 → limit cicho ignorowany → do 100 kontekstów Chromium → OOM na 4GB). Naprawione.
includeGlobs: Glob(g) zamiast surowych stringów (crawlee robił AttributeError → feature 100% martwy, zero linków enqueue). Naprawione.
robots.txt: natywny Crawlee respect_robots_txt_file — PRZED nawigacją (poprawnie), zamiast mojego buggy after-nav check. Usunięty robots.py (naprawia też httpx-poza-requirements).
FAIL-on-zero: odpala też gdy WSZYSTKIE requesty padły sieciowo (site down/blocked) — failed_request_handler. Wcześniej "Scraped 0" wyglądało jak sukces.
crawler.stop() na cap (nie ładuj kolejnych stron), guard push-loop, README (requestTimeoutSecs + model user-kodu). Testy 10/10 (page_function).

0.1 (2026-07-23)

First version: generic Playwright web crawler + user Python page function.
Reliability (weaponize the 2.7★ incumbent): per-page error isolation, retries, deterministic timeouts, request cap. Transparent PPE (per-result, fail-closed) + free mode. FAIL-on-zero.
Respects robots.txt / TDM reservation by default (legal condition). Link enqueueing via linkSelector + include globs. Proxy support.

RAG Content Crawler — Any Site to Clean Markdown

eszetael_lab/rag-content-crawler

Turn any website into clean Markdown for your LLM or RAG pipeline. Navigation, cookie banners and boilerplate removed; every page says whether the text was truncated. Pay per delivered page — pages that returned nothing are free.

Radosław Szal

Playwright Mcp

nebulous_gauge/playwright-mcp

Dilip S Chakravarthi

Search Trend Monitor — Google Trends, Interest & Related

eszetael_lab/search-trend-monitor

Google Trends without the empty run. Interest over time, interest by region and related queries for your keywords. If Google returns nothing, the run says so and you are not charged — you pay per delivered row, never for the run. Flat JSON/CSV, no login, no quota.

Radosław Szal

Website Screenshot Scraper · Full Page, Fast

automation_craft/website-screenshot-scraper

Full-page screenshots that actually work: lazy-loaded content rendered, cookie banners hidden, desktop/mobile/tablet presets, retina, JPEG/PNG, batch URLs. Page title & metadata included free. Seconds per page — and failed pages cost you nothing.

Automation Craft

Patfers Linkedin Scraper No Login Python

patfer3dcoding/patfers-linkedin-scraper-no-login-python

This Apify actor allows you to scrape LinkedIn profiles and companies using DuckDuckGo search. It's built with Python and Playwright and does not require a LinkedIn account to use.

Patfer 3D Coding Company

Website Screenshot Generator — Full Page, Pay Only If Usable

wheaten_steelpan/website-screenshot

Blank, blocked, bot-checked and 404 pages are reported with the reason and never charged — you pay only for images you can use. Full-page captures that reach the bottom: lazy content loaded, cookie banners removed, sticky headers stopped from repeating. Batch many URLs per run.

Vanja V

B2B Leads Finder — Verified Emails, Phones & Socials

vonsensey/b2b-leads-finder

Turn any list of company websites into a clean B2B lead list: verified business emails, phone numbers and social profiles, one row per company. Websites with nothing published cost you nothing, so the list you pay for is the list you can actually mail.

Blackcube

Google Autocomplete & Keyword Suggest Scraper — 5 Engines

steadyfetch/google-keyword-suggest-scraper

Autocomplete keywords from Google, YouTube, Amazon, Bing and the App Store in one run: one seed, five engines, no API key, no per-run minimum. From $0.50 per 1,000 keyword suggestions. Every row says whether it was charged, and an engine that returns nothing is never charged.