MachineryTrader Scraper — US Heavy Equipment Listings
Pricing
from $1.90 / 1,000 results
Scrape heavy equipment listings from MachineryTrader.com, a top US marketplace for construction, agriculture, and forestry machinery. Extract price, make, model, year, hours, dealer info, specs, and photos. Ideal for equipment valuation, market intelligence, and dealer analysis.
acquire/release): dos workers ya no comparten puerto/IP; cada unidad excluye los puertos ya probados. TTL de puerto quemado 5 -> 20 min (sticky Decodo = 60 min).challenge_kind) en warmup y en paginas de listado. Un challenge sin cards quema el puerto y rota sesion (no se confunde con pagina vacia real, no marca la unidad como completa); si Turnstile se resuelve durante la espera se sigue normal.usercentrics.eu (CMP ~42 % de la pagina; el dato sale del SSR inline).ports_used) y reuse de navegador mantiene su puerto/lease.[proxy] warmups_total=.... Muestras HTML crudas solo con _proxy_debug (admin)./robots.txt por defecto (_warmup_mode robots|home|none, solo admin). Challenge en el warmup -> quema puerto y rota antes del listado (cuenta para burned_streak, no para el breaker).request.sizes(), fallback content-length) agrupados por fase (warmup/page/other), 1p/3p, resource_type y host. Log [proxy] unit= warmup_kb= page_kb_avg= items= kb_item= por unidad y resumen + KV PROXY_STATS (KV por defecto del run). Muestras del HTML crudo de p1-p2 (max 12) en el KV por defecto. Sin cambios de logica, URLs, bloqueo ni output.Medicion (investigacion 2026-10-04, solo lectura): universo .es sin accesorios 326.124 (equipo For Retail|For Rent|For Lease|Upcoming Auctions 284.703 + desguace Condition=DISMANTLED 41.421); capturable con 2.14 ~217K (~67 %). Prototipo de particion por facetas: 111 unidades, Σ LC = 326.124, max 9.996 por unidad. Las 3 cards "perdidas" de plan_upc_p1.html (25/28 aceptadas) apuntan a auctiontime.es.
_coverage_plan (solo admin; ignorado con aviso si no es _admin_snapshot): {"scope":"equipo|desguace","top_ids":[...],"part":[i,n],"dry_run":bool}, solo country: es. Planifica por facetas (getfacet/ajaxsearch desde Camoufox con XSRF): una unidad por categoria de nivel 1; si pasa de 9.500 se parte por fabricante (bin-packing first-fit decreciente, <=60 nombres), un fabricante > tope por categoria hija y, si no cabe, por rangos de Year (el residual sin ano se loguea). Invariantes en codigo (suma hijos == padre; suma unidades + residual == total de la top); si fallan, Actor.fail antes de paginar.machinerytrader-checkpoints (PLAN_{mes}_{pais}__{scope}__C{top}): se reutiliza al reanudar para que los slugs de checkpoint no cambien. dry_run solo guarda PLAN_* si el snapshot empieza por zz-._planned: URL = query exacta del plan + sort=4; no se auto-shardean (ni YEAR ni STATE); COVERAGE contra el LC del plan. categoria/categoria_input_id conservan el nombre/slug de la categoria top (compatible con preloaded).ScopeCategoryIDs=81& delante de Category=; antes la paginacion devolvia el catalogo sin filtrar. Ninguna otra URL cambia.is_product_url acepta auctiontime. (subastas proximas ~11 % de AuctionTime); EXTRACT_JS usa como respaldo el primer enlace con id de 5+ digitos si la card no tiene enlace de titulo.ext_tipo_anuncio = venta | alquiler | subasta | desguace segun la URL. Se marca, no se filtra. renta_dia sigue null.SelectedOptionTree + FullOptionTree (opciones duplicadas): solo se lee FullOptionTree. (2) En una busqueda que mezcla venta y alquiler el sitio etiqueta todo como "para la venta", asi que el alquiler pasa a un scope propio alquiler (ListingType=For Rent|For Lease, slugs alq__), que se lanza despues de equipo (ListingType=For Retail|Upcoming Auctions): lo ya capturado se salta por dedup y lo que solo esta en alquiler sale con URL /en-alquiler/ -> ext_tipo_anuncio=alquiler._planned de equipo/alquiler; publico y desguace sin cambios): categoria/categoria_input_id = categoria conocida mas especifica del catalogo del actor, resuelta por el category_text de la card con un _catmap guardado en el plan (p. ej. Forklifts dentro de Lifts, Mini Excavators dentro de Excavators). Sin match: nombre de la unidad. No cambia la huella del plan.cat__trucks, cat__dump_trucks y cat__construction_attachments devuelven el catalogo sin filtrar en .es y de que cat__welding_equipment (ID 1063) es "Zanjadora (accesorio)" en .es.Medicion (fase 0, runs admin de septiembre, dataset machinerytrader-2026-09): de 418 unidades (categoria o shard), 146 terminaron por "2 consecutive full-dupe" antes de TotalPages. Los duplicados venian de IDs que otros runs ya habian escrito (categorias solapadas, orden sort=4 agrupa los vistos). Hubo perdida probable en lifts por anio (~4-6K items estimados) y tipo C: trucks, dump_trucks, construction_attachments y dismantled devuelven el catalogo entero en los 27 shards (LC 278.530), cortados hoy en p2.
machinerytrader-checkpoints en admin. Se escribe tras cada push OK; las unidades done se saltan y las parciales reanudan en last_page+1. Sustituye al PROGRESS_CURSOR.natural_end ya no es True por maxListings ni por maxPages agotado._snapshot_dataset_name (solo admin): dataset de prueba, claves de checkpoint con prefijo y sin publicar puntero. Se rechaza (error, sin escribir) si empieza por machinerytrader- o no empieza por zz- ni contiene el token test/smoke; el run termina FAILED (Actor.fail), no SUCCEEDED.[ckpt] RESUMEN n/m categorias INCOMPLETAS.Formato: que cambio, por que, y la medicion que lo respalda. Un cambio sin numero detras es una opinion; en este repo no cuenta como entrada de changelog.
Las versiones son las de Apify (mayor.menor). La plataforma no admite numero de parche.
Version activa en Apify, con tag latest. Exportada a este repo el 21 de agosto de 2026.
No se reconstruye aqui el historial anterior: inventarlo seria peor que no tenerlo. Lo que hay documentado de ciclos previos vive en el runbook de la fuente, en rastriq-docs/interno/runbooks/. A partir de esta entrada, todo cambio se anota aqui con su medicion.
| Ficheros fuente | 12 |
| Ejecuciones totales | 617 |
| Usuarios | 6 |