GitHub Repository Scraper - search repos by query avatar

GitHub Repository Scraper - search repos by query

Pricing

from $3.00 / 1,000 results

Go to Apify Store
GitHub Repository Scraper - search repos by query

GitHub Repository Scraper - search repos by query

Search GitHub repositories and get stars, forks, language, license, topics and timestamps. Detects the 403 GitHub sends when the search rate limit is exhausted, so an exhausted limit never looks like zero results.

Pricing

from $3.00 / 1,000 results

Rating

0.0

(0)

Developer

Marek Hartmann

Marek Hartmann

Maintained by Community

Actor stats

0

Bookmarked

2

Total users

1

Monthly active users

24 days ago

Last modified

Share

GitHub Repository Scraper

Vyhľadá repozitáre na GitHube a vráti názov, vlastníka, popis, jazyk, témy, hviezdičky, forky, otvorené issues, licenciu, či je archivovaný, a dátumy.

Bez API kľúča. Vlastný token je nepovinný a len zdvihne limit požiadaviek.

Čím sa líši: prázdny výsledok nie je faktúra

čo sa staloako to skončí
GitHub vráti total_count: 0beh uspeje, dataset prázdny, v RUN_REPORT dôvod. Pri účtovaní za výsledok neplatíš nič
vyčerpaný limit (HTTP 403)beh zlyhá s vysvetlením, kedy sa limit obnoví
odpoveď bez počtu nálezovbeh zlyhá — najprv kontrolná otázka na známy dotaz
počet je nenulový, ale repozitáre sa nedajú prečítaťbeh zlyhá

Pozor na 403. GitHub po vyčerpaní limitu nevracia 429, ale 403. Bežné spomaľovanie na 429 by ho pustilo ďalej ako obyčajnú odpoveď a parser by z nej nevytiahol nič — teda presne to tiché zlyhanie, za ktoré si konkurencia dáva platiť. Tento Actor 403 rozpozná a beh na ňom zlyhá.

Strop GitHubu sa nezamlčí. Cez vyhľadávanie vydá GitHub najviac 1000 nálezov na dotaz, aj keď ich hlási státisíce. Actor to napíše do RUN_REPORT, nech to nevyzerá, že sa niečo stratilo.

Vstup

polečo to je
queriesvýrazy vyhľadávania GitHubu (language:go, topic:cli, stars:>500)
maxResultsPerQuerystrop na jeden dotaz, najviac 1000
sortByhviezdičky / forky / posledná zmena
githubTokennepovinný, zdvihne limit z 10 na 30 vyhľadávaní za minútu

Vývoj

npm install
npm test # 14 testov, bez siete
node scripts/smoke.mjs # ostrý test proti živému GitHubu

Postavené na Marek-Actor-Kit.

Need a scraper for something else?

I build custom Apify Actors and browser automation the same way this one is built: a verified result or an explicit failure, never an empty dataset sold as a success.

Tell me the site and what you need out of it.