GitHub Repository Scraper - search repos by query
Pricing
from $3.00 / 1,000 results
GitHub Repository Scraper - search repos by query
Search GitHub repositories and get stars, forks, language, license, topics and timestamps. Detects the 403 GitHub sends when the search rate limit is exhausted, so an exhausted limit never looks like zero results.
Pricing
from $3.00 / 1,000 results
Rating
0.0
(0)
Developer
Marek Hartmann
Maintained by CommunityActor stats
0
Bookmarked
2
Total users
1
Monthly active users
24 days ago
Last modified
Categories
Share
GitHub Repository Scraper
Vyhľadá repozitáre na GitHube a vráti názov, vlastníka, popis, jazyk, témy, hviezdičky, forky, otvorené issues, licenciu, či je archivovaný, a dátumy.
Bez API kľúča. Vlastný token je nepovinný a len zdvihne limit požiadaviek.
Čím sa líši: prázdny výsledok nie je faktúra
| čo sa stalo | ako to skončí |
|---|---|
GitHub vráti total_count: 0 | beh uspeje, dataset prázdny, v RUN_REPORT dôvod. Pri účtovaní za výsledok neplatíš nič |
| vyčerpaný limit (HTTP 403) | beh zlyhá s vysvetlením, kedy sa limit obnoví |
| odpoveď bez počtu nálezov | beh zlyhá — najprv kontrolná otázka na známy dotaz |
| počet je nenulový, ale repozitáre sa nedajú prečítať | beh zlyhá |
Pozor na 403. GitHub po vyčerpaní limitu nevracia 429, ale 403. Bežné spomaľovanie na 429 by ho pustilo ďalej ako obyčajnú odpoveď a parser by z nej nevytiahol nič — teda presne to tiché zlyhanie, za ktoré si konkurencia dáva platiť. Tento Actor 403 rozpozná a beh na ňom zlyhá.
Strop GitHubu sa nezamlčí. Cez vyhľadávanie vydá GitHub najviac 1000 nálezov
na dotaz, aj keď ich hlási státisíce. Actor to napíše do RUN_REPORT, nech to
nevyzerá, že sa niečo stratilo.
Vstup
| pole | čo to je |
|---|---|
queries | výrazy vyhľadávania GitHubu (language:go, topic:cli, stars:>500) |
maxResultsPerQuery | strop na jeden dotaz, najviac 1000 |
sortBy | hviezdičky / forky / posledná zmena |
githubToken | nepovinný, zdvihne limit z 10 na 30 vyhľadávaní za minútu |
Vývoj
npm installnpm test # 14 testov, bez sietenode scripts/smoke.mjs # ostrý test proti živému GitHubu
Postavené na Marek-Actor-Kit.
Need a scraper for something else?
I build custom Apify Actors and browser automation the same way this one is built: a verified result or an explicit failure, never an empty dataset sold as a success.
- My other Actors: https://apify.com/marekhartmann
- Code and test suites: https://github.com/marekhartmann-creator
Tell me the site and what you need out of it.