Extrator de CNPJ Brasil avatar

Extrator de CNPJ Brasil

Deprecated
Go to Store
This Actor is deprecated

This Actor is unavailable because the developer has decided to deprecate it. Would you like to try a similar Actor instead?

See alternative Actors
Extrator de CNPJ Brasil

Extrator de CNPJ Brasil

wandersonsousa/cnpj-brasil-extrator

Este ator extrai dados de empresas cadastradas na receita federal, o scraping é feito na base mais atualizada existente.

JS

olá Wanderson

Closed

junior_site opened this issue
2 years ago

Olá Wanderson, não consigo adicionar filtros para baixar os CNAE especificos, como fazer para funcionar? muito obrigado pelo belo trabalho

wandersonsousa avatar

Oi Junior, tudp bem? Estou desenvolvendo esse actor pra trazer informações de contato também, atráves de filtros como data de abertura, cnae, capital social. Por enquanto este é só uma demonstração, provavelmente próximo mês deve sair. Abraço

JS

junior_site

2 years ago

Legal Wanderson, muito bem, parabéns!!!! Se colocar por CNAE e cidade já será um grande diferencial!!! Sucesso Brazuca!!!

wandersonsousa avatar

Vambora HEHEH !!!

wandersonsousa avatar

Atualizado, Junior

wandersonsousa avatar

Vou gravar um vídeo tutorial

VS

violet_shrub

2 years ago

ola amigo achei a ideia ótima mas não consegui fazer as buscas sempre diz erro de json tentei de diversas maneiras e configurações mas não deu certo

JS

junior_site

2 years ago

Olá Wanderson, Grande progresso amigo, estou entusiasmado, muitas opções otimas. tá dando erro ao concluir a buscar, tem alguma coisa no .JSON. abaixo o codigo com o erro

2023-05-20T05:53:53.010Z at /home/myuser/node_modules/node-fetch/lib/index.js:273:32 2023-05-20T05:53:53.011Z at processTicksAndRejections (node:internal/process/task_queues:96:5) 2023-05-20T05:53:53.012Z at async scrapeCNPJ (/home/myuser/dist/spiders/CnpjListSpider/scrape.js:12:18) 2023-05-20T05:53:53.013Z at async /home/myuser/dist/spiders/CnpjListSpider/scrape.js:21:41 2023-05-20T05:53:53.014Z at async Promise.all (index 2) 2023-05-20T05:53:53.015Z at async scrapeCNPJs (/home/myuser/dist/spiders/CnpjListSpider/scrape.js:20:9) 2023-05-20T05:53:53.016Z at async main (/home/myuser/dist/main.js:94:9) { 2023-05-20T05:53:53.017Z type: 'invalid-json' 2023-05-20T05:53:53.017Z }

wandersonsousa avatar

Olá, muito legal ler isso! o bot já foi corrigido nesse novo build!

JS

junior_site

2 years ago

Olá Wanderson Excelente trabalho, agora as buscas estão gerando resultados, vou te perguntar algumas coisas e isso pode te ajudar no desenvolvimento. testei por 2 vezes, as buscas acontecem e o resultado aparece porem algum coisa acontece na referencia do estado ou cidade, porque eu procurei por curitiba e apareceu muito resultado de curitiba... acredito que o codigo de erro está relacionado ao log abaixo:

2023-05-22T03:47:11.703Z ACTOR: Pulling Docker image from repository. 2023-05-22T03:47:15.458Z ACTOR: Creating Docker container. 2023-05-22T03:47:15.778Z ACTOR: Starting Docker container. 2023-05-22T03:47:16.781Z Starting X virtual framebuffer using: Xvfb :99 -ac -screen 0 1920x1080x24+32 -nolisten tcp 2023-05-22T03:47:16.783Z Executing main command 2023-05-22T03:47:18.496Z INFO System info {"apifyVersion":"3.1.4","apifyClientVersion":"2.7.1","crawleeVersion":"3.3.2","osType":"Linux","nodeVersion":"v16.20.0"} 2023-05-22T03:47:19.603Z INFO PuppeteerCrawler: Starting the crawl 2023-05-22T03:47:41.609Z ERROR PuppeteerCrawler: Error serching 2023-05-22T03:47:41.610Z Error: Error injecting the request 2023-05-22T03:47:41.612Z at searchRequestInject (/home/myuser/dist/spiders/BasicCompaniesInfo/searchUpTo1000.js:69:15) 2023-05-22T03:47:41.613Z at processTicksAndRejections (node:internal/process/task_queues:96:5) 2023-05-22T03:47:41.614Z at async SearchUpTo1000Companies (/home/myuser/dist/spiders/BasicCompaniesInfo/searchUpTo1000.js:11:27) 2023-05-22T03... [trimmed]

JS

junior_site

2 years ago

Existe como contornar as buscas que encerram em 1.000 resultados? Pergunto isso porque o resultado ocasiona muito cnpjs duplicados. Tá otimo amigo, será um sucesso!!!!!!

JS

junior_site

2 years ago

amigo não tá filtrando, nem por estado, nem por cidade, cnae, ddd...etc... acho que isso é moleza pra você :)

JS

junior_site

2 years ago

aceite a minha humilde dica, isso já vai ajudar demais e será possivel já ganhar "corpo" com o pessoal e a ferramenta ficar conhecida. Coloque para funcionar por esses campos e já vai sair muito na frente porque acredito der o campo que o pessoal mais precisa. Fazer funcionar os filtros nessa sequencia, dai já "fecha" com chave de ouro. 1 - Estado 2 - Cidade 3 - Bairro 4 - Ativa 5 - CNAE

esses são os principais filtros, você tem muito futuro nesse "negocio", bola pra frente Wanderson

FD

fundamental_desert

2 years ago

boa noite, satisfação encontrar esse boot está apresentando um erro e se colocar filtros não completa copiei uma parte do codigo

2023-06-10T06:39:10.521Z Executing main command 2023-06-10T06:39:10.531Z _XSERVTransmkdir: ERROR: euid != 0,directory /tmp/.X11-unix will not be created. 2023-06-10T06:39:12.021Z INFO System info {"apifyVersion":"3.1.5","apifyClientVersion":"2.7.1","crawleeVersion":"3.3.3","osType":"Linux","nodeVersion":"v16.20.0"} 2023-06-10T06:39:13.099Z INFO PuppeteerCrawler: Starting the crawl

2023-06-10T06:40:54.356Z ERROR PuppeteerCrawler: Request failed and reached maximum retries. SyntaxError: Unexpected end of JSON input 2023-06-10T06:40:54.359Z at pptr:evaluate;searchRequestInject%20(%2Fhome%2Fmyuser%2Fdist%2Fspiders%2FCnpjListSpider%2Fscrape.js%3A64%3A39):22:36 2023-06-10T06:40:54.361Z at evaluate (evaluate at searchRequestInject (/home/myuser/dist/spiders/CnpjListSpider/scrape.js:64:39), :21:35) 2023-06-10T06:40:54.363Z at ExecutionContext._ExecutionContext_evaluate (/home/myuser/node_modules/puppeteer-core/lib/cjs/puppeteer/common/ExecutionContext.js:262:51) 2023-06-10T06:40:54.365Z at runMicrotasks () 2023-06-10T06:40:54.367Z at processTicksAndRejections (node:internal/process/task_queues:96:5) 2023-06-10T06:40:54.368Z at async ExecutionContext.evaluate (/home/myuser/node_modules/puppeteer-core/lib/cjs/puppeteer/common/ExecutionContext.js:145:16) 2023-06-10T06:40:54.370Z at async search... [trimmed]

JS

junior_site

2 years ago

Olá Wanderson

Otimas mudanças!!!! já está quase perfeito, só precisa de alguns ajustes. Realmente o que foi mencionado acima faz sentido, os erros estão acontecendo mesmo. Não sei se você tem ou não acesso aos LOGS, então, coloquei abaixo os erros e algumas observações. Tamo junto!!!!

Coloquei para dados completos Estado SC Nome fantasia Pizzaria 2023-06-13T03:42:42.967Z _XSERVTransmkdir: ERROR: euid != 0,directory /tmp/.X11-unix will not be created. ............. 2023-06-13T03:43:36.302Z INFO PuppeteerCrawler: 2273 resultados encontrados para a pesquisa ............. 2023-06-13T03:46:35.711Z ERROR PuppeteerCrawler: Request failed and reached maximum retries. SyntaxError: Unexpected end of JSON input 2023-06-13T03:46:35.713Z at pptr:evaluate;searchRequestInject%20(%2Fhome%2Fmyuser%2Fdist%2Fspiders%2FCnpjListSpider%2Fscrape.js%3A64%3A39):22:36 2023-06-13T03:46:35.715Z at evaluate (evaluate at searchRequestInject (/home/myuser/dist/spiders/CnpjListSpider/scrape.js:64:39), :21:35) 2023-06-13T03:46:35.718Z at ExecutionContext._ExecutionContext_evaluate (/home/myuser/node_modules/puppeteer-core/lib/cjs/puppeteer/common/ExecutionContext.js:262:51) 2023-06-13T03:46:35.720Z at runMicrotasks () 2023-06-13T03:46:35.722Z at processTicksAndRejections (node:internal/process/task_queues:96:5) 2023-06-13T03:46:35.724Z at async ExecutionContext.evaluate (/home/myuser/node_modules/puppeteer-core/lib/cjs/puppeteer/common/ExecutionCo... [trimmed]

JS

junior_site

2 years ago

tudo certo querido amigo? muita correria? não deixe a ideia morrer, você é expoente nesse nicho

wandersonsousa avatar

Boa tarde, amigo, tive um problema com minha máquina, mas essa semana devo voltar com os trabalhos

JS

junior_site

2 years ago

opa, ai sim Wanderson Falta pouco pra ficar perfeito Estou torcendo pra dar certo! Que os ventos soprem a teu favor!!!!

wandersonsousa avatar

Pessoal, actor retrabalhado, fiquem a vontade pra testar!

RH

russet_hawk

2 years ago

Boa tarde Wanderson, tudo bem? Sou novo por aqui, tenho uma dúvida de iniciante, me desculpe! É o seguinte: o limite de 1000 linhas é definido pelo actor ou pelo plano free da Apify? Obrigado, abraços!

wandersonsousa avatar

Olá, esse limite é definido pelo Actor

RH

russet_hawk

2 years ago

Blz meu amigo, obrigado pela atenção!

JS

junior_site

a year ago

grande Wanderson, Saudações

Developer
Maintained by Community
Categories