Extrator de CNPJ Brasil

Oi Junior, tudp bem? Estou desenvolvendo esse actor pra trazer informações de contato também, atráves de filtros como data de abertura, cnae, capital social. Por enquanto este é só uma demonstração, provavelmente próximo mês deve sair. Abraço

Legal Wanderson, muito bem, parabéns!!!! Se colocar por CNAE e cidade já será um grande diferencial!!! Sucesso Brazuca!!!

Vambora HEHEH !!!

Atualizado, Junior

Vou gravar um vídeo tutorial

ola amigo achei a ideia ótima mas não consegui fazer as buscas sempre diz erro de json tentei de diversas maneiras e configurações mas não deu certo

Olá Wanderson, Grande progresso amigo, estou entusiasmado, muitas opções otimas. tá dando erro ao concluir a buscar, tem alguma coisa no .JSON. abaixo o codigo com o erro

2023-05-20T05:53:53.010Z at /home/myuser/node_modules/node-fetch/lib/index.js:273:32 2023-05-20T05:53:53.011Z at processTicksAndRejections (node:internal/process/task_queues:96:5) 2023-05-20T05:53:53.012Z at async scrapeCNPJ (/home/myuser/dist/spiders/CnpjListSpider/scrape.js:12:18) 2023-05-20T05:53:53.013Z at async /home/myuser/dist/spiders/CnpjListSpider/scrape.js:21:41 2023-05-20T05:53:53.014Z at async Promise.all (index 2) 2023-05-20T05:53:53.015Z at async scrapeCNPJs (/home/myuser/dist/spiders/CnpjListSpider/scrape.js:20:9) 2023-05-20T05:53:53.016Z at async main (/home/myuser/dist/main.js:94:9) { 2023-05-20T05:53:53.017Z type: 'invalid-json' 2023-05-20T05:53:53.017Z }

Olá, muito legal ler isso! o bot já foi corrigido nesse novo build!

Olá Wanderson Excelente trabalho, agora as buscas estão gerando resultados, vou te perguntar algumas coisas e isso pode te ajudar no desenvolvimento. testei por 2 vezes, as buscas acontecem e o resultado aparece porem algum coisa acontece na referencia do estado ou cidade, porque eu procurei por curitiba e apareceu muito resultado de curitiba... acredito que o codigo de erro está relacionado ao log abaixo:

2023-05-22T03:47:11.703Z ACTOR: Pulling Docker image from repository. 2023-05-22T03:47:15.458Z ACTOR: Creating Docker container. 2023-05-22T03:47:15.778Z ACTOR: Starting Docker container. 2023-05-22T03:47:16.781Z Starting X virtual framebuffer using: Xvfb :99 -ac -screen 0 1920x1080x24+32 -nolisten tcp 2023-05-22T03:47:16.783Z Executing main command 2023-05-22T03:47:18.496Z INFO System info {"apifyVersion":"3.1.4","apifyClientVersion":"2.7.1","crawleeVersion":"3.3.2","osType":"Linux","nodeVersion":"v16.20.0"} 2023-05-22T03:47:19.603Z INFO PuppeteerCrawler: Starting the crawl 2023-05-22T03:47:41.609Z ERROR PuppeteerCrawler: Error serching 2023-05-22T03:47:41.610Z Error: Error injecting the request 2023-05-22T03:47:41.612Z at searchRequestInject (/home/myuser/dist/spiders/BasicCompaniesInfo/searchUpTo1000.js:69:15) 2023-05-22T03:47:41.613Z at processTicksAndRejections (node:internal/process/task_queues:96:5) 2023-05-22T03:47:41.614Z at async SearchUpTo1000Companies (/home/myuser/dist/spiders/BasicCompaniesInfo/searchUpTo1000.js:11:27) 2023-05-22T03:47:41.615Z at async PuppeteerCrawler.requestHandler [as userProvidedRequestHandler] (/home/myuser/dist/spiders/BasicCompaniesInfo/initializers.js:272:39) 2023-05-22T03:47:41.616Z at async wrap (/home/myuser/node_modules/@apify/timeout/index.js:52:21)

Existe como contornar as buscas que encerram em 1.000 resultados? Pergunto isso porque o resultado ocasiona muito cnpjs duplicados. Tá otimo amigo, será um sucesso!!!!!!

amigo não tá filtrando, nem por estado, nem por cidade, cnae, ddd...etc... acho que isso é moleza pra você :)

aceite a minha humilde dica, isso já vai ajudar demais e será possivel já ganhar "corpo" com o pessoal e a ferramenta ficar conhecida. Coloque para funcionar por esses campos e já vai sair muito na frente porque acredito der o campo que o pessoal mais precisa. Fazer funcionar os filtros nessa sequencia, dai já "fecha" com chave de ouro. 1 - Estado 2 - Cidade 3 - Bairro 4 - Ativa 5 - CNAE

esses são os principais filtros, você tem muito futuro nesse "negocio", bola pra frente Wanderson

Consertado

boa noite, satisfação encontrar esse boot está apresentando um erro e se colocar filtros não completa copiei uma parte do codigo

2023-06-10T06:39:10.521Z Executing main command 2023-06-10T06:39:10.531Z _XSERVTransmkdir: ERROR: euid != 0,directory /tmp/.X11-unix will not be created. 2023-06-10T06:39:12.021Z INFO System info {"apifyVersion":"3.1.5","apifyClientVersion":"2.7.1","crawleeVersion":"3.3.3","osType":"Linux","nodeVersion":"v16.20.0"} 2023-06-10T06:39:13.099Z INFO PuppeteerCrawler: Starting the crawl

2023-06-10T06:40:54.356Z ERROR PuppeteerCrawler: Request failed and reached maximum retries. SyntaxError: Unexpected end of JSON input 2023-06-10T06:40:54.359Z at pptr:evaluate;searchRequestInject%20(%2Fhome%2Fmyuser%2Fdist%2Fspiders%2FCnpjListSpider%2Fscrape.js%3A64%3A39):22:36 2023-06-10T06:40:54.361Z at evaluate (evaluate at searchRequestInject (/home/myuser/dist/spiders/CnpjListSpider/scrape.js:64:39),

Olá Wanderson

Otimas mudanças!!!! já está quase perfeito, só precisa de alguns ajustes. Realmente o que foi mencionado acima faz sentido, os erros estão acontecendo mesmo. Não sei se você tem ou não acesso aos LOGS, então, coloquei abaixo os erros e algumas observações. Tamo junto!!!!

Coloquei para dados completos Estado SC Nome fantasia Pizzaria 2023-06-13T03:42:42.967Z _XSERVTransmkdir: ERROR: euid != 0,directory /tmp/.X11-unix will not be created. ............. 2023-06-13T03:43:36.302Z INFO PuppeteerCrawler: 2273 resultados encontrados para a pesquisa ............. 2023-06-13T03:46:35.711Z ERROR PuppeteerCrawler: Request failed and reached maximum retries. SyntaxError: Unexpected end of JSON input 2023-06-13T03:46:35.713Z at pptr:evaluate;searchRequestInject%20(%2Fhome%2Fmyuser%2Fdist%2Fspiders%2FCnpjListSpider%2Fscrape.js%3A64%3A39):22:36 2023-06-13T03:46:35.715Z at evaluate (evaluate at searchRequestInject (/home/myuser/dist/spiders/CnpjListSpider/scrape.js:64:39),

Capturou 291 resultados

não trouxe quase nada do filtro ESTADO, tinha que trazer SC e trouxe de SP, MT, BA, DF, PR, RG e quase nada de SC

não obedeceu o filtro NOME FANTASIA pizzaria trouxe vários outros nomes como transporte, lavanderia, escola, mas não trouxe nada do filtro selecionado

OBS: tenho a impressão que o que está no filtro é excluído dos resultados, mas é so opinião

tudo certo querido amigo? muita correria? não deixe a ideia morrer, você é expoente nesse nicho

Boa tarde, amigo, tive um problema com minha máquina, mas essa semana devo voltar com os trabalhos

opa, ai sim Wanderson Falta pouco pra ficar perfeito Estou torcendo pra dar certo! Que os ventos soprem a teu favor!!!!

Pessoal, actor retrabalhado, fiquem a vontade pra testar!

Boa tarde Wanderson, tudo bem? Sou novo por aqui, tenho uma dúvida de iniciante, me desculpe! É o seguinte: o limite de 1000 linhas é definido pelo actor ou pelo plano free da Apify? Obrigado, abraços!

Olá, esse limite é definido pelo Actor

Blz meu amigo, obrigado pela atenção!