Os rastreadores da Web e do sistema de arquivos Norconex são rastreadores completos (ou aranha) que podem manipular e armazenar dados coletados em um repositório de sua escolha (por exemplo, um mecanismo de pesquisa). Eles são muito flexíveis, poderosos, fáceis de estender e portáteis. Eles podem ser usados em linha de comando com configuração baseada em arquivo em qualquer sistema operacional ou incorporada em aplicativos Java usando APIs bem documentadas.
Visite o site para downloads e documentação binária: https://opensource.norconex.com/crawlers/
Esta filial detém o código da versão 4, que ainda está em desenvolvimento.
Para o lançamento estável mais recente do Norconex Web Crawler, use o ramo da versão 3.
Em 24 de fevereiro de 2024, a filial main padrão mantém o código para a próxima pilha Crawler da versão 4. Agora é um mono-repo contendo todos os projetos relacionados à norconex rastreadores anteriormente mantidos em repositórios separados. Todos os projetos neste relatório mono serão lançados simultaneamente e compartilharão o mesmo número de versão.
Até que o V4 seja liberado oficialmente, esse ramo não deve ser considerado estável.
| Pasta | Id de artefato | Construir |
|---|---|---|
| Crawler/núcleo/ | teste NX-CRAWLER-CORE | |
| RAUWLER/FS/ | NX-CRAWLER-FS | |
| RAUWLER/WEB/ | NX-CRAWLER-Web | |
| importador/ | NX-Importer | |
| Compromissor/AmazonCloudSearch/ | NX-COMMITTER-AMAZONCLOUDSERCH | |
| comissário/apachekafka/ | NX-Committer-Apachekafka | |
| Compromissor/azureCognitiveSearch/ | NX-Committer-AzureCognitiveSearch | |
| comissário/núcleo/ | NX-Commissor-core | |
| Compromissor/ídolo/ | NX-Committer-Idol | |
| Compromissor/Elasticsearch/ | NX-Committer-ELASTICSEARCH | |
| comissário/neo4j/ | NX-Committer-Neo4j | |
| comissário/solr/ | NX-Committer-Solr | |
| comissário/sql/ | NX-Committer-SQL |
Todos os projetos neste repositório compartilham o mesmo ID do grupo Maven:
com.norconex.crawler