Norconex Web y los rastreadores del sistema de archivos son rastreadores con todas las funciones (o araña) que pueden manipular y almacenar datos recopilados en un repositorio de su elección (por ejemplo, un motor de búsqueda). Son muy flexibles, potentes, fáciles de extender y portátiles. Se pueden usar línea de comandos con configuración basada en archivos en cualquier sistema operativo o integrado en aplicaciones Java utilizando API bien documentadas.
Visite el sitio web para descargas y documentación binarias: https://opensource.norconex.com/crawlers/
Esta rama contiene el código de la versión 4, que todavía está en desarrollo.
Para la última versión estable de Norconex Web Crawler, use la rama de la versión 3.
A partir del 24 de febrero de 2024, la rama main predeterminada contiene código para la próxima pila de rastreadores de la versión 4. Ahora es un mono-Repo que contiene todos los proyectos relacionados con el rastreador de Norconex previamente mantenidos en reposes separados. Todos los proyectos en este informe mono ahora se publicarán simultáneamente y compartirán el mismo número de versión.
Hasta que se libere oficialmente V4, esta rama no debe considerarse estable.
| Carpeta | ID de artefacto | Construir |
|---|---|---|
| rastreador/núcleo/ | prueba de núcleo nx | |
| rastreador/fs/ | nx-rawler-fs | |
| rastreador/web/ | nx-rawler-web | |
| importador/ | Nx-Importer | |
| Commisor/AmazOnClouddSearch/ | NX-Commisor-AMazonClouddSearch | |
| comitante/apachekafka/ | NX-Commisor-Apachekafka | |
| Commisor/Azurecognivesearch/ | NX-Commisor-Azurecognivesearch | |
| comitante/núcleo/ | nx-comprador-núcleo | |
| comitante/ídolo/ | NX-Commisor-idol | |
| comitante/elasticsearch/ | NX-Commisor-ElasticSearch | |
| comitante/neo4j/ | NX-Commisor-Neo4J | |
| comitante/solr/ | NX-Commisor-Solr | |
| comitante/sql/ | NX-Commisor-SQL |
Todos los proyectos en este repositorio comparten la misma ID de grupo Maven:
com.norconex.crawler