crawlers

Crawlers de Norconex

Les robots de Norconex Web et System sont des robots complets (ou araignée) qui peuvent manipuler et stocker des données collectées dans un référentiel de votre choix (par exemple, un moteur de recherche). Ils sont très flexibles, puissants, faciles à étendre et portables. Ils peuvent être utilisés en ligne de commande avec une configuration basée sur des fichiers sur n'importe quel système d'exploitation ou intégré dans des applications Java à l'aide d'API bien documentée.

Visitez le site Web pour les téléchargements et la documentation binaires: https://openseource.norconex.com/crawlers/

Êtes-vous sur la bonne branche?

Cette branche contient le code de la version 4, qui est toujours en développement.

Pour la dernière version stable de Norconex Web Crawler, utilisez la branche de la version 3.

À venir: crawler v4 pile

Depuis le 24 février 2024, la branche main par défaut détient le code pour la prochaine pile de robottes de la version 4. Il s'agit désormais d'un mono-repo contenant tous les projets liés au Crawler Norconex précédemment maintenus dans des références distinctes. Tous les projets de ce rapport Mono seront désormais publiés simultanément et partageront le même numéro de version.

Jusqu'à ce que V4 soit officiellement libéré, cette branche ne doit pas être considérée comme stable.

Projets

Dossier	ID d'artefact	Construire
Crawler / Core /	Test NX-Crawler-Core
Crawler / FS /	NX-CRAWLER-FS
Crawler / web /	NX-CRAWLER-WEB
importateur /	nx-importeur
engagement / amazoncloudsearch /	NX-COMMITTER-AMAZONCLOUDSEARCH
Committe / apachekafka /	NX-COMMITTER-APACHEKAFKA
Committeur / AzureCogniceSearch /	NX-COMMITTER-AZURECOGNITIVESEARCH
engagement / core /	nx-committer-core
engagement / idol /	NX-COMMITTER-IDOL
engagement / elasticsearch /	NX-COMMITTER-ELASTICSEARCH
engagement / neo4j /	NX-COMMITTER-NEO4J
engagement / solr /	NX-COMMITTER-SOLR
Commiter / SQL /	NX-COMMITTER-SQL

Tous les projets de ce référentiel partagent le même ID de groupe Maven:

 com.norconex.crawler