Сборщины Norconex и файловые системы-это полнофункциональные сканеры (или паук), которые могут манипулировать и хранить собранные данные в репозитории по вашему выбору (например, поисковая система). Они очень гибкие, мощные, простые в продлении и портативные. Они могут использоваться командной строкой с конфигурацией на основе файлов на любой ОС или встроены в приложения Java с использованием хорошо документированных API.
Посетите веб -сайт для двоичных загрузок и документации: https://opensource.norconex.com/crawlers/
Эта филиала содержит код версии 4, который все еще находится в разработке.
Для последнего стабильного выпуска Web Crawler Norconex используйте ветвь версии 3.
По состоянию на 24 февраля 2024 года main филиал по умолчанию содержит код для предстоящей версии 4 -го стека. В настоящее время это моно-репо, содержащий все проекты, связанные с норконексом, ранее поддерживаемые в отдельных репо. Все проекты в этом отчете Mono теперь будут выпущены одновременно и поделится тем же номером версии.
Пока V4 официально не будет опубликован, этот филиал не следует считать стабильным.
| Папка | Идентификатор артефакта | Строить |
|---|---|---|
| Crawler/Core/ | NX-Crawler-Core Test | |
| Crawler/fs/ | NX-Crawler-FS | |
| Crawler/web/ | NX-Crawler-Web | |
| импортер/ | nx-importer | |
| комитет/AmazonCloudsearch/ | nx-committer-amazoncloudsearch | |
| Коммиттор/Apachekafka/ | nx-committer-apachekafka | |
| комитет/azurecognitivesearch/ | nx-committer-azurecognitivessearch | |
| комитет/ядро/ | NX-Committer-Core | |
| комитет/идол/ | NX-Committer-Idol | |
| комитет/Elasticsearch/ | NX-Committer-Elasticsearch | |
| комитет/neo4j/ | NX-Committer-neo4j | |
| комитет/solr/ | NX-Committer-Solr | |
| комитет/SQL/ | NX-Committer-SQL |
Все проекты в этом хранилище имеют один идентификатор группы Maven Group:
com.norconex.crawler