crawlers
v3.0.2
Norconex Web和Filesystem Crawler是功能齊全的爬網(或蜘蛛),可以操縱和存儲收集的數據在您選擇的存儲庫中(例如搜索引擎)。它們非常靈活,強大,易於擴展和便攜。它們可以在任何操作系統上使用基於文件的配置使用命令行,也可以使用有據可查的API嵌入Java應用程序中。
訪問網站以獲取二進制下載和文檔:https://opensource.norconex.com/crawlers/
該分支保留了仍在開發的版本4代碼。
有關Norconex Web爬網的最新穩定版本,請使用版本3分支。
截至2024年2月24日,默認的main分支保留了即將推出的版本4 Crawler堆棧的代碼。現在,它是一個單一repo,其中包含先前在單獨存儲庫中維護的所有NORCONEX軌道相關項目。該單聲道報告中的所有項目現在將同時發布並共享相同的版本編號。
在正式釋放V4之前,該分支不應被視為穩定。
| 文件夾 | 文物ID | 建造 |
|---|---|---|
| 爬行者/核心/ | NX-Crawler核心測試 | |
| 爬行者/fs/ | nx-crawler-fs | |
| 爬行者/web/ | NX-Crawler-Web | |
| 進口商/ | nx-importer | |
| 參數/AmazonCloudSearch/ | NX-Committer-AmazonCloudSearch | |
| 參數/apachekafka/ | NX-Committer-Apachekafka | |
| 委員/azurencognitivesearch/ | nx-committer-azurencognitivesearch | |
| 參數/核心/ | NX-Committer核心 | |
| 參數/偶像/ | NX-Committer-Idol | |
| 參數/Elasticsearch/ | NX-Committer-Elasticsearch | |
| 參數/neo4j/ | NX-Committer-Neo4J | |
| 參數/solr/ | NX-Committer-Solr | |
| 參數/sql/ | NX-Committer-SQL |
此存儲庫中的所有項目共享相同的Maven組ID:
com.norconex.crawler