crawlers
v3.0.2
Norconex Web和Filesystem Crawler是功能齐全的爬网(或蜘蛛),可以操纵和存储收集的数据在您选择的存储库中(例如搜索引擎)。它们非常灵活,强大,易于扩展和便携。它们可以在任何操作系统上使用基于文件的配置使用命令行,也可以使用有据可查的API嵌入Java应用程序中。
访问网站以获取二进制下载和文档:https://opensource.norconex.com/crawlers/
该分支保留了仍在开发的版本4代码。
有关Norconex Web爬网的最新稳定版本,请使用版本3分支。
截至2024年2月24日,默认的main分支保留了即将推出的版本4 Crawler堆栈的代码。现在,它是一个单一repo,其中包含先前在单独存储库中维护的所有NORCONEX轨道相关项目。该单声道报告中的所有项目现在将同时发布并共享相同的版本编号。
在正式释放V4之前,该分支不应被视为稳定。
| 文件夹 | 文物ID | 建造 |
|---|---|---|
| 爬行者/核心/ | NX-Crawler核心测试 | |
| 爬行者/fs/ | nx-crawler-fs | |
| 爬行者/web/ | NX-Crawler-Web | |
| 进口商/ | nx-importer | |
| 参数/AmazonCloudSearch/ | NX-Committer-AmazonCloudSearch | |
| 参数/apachekafka/ | NX-Committer-Apachekafka | |
| 委员/azurencognitivesearch/ | nx-committer-azurencognitivesearch | |
| 参数/核心/ | NX-Committer核心 | |
| 参数/偶像/ | NX-Committer-Idol | |
| 参数/Elasticsearch/ | NX-Committer-Elasticsearch | |
| 参数/neo4j/ | NX-Committer-Neo4J | |
| 参数/solr/ | NX-Committer-Solr | |
| 参数/sql/ | NX-Committer-SQL |
此存储库中的所有项目共享相同的Maven组ID:
com.norconex.crawler