behemoth

Behemothは、Apache Hadoopに基づいた大規模なドキュメント処理のためのオープンソースプラットフォームです。

ドキュメントの簡単な注釈ベースの実装と、これらのドキュメントで動作する多数のモジュールで構成されています。巨人の主な側面の1つは、ドキュメントアナライザーの展開を大規模に単純化するだけでなく、以下の再利用可能なモジュールを提供することです。

• 一般的なデータソース（Warc、Nutchなどから摂取...）
• テキスト処理（Tika、Uima、Gate、Language Identification）
• 外部ツールの出力の生成（solr、mahout）

そのモジュラーアーキテクチャは、MapReduceに基づいてカスタムアノテーターの開発を簡素化します。

Behemothは、NLPまたは機械学習コンポーネントを実装していないが、既存のリソースの「大規模なグルーウェア」として機能することに注意してください。 Hadoopベースであるため、すべての機能、すなわちスケーラビリティ、フォールトトレランス、特に繁栄しているオープンソースコミュニティのバックアップから利益を得ています。

wiki：https：//github.com/digitalpebble/behemoth/wiki

メーリングリスト：http：//groups.google.com/group/digitalpebble

stackoverflow：http：//stackoverflow.com/questions/tagged/behemoth