behemoth

Behemoth는 Apache Hadoop을 기반으로 한 대규모 문서 처리를위한 오픈 소스 플랫폼입니다.

문서의 간단한 주석 기반 구현 및 이러한 문서에서 작동하는 여러 모듈로 구성됩니다. Behemoth의 주요 측면 중 하나는 문서 분석기의 배포를 대규모로 단순화하고 재사용 가능한 모듈을 제공하는 것입니다.

• 공통 데이터 소스에서 섭취 (Warc, Nutch 등)
• 텍스트 처리 (Tika, UIMA, 게이트, 언어 식별)
• 외부 도구의 출력 생성 (Solr, Mahout)

모듈 식 아키텍처는 MapReduce를 기반으로하는 사용자 정의 주석기의 개발을 단순화합니다.

Behemoth는 NLP 또는 기계 학습 구성 요소를 구현하지는 않지만 기존 리소스의 '대규모 글루웨어'역할을합니다. Hadoop 기반이기 때문에 모든 기능, 즉 확장 성, 결함 장애 및 특히 번성하는 오픈 소스 커뮤니티의 백업에서 이점을 얻습니다.

Wiki : https://github.com/digitalpebble/behemoth/wiki

메일 링리스트 : http://groups.google.com/group/digitalpebble

stackoverflow : http://stackoverflow.com/questions/tagged/behemoth