aspen

아스펜

아스펜을 사용하면 브라우저를 통해 대형 일반 텍스트 파일을 검색 할 수 있습니다.

• Elasticsearch Query String Syntax를 통한 강력한 검색 쿼리 지원
• 일반 텍스트 데이터의 기본 정리를 수행하고 문서 제목을 추출 할 수 있습니다.
• 모바일에서 작동하는 반응 형 UI
• Docker에서 실행됩니다

Docker Compose를 사용하기 시작합니다

1. 문서를 수집하십시오

~/ebooks/ : 같은 모든 파일을 한 곳에 넣으십시오.

 $ tree ~/ebooks
/Users/ian/ebooks
└── Project Gutenberg/
    ├── Beowulf.txt
    ├── Dracula.txt
    ├── Frankenstein.txt

2. Aspen & Elasticsearch를 실행하십시오

 $ docker-compose up -d
Creating network "aspen_default" with the default driver
Creating elasticsearch ... done
Creating aspen         ... done

3. 비 임금 (PDFS, MS Word) 문서를 일반 텍스트로 변환

Apache Tika를 감싸는 포함 된 convert 유틸리티를 사용하여 일반 텍스트로 변환하십시오. 데이터 디렉토리와 관련된 파일 이름을 전달하십시오.

 $ ls ~/ebooks
Project Gutenberg Test.docx

$ docker-compose run aspen convert Test.docx
Starting elasticsearch ... done
Test.docx doesn't exist, trying /data/Test.docx
Creating /data/Test.txt...
...
OK

$ ls ~/ebooks
Project Gutenberg Test.docx         Test.txt

4. elasticsearch로 컨텐츠를 가져옵니다

Elasticsearch를 재설정하여 모든 것이 작동하는지 확인하십시오.

 $ docker-compose run aspen es-reset
Starting elasticsearch ... done
Results from DELETE: { acknowledged: true }
✓ Done.

이제 모든 .txt 문서를 가져 오십시오. import 스크립트는 문서 제목을 자동으로 파악하려고합니다.

 $ docker-compose run aspen import
Starting elasticsearch ... done
→ Base directory is /app/public/data
▲ Ignoring non-text path: Test.docx
→ Test.txt → Test Document
→ Project Gutenberg/Beowulf.txt → The Project Gutenberg EBook of Beowulf
→ Project Gutenberg/Dracula.txt → The Project Gutenberg EBook of Dracula, by Bram Stoker
→ Project Gutenberg/Frankenstein.txt → Project Gutenberg's Frankenstein, by Mary Wollstonecraft (Godwin) Shelley
✓ Done!

데이터 디렉토리와 관련하여 디렉토리 또는 파일 이름으로 import 실행할 수도 있습니다. 예를 들어, import Project Gutenberg 또는 import Project GutenbergDracula.txt .

때로는 일반 텍스트 문서가 이상하게 행동합니다. bin/import 제목을 추출 할 수 없거나 검색 하이라이트가 꺼져있을 수 있습니다. 파일에는 잘못된 라인 엔딩이 있거나 성가신 UTF-8 BOM 헤더 중 하나가있을 수 있습니다. 텍스트 파일에서 dos2unix를 실행하여 수정하십시오.

5. 완료!

http : // localhost : 3000/로 이동하여 검색을 시작하십시오!

개발 설정

1. 종속성을 설치하십시오

Docker를 통해 Elasticsearch를 사용하는 것이 가장 쉽습니다.

Mac에서 Homebrew를 통해 노드와 원사를 얻거나 Node.js v8.5 이상을 다운로드하여 npm install -g yarn 원사를 얻을 수 있습니다.

문서 대화 ( bin/convert )의 경우 다음을 원할 것입니다.

1. 아파치 티카
2. UNRTF
3. 평가

MacOS에서는 brew install node tika unrtf par 수 있습니다.

2. 레포를 복제하십시오

 $ git clone [email protected]:statico/aspen.git
$ cd aspen
$ yarn install

3. Elasticsearch를 설정하고 데이터를 가져옵니다

위의 "Docker 사용"섹션에서 1-4 단계를 참조하십시오. 요컨대, 텍스트 파일을 한 곳에 모아 Elasticsearch를 설정하고 bin/import 명령으로 가져 오십시오.

4. 웹 앱을 시작하십시오

Aspen은 Next.js를 사용하여 구축되며 Node + ES6 + Express + React + Hot Reloading + LOTY입니다. 단순히 실행 :

 $ yarn run dev

... 그리고 http : // localhost : 3000으로 이동하십시오

server.js 에서 작업하고 자동 서버 재시작을 원하는 경우 다음을 수행하십시오.

 $ yarn global add nodemon
$ nodemon -w server.js -w lib -x yarn -- run dev

개발 노트

• 이것은 각도 1 + 커피 스크립트 예제로 시작되었습니다. 최근에 다음을 마이그레이션했습니다. JS, ES6 및 React를 사용했습니다. 여기에서 전체 차이를 볼 수 있습니다.
• 나는 최신 버전을 배우는 것을 귀찮게하지 않았기 때문에 여전히 Elasticsearch 1.7을 사용하고 있습니다.

모래밭

• Elasticsearch 가이드
• Elasticsearch 1.7 참조
• tree 명령