aspen

Аспект

Aspen позволяет искать в большом корпусе простых текстовых файлов через браузер.

• Мощная поддержка поискового запроса через синтаксис строки elasticsearch Query
• Выполняет некоторую базовую очистку данных с открытым текстом и может извлечь заголовки документов
• Отзывчивый пользовательский интерфейс, который работает на мобильном
• Бежит в Docker

Начало работы с использованием Docker Compose

1. Соберите свои документы

Поместите все ваши файлы в одном месте, например, ~/ebooks/ :

 $ tree ~/ebooks
/Users/ian/ebooks
└── Project Gutenberg/
    ├── Beowulf.txt
    ├── Dracula.txt
    ├── Frankenstein.txt

2. Запустите Aspen & Elasticsearch

 $ docker-compose up -d
Creating network "aspen_default" with the default driver
Creating elasticsearch ... done
Creating aspen         ... done

3. преобразовать любые документы не-пластистого (PDFS, MS Word)

Используйте включенную convert , которая завершает Apache Tika, чтобы преобразовать их в открытый текст. Передайте это имя файла относительно вашего каталога данных:

 $ ls ~/ebooks
Project Gutenberg Test.docx

$ docker-compose run aspen convert Test.docx
Starting elasticsearch ... done
Test.docx doesn't exist, trying /data/Test.docx
Creating /data/Test.txt...
...
OK

$ ls ~/ebooks
Project Gutenberg Test.docx         Test.txt

4. Импорт контента в Elasticsearch

Начните с сброса Elasticsearch, чтобы убедиться, что все работает:

 $ docker-compose run aspen es-reset
Starting elasticsearch ... done
Results from DELETE: { acknowledged: true }
✓ Done.

Теперь импортируйте все документы .txt . Сценарий import постарается автоматически выяснить название документа:

 $ docker-compose run aspen import
Starting elasticsearch ... done
→ Base directory is /app/public/data
▲ Ignoring non-text path: Test.docx
→ Test.txt → Test Document
→ Project Gutenberg/Beowulf.txt → The Project Gutenberg EBook of Beowulf
→ Project Gutenberg/Dracula.txt → The Project Gutenberg EBook of Dracula, by Bram Stoker
→ Project Gutenberg/Frankenstein.txt → Project Gutenberg's Frankenstein, by Mary Wollstonecraft (Godwin) Shelley
✓ Done!

Вы также можете запустить import с помощью каталога или имени файла относительно каталога данных. Например, import Project Gutenberg или import Project GutenbergDracula.txt .

Иногда открытые документы действуют странно. Может быть, bin/import не может извлечь заголовок или, возможно, выделения поиска выключены. В файле могут быть неверные окончания линии или один из тех раздражающих заголовков UTF-8 BOM. Попробуйте запустить DOS2UNIX в ваших текстовых файлах, чтобы исправить их.

5. Сделано!

Перейдите на http: // localhost: 3000/и начните поиск!

Настройка разработки

1. Установите зависимости

Легче всего использовать Elasticsearch через Docker.

Вы можете получить узел и пряжу через Homebrew на Mac, или вы можете скачать node.js v8.5 или более поздней версии, а также npm install -g yarn для получения пряжи.

Для обсуждения документов ( bin/convert ) вы захотите:

1. Апач Тика
2. Untf
3. Парни

На macOS вы можете brew install node tika unrtf par .

2. Клонировать репо

 $ git clone [email protected]:statico/aspen.git
$ cd aspen
$ yarn install

3. Установите ElasticSearch и импортируйте ваши данные

См. Шаги 1-4 в разделе «Использование Docker». Короче говоря, соберите ваши текстовые файлы вместе в одном месте, настройте Elasticsearch и импортируйте их с помощью команды bin/import .

4. Запустите веб -приложение

Aspen строится с использованием next.js, который является Node + ES6 + Express + React + Hot Reloading + гораздо больше. Просто беги:

 $ yarn run dev

... и перейти к http: // localhost: 3000

Если вы работаете на server.js и хотите автоматический перезапуск сервера, сделайте:

 $ yarn global add nodemon
$ nodemon -w server.js -w lib -x yarn -- run dev

Примечания к разработке

• Это началось как угловой пример 1 + CoffeeScript. Недавно я перенес его, чтобы использовать Next.js, ES6 и React. Вы можете просмотреть полную разницу здесь.
• Я все еще использую Elasticsearch 1.7, потому что я не удосужился выучить новые версии.

Ссылки

• Elasticsearch Guide
• Elasticsearch 1.7 Ссылка
• tree команда