aspen

Aspen

Aspen memungkinkan Anda mencari kumpulan besar file teks biasa melalui browser.

• Dukungan Kueri Pencarian yang Kuat Melalui Sintaks String Elasticsearch Query String
• Melakukan beberapa pembersihan dasar data plaintext dan dapat mengekstrak judul dokumen
• UI responsif yang berfungsi di ponsel
• Berjalan di Docker

Mulai menggunakan Docker Compose

1. Kumpulkan dokumen Anda

Letakkan semua file Anda di satu tempat, seperti ~/ebooks/ :

 $ tree ~/ebooks
/Users/ian/ebooks
└── Project Gutenberg/
    ├── Beowulf.txt
    ├── Dracula.txt
    ├── Frankenstein.txt

2. Jalankan Aspen & Elasticsearch

 $ docker-compose up -d
Creating network "aspen_default" with the default driver
Creating elasticsearch ... done
Creating aspen         ... done

3. Konversi dokumen non-plaintext (PDFS, MS Word) menjadi plaintext

Gunakan utilitas convert yang disertakan, yang membungkus Apache Tika, untuk mengubahnya menjadi plaintext. Lewati nama file relatif terhadap direktori data Anda:

 $ ls ~/ebooks
Project Gutenberg Test.docx

$ docker-compose run aspen convert Test.docx
Starting elasticsearch ... done
Test.docx doesn't exist, trying /data/Test.docx
Creating /data/Test.txt...
...
OK

$ ls ~/ebooks
Project Gutenberg Test.docx         Test.txt

4. Impor konten ke elasticsearch

Mulailah dengan mengatur ulang Elasticsearch untuk memastikan semuanya berfungsi:

 $ docker-compose run aspen es-reset
Starting elasticsearch ... done
Results from DELETE: { acknowledged: true }
✓ Done.

Sekarang impor semua dokumen .txt . Script import akan mencoba mencari tahu judul dokumen secara otomatis:

 $ docker-compose run aspen import
Starting elasticsearch ... done
→ Base directory is /app/public/data
▲ Ignoring non-text path: Test.docx
→ Test.txt → Test Document
→ Project Gutenberg/Beowulf.txt → The Project Gutenberg EBook of Beowulf
→ Project Gutenberg/Dracula.txt → The Project Gutenberg EBook of Dracula, by Bram Stoker
→ Project Gutenberg/Frankenstein.txt → Project Gutenberg's Frankenstein, by Mary Wollstonecraft (Godwin) Shelley
✓ Done!

Anda juga dapat menjalankan import dengan direktori atau nama file relatif terhadap direktori data. Misalnya, import Project Gutenberg atau import Project GutenbergDracula.txt .

Terkadang dokumen plaintext bertindak aneh. Mungkin bin/import tidak dapat mengekstrak judul atau mungkin sorotan pencarian tidak aktif. File mungkin memiliki ujung baris yang salah atau salah satu header BOM UTF-8 yang menjengkelkan. Coba jalankan Dos2Unix pada file teks Anda untuk memperbaikinya.

5. Selesai!

Pergi ke http: // localhost: 3000/dan mulai mencari!

Pengaturan Pembangunan

1. Pasang dependensi

Paling termudah menggunakan Elasticsearch melalui Docker.

Anda bisa mendapatkan node dan benang melalui homebrew di mac, atau Anda dapat mengunduh node.js v8.5 atau lebih baru dan npm install -g yarn untuk mendapatkan benang.

Untuk percakapan dokumen ( bin/convert ) Anda ingin:

1. Apache Tika
2. UNRTF
3. Par

Pada macOS Anda dapat brew install node tika unrtf par .

2. Kloning repo

 $ git clone [email protected]:statico/aspen.git
$ cd aspen
$ yarn install

3. Mengatur Elasticsearch dan Impor Data Anda

Lihat Langkah 1-4 Di bagian "Menggunakan Docker" di atas. Singkatnya, kumpulkan file teks Anda di satu tempat, atur Elasticsearch, dan impor dengan perintah bin/import .

4. Mulai aplikasi web

Aspen dibangun menggunakan Next.js, yaitu Node + ES6 + Express + React + Hot Reload + Lot More. Cukup jalankan:

 $ yarn run dev

... dan pergi ke http: // localhost: 3000

Jika Anda bekerja di server.js dan ingin restart server otomatis, lakukan:

 $ yarn global add nodemon
$ nodemon -w server.js -w lib -x yarn -- run dev

Catatan Pembangunan

• Ini dimulai sebagai contoh sudut 1 + sudut. Saya baru -baru ini memigrasinya untuk menggunakan Next.js, ES6 dan React. Anda dapat melihat perbedaan penuh di sini.
• Saya masih menggunakan Elasticsearch 1.7 karena saya tidak repot -repot mempelajari versi yang lebih baru.

Tautan

• Panduan Penelitian Elastics
• Elasticsearch 1.7 Referensi
• tree Pohon