الصفحة الرئيسية>المتعلقة بالبرمجة>شفرة المصدر الأخرى
تنزيل

أسبن

يتيح لك Aspen البحث في مجموعة كبيرة من الملفات النصية العادية عبر المتصفح.

  • دعم استعلام البحث القوي من خلال بناء جملة سلسلة استعلام Elasticsearch
  • يؤدي بعض التنظيف الأساسي لبيانات النص العادي ويمكنه استخراج عناوين المستندات
  • واجهة المستخدم المستجيبة التي تعمل على الهاتف المحمول
  • يدير في دوكر

البدء في استخدام Docker Compose

1. اجمع مستنداتك

ضع جميع ملفاتك في مكان واحد ، مثل ~/ebooks/ : 

 $ tree ~/ebooks
/Users/ian/ebooks
└── Project Gutenberg/
    ├── Beowulf.txt
    ├── Dracula.txt
    ├── Frankenstein.txt

2. Run Aspen & Elasticsearch 

 $ docker-compose up -d
Creating network "aspen_default" with the default driver
Creating elasticsearch ... done
Creating aspen         ... done

3. قم بتحويل أي مستندات غير مستندات (PDFS ، MS Word) إلى نص عادي

استخدم الأداة المساعدة convert ، التي تلتف Apache Tika ، لتحويلها إلى نص عادي. تمرير اسم ملف نسبة إلى دليل البيانات الخاص بك: 

 $ ls ~/ebooks
Project Gutenberg Test.docx

$ docker-compose run aspen convert Test.docx
Starting elasticsearch ... done
Test.docx doesn't exist, trying /data/Test.docx
Creating /data/Test.txt...
...
OK

$ ls ~/ebooks
Project Gutenberg Test.docx         Test.txt

4. استيراد المحتوى إلى Elasticsearch

ابدأ بإعادة تعيين Elasticsearch للتأكد من أن كل شيء يعمل: 

 $ docker-compose run aspen es-reset
Starting elasticsearch ... done
Results from DELETE: { acknowledged: true }
✓ Done.

الآن استيراد جميع مستندات .txt . سيحاول البرنامج النصي import معرفة عنوان المستند تلقائيًا: 

 $ docker-compose run aspen import
Starting elasticsearch ... done
→ Base directory is /app/public/data
▲ Ignoring non-text path: Test.docx
→ Test.txt → Test Document
→ Project Gutenberg/Beowulf.txt → The Project Gutenberg EBook of Beowulf
→ Project Gutenberg/Dracula.txt → The Project Gutenberg EBook of Dracula, by Bram Stoker
→ Project Gutenberg/Frankenstein.txt → Project Gutenberg's Frankenstein, by Mary Wollstonecraft (Godwin) Shelley
✓ Done!

يمكنك أيضًا تشغيل import باستخدام دليل أو اسم ملف بالنسبة إلى دليل البيانات. على سبيل المثال ، import Project Gutenberg أو import Project GutenbergDracula.txt .

في بعض الأحيان تتصرف مستندات النص العادي بشكل غريب. ربما لا يمكن لـ bin/import استخلاص العنوان أو ربما يتم إيقاف تشغيل أبرز البحث. قد يكون للملف نهايات الخط الخاطئة أو واحدة من رؤوس UTF-8 BOM المزعجة. حاول تشغيل DOS2UNIX على ملفاتك النصية لإصلاحها.

5.

انتقل إلى http: // localhost: 3000/وابدأ البحث!

إعداد التنمية

1. تثبيت التبعيات

من الأسهل استخدام Elasticsearch عبر Docker.

يمكنك الحصول على العقدة والغزل عبر Homebrew على Mac ، أو يمكنك تنزيل Node.js V8.5 أو الأحدث npm install -g yarn للحصول على الغزل.

لمحادثة المستند ( bin/convert ) ستحتاج:

  1. أباتشي تيكا
  2. untf
  3. قدم المساواة

على MacOS ، يمكنك brew install node tika unrtf par .

2. استنساخ الريبو 

 $ git clone [email protected]:statico/aspen.git
$ cd aspen
$ yarn install

3. قم بإعداد Elasticsearch واستيراد بياناتك

انظر الخطوات 1-4 في قسم "باستخدام Docker". باختصار ، اجعل ملفاتك النصية معًا في مكان واحد ، وقم بإعداد Elasticsearch ، واستيرادها باستخدام أمر bin/import .

4. ابدأ تطبيق الويب

تم تصميم Aspen باستخدام Next.js ، وهو Node + ES6 + Express + React + Hot Reloading + الكثير. ببساطة الجري: 

 $ yarn run dev

... وانتقل إلى http: // localhost: 3000

إذا كنت تعمل على server.js وتريد إعادة تشغيل الخادم التلقائي ، فقم: 

 $ yarn global add nodemon
$ nodemon -w server.js -w lib -x yarn -- run dev

ملاحظات التنمية

  • بدأ هذا كمثال Coffescript الزاوي 1 +. لقد قمت مؤخرًا بترحيله لاستخدام Next.js و ES6 و React. يمكنك عرض فرق كامل هنا.
  • ما زلت أستخدم Elasticsearch 1.7 لأنني لم أزعج نفسي بمعرفة الإصدارات الأحدث.

الروابط

  • دليل Elasticsearch
  • Elasticsearch 1.7 المرجع
  • قيادة tree
يوسع
معلومات إضافية
تطبيقات ذات صلة
نوصي لك
أخبار ذات صلة الكل