simtxt

Readme

Fitur

• Menggunakan model LSI untuk mencari kalimat serupa
• Indeks diperbarui di latar belakang oleh pekerja yang terpisah
• Indeks diperbarui pada setiap penambahan teks baru
• Caching yang kuat di sisi klien
• GraphQL API
• Jika tes lulus gambar Docker dibangun secara otomatis oleh tindakan githhub dan diunggah ke hub Docker

Batasan

• Seluruh indeks disimpan dalam RAM, jadi ini tidak akan berfungsi untuk set data besar
• Saat ini hanya satu contoh pekerja latar belakang yang didukung
• Indeks diperbarui pada setiap penambahan teks baru, ini tidak akan berfungsi untuk beban tinggi (dalam skenario dunia nyata saya akan memperbaruinya, katakanlah setiap 10 menit)

Arsitektur dan Tumpukan

Klien

• Naskah / bereaksi
• Klien Apollo untuk meminta graphql dan caching

Server

• Aiohttp sebagai server http
• Tartiflette untuk GraphQL (skema dapat ditemukan di sini)
• Mongo sebagai DB
• Gensim untuk model LSI
• Spacy untuk membagi teks pada kalimat
• Kursor MongoDB Tailable dan Capped Collection untuk Pubsub

Berlari

Untuk menjalankan build produksi, coba berikut ini. Ini akan mengambil gambar yang sudah dibangun sebelumnya dari Docker Hub.

 Docker-Compose Up

Untuk pengembangan (ini akan membangun gambar Docker dari sumber, yang mungkin memakan waktu):

 Docker-Compose -F Docker-Compose.dev.yml Up

Variabel Lingkungan

Server

SIMTXT_DB_URI	URI untuk database Mongo (default: mongodb://localhost:27017 )
SIMTXT_INDEX_MIN_SCORE	Jika skor kesamaan lebih dari nilai ini, kami termasuk kalimat ke daftar kalimat yang sama (default: 0.1 )
SIMTXT_LSI_NUM_TOPIC	Jumlah topik untuk model LSI (default: 100 )

Jika Anda memiliki dataset kecil dan tidak mendapatkan kalimat serupa, cobalah untuk mengubah SIMTXT_INDEX_MIN_SCORE ke 0 , misalnya SIMTXT_INDEX_MIN_SCORE=0 docker-compose up

Klien

REACT_APP_GRAPHQL_URI

URI untuk graphql API (default: http://localhost:8080/graphql )

Tes & Linting

Server

 Pytest
Pylint Simtxt
mypy simtxt

Klien

 uji benang --watchall = false
NPX ESLINT SRC