keras search engine

Keras-Search-Engine

Un moteur de recherche de documents et d'image simple implémenté dans Keras

Caractéristiques

• Encodage au niveau du document à l'aide de l'intégration des mots gants
• Prise en charge de la recherche de texte intégral à l'aide de l'incorporation des gants
• Prise en charge de l'indexation des documents via l'API Web
• Soutenir la recherche d'images
• Prise en charge l'indexation d'images via l'API Web
• Document automatiquement le codage à l'aide de l'encodeur LSTM avec un gant d'intégration

Usage

Exécution du serveur API Web

GOTO KERAS_SEARCH_ENGINE_WEB RÉPERTOIRE ET EXPUMEZ LA COMMANDE suivante:

python flaskr.py

Maintenant, naviguez sur votre navigateur vers http: // localhost: 5000 et vous pouvez essayer

• La recherche sur le livre d'histoire (par laquelle l'utilisateur entre dans la requête de recherche sur les livres d'histoire chargés à partir de Keras_Search_Engine_Train / Data / Texts)
• La recherche d'images (par laquelle l'utilisateur télécharge une image à rechercher parmi les images stockées dans le keras_search_engine_train / data / images)

Invoquez une API Web pour indexer et rechercher un document texte

Avec le serveur API Web en cours d'exécution, vous pouvez indexer un nouveau document en appelant l'API Web suivante:

http://localhost:5000/index_text

Par exemple, ce qui suit est la commande curl pour appeler l'API Web pour indexer certains documents:

curl -H ' Content-Type application/json ' -X POST -d ' {"doc":"Whether you think that you can, or that you can ' t, you are usually right. " }' http://localhost:5000/index_text
curl -H 'Content-Type application/json' -X POST -d '{ " doc " : " Try to learn something about everything and everything about something. " }' http://localhost:5000/index_text
curl -H 'Content-Type application/json' -X POST -d '{ " doc " : " You can avoid reality, but you cannot avoid the consequences of avoiding reality. " }' http://localhost:5000/index_text
curl -H 'Content-Type application/json' -X POST -d '{ " doc " : " A mathematician is a device for turning coffee into theorems. " }' http://localhost:5000/index_text
curl -H 'Content-Type application/json' -X POST -d '{ " doc " : " In theory, there is no difference between theory and practice. But in practice, there is. " }' http://localhost:5000/index_text
curl -H 'Content-Type application/json' -X POST -d '{ " doc " : " I find that the harder I work, the more luck I seem to have. " }' http://localhost:5000/index_text

Pour interroger à l'aide de l'API Web, vous pouvez appeler l'API Web suivante:

curl -H ' Content-Type application/json ' -X POST -d ' {"query":"mathematician and coffee", "limit": 3, "model": "glove"} ' http://localhost:5000/search_text

Invoquez une API Web pour indexer et rechercher l'image

Avec le serveur API Web en cours d'exécution, vous pouvez indexer une nouvelle image en appelant l'API Web suivante via la demande de publication:

http://localhost:5000/index_image

Vous pouvez interroger des images similaires en appelant la demande de publication API Web suivante:

http://localhost:5000/search_image/10

où 10 est la limite du nombre d'images renvoyées

Utiliser SearchEngineClient

Il y a aussi une classe SearchEngineClient dans le Keras_Search_Engine_Client, les exemples de codes ressemblent:

 from keras_search_engine_client . search_engine_client import SearchEngineClient
client = SearchEngineClient ()

# text indexing and search
doc_count = client . doc_count ()
if doc_count < 4 :
    client . index_text ( 'Whether you think that you can, or that you can.' )
    client . index_text ( 'Try to learn something about everything and everything about something.' )
    client . index_text ( 'You can avoid reality, but you cannot avoid the consequences of avoiding reality.' )
    client . index_text ( 'A mathematician is a device for turning coffee into theorems.' )
    client . index_text ( 'In theory, there is no difference between theory and practice. But in practice, there is.' )
    client . index_text ( 'I find that the harder I work, the more luck I seem to have.' )
client . search_text ( query = 'mathematician and coffee' , limit = 3 , model = 'glove' )
client . search_text ( query = 'mathematician and coffee' , limit = 3 , model = 'doc-encoder' )

# image indexing and search
client . index_image ( './images/Pokemon7.png' )
client . search_image ( './images/Pokemon1.jpg' , 6 )

Configurer pour s'exécuter sur GPU sur Windows

• Étape 1: Modifiez TensorFlow en TensorFlow-GPU dans les exigences.txt et installez TensorFlow-GPU
• Étape 2: Téléchargez et installez la boîte à outils CUDA® 9.0 (veuillez noter que CUDA® Toolkit 9.1 n'est pas encore pris en charge par TensorFlow, vous devez donc télécharger Cuda® Toolkit 9.0)
• Étape 3: Téléchargez et déziptez le CUDNN 7.4 pour CUDA @ Toolkit 9.0 et ajoutez le dossier bin du répertoire non décompressé au chemin $ de votre environnement Windows