aquila

Aquila DB

Moteur de recherche neuronal facile à utiliser

Aquila DB est un moteur de recherche neuronal. En d'autres termes, il s'agit d'une base de données pour indexer les vecteurs latents générés par les modèles ML ainsi que les métadonnées JSON pour effectuer une récupération K-NN . Il est mort simple à configurer, à la langue-agnostique et à tomber en plus de vos applications d'apprentissage automatique. Aquila DB, à partir des caractéristiques actuelles, est une solution prête pour les ingénieurs d'apprentissage automatique et les scientifiques des données pour créer des applications de récupération d'informations neuronales hors de la boîte avec des dépendances minimales.

Ce projet est toujours en version alpha et nous l'utilisons déjà en production pour alimenter la recherche sémantique sur https://aquila.network.

Vous voulez soutenir ce projet? Oui, nous aimons obtenir une étoile et un cri ?

Rejoignez le chat communautaire et obtenez un soutien:

Qui est-ce pour

• Si vous travaillez sur un projet de science des données et que vous devez stocker beaucoup de données et récupérer des données similaires en fonction de certains vecteurs de fonctionnalités, ce sera un outil utile pour vous, avec des avantages supplémentaires aux besoins d'une application Web réel.
• Vous traitez avec beaucoup d'images et de métadonnées connexes? Vous voulez en trouver des similaires? Vous êtes au bon endroit.
• Si vous recherchez une base de données de documents, ce n'est pas le bon endroit pour vous.

Technologie

Aquila DB alimente les caractéristiques de recherche d'Aquila Network. Voici où se situe Aquila DB dans tout l'écosystème:

Si vous êtes sérieux et que vous voulez plonger dans le terrier du lapin, lisez nos blancs et nos spécifications techniques (en cours de travail activement).

Dans une note secondaire , tout dans le réseau Aquila est défini par les spécifications et une grande partie de nos efforts y entre. Nous maintenons également des implémentations de qualité de ces spécifications en pensant aux utilisateurs non techniques. Il s'agit de s'assurer que - Aquila Network est entièrement ouvert, décentralisé par la conception et juste. Vous pouvez suivre ces spécifications pour implémenter votre logiciel alternatif et toujours interagir avec le réseau sans aucune restriction.

Installer

Debian

Run curl -s -L https://raw.githubusercontent.com/Aquila-Network/AquilaDB/master/install.sh | /bin/bash -s -- -d 1 .

Docker

Vous avez besoin de Docker installé dans votre système

Build Image (Lite): docker build https://raw.githubusercontent.com/Aquila-Network/AquilaDB/master/Dockerfile -t aquiladb:local

Build Image (Big Data): docker build https://raw.githubusercontent.com/Aquila-Network/AquilaDB/master/DockerfileBig -t aquiladb:localbg

Exécuter l'image (pour déployer Aquila DB Lite): docker run -p 5001:5001 -d aquiladb:local

Exécuter l'image (pour déployer Aquila DB Big): docker run -p 5001:5001 -d aquiladb:localbg

SDKS du client

Nous avons actuellement plusieurs bibliothèques de clients en cours pour abstraction de la communication entre Aquila DB déployée et vos applications.

Python

Nœud js

Où obtenir une clé privée (clé de portefeuille) pour l'authentification du client

Lorsque vous utilisez une bibliothèque client pour vous authentifier avec AquilAdb, vous pourriez avoir besoin d'accéder à la même clé privée (clé de portefeuille) utilisée par AquilAdB. Cette clé est située à l'intérieur /ossl/ Directory dans AquilAdb Docker Container (dans votre ordinateur si vous avez installé AquilAdb directement sans Docker). Pour accéder aux touches à l'intérieur de votre conteneur Aquiladb, suivez les étapes ci-dessous:

• Identifier CONTAINER ID pour l'instance Docker aquiladb déjà en cours d'exécution: docker ps
• Prenez une copie des clés privées de Docker Container à votre machine hôte: docker cp CONTAINER_ID:/ossl/ ./
• Vous verrez maintenant un nouveau répertoire nommé ossl à votre emplacement actuel. Utilisez les touches à l'intérieur.

Conseils pour les utilisateurs avancés

Si votre pipeline nécessite que les clés privées soient générées à l'avance, vous pouvez le faire dans votre machine hôte, puis le monter dans le répertoire du conteneur /ossl/ .

Courir:

 mkdir -p <host>/ossl/
openssl genrsa -passout pass:1234 -des3 -out <host>/ossl/private.pem 2048
openssl rsa -passin pass:1234 -in <host>/ossl/private.pem -outform PEM -pubout -out <host>/ossl/public.pem
openssl rsa -passin pass:1234 -in <host>/ossl/private.pem -out <host>/ossl/private_unencrypted.pem -outform PEM

Progrès

Ce projet est toujours et sera en cours de développement actif avec les versions de production intermédiaires. Il peut être utilisé comme une base de données autonome ou comme nœud participant au réseau Aquila. Veuillez noter que le port Aquila (couche de réseau Peer-Peer pour les nœuds Aquila DB) est également un travail en cours. Actuellement, vous devez déployer vos modèles personnalisés pour alimenter les incorporations de vecteur à Aquila DB, jusqu'à ce que les développements Aquila Hub commencent.

Contribuer

Nous avons préparé un document pour que quiconque soit intéressé à contribuer, a immédiatement commencé avec Aquila DB. Voici notre feuille de route de haut niveau.

Apprendre

Nous avons commencé à rencontrer des développeurs et à faire de petites discussions sur Aquila DB. Voici les diapositives que nous utilisons à ces occasions: http://bit.ly/aquiladb-slides

Vidéo:

En ce qui concerne les fonctionnalités actuelles de libération d'AquilAdb, vous pouvez créer des applications de récupération d'informations neuronales hors de la boîte sans aucune dépendance externe. Voici quelques liens utiles pour en savoir plus et commencer à construire:

• Microsoft a publié un article et une vidéo YouTube à ce sujet pour intégrer toute personne intéressée:
  • Papier: https://www.microsoft.com/en-us/research/uploads/prod/2017/06/inr-061-mitra-neurmir-intro.pdf
  • Vidéo: https://www.youtube.com/watch?v=g1pgo5ytikg
• Embeddings pour tout: Recherchez dans l'ère du réseau neuronal: https://www.youtube.com/watch?v=jGhvjxp9nhw
• Les autoencoders sont l'un de ces algorithmes d'apprentissage en profondeur qui vous aideront à construire des vecteurs sémantiques - Fondation pour la récupération des informations neuronales. Voici quelques liens vers l'IR basé sur Autoencoders:
  • Accédez au chapitre 15 de ce lien: https://www.cs.toronto.edu/~hinton/coursera_lectures.html
  • https://www.coursera.org/lecture/ml-foundations/examples-of-document-reval-in-action-cw25h
  • https://www.coursera.org/lecture/intro-toep-ep-learning/autoencoders-101-qqboa
• Notez que l'idée de la récupération d'informations s'applique non seulement aux données de texte mais à toutes les données. Tout ce que vous avez à faire est de coder n'importe quel type de données source à un vecteur dense avec des réseaux de neurones profonds.

Nos sponsors

Envoyez-nous un courriel pour parrainer ce projet [email protected].

Citant Aquila DB

Si vous utilisez Aquila DB dans un journal académique, nous le ferions? à citer. Voici les deux façons de citer Aquila DB:

 footnote{https://github.com/Aquila-Network/AquilaDB}

 @misc{AquilaNetwork2019AquilaDB,
  title={AquilaDB: Neural Search Engine},
  author={Jubin Jose, Nibin Peter},
  howpublished={url{https://github.com/Aquila-Network/AquilaDB}},
  year={2019}
}

Licence

Fichier de licence Apache License 2.0

Créé par ❤️ avec a-MMA (a_ മ്മ)