Téléchargement VecTextSearch - Téléchargement du code source VecTextSearch

VecTextSearch

Autre code source

v0.1.3

Télécharger

Vectextsearch

VecTextSearch est un projet qui utilise le modèle de langue OpenAI pour générer des vecteurs de texte et effectuer des recherches efficaces dans la base de données WeAviate. Il permet aux utilisateurs de stocker des données de texte dans une base de données de souviation et de rechercher et de récupérer rapidement le texte pertinent en fonction de la similitude du texte. Le projet est écrit en Golang et fournit une simple API de repos pour les appels clients

Chinois simplifié |

Introduction du projet

VECTEXTSEARCH est un projet qui utilise le modèle de langue OpenAI pour générer des vecteurs de texte et effectuer des recherches efficaces dans une base de données WeAviate. Il permet aux utilisateurs de stocker des données de texte dans une base de données de souviation et de rechercher et de récupérer rapidement le texte pertinent en fonction de la similitude du texte. Le projet est écrit en Golang et fournit une simple API REST pour les appels clients.

Historique du chat

Historique du chat 1 - Créer un projet

Historique du chat 2 - Modifier Dockerfile et Makefile

Enregistrement de chat 3 - Simplifiez les résultats de retour de la recherche vectorielle et modifiez la structure des données

Enregistrement de chat 4 - refactoring de la structure du projet

Enregistrement de chat 5 - Téléchargez directement le dialogue ChatGpt Chat en tant que fichier de marque

Historique du chat 6 - Ajoutez une prise en charge croisée pour corriger l'erreur de la commande MAKE RUN

Historique du chat 7 - Correction des erreurs de document

Historique du chat 8 - Configurez si le contenu peut être répété lors de l'ajout de texte

Historique du chat 9 - Le nom de classe de WeAviate peut être configuré

Effet

facteur

web

battement

Contexte du projet

Dans de nombreuses applications pratiques, des recherches rapides sont requises en fonction de la similitude du texte. Par exemple, étant donné un article, vous pouvez trouver d'autres articles similaires à leur contenu. Les méthodes de recherche basées sur les mots clés traditionnelles peuvent ne pas saisir avec précision des similitudes entre les textes. VECTExTSearch utilise le puissant modèle de langage d'Openai pour convertir le texte en représentations vectorielles, puis utilise la base de données WeAviate pour une recherche de vecteurs similaire efficace.

Scénarios d'utilisation et d'utilisation

VectextSearch peut être appliqué aux scénarios suivants:

Trouvez du contenu pertinent pour les articles, les blogs, les articles, etc.
Implémentez un système de questions et réponses intelligent pour faire correspondre rapidement les questions et réponses pertinentes en fonction des questions des utilisateurs.
Créez un système de recommandation et recommandez des articles similaires aux utilisateurs en fonction de leur historique de lecture.
Détecter le contenu en double ou plagié.

Liste de TOD

Développez une application de démonstration : créez une application de démonstration qui visualise les fonctionnalités de VectextSearch et les cas d'utilisation.
Ajoutez une interface de gestion des données : fournit une interface de gestion des données pour les projets pour faciliter les utilisateurs pour gérer les données de texte stockées dans la base de données WeAviate.
Développez une interface frontale conviviale : simplifiez l'utilisation de VectextSearch et offrez aux utilisateurs une meilleure expérience.
Fournir une documentation détaillée : rédiger une documentation détaillée, y compris les références API, les exemples d'utilisation et les tutoriels.
Plus d'options de configuration sont disponibles : permet aux utilisateurs d'ajuster les performances et les fonctionnalités de VecTextSearch en fonction de leurs besoins.
Ajouter des tests unitaires et des tests d'intégration : assurez la qualité et la stabilité du code.
Faites attention aux mises à jour du modèle de langue OpenAI : continuez à faire attention aux mises à jour et améliorations du modèle de langue OpenAI et appliquez en temps opportun les dernières technologies à VectextSearch.
Plug-in ou Système d'extension de développement : permet aux utilisateurs de personnaliser les fonctions de VectextSearch en fonction de leurs besoins.

Introduction d'interface

VecTextSearch fournit deux interfaces API REST:

Ajouter du texte

URL: /
Méthode: Poster
Type de contenu: Application / JSON
Demander la charge utile:

{
  "name" : "文章名称" ,
  "content" : "文章内容"
}

Réponse: Après avoir réussi à ajouter du texte, un objet JSON contenant l'ID de texte sera renvoyé.

{
  "id" : "文章唯一标识符"
}

Rechercher des textes similaires

URL: / recherche-texte-textes
Méthode: Poster
Type de contenu: Application / JSON
Demander la charge utile:

{
  "content" : "查询内容"
}

Réponse: Une fois la recherche réussie, un objet JSON contenant des informations de texte similaires sera renvoyé.

[
  {
    "name" : "文章名称" ,
    "content" : "文章内容" ,
    "distance" : 浮点数（与查询内容的距离）,
    "certainty" : 浮点数（与查询内容的相似度）
  },
  ...
]

Description de la fonction MakeFile

make init : crée un modèle de fichier .env pour configurer les variables d'environnement.
make build : Build Docker Image.
make push : pousser l'image docker vers le hub docker.
make run : exécutez l'application localement.

Démarrez la base de données vectorielle Weavate

docker run -d 
  --name weaviate 
  -p 8888:8080 
  --restart on-failure:0 
  -e QUERY_DEFAULTS_LIMIT=25 
  -e AUTHENTICATION_ANONYMOUS_ACCESS_ENABLED=true 
  -e PERSISTENCE_DATA_PATH= ' /var/lib/weaviate ' 
  -e DEFAULT_VECTORIZER_MODULE= ' none ' 
  -e ENABLE_MODULES= ' ' 
  -e AUTOSCHEMA_ENABLED=true 
  -e CLUSTER_HOSTNAME= ' node1 ' 
  semitechnologies/weaviate:1.18.1 
  --host 0.0.0.0 
  --port 8080 
  --scheme http

Chatgpt au plugin Chrome Markdown

Chatgpt to Markdown est un plug-in chrome développé par Chatgpt, conçu pour aider les utilisateurs à télécharger facilement les enregistrements de conversation ChatGpt et OpenAI en tant que fichiers Markdown. Le fichier Markdown généré contiendra toute la conversation et fera une distinction claire entre l'utilisateur et l'assistant. Ce plug-in est pratique pour les utilisateurs pour organiser et afficher l'historique du chat et améliorer l'efficacité du travail.

Fonctions principales:

Ajoutez un bouton "Télécharger Markdown" à la page de dialogue Chatgpt
Convertir l'enregistrement de la conversation entier au format Markdown
Générez automatiquement les paragraphes d'historique de chat avec des titres "Neo" (utilisateur) et "Chatgpt" (Assistant)

Pour des instructions détaillées et des méthodes d'utilisation, veuillez vous référer au fichier de plug-in Chatgpt au point de marque.

Développement et contribution

Si vous souhaitez contribuer à vectextsearch ou au développement secondaire de votre projet, vous pouvez suivre ces étapes:

Clonage ce référentiel à local:

git clone https://github.com/szpnygo/VecTextSearch.git

Entrez dans le répertoire du projet et installez les dépendances pertinentes:

 cd VecTextSearch
go get -u

Remplissez la touche API OpenAI correcte dans le fichier config.yml.
Exécutez le projet:

go run main.go

Si vous avez des problèmes d'utilisation de vectextsearch ou avez de nouvelles idées et suggestions, veuillez soumettre une demande de problème ou de traction. Nous apprécions vraiment votre contribution et votre soutien!