VecTextSearch

VectextSearch

VectextSearch ist ein Projekt, bei dem das OpenAI -Sprachmodell verwendet wird, um Textvektoren zu generieren und effiziente Suchanfragen in der Webensdatenbank durchzuführen. Es ermöglicht Benutzern, Textdaten in einer Weaviate -Datenbank zu speichern und schnell relevante Text basierend auf der Textzeitähnlichkeit zu durchsuchen und abzurufen. Das Projekt ist in Golang geschrieben und bietet eine einfache REST -API für Kundenaufrufe

Vereinfachtes Chinesisch |

Projekteinführung

VectextSearch ist ein Projekt, das das OpenAI -Sprachmodell verwendet, um Textvektoren zu generieren und effiziente Suchanfragen in einer Webensdatenbank durchzuführen. Es ermöglicht Benutzern, Textdaten in einer Weaviate -Datenbank zu speichern und schnell relevante Text basierend auf der Textzeitähnlichkeit zu durchsuchen und abzurufen. Das Projekt ist in Golang geschrieben und bietet eine einfache REST -API für Kundenaufrufe.

Chat -Geschichte

Chat -Historie 1 - Erstellen Sie ein Projekt

Chat -Historie 2 - Ändern Sie Dockerfile und Makefile

CHAT -Datensatz 3 - Vereinfachen Sie die Rückgabeergebnisse der Vektorsuche und ändern Sie die Datenstruktur

Chat -Rekord 4 - Refactoring der Projektstruktur

Chat -Datensatz 5 - Der Chat -Chat -Dialog direkt als Markdown -Datei herunterladen

Chat -Verlauf 6 - Fügen Sie Cross -Domänen -Unterstützung hinzu, um den Fehler von Make Run -Befehl zu beheben

Chat -Historie 7 - Dokumentfehler beheben

Chat -Verlauf 8 - Konfigurieren Sie, ob der Inhalt beim Hinzufügen von Text wiederholt werden kann

CHAT -Historie 9 - Das Klassenname von Weaviate kann konfiguriert werden

Wirkung

Briefträger

Netz

flattern

Projekthintergrund

In vielen praktischen Anwendungen sind Schnellsuche auf der Grundlage der Textähnlichkeit erforderlich. In einem Artikel finden Sie beispielsweise andere Artikel, die ihren Inhalten ähneln. Herkömmliche Keyword-basierte Suchmethoden erfassen möglicherweise nicht genau die Ähnlichkeiten zwischen Texten. VectextSearch verwendet das leistungsstarke Sprachmodell von OpenAI, um Text in Vektordarstellungen umzuwandeln, und dann die Weaaviate -Datenbank für eine effiziente ähnliche Vektorsuche.

Verwendungs- und Nutzungsszenarien

VectextSearch kann auf die folgenden Szenarien angewendet werden:

• Finden Sie relevante Inhalte für Artikel, Blogs, Papiere usw.
• Implementieren Sie ein intelligentes Frage-und-Antwort-System, das relevante Fragen und Antworten basierend auf Benutzerfragen schnell abgibt.
• Erstellen Sie ein Empfehlungssystem und empfehlen Sie den Benutzern ähnliche Artikel basierend auf ihrer Leseverlauf.
• Doppelte oder plagiierte Inhalte erkennen.

TODO -Liste

• Entwickeln Sie eine Demo -Anwendung : Erstellen Sie eine Demo -Anwendung, die VectextSearch -Funktionalität und Anwendungsfälle visualisiert.
• Fügen Sie eine Datenverwaltungsschnittstelle hinzu : Stellen Sie eine Datenverwaltungsschnittstelle für Projekte zur Verfügung, mit der Benutzer Textdaten verwalten können, die in der WeaViate -Datenbank gespeichert sind.
• Entwickeln Sie eine benutzerfreundliche Front-End-Oberfläche : Vereinfachen Sie die Verwendung von VeTextSearch und bieten Sie den Benutzern eine bessere Erfahrung.
• Geben Sie eine detaillierte Dokumentation vor : Schreiben Sie eine detaillierte Dokumentation einschließlich API -Referenzen, Verwendungsbeispiele und Tutorials.
• Weitere Konfigurationsoptionen sind verfügbar : Ermöglicht Benutzern, die Leistung und Funktionalität von VectextSearch entsprechend ihren Anforderungen anzupassen.
• Fügen Sie Unit -Tests und Integrationstests hinzu : Stellen Sie die Codequalität und -stabilität sicher.
• Achten Sie auf die Aktualisierungen des OpenAI -Sprachmodells : Achten Sie weiterhin auf die Aktualisierungen und Verbesserungen des OpenAI -Sprachmodells und wenden Sie die neuesten Technologien rechtzeitig auf VectextSearch an.
• Entwicklungs-Plug-in- oder Erweiterungssystem : Ermöglicht Benutzern die Anpassung der Funktionen von VectextSearch nach ihren Anforderungen.

Schnittstelleneinführung

VectextSearch bietet zwei REST -API -Schnittstellen:

Text hinzufügen

• URL: /add-Text
• Methode: Post
• Inhaltstyp: Anwendung/JSON
• Nutzlast anfordern:

{
  "name" : "文章名称" ,
  "content" : "文章内容"
}

• Antwort: Nach erfolgreichem Hinzufügen von Text wird ein JSON -Objekt, das die Text -ID enthält, zurückgegeben.

{
  "id" : "文章唯一标识符"
}

Suche nach ähnlichen Texten

• URL: /Search-similar-Texts
• Methode: Post
• Inhaltstyp: Anwendung/JSON
• Nutzlast anfordern:

{
  "content" : "查询内容"
}

Antwort: Nach erfolgreicher Suche wird ein JSON -Objekt, das ähnliche Textinformationen enthält, zurückgegeben.

[
  {
    "name" : "文章名称" ,
    "content" : "文章内容" ,
    "distance" : 浮点数（与查询内容的距离）,
    "certainty" : 浮点数（与查询内容的相似度）
  },
  ...
]

Makefile -Funktionsbeschreibung

• make init : Erstellt eine .env -Dateivorlage zum Konfigurieren von Umgebungsvariablen.
• make build : Build Docker Image.
• make push : Drücken Sie das Docker -Bild in den Docker -Hub.
• make run : Führen Sie die Anwendung lokal aus.

Starten Sie die Weaviate Vector -Datenbank

docker run -d 
  --name weaviate 
  -p 8888:8080 
  --restart on-failure:0 
  -e QUERY_DEFAULTS_LIMIT=25 
  -e AUTHENTICATION_ANONYMOUS_ACCESS_ENABLED=true 
  -e PERSISTENCE_DATA_PATH= ' /var/lib/weaviate ' 
  -e DEFAULT_VECTORIZER_MODULE= ' none ' 
  -e ENABLE_MODULES= ' ' 
  -e AUTOSCHEMA_ENABLED=true 
  -e CLUSTER_HOSTNAME= ' node1 ' 
  semitechnologies/weaviate:1.18.1 
  --host 0.0.0.0 
  --port 8080 
  --scheme http

Chatgpt zum Markdown -Chrom -Plugin

Chatgpt to Markdown ist ein Chrome-Plug-In, das von ChatGPT entwickelt wurde, mit dem Benutzer ChatGPT- und OpenAI-Konversationsdatensätze als Markdown-Dateien problemlos herunterladen können. Die generierte Markdown -Datei enthält die gesamte Konversation und macht eine klare Unterscheidung zwischen dem Benutzer und dem Assistenten. Dieses Plug-In ist für Benutzer bequem, die Chat-Historie zu organisieren, zu sehen und die Arbeitseffizienz zu verbessern.

Hauptfunktionen:

• Fügen Sie der Chatgpt -Dialogseite eine Schaltfläche "Download -Markdown" hinzu
• Konvertieren Sie den gesamten Gesprächsdatensatz in das Markdown -Format
• Generieren Sie automatisch Chat -Verlaufsabsätze mit Titeln "Neo" (Benutzer) und "Chatgpt" (Assistent)

Ausführliche Anweisungen und Verwendungsmethoden finden Sie im ChatGPT auf die Markdown-Plug-in-Datei.

Entwicklung und Beitrag

Wenn Sie zur VectextSearch oder zur sekundären Entwicklung Ihres Projekts beitragen möchten, können Sie folgende Schritte befolgen:

1. Klonen Sie dieses Repository nach lokal:

git clone https://github.com/szpnygo/VecTextSearch.git

2. Geben Sie das Projektverzeichnis ein und installieren Sie die entsprechenden Abhängigkeiten:

 cd VecTextSearch
go get -u

3. Füllen Sie den richtigen OpenAI -API -Schlüssel in der Datei config.yml ein.

4. Führen Sie das Projekt aus:

go run main.go

Wenn Sie Probleme mit VectextSearch oder neuen Ideen und Vorschlägen haben, senden Sie bitte ein Problem oder eine Anfrage. Wir schätzen Ihren Beitrag und Ihre Unterstützung sehr!

Lizenz

VectextSearch verwendet eine MIT -Lizenz. Weitere Informationen finden Sie in der Lizenzdatei.

Kontaktieren Sie uns

Wenn Sie auf Probleme mit der Verwendung von VectextSearch stoßen, können Sie sich gerne an uns wenden. Sie können uns kontaktieren durch:

• Ausgabe im Github -Repository einreichen
• Senden Sie eine E -Mail an: [email protected]