medicalrag

---

Wissensbasis für medizinische Lappen (Retrieval-Augmented Generation)

Dieses Projekt baut eine Wissensbasis (Medical Abruf-Augmented Generation) mit Next.js , Langchain und Pinecone als Vektordatenbank auf. Das System verarbeitet medizinische Dokumente (z. B. PDF -Dateien) und speichert ihre Einbetten in einer Vektor -Datenbank, wodurch eine effiziente Suchfunktion der Ähnlichkeit ermöglicht wird, um relevante Informationen als Antwort auf Benutzeranfragen abzurufen.

Inhaltsverzeichnis

• Überblick
• Merkmale
• Technologien
• Einrichtung und Installation
• Konfiguration
• Verwendung
• Projektstruktur
• Fehlerbehebung

Überblick

Diese Anwendung bietet eine benutzerfreundliche Schnittstelle zum Hochladen von medizinischen Dokumenten wie PDFs, der Konvertierung in Stücke und dem Speichern ihrer Einbettungen in einer Vektordatenbank (Pnecone). Das System verwendet Langchain , um Dokumente zu knacken und die Einbettungsmodelle von Face zu umarmen, um Einbettungen zu erzeugen. Diese Einbettungen können effizient durchsucht werden, um relevante Informationen aus medizinischen Wissensbasis abzurufen.

Merkmale

• Medizinische Dokumente hochladen und verarbeiten (PDF, Textdateien).
• Teilen Sie große Dokumente und generieren Vektor-Einbettungen unter Verwendung eines auf ONNX-basierten Modells .
• Speichern Sie Dokumenteinbettungen in Pnecone für eine effiziente Suche nach Ähnlichkeit.
• Fortschrittsleiste zur Verfolgung des Einbettungsprozesses.
• Einfach erweiterbar, um mehr medizinische Dokumente einzubeziehen und die Wissensbasis zu verbessern.

Technologien

• Weiter.js : Zum Aufbau der Front-End- und API-Routen.
• Langchain : Für das Dokumentknacken und Einbettung.
• Pnecone : Vektordatenbank zum Speichern von Dokumenteneinbettungen.
• Umarmende Gesichtstransformatoren : Erzeugen Sie Einbettungen mit vorgeborenen Modellen.
• TypeScript : Aus Type.
• Shadcn UI : Zum Aufbau der UI -Komponenten.

Einrichtung und Installation

1. Klonen Sie das Repository klonen

git clone https://github.com/ShantamShukla/medicalrag.git
cd medicalrag

2. Installieren Sie Abhängigkeiten

Stellen Sie sicher, dass Sie Node.js (Version 18 oder höher) installiert haben. Installieren Sie dann die erforderlichen Pakete:

npm install

3. Umgebungsvariablen

Erstellen Sie eine .env -Datei im Stammvermögen des Projekts und fügen Sie die folgenden Umgebungsvariablen hinzu:

PINECONE_API_KEY=your_pinecone_api_key

Sie können Ihre Tinecone -API -Schlüssel erhalten, indem Sie sich bei Pinecone anmelden.

4. Tinecone einrichten

• Melden Sie sich an, um Pinecone zu erhalten, und erstellen Sie einen Index.
• Verwenden Sie 1024 als Dimension für Einbettungen und die Ähnlichkeit der Kosinus als Metrik.

5. Führen Sie die Anwendung aus

Führen Sie nach der Einrichtung den Entwicklungsserver aus:

npm run dev

Ihre App wird jetzt unter http://localhost:3000 ausgeführt.

Konfiguration

Die folgenden Konfigurationen sind für die App unerlässlich:

• Pinecone -Indexname : Der Name des Index, in dem Dokumenteinbettungen gespeichert sind.
• Namespace : Sie können verschiedene Dokumentsätze in Pnecone unter separaten Namespaces speichern.

Sie können diese in der Benutzeroberfläche angeben, bevor Sie Dateien hochladen.

Verwendung

1. Laden Sie Dokumente hoch

• Öffnen Sie die App unter http://localhost:3000 .
• Wählen Sie PDF- oder Textdateien in Ihrem lokalen System aus.
• Geben Sie den Indexnamen und den Namespace zum Speichern von Einbettungen an.
• Klicken Sie auf die Schaltfläche Upload , um den Einbettungsvorgang zu beginnen.

Die Fortschrittsleiste verfolgt den Prozess und die Einbettungen werden in die Pinecone -Datenbank gedrückt.

2. Ansicht gespeicherte Vektoren

Sobald die Einbettungen verarbeitet und gespeichert sind, können Sie sie in Ihrem Timecone -Dashboard anzeigen.

3. Suchen Sie Einbettungen (zukünftige Funktionen)

Sie können die App erweitern, indem Sie eine Suchschnittstelle erstellen, um die gespeicherten Einbettungsdings abzufragen und relevante Informationen abzurufen.

Projektstruktur

 ├── pages/
│   ├── api/
│   │   └── updatedatabase.ts  # API route to handle document uploading and embedding
│   ├── index.tsx              # Main page for uploading documents
├── utils/
│   ├── updateVectorDB.ts      # Utility function to chunk, embed, and upload vectors
├── components/
│   └── UI components for the project
├── documents/                 # Place for storing documents
├── config.ts                  # Configuration file (batch sizes, etc.)
├── .env                       # Environment variables
└── README.md                  # This readme file

Fehlerbehebung

1. Fehlern

Wenn Sie auf den Fehler stoßen:

 Failed to find any user-provided fetch implementation. Using global fetch implementation.

Stellen Sie sicher, dass Sie Node.js Version 18+ ausführen, was eine globale fetch -Funktion bietet. Sie können node.js mit:

nvm install 18
nvm use 18

2. Fehlende API -Schlüssel

Wenn die Vektoren nicht auf Pinecone gedrückt werden, stellen Sie sicher, dass Ihre API -Taste in der .env -Datei korrekt konfiguriert ist.

3.. Große Dateiverarbeitung

Für große PDF -Dokumente kann der Einbettungsprozess einige Zeit in Anspruch nehmen. Lassen Sie es laufen, bis die Fortschrittsleiste die Fertigstellung zeigt.

---