Local LLM Langchain

Notizbuch für lokale LLMs

Ziel dieses Projekts ist es, dass Benutzer ihre lokal gehosteten Sprachmodelle einfach in ein Notebook zum Testen mit Langchain laden können. Derzeit sind drei Notizbücher verfügbar. Zwei von ihnen verwenden eine API, um eine benutzerdefinierte Langchain -LLM -Wrapper zu erstellen - eine für die Web -UI von Oobabooga und die andere für Koboldai. Das dritte Notizbuch lädt die Modelle ohne API, indem es die virtuelle Umgebung der Text-Generation-Webui der Oobabooga und die Module für die Modellbelastung nutzt.

Sie erhalten eine Instanz des benutzerdefinierten LLM -Wrappers, mit dem Text generiert werden kann:

llm("prompt goes here")

Sie können dies anstelle der OpenAI -LLM -Klasse verwenden, die Sie in den meisten Leitfäden und Dokumentationen sehen.

Erste Schritte

Bitte befolgen Sie die Setup -Anweisungen für die in ihren jeweiligen Repositories bereitgestellten APIs. Aktualisieren Sie einfach die URL -Variable mit Ihrer API -URL und führen Sie die Zellen aus, um eine Instanz des benutzerdefinierten LLM -Wrappers zu erstellen.

Roadmap

Die Verwendung der API ist jetzt meine bevorzugte Methode zum Laden der Modelle. Ich habe vor, die API -Klassen/Notizbücher zu verbessern, aber im Moment funktionieren sie ziemlich gut. Ich lasse das Nicht-API-Sachen vorerst auf, aber ich werde sie in Zukunft nicht aktiv aufrechterhalten, also könnten die Dinge brechen.

Nicht-API-Notizbuchanweisungen:

1. Aktivieren Sie Ihre Python- oder Conda -Umgebung.
2. Installieren Sie Jupyter Notebook, indem Sie pip install jupyter in Ihrer bevorzugten Eingabeaufforderung oder Terminal.
3. Starten Sie Ihre Eingabeaufforderung oder Ihr Terminal neu, um sicherzustellen, dass die Installation ordnungsgemäß konfiguriert ist.
4. Aktivieren Sie Ihre Python- oder Conda -Umgebung erneut und führen Sie jupyter notebook im Eingabeaufforderung oder Terminal aus, um die Jupyter -Schnittstelle zu starten.
5. Navigieren Sie zu dem Verzeichnis, in dem sich Non-API-Notebook.ipynb befindet (OOBA-Benutzer geben es in ./text-generation-webui/ und öffnen Sie das Notizbuch in der Jupyter-Schnittstelle.