dolly expert lite

Titel	app_file	SDK	sdk_version
Dolly-Expert-Builder	app.py	Gradio	3.34.0

Dolly-Expert-Lite

Ein leichter Assistent von Dolly-V2, der domänenspezifische Fragen beantworten und ein Gespräch führen kann. Es sind Expertensysteme in der Ära von LLMs.

Einreichung bei "So denkst du, du kannst hacken": Open-Source LLMs (z. B. Openssistant, MPT, Dolly usw.) DevPost-Hackathon.

• Dolly Expert Builder @ Huggingface Räume
• Veröffentlichtes Datenbank -Notizbuch
• Jupyter Notebook - GitHub -Version

Inspiration

Expertensysteme

Expertensysteme waren in der künstlichen Intelligenz groß. Sie ahmen die Entscheidungsfähigkeiten eines menschlichen Experten in einem bestimmten Bereich nach und können in vielen Anwendungsfällen einen erheblichen Wert bieten. Der Hauptnachteil der Expertensysteme für alte Schule bestand darin, dass sie mit booleschen Aussagen oder einer ähnlichen Logik programmiert werden mussten, wobei sie erhebliche Zeit und Ressourcen in Anspruch nehmen mussten. In vielen Fällen besiegte dieser Ansatz den Zweck, einen leicht verfügbaren Experten für die jeweilige Aufgabe zu haben.

LLMs geschlossen

LLM-Anwendungen mit geschlossenen Source wie ChatGPT3.5 und Chatgpt-4 sind gigantische Modelle, die eine große Anzahl von Aufgaben sehr gut sind. Sie haben Einschränkungen wie Halluzinationen, wenn sie nicht wissen, wie sie reagieren sollen oder wenn die Antwort online ist und sie keinen Zugriff auf das Internet oder die Dateien haben. Manchmal werden diese Halluzinationen auf sehr überzeugende Weise erzählt, und wenn man versucht, sie umzusetzen, werden sie sich als falsch oder falsch herausstellen. Diese Modelle haben enorme Kontextfenster, damit die Menschen ihnen helfen können, jede Aufgabe zu erledigen, mit der sie zu kämpfen haben, indem sie viele Informationen bereitstellen und schnelle technische Techniken implementieren. Dies macht mehr als einer der Meinung, dass nur die großen Unternehmen mit geschlossenem Quellcode LLM -Anwendungen entwickeln und bereitstellen können.

Was es tut

Dolly Expert Lite nutzt Dolly-V2-3B, die leichte Version von Dolly-V2-12B, ein Open-Source-Großsprachmodell (LLM) zur Beantwortung domänenspezifischer Fragen unter Verwendung des Abrufens in benutzerdefinierten Vektordatenbanken. In diesem Beispiel ruft Dolly-Expert-Builder Informationen aus dem Gebäudecode von Ontario (Kanada) ab, um spezifische Fragen zu Bau, Sanitär, elektrischer Verkabelung und Belüftung gemäß dem offiziellen Regierungskodex zu beantworten. Der Dolly-Expert-Builder kann kohärente und sachlich korrigierte Informationen mit Quellen liefern und als Anleitungen für Handelsärzte (Klempner, Elektriker, Mechaniker, Wohnungsbauunternehmen) sowie Ingenieure und Architekten dienen, um bei der Durchführung von Arbeiten bei der Durchführung der Vorschriften zu helfen.

Durch die Befolgung dieser Methode können Einzelpersonen und Organisationen ihre lokalen Daten verwenden, um Expertenassistenten in der Lage zu machen, domänenspezifische Fragen zu beantworten. Mögliche Anwendungsfälle umfassen:

• Rechtschreibung regulatorischer/gesetzlicher Anforderungen
• On-Boarding- und Trainingsunterstützung
• Erklären von Qualitätssystemen
• Literaturkritiken
• Dokumentationssuche

Wie wir es gebaut haben

• Modell: Dolly-V2-3B, um eine leichte Entwicklung und Bereitstellung zu veranschaulichen
• Framework: Langchain, um die Frage zur Beantwortung der Kette und aufgrund ihrer Integration mit Chromadb zu machen
• Texteinbettungen: Texteinbettungen durch schwach überprüfte kontrastive Vorausbildung (E5-Base-V2). Wegen ihrer hohen Punktzahl bei Abrufaufgaben gemäß der MTEB English Langoulboard
• Der Baukodex von Ontario (Kanada): Um ein Beispiel dafür zu geben, wie Nicht-Tech-Arbeitnehmer von LLM-Anwendungen profitieren können. Die Codeseite ist nicht einfach zu navigieren, da die Abschnitte nur "Abschnitt 1", "Abschnitt 2" ..., "Abschnitt 14" bezeichnet werden. Benutzte ihre Website, um den Vektor Store zu analysieren und zu konvertieren.
• Vektor Store: Chromadb
• Bereitstellung: Umarmungsflächen und Gradio. Bereitstellung hier verfügbar: Dolly Expert Builder

Herausforderungen, auf die wir gestoßen sind

Da die Tools so neu sind, verursachen einige Unterschiede aus den Standard -Anwendungsfällen Fehler. Zum Beispiel:

• Versäumnis, Speicher und Quellen in derselben Frage zur Beantwortung der Kette in Langchain zu verwenden. Eine Problemumgehung wurde implementiert, indem eine Klasse erstellt wurde, die aus der Speicherklasse geerbt wurde.
• Fehler beim Verschrotten mit Sitemaps in einem Jupyter -Notebook. Dies könnte um die Anwendung der Nest_asyncio -Problemumgehung umgehen.
• Vektordatenbank nicht geladen. Ein weiteres Problem mit der frühen Entwicklung von Langchain, das teilweise bei der Verwendung persists_directory in der Chromadb -Initialisierung gespeichert wurde, und es würde später in einer separaten Instanz nicht geladen, da die .peristen () -Methode nicht aufgerufen wurde. Dies musste erneuert und erneut verpflichtet werden, damit die Datenbank endlich verfügbar war.
• Gradio -App nicht auf Jupyter Notebook gestartet. Die vorherige Problemumgehung veränderte die lokale Installation von Asyncio, was eine Gradio -Anforderung darstellt, was sie während derselben Laufzeit unbrauchbar macht. Um dies zu vermeiden, wurde die Vektordatenbank in einem separaten Notizbuch erstellt und dem Repo verpflichtet.
• Sehr langsame Schlussfolgerung auf die CPU. Da es keine offiziellen quantisierten Dolly -Modelle verfügbar gibt, hatte die Verwendung von CPU für Inferenz eine sehr hohe Latenz. Zum Zeitpunkt der Einreichung haben mir auch meine kostenlosen Testversion meiner Datenbeutel ausgegangen. Glücklicherweise war der Code bis dahin funktional und ich konnte online auf einem T4-Small-Bereich bereitgestellt und testen.

Erfolge, auf die wir stolz sind

In der Lage zu sein, einen funktionalen leichten Prototyp einer LLM-Anwendung mithilfe eines Open-Source-Modells wie Dolly zu erstellen und es als Umarmungsfläche bereitzustellen. In der Lage zu sein, zu zeigen, dass LLM-Anwendungen für alle sind und dass das Open-Source-Ökosystem genauso fähig ist wie die Pioniere für geschlossene Quellen.

Was wir gelernt haben

In Bezug auf das allgemeine Kenntnis der Softwareentwicklung habe ich gelernt, Pakete zu beheben, die miteinander in Konflikt stehen, und er lernte, dass Python neu gestartet werden muss, je nachdem, welche Abhängigkeiten installiert sind oder dass es manchmal besser ist, Aufgaben zu unterteilen, anstatt zu versuchen, alles gleichzeitig zu tun. Ich habe auch die Grundlagen von Gradio gelernt, um die App erstellen zu können. Und vor allem habe ich gelernt, Github -Probleme und Stackoverflow -Beiträge besser zu navigieren, um Problemumgehungen für die Probleme zu finden, die ich begegnete.

In Bezug auf das LLM-bezogene Wissen habe ich erfahren, wie wichtig es ist, Ihre Inferenzergebnisse dramatisch zu verbessern. Ich habe auch gelernt, dass Open-Source-Modelle die Möglichkeit bieten, LLM-Anwendungen für denjenigen zu entwickeln und bereitzustellen, der interessiert ist, und die Zeit für die Erforschung der Dokumentation und der Fehlerbehebung oder der aktuellen Probleme.

Was kommt als nächstes für Dolly Expert Lite

• Multi-Lingual: Für die nächste Iteration von Dolly Expert Lite möchte ich experimentieren und sehen, ob ich als gute Ergebnisse als gute Ergebnisse erzielen kann, die Vektorspeicher mit Informationen in anderen Sprachen und mehrsprachigen Einbettungen erstellen. Dies würde die Entwicklung anderer Nicht-Common-Anwendungen ermöglichen, die nicht in Tutorials oder beliebten Leitfäden zu sehen sind. Zum Beispiel ein rechtlicher Adjutant, der bei der Navigation des Labour Act of Mexico hilft, oder ein Adjutant der regulatorischen Konformität, das kanadische Franzosen interpretieren kann.
• Leistung: Um die Inferenzgeschwindigkeit zu verbessern, möchte ich Dolly für die Beantwortung und Untersuchung von Dolly in den Feinabstimmungen prüfen, ob es eine Methode zur Quantisierung gibt, mit der ich versuchen könnte, das 12B- oder 7B-Modell zu verwenden und gleichzeitig zu versuchen, konsistente, relativ kurze Inferenzzeiten aufrechtzuerhalten. Ich interessiere mich auch für die optimale Bibliothek und möchte an einem Anwendungsfall für den Intel Neural Stick arbeiten, was eine erschwingliche Alternative für die lokale Inferenz sein könnte.
• Speicher: In Bezug auf neue Funktionen möchte ich versuchen, Knowledge Graph Memory zu verwenden, um Schlüsselelemente in Gesprächen zu speichern und die Verwendung der Tools für komplexere Fälle zu ermöglichen. Zum Beispiel klarstellen, ob eine behördliche Anforderung erfüllt wurde und wenn nicht, wie die Anforderung für ihre Umsetzung abgebaut und beschrieben werden kann.