dolly expert lite

titre	app_file	SDK	sdk_version
dominant	app.py	gradio	3.34.0

dolly-exppert-lite

Un assistant léger Dolly-V2 qui peut répondre aux questions spécifiques au domaine et maintenir une conversation. Ce sont des systèmes d'experts à l'ère des LLM.

Soumission au "So vous pensez que vous pouvez pirater": OpenSource LLMS (par exemple, Openassistant, MPT, Dolly, etc.) DevPost Hackathon.

• Dolly Expert Builder @ HuggingFace Spaces
• Note de données de données publié
• Cahier Jupyter - version github

Inspiration

Systèmes experts

Les systèmes experts étaient grands dans l'intelligence artificielle. Ils imitent les capacités de prise de décision d'un expert humain dans un domaine particulier et peuvent fournir une valeur substantielle dans de nombreux cas d'utilisation. Le principal inconvénient des systèmes d'experts à l'ancienne était qu'ils devaient être programmés à l'aide de déclarations booléennes ou d'une logique similaire, prenant beaucoup de temps et de ressources. À de nombreuses occasions, cette approche a vaincu le but d'avoir un expert facilement disponible pour la tâche à accomplir.

LLMS de source fermée

Les applications LLM à source fermée comme ChatGpt3.5 et ChatGPT-4 sont des modèles gigantesques qui sont très bons un grand nombre de tâches. Ils ont des limitations telles que les hallucinations lorsqu'ils ne savent pas comment répondre ou lorsque la réponse est en ligne et qu'ils n'ont pas accès à Internet ou aux fichiers. Parfois, ces hallucinations seront racontées de manière très convaincante et chaque fois que l'on essaie de les mettre en œuvre, ils se révéleront à plat faux ou incorrects. Ces modèles ont d'énormes fenêtres de contexte afin que les gens puissent les aider à faire la tâche avec laquelle ils luttent en fournissant beaucoup d'informations et en mettant en œuvre des techniques d'ingénierie rapides. Cela fait penser à plus de la pensée que seules les grandes entreprises avec un code source fermé peuvent développer et déployer des applications LLM.

Ce qu'il fait

Dolly Expert Lite exploite Dolly-V2-3b, la version légère de Dolly-V2-12B, un modèle de grande langue (LLM) open source pour répondre aux questions spécifiques au domaine en utilisant la récupération dans les bases de données vectorielles sur mesure. Dans cet exemple de déploiement, Dolly-Expert-Builder récupère les informations du code du bâtiment de l'Ontario (Canada) pour répondre à des questions spécifiques sur la construction, la plomberie, le câblage électrique et la ventilation conformément au code gouvernemental officiel. Dolly-Expert-Builder peut fournir des informations cohérentes et factuellement correctes avec des sources et peut servir de conseils adaptés aux gens de métier (plombiers, électriciens, mécaniciens, constructeurs de maisons) ainsi que les ingénieurs et les architectes pour aider à la conformité réglementaire tout en effectuant des travaux.

En suivant cette méthode, les individus et les organisations peuvent utiliser leurs données locales pour rendre les assistants experts en mesure de répondre aux questions spécifiques au domaine. Les cas d'utilisation possibles comprennent:

• Épeler les exigences réglementaires / légales
• Support d'intégration et de formation
• Expliquer les systèmes de qualité
• Revues de littérature
• Recherche de documentation

Comment nous l'avons construit

• Modèle: Dolly-V2-3B pour illustrer le développement et le déploiement légers
• Cadre: Langchain pour faire la question de la chaîne de réponses et en raison de son intégration avec ChromAdb
• Incorporation de texte: intégration du texte par pré-formation contrastive faiblement supervisée (E5-base-V2). En raison de leur score élevé dans les tâches de récupération conformément au classement anglais MTEB
• Le code du bâtiment de l'Ontario (Canada): pour faire un exemple de la façon dont les travailleurs non techniques peuvent bénéficier des applications LLM. La page de code n'est pas facile à naviguer car les sections sont nommées "Section 1", "Section 2" ..., "Section 14". Utilisé leur site Web pour analyser et se convertir en magasin vectoriel.
• Magasin vectoriel: chromadb
• Déploiement: HuggingFace Spaces et Gradio. Déploiement disponible ici: Dolly Expert Builder

Les défis que nous avons rencontrés

Étant donné que les outils sont si nouveaux, certaines divergences des cas d'utilisation standard provoquent des erreurs. Par exemple:

• Échec à utiliser la mémoire et les sources dans la même chaîne de réponses de questions à Langchain. Une solution de contournement a été mise en œuvre en créant une classe qui a hérité de la classe de mémoire.
• Erreur lorsque le bouchon en ligne à l'aide de sitemaps est sur un cahier de jupyter. Cela pourrait être contourné en appliquant la solution de contournement Nest_asyncio.
• Base de données vectorielle ne se charge pas. Un autre problème de Langchain de développement précoce, il a économisé partiellement lors de l'utilisation de persists_directory dans l'initialisation de ChromAdB et il ne se chargerait pas plus tard dans une instance distincte car la méthode .Persists () n'a pas été appelée. Cela devait être refait et engagé pour que la base de données soit enfin disponible.
• L'application Gradio ne lance pas sur Jupyter Notebook. La solution de contournement précédente a changé l'installation locale d'Asyncio, qui est une exigence de Gradio, ce qui le rend inutilisable pendant le même temps d'exécution. Pour éviter cela, la base de données vectorielle a été fabriquée dans un cahier séparé et engagée dans le dépôt.
• Inférence très lente sur le CPU. Puisqu'il n'y a pas de modèles de chariots quantifiés officiels disponibles, l'utilisation du processeur pour l'inférence avait une latence très élevée. J'ai également manqué de mon essai gratuit de Databricks au moment de la soumission. Heureusement, le code était fonctionnel à ce moment-là et j'ai pu déployer et tester en ligne sur un espace à petit T4.

Réalisations dont nous sommes fiers

Être capable de créer un prototype fonctionnel léger d'une application LLM à l'aide d'un modèle open-source comme Dolly et de le déploier comme un espace étreint. Pouvoir montrer que les applications LLM sont pour tout le monde et que l'écosystème open source est tout aussi capable que les pionniers de source fermée.

Ce que nous avons appris

En termes de connaissances générales sur le développement de logiciels, j'ai appris à dépanner les packages en conflit, j'ai appris que Python doit être redémarré en fonction des dépendances installées ou qu'il est parfois préférable de compartimenter les tâches au lieu d'essayer de tout faire à la fois. J'ai également appris les bases de Gradio pour pouvoir créer l'application. Et surtout, j'ai appris à mieux naviguer dans les problèmes de GitHub et les publications Stackoverflow pour trouver des solutions de contournement pour les problèmes que j'ai rencontrés.

En termes de connaissances liées à la LLM, j'ai appris l'importance de l'ingénierie rapide et comment elle peut améliorer considérablement vos résultats d'inférence, j'ai appris à naviguer dans la terminologie du traitement du langage naturel (NLP) beaucoup plus et j'ai appris les types de mémoire de la chaîne de questions. J'ai également appris que les modèles open source offrent la possibilité de développer et de déployer des applications LLM à quiconque est intéressé et consacre à la recherche de la documentation et de dépanner les problèmes actuels.

Quelle est la prochaine étape pour Dolly Expert Lite

• Multi-lingual: Pour la prochaine itération de Dolly Expert Lite, je voudrais expérimenter et voir si je peux obtenir de bons résultats en faisant des magasins vectoriels en utilisant des informations dans d'autres langues et des intérêts multilingues. Cela permettrait le développement d'autres applications non communs, non visibles dans les tutoriels ou les guides populaires. Par exemple, un aide légale pour aider à naviguer dans la loi sur le travail du Mexique, ou un assistant de conformité réglementaire qui peut interpréter le français canadien.
• Performances: Pour améliorer la vitesse d'inférence, je voudrais examiner le chariot fin pour répondre aux questions et étudier s'il existe une méthode de quantification que je pourrais utiliser pour essayer d'utiliser le modèle 12B ou 7B tout en essayant de maintenir des temps d'inférence cohérents et relativement courts. Je suis également intéressé par la bibliothèque optimale et je voudrais travailler sur un cas d'utilisation pour le bâton de neurones Intel, qui pourrait être une alternative abordable pour l'inférence locale.
• Mémoire: Quant aux nouvelles fonctionnalités, je voudrais essayer d'utiliser la mémoire du graphique de connaissances pour stocker des éléments clés dans les conversations, permettant l'utilisation des outils pour des cas plus complexes. Par exemple, clarifier si une exigence réglementaire a été satisfaite et sinon, comment l'exigence pourrait être décomposée et décrite pour sa mise en œuvre.