dolly expert lite

título	app_file	sdk	sdk_version
constructor de dolly-experiencia	app.py	Gradio	3.34.0

dolly-Expert-lite

Un asistente ligero de Dolly-V2 que puede responder preguntas específicas del dominio y mantener una conversación. Sus sistemas expertos en la era de LLMS.

Sumisión al "Entonces crees que puedes hackear": LLMS de código abierto (por ejemplo, OpenAsistant, MPT, Dolly, etc.) Devpost Hackathon.

• Dolly Expert Builder @ Huggingface Spaces
• Notebook de Databricks publicado
• Notebook Jupyter - Versión de Github

Inspiración

Sistemas expertos

Los sistemas expertos solían ser grandes en inteligencia artificial. Imitan las capacidades de toma de decisiones de un experto humano en un campo particular y pueden proporcionar un valor sustancial en muchos casos de uso. El principal inconveniente de los sistemas expertos de la vieja escuela era que tenían que ser programados utilizando declaraciones booleanas o una lógica similar, tomando un tiempo y recursos considerables. En muchas ocasiones, este enfoque derrotó el propósito de tener un experto fácilmente disponible para la tarea en cuestión.

LLMS de código cerrado

Las aplicaciones LLM de código cerrado como ChatGPT3.5 y ChatGPT-4 son modelos gigantes que son muy buenos, una gran cantidad de tareas. Tienen limitaciones como alucinaciones cuando no saben cómo responder o cuando la respuesta está en línea y no tienen acceso a Internet o archivos. Algunas veces, estas alucinaciones se contarán de manera muy convincente y cada vez que se intente implementarlas, resultará ser falsas o incorrectas. Estos modelos tienen ventanas de contexto enormes para que las personas puedan ayudarlos a hacer cualquier tarea con la que luchen al proporcionar mucha información e implementar técnicas de ingeniería rápida. Esto hace que más de uno piense que solo las grandes empresas con código fuente cerrado pueden desarrollar e implementar aplicaciones LLM.

Que hace

Dolly Expert Lite aprovecha Dolly-V2-3b, la versión ligera de Dolly-V2-12B, un modelo de lenguaje grande (LLM) de código abierto (LLM) para responder preguntas específicas de dominio utilizando recuperación en bases de datos de vectores hechos a medida. En este ejemplo de despliegue, Dolly-Expert-Builder recupera información del Código de Construcción de Ontario (Canadá) para responder preguntas específicas sobre la construcción, la fontanería, el cableado eléctrico y la ventilación según el código de gobierno oficial. Dolly-Expert-Builder puede proporcionar información coherente y objetiva correcta con fuentes y puede servir como guía adecuada para comerciantes (plomeros, electricistas, mecánicos, constructores de viviendas), así como ingenieros y arquitectos para ayudar a cumplir con el cumplimiento regulatorio mientras realizan trabajo.

Siguiendo este método, las personas y las organizaciones pueden usar sus datos locales para hacer que los asistentes expertos puedan responder preguntas específicas del dominio. Los posibles casos de uso incluyen:

• Deletreando requisitos regulatorios/legales
• Soporte de incorporación y capacitación
• Explicando sistemas de calidad
• Reseñas de literatura
• Búsqueda de documentación

Cómo lo construimos

• Modelo: Dolly-V2-3B para ejemplificar el desarrollo y la implementación livianos
• Marco: Langchain para hacer la cadena de contestadores de preguntas y debido a su integración con ChromadB
• Incruscaciones de texto: incrustaciones de texto por pre-entrenamiento contrastante débilmente supervisado (E5-Base-V2). Debido a su alto puntaje en las tareas de recuperación según la tabla de clasificación de inglés MTEB
• El Código de construcción de Ontario (Canadá): para dar un ejemplo de cómo los trabajadores que no son de tecnología pueden beneficiarse de las aplicaciones LLM. La página del código no es fácil de navegar porque las secciones se llaman "Sección 1", "Sección 2" ..., "Sección 14". Usé su sitio web para analizar y convertir en la tienda Vector.
• Tienda vectorial: ChromadB
• Despliegue: Spaces Huggingface y Gradio. Despliegue disponible aquí: Dolly Expert Builder

Desafíos en los que nos encontramos

Dado que las herramientas son tan nuevas, algunas divergencias de los casos de uso estándar causan errores. Por ejemplo:

• No utilizar la memoria y las fuentes en la misma cadena de contestadores de preguntas en Langchain. Se implementó una solución al crear una clase que heredó de la clase de memoria.
• Error cuando se desguazó la web usando Sitemaps mientras está en un cuaderno Jupyter. Esto podría evitarse aplicando la solución Nest_asyncio.
• Base de datos vectorial no se carga. Otro problema de Langchain de desarrollo temprano, guardó parcialmente cuando se usa persists_directory en la inicialización de ChromAdB y no se cargaría más adelante en una instancia separada porque no se llamaba al método .persists (). Esto tuvo que rehacer y comprometerse nuevamente para que la base de datos estuviera finalmente disponible.
• La aplicación Gradio no se lanza en el cuaderno Jupyter. La solución anterior cambió la instalación local de Asyncio, que es un requisito de Gradio, lo que lo hace inutilizable durante el mismo tiempo de ejecución. Para evitar esto, la base de datos Vector se realizó en un cuaderno separado y se comprometió con el repositorio.
• Inferencia muy lenta en la CPU. Dado que no hay modelos oficiales de Dolly cuantizados disponibles, el uso de CPU para inferencia tuvo una latencia muy alta. También me quedé sin mi prueba gratuita de Databricks para el momento de la presentación. Afortunadamente, el código era funcional para entonces y pude implementar y probar en línea en un espacio T4-Small.

Logros de los que estamos orgullosos

Ser capaz de hacer un prototipo funcional liviano de una aplicación LLM utilizando un modelo de código abierto como Dolly e implementarlo como un espacio para la cara de abrazos. Ser capaz de demostrar que las aplicaciones LLM son para todos y que el ecosistema de código abierto es tan capaz como los pioneros de código cerrado.

Lo que aprendimos

En términos de conocimiento general del desarrollo de software, aprendí a solucionar los paquetes de problemas en conflicto entre sí, aprendí que Python debe reiniciarse dependiendo de qué dependencias se instalen o que a veces es mejor compartimentar las tareas en lugar de tratar de hacer todo a la vez. También aprendí los conceptos básicos de Gradio para poder hacer la aplicación. Y lo más importante, aprendí a navegar mejor los problemas de GitHub y las publicaciones de StackoverFlow para encontrar soluciones para los problemas que encontré.

En términos de conocimiento relacionado con LLM, aprendí sobre la importancia de la ingeniería rápida y cómo puede mejorar drásticamente sus resultados de inferencia, aprendí a navegar mucho más por la terminología de procesamiento del lenguaje natural (PNL), y aprendí sobre los tipos de memoria de la cadena de preguntas. También aprendí que los modelos de código abierto brindan la posibilidad de desarrollar e implementar aplicaciones LLM a quien esté interesado y dedica el tiempo a investigar la documentación y la resolución de problemas o problemas actuales.

¿Qué sigue para Dolly Expert Lite?

• Mult-lingüe: para la próxima iteración de Dolly Expert Lite, me gustaría experimentar y ver si puedo obtener buenos resultados haciendo tiendas vectoriales utilizando información en otros idiomas e incrustaciones multilingües. Eso permitiría el desarrollo de otras aplicaciones no comunes, no vistas en tutoriales o guías populares. Por ejemplo, un asistente legal para ayudar a navegar por la Ley Laboral de México, o un asistente de cumplimiento regulatorio que puede interpretar el francés canadiense.
• Rendimiento: para mejorar la velocidad de inferencia, me gustaría investigar a Dolly ajustado para responder e investigar las preguntas y investigar si hay un método para la cuantificación que podría usar para tratar de usar el modelo 12B o 7B mientras intenta mantener tiempos de inferencia relativamente cortos consistentes. También estoy interesado en la biblioteca óptima y me gustaría trabajar en un caso de uso del Stick Neural Intel, que podría ser una alternativa asequible para la inferencia local.
• Memoria: en cuanto a las nuevas características, me gustaría intentar usar la memoria del gráfico de conocimiento para almacenar elementos clave en conversaciones, lo que permite el uso de las herramientas para casos más complejos. Por ejemplo, aclarar si se ha cumplido un requisito regulatorio y, si no, cómo el requisito podría desglosarse y describirse para su implementación.