dolly expert lite

título	APP_FILE	sdk	sdk_version
Dolly-Expert-Builder	app.py	Gradio	3.34.0

dolly-expert-lite

Um assistente leve alimentado por Dolly-V2 que pode responder a perguntas específicas do domínio e manter uma conversa. São sistemas especializados na era do LLMS.

Submissão ao "Então você acha que pode hackear": LLMS de código aberto (por exemplo, OpenAssistant, MPT, Dolly etc.) DevPost Hackathon.

• Dolly Expert Builder @ Huggingface Spaces
• Publicado notebook Databricks
• Notebook Jupyter - Versão do GitHub

Inspiração

Sistemas especializados

Sistemas especializados costumavam ser grandes em inteligência artificial. Eles imitam as capacidades de tomada de decisão de um especialista humano em um campo específico e podem fornecer valor substancial em muitos casos de uso. A principal desvantagem dos sistemas especializados da velha escola era que eles precisavam ser programados usando declarações booleanas ou uma lógica semelhante, levando um tempo e recursos consideráveis. Em muitas ocasiões, essa abordagem derrotou o objetivo de ter um especialista prontamente disponível para a tarefa em questão.

LLMS de fonte fechada

Aplicativos LLM de código fechado como ChatGPT3.5 e ChatGPT-4 são modelos gigantescos que são muito bons um grande número de tarefas. Eles têm limitações como alucinações quando não sabem como responder ou quando a resposta está online e não têm acesso à Internet ou arquivos. Algumas vezes, essas alucinações serão contadas de maneiras muito convincentes e, sempre que se tentar implementá-las, elas se tornarão falsas ou incorretas. Esses modelos têm enormes janelas de contexto para que as pessoas possam ajudá -las a fazer qualquer tarefa que lutam, fornecendo muitas informações e implementando técnicas rápidas de engenharia. Isso faz com que mais de se pense que apenas as grandes empresas com código de fonte fechado podem desenvolver e implantar aplicativos LLM.

O que faz

O Dolly Expert Lite aproveita o DOLLY-V2-3B, a versão leve do DOLLY-V2-12B, um modelo de idioma de grande fonte de código aberto (LLM) para responder a perguntas específicas do domínio usando a recuperação em bancos de dados de vetores personalizados. Neste exemplo, implantação, o Dolly-Expert-Builder recupera informações do Código de Construção de Ontário (Canadá) para responder a perguntas específicas sobre construção, encanamento, fiação elétrica e ventilação conforme o código oficial do governo. O Builder Dolly-Expert pode fornecer informações coerentes e factualmente corretas com fontes e pode servir como orientação adequada para comerciantes (encanadores, eletricistas, mecânicos, construtores de casas), além de engenheiros e arquitetos para ajudar na conformidade regulatória durante o trabalho.

Seguindo esse método, indivíduos e organizações podem usar seus dados locais para tornar assistentes especializados capazes de responder a perguntas específicas do domínio. Possíveis casos de uso incluem:

• Ortografia requisitos regulatórios/legais
• Apoio de integração e treinamento
• Explicando sistemas de qualidade
• Revisões da literatura
• Pesquisa de documentação

Como construímos

• Modelo: Dolly-V2-3b para exemplificar o desenvolvimento e implantação leves
• Framework: Langchain para fazer a cadeia de atendimento de perguntas e devido à sua integração com o Chromadb
• INCLIMAÇÕES DE TEXTO: INCORMAÇÕES DE TEXTO POR AR-TREINAÇÃO CONTRATIVO FABREVISADO SUPERIDADE (E5-BASE-V2). Devido à sua alta pontuação em tarefas de recuperação, conforme a tabela de classificação inglesa do MTEB
• O Código de Construção de Ontário (Canadá): para fazer um exemplo de como os trabalhadores não-tecnológicos podem se beneficiar dos aplicativos LLM. A página de código não é fácil de navegar porque as seções são chamadas de "Seção 1", "Seção 2" ..., "Seção 14". Usou o site para analisar e converter na loja de vetores.
• Vector Store: Chromadb
• Implantação: espaços de abraço e graduação. Implantação disponível aqui: Dolly Expert Builder

Desafios que encontramos

Como as ferramentas são tão novas, algumas divergências dos casos de uso padrão causam erros. Por exemplo:

• Falha em usar a memória e as fontes na mesma cadeia de atendimento de perguntas em Langchain. Uma solução alternativa foi implementada criando uma classe herdada da classe de memória.
• Erro ao desbastar na web usando sitemaps enquanto estiver em um notebook Jupyter. Isso pode ser contornado aplicando a solução alternativa Nest_asyncio.
• Banco de dados vetorial não carregando. Outra questão inicial de Langchain de desenvolvimento, ele salvou parcialmente ao usar persists_directory na inicialização do Chromadb e não carregaria posteriormente em uma instância separada porque o método .Persists () não era chamado. Isso teve que ser refeito e comprometido novamente para que o banco de dados esteja finalmente disponível.
• Gradio App não é lançado no Jupyter Notebook. A solução alternativa anterior alterou a instalação local do Asyncio, que é um requisito de graduação, tornando -o inutilizável durante o mesmo tempo de execução. Para evitar isso, o banco de dados vetorial foi feito em um caderno separado e comprometido com o repositório.
• Inferência muito lenta na CPU. Como não há modelos Dolly quantizados oficiais disponíveis, o uso da CPU para inferência teve uma latência muito alta. Também fiquei sem o meu teste gratuito do Databricks no momento da submissão. Felizmente, o código estava funcional até então e eu pude implantar e testar on-line em um espaço T4-Small.

Realizações de que estamos orgulhosos

Ser capaz de criar um protótipo leve funcional de um aplicativo LLM usando um modelo de código aberto como o Dolly e implantando-o como um espaço de Hugging Sace. Ser capaz de mostrar que os aplicativos LLM são para todos e que o ecossistema de código aberto é tão capaz quanto os pioneiros de código fechado.

O que aprendemos

Em termos de conhecimento geral de desenvolvimento de software, aprendi a solucionar pacotes conflitantes entre si, aprendi que o Python precisa ser reiniciado, dependendo de quais dependências estão instaladas ou que às vezes é melhor compartimentar tarefas em vez de tentar fazer tudo de uma só vez. Também aprendi o básico de Gradio para poder criar o aplicativo. E o mais importante é que aprendi a navegar melhor no Github Problemas e no Stackoverflow Posts para encontrar soluções alternativas para os problemas que encontrei.

Em termos de conhecimento relacionado à LLM, aprendi sobre a importância da engenharia imediata e como ela pode melhorar drasticamente seus resultados de inferência, aprendi a navegar muito mais na terminologia do processamento de linguagem natural (PNL) e aprendi sobre tipos de memória da memória da cadeia. Também aprendi que os modelos de código aberto oferecem a possibilidade de desenvolver e implantar aplicativos LLM para quem estiver interessado e dedica tempo para pesquisar a documentação e a solução de problemas ou a solução alternativa.

O que vem a seguir para Dolly especialista Lite

• Multi-Linguual: para a próxima iteração do Dolly Expert Lite, gostaria de experimentar e ver se consigo obter bons resultados, fazendo com que as lojas vetoriais usando informações em outros idiomas e incorporações multilíngues. Isso permitiria o desenvolvimento de outras aplicações não comuns, não vistas em tutoriais ou guias populares. Por exemplo, um assessor legal para ajudar na navegação na Lei do Trabalho do México, ou um assessor de conformidade regulamentar que possa interpretar francês canadense.
• Desempenho: para melhorar a velocidade de inferência, gostaria de analisar o Dolly para responder e investigar se existe um método de quantização que eu poderia usar para tentar usar o modelo 12B ou 7B enquanto tentava manter tempos de inferência consistentes e relativamente curtos. Também estou interessado na biblioteca ideal e gostaria de trabalhar em um caso de uso para o Intel Neural Stick, que pode ser uma alternativa acessível para a inferência local.
• Memória: Quanto aos novos recursos, gostaria de tentar usar a memória gráfica do conhecimento para armazenar os principais itens nas conversas, permitindo o uso das ferramentas para casos mais complexos. Por exemplo, esclarecendo se um requisito regulatório foi atendido e, se não, como o requisito pode ser dividido e descrito para sua implementação.