RaLLe

Rᴀllᴇ

Rᴀllᴇ é uma estrutura acessível para desenvolver e avaliar grandes modelos de idiomas de recuperação de recuperação (R-LLMS).
Uma visão geral dos principais usos de Rᴀllᴇ na GUI é apresentada neste vídeo.

Rᴀllᴇ é desenvolvido no Instituto de Pesquisa e Desenvolvimento de Tecnologia da Memória da Kioxia Corporation.

Principais recursos

• Desenvolvimento e teste fácil : os usuários podem selecionar, combinar e testar facilmente vários retrievers e LLMs, incluindo modelos de código aberto, dentro de uma interface gráfica.
• Avaliação objetiva do R-LLMS : Rᴀllᴇ fornece experimentos reproduzíveis com benchmarks/métricas objetivos, permitindo avaliações objetivas do desempenho R-LLM.
• Engenharia Prompt Transparente : Todas as entradas (prompts) e saída de um LLM são visíveis para o usuário, permitindo fácil exploração e otimização de prompts.

Uso

Começando:

• Instruções de instalação: install.md.
• Indexação de documentos: aqui.
• Usando conjuntos de dados personalizados: aqui.

Usando rᴀllᴇ:

• Guias na GUI: Aqui.
• Avaliação com um script Python: Aqui.
• Revise os resultados da avaliação com MLFlow: aqui

Nota: Os experimentos de avaliação podem ser realizados através da GUI e usando o script.

Referência

Notícias: Nosso artigo foi aceito pelas demonstrações do sistema EMNLP 2023.

Referência a citar quando você usa Rᴀllᴇ em um artigo de pesquisa:

 @misc { ralle ,
      title = { RaLLe: A Framework for Developing and Evaluating Retrieval-Augmented Large Language Models } , 
      author = { Yasuto Hoshi and Daisuke Miyashita and Youyang Ng and Kento Tatsuno and Yasuhiro Morioka and Osamu Torii and Jun Deguchi } ,
      url = { https://arxiv.org/abs/2308.10633 } ,
      year = { 2023 } ,
      eprint = { 2308.10633 } ,
      publisher = { arXiv }
}

Licença

Rᴀllᴇ é licenciado pelo MIT, consulte o arquivo de licença para obter mais detalhes.