ollama grid search

Pesquisa de grade do Ollama: avalie instantaneamente vários LLMs e avisos.

Este projeto automatiza o processo de seleção dos melhores modelos, avisos ou parâmetros de inferência para um determinado caso de uso, permitindo que você itera suas combinações e inspecione visualmente os resultados.

Ele pressupõe que o Ollama seja instalado e atenda pontos de extremidade, em localhost ou em um servidor remoto.

Aqui está como é um experimento para um prompt simples, testado em 3 modelos diferentes, parece:

(Para uma análise mais aprofundada de um processo de avaliação assistido por esta ferramenta, consulte https://dezoito.github.io/2023/12/27/rust-ollama-grid-search.html).

Índice

• Instalação
• Características
• Conceito de pesquisa de grade
• Teste A/B.
• Arquivo imediato
• Toras de experimentos
• Características futuras
• Contribuindo
• Desenvolvimento
• Citações
• Agradecimentos

Instalação

Verifique a página de versões do projeto ou na barra lateral.

Características

• Busca modelos automaticamente de servidores de Ollama locais ou remotos;
• Itera em vários modelos, avisos e parâmetros diferentes para gerar inferências;
• A/B testam instruções diferentes em vários modelos simultaneamente;
• Permite múltiplas iterações para cada combinação de parâmetros;
• Permite chamadas de inferência de simultaneidade ou síncrona limitadas (para prevenir servidores de spam);
• Opcionalmente produz parâmetros de inferência e metadados de resposta (tempo de inferência, tokens e tokens/s);
• Retomando chamadas de inferência individual;
• A seleção do modelo pode ser filtrada por nome;
• Experiências de lista que podem ser baixadas no formato JSON;
• Experimentos podem ser inspecionados em visualizações legíveis;
• Reencontrar experimentos anteriores, clonar ou modificar os parâmetros usados ​​no passado;
• Tempo limite de inferência configurável;
• Parâmetros padrão personalizados e avisos do sistema podem ser definidos nas configurações
• Banco de dados de prompt totalmente funcional com exemplos;
• Os avisos podem ser selecionados e "preenchidos automaticamente" digitando "/" nas entradas

Pesquisa de grade (ou algo semelhante ...)

Tecnicamente, o termo "pesquisa de grade" refere -se à iteração de uma série de hiperparams de modelo diferentes para otimizar o desempenho do modelo, mas isso geralmente significa parâmetros como batch_size , learning_rate ou number_of_epochs , mais comumente usados ​​no treinamento.

Mas o conceito aqui é semelhante:

Vamos definir uma seleção de modelos, uma rápida e algumas combinações de parâmetros:

O prompt será enviado uma vez para cada valor de parâmetro, para cada um dos modelos selecionados, gerando um conjunto de respostas.

Teste A/B.

Da mesma forma, você pode executar testes A/B selecionando modelos diferentes e comparando resultados para a mesma combinação de prompt/parâmetros ou testar instruções diferentes em configurações semelhantes:

Comparando os resultados de diferentes avisos para o mesmo modelo

Arquivo imediato

Você pode salvar e gerenciar seus avisos (queremos tornar os avisos compatíveis com o Open Webui)

Você pode preencher autocompleção digitando "/" (inspirado no Open Webui também):

Toras de experimentos

Você pode listar, inspecionar ou baixar seus experimentos:

Características futuras

• Resultados da classificação e filtragem por série
• Importar, exportar e compartilhar listas de prompts e arquivos de experimento.

Contribuindo

• Para insetos óbvios e erros de ortografia, vá em frente e envie um PR.

• Se você deseja propor um novo recurso, alterar a funcionalidade existente ou propor algo mais complexo, abra um problema para discussão, antes de fazer o trabalho em um PR.

Desenvolvimento

1. Certifique -se de ter a ferrugem instalada.

2. Clone o repositório (ou um garfo)

git clone https://github.com/dezoito/ollama-grid-search.git
cd ollama-grid-search

3. Instale as dependências do front -end.

    cd < project root >
   # I'm using bun to manage dependencies,
   # but feel free to use yarn or npm
   bun install

4. Verifique se rust-analyzer está configurada para executar Clippy ao verificar o código.

   Se você estiver executando o código vs, adicione isso ao seu arquivo settings.json

   {
      ...
      "rust-analyzer.check.command" : " clippy " ,
   }

   (ou, melhor ainda, basta usar o arquivo de configurações fornecido com o código)

5. Execute o aplicativo no modo de desenvolvimento

    cd < project root > /
   bun tauri dev

6. Vá tomar uma xícara de café, porque isso pode demorar um pouco.

Citações

Os seguintes trabalhos e teses citaram este repositório:

Inouye, D & Lindo, L, & Lee, R & Allen, E; Ciência da Computação e Engenharia Sênior Teses: Aplicado automaticamente no Lora Hyperparameters Universidade Santa Clara, 2024 https://scholarcmons.scu.edu/cgi/viewcontent.cgi?article=1271&context=cseng_senior

Obrigado!

Muito obrigado a @fabianlars, @peperroni21 e @tomreidnz.