what llm to use
1.0.0
Com o quão rápido as coisas estão se movendo no espaço Devai, uma abreviação para a comunidade de desenvolvedores que construíram software com a ajuda de grandes modelos de idiomas (LLMS), pode ser um desafio descobrir qual modelo usar.
Iniciamos esse repositório com base em nossas experiências como parte da comunidade Continuação. Sinta-se à vontade para sugerir melhorias e nos ajudar a mantê-lo atualizado ao abrir uma solicitação de tração!
Existem muitos LLMs. Decidimos nos concentrar nos que vemos as pessoas usando agora:
Você pode encontrar um CSV que inclua todos esses modelos e informações sobre eles aqui.
A primeira escolha que você normalmente faz é se você vai usar um modelo de código aberto ou comercial :
Se você decidir usar um LLM de código aberto , sua próxima decisão é configurar o modelo em sua máquina local ou em um provedor de modelos hospedados:
Mantemos um guia sobre como implantar um código de código aberto LLM para sua equipe aqui.
Se você decidir usar um LLM comercial , normalmente obterá teclas de API e brincar com vários delas para comparação. Tanto a qualidade das sugestões quanto o custo de uso podem ser critérios importantes.
Esta é uma lista dos LLMs de código aberto que os desenvolvedores estão usando durante a codificação, encomendados aproximadamente do mais popular e menos popular, em outubro de 2023.
O Code Llama é um LLM treinado pela Meta para gerar e discutir código. Ele é construído sobre o LLAMA 2. Embora esteja abaixo do WizardCoder e Phind-Codellama no big code Models Liderond Ranking, é o modelo básico para os dois. Ele também vem em vários tamanhos: 7b, 13b e 34b, o que torna popular para usar em máquinas locais e também com fornecedores hospedados. Neste ponto, é o modelo básico de código aberto mais conhecido para codificar e está liderando o esforço de código aberto para criar LLMs capazes de codificar.
Creator: Meta
Date released: August 24th, 2023
License: Llama 2 Community
Base model: Llama 2
Parameters: 7B, 13B, 34B
O WizardCoder é um LLM construído sobre o Code Llama pela equipe Wizardlm. O método Evol-Instruct está adaptado para as tarefas de codificação para criar um conjunto de dados de treinamento, usado para ajustar a llama de código. Ele vem nos mesmos tamanhos que o Code Llama: 7b, 13b e 34b. Como resultado, é o LLM de instrução de código aberto mais popular até agora.
Creator: WizardLM
Date released: August 26th, 2023
License: Llama 2 Community
Base model: Code Llama
Parameters: 7B, 13B, 34B
Phind-Codellama é um LLM construído sobre o Code Llama por Phind. Um conjunto de dados proprietário de ~ 80k de problemas de programação e soluções de alta qualidade foi usado para ajustar o código de código. Esse modelo de ajuste fino foi ainda mais ajustado em 1,5b tokens adicionais. Atualmente, ele lidera o Big Code Models LeaderBond. No entanto, ele está disponível apenas como um modelo de parâmetros de 34b, portanto, requer mais memória disponível a ser usada.
Creator: Phind
Date released: August 28th, 2023
License: Llama 2 Community
Base model: Code Llama
Parameters: 34B
Mistral é um parâmetro 7b LLM treinado por Mistal AI. É o modelo mais recentemente lançado nesta lista, tendo caído no final de setembro. A IA Mistal diz que "aborda o desempenho do Codellama 7B no código, mantendo -se bem em tarefas em inglês". Apesar de estar disponível apenas em um pequeno tamanho, as pessoas estão bastante empolgadas com isso nas primeiras duas semanas após o lançamento. Os primeiros LLMs ajustados que o usam como base estão começando a surgir, e é provável que vejamos mais daqui para frente.
Creator: Mistral AI
Date released: September 27th, 2023
License: Apache 2.0
Base model: Mistral
Parameters: 7B
O StarCoder é um parâmetro 15b LLM treinado pelo BigCode, que estava à frente de seu tempo quando foi lançado em maio. Foi treinado em mais de 80 linguagens de programação da pilha (v1.2) com solicitações de opção excluídas. Não é um modelo de instrução e comandos como "Escreva uma função que calcule a raiz quadrada" não funciona bem. No entanto, ao usar o prompt de assistente de tecnologia, você pode torná -lo mais útil.
Creator: BigCode
Date released: May 4th, 2023
License: OpenRAIL-M
Base model: StarCoder
Parameters: 15B
O Deepseek Coder é um LLM treinado pela Deepseek AI em 2 trilhões de tokens. Com um conjunto de dados composto por mais de 80 linguagens de programação, é o modelo mais recente desta lista e foi relatado que obteve uma pontuação bastante alta em vários benchmarks relacionados à codificação.
Creator: DeepSeek AI
Date released: November 3rd, 2023
License: DeepSeek License Agreement
Base model: DeepSeek Coder
Parameters: 1.3B, 6.7B, 33B
Llama 2 é um LLM treinado por meta em 2 trilhões de tokens. É o LLM de código aberto mais popular em geral; portanto, alguns desenvolvedores o usam, apesar de não ser tão bom quanto muitos dos modelos acima em fazer edições de código. Também é importante porque o Code Llama, o LLM mais popular para codificação, é construído sobre ele, que por sua vez é a base para WizardCoder e Phind-Codellama.
Creator: Meta
Date released: July 18th, 2023
License: Llama 2 Community
Base model: Llama 2
Parameters: 7B, 13B, 70B
Esta é uma lista dos LLMs comerciais que os desenvolvedores estão usando durante a codificação, encomendados aproximadamente do mais popular e menos popular, em outubro de 2023.
O GPT-4 do OpenAI é geralmente considerado o melhor LLM a ser usado durante a codificação. É bastante útil ao gerar e discutir o código. No entanto, exige que você envie seu código para o OpenAI por meio da API e pode ser bastante caro. No entanto, é o LLM mais popular para codificar em geral e a maioria dos desenvolvedores o usa enquanto codifica neste momento. Todos os usuários da API OpenAI que fizeram um pagamento bem-sucedido de US $ 1 ou mais antes de 6 de julho de 2023 tiveram acesso ao GPT-4 e planejam abrir o acesso a todos os desenvolvedores em breve.
O GPT-4 Turbo do Openai é mais barato e mais rápido que o GPT-4. Possui corte de conhecimento de abril de 2023 e tem uma janela de contexto de 128k. Atualmente, ele está em pré-visualização, em novembro de 2023, mas qualquer pessoa com uma conta da API OpenAI e acesso GPT-4 existente pode usá-lo.
O GPT-3.5 Turbo do OpenAI é mais barato e mais rápido que o GPT-4; No entanto, suas sugestões não são tão úteis. Também exige que você envie seu código para o OpenAI por meio da API. É o segundo LLM mais popular para codificar em geral até agora. Todos os desenvolvedores podem usá -lo agora depois de se inscrever para uma conta OpenAI.
Claude 2 é um LLM treinado pela Anthrópica, que melhorou bastante as habilidades de codificação em comparação com a primeira versão de Claude. Ele se destaca especialmente, em relação a outros LLMs, quando você fornece muito contexto. Requer que você envie seu código para a ANTROPA através da API. Você deve se inscrever para obter acesso ao Claude 2 neste momento.
Palm 2 é um LLM treinado pelo Google. Para experimentá -lo, você deve enviar seu código para o Google através da API PALM após obter uma chave da API via Makersuite, ambos atualmente em visualização pública.
Se você vê um modelo ausente ou deseja compartilhar uma opinião, recebemos você para abrir um PR ou um problema! Esperamos manter um índice orientado à comunidade e atualizado dos modelos de idiomas mais úteis para codificar.
Se você gostou desta postagem do blog e deseja ler mais sobre Devai - a comunidade de pessoas que construíram software com a ajuda do LLMS - no futuro, junte -se ao nosso boletim mensal aqui.
