brocode

Um irmão que codifica com você

---

Visão geral

Por que sempre Python? Vamos Finetune, um modelo de geração de código apenas para TypeScript!

Conjunto de dados

Criei um conjunto de dados de instrução de texto datilografado 20K. São 20.000 pares de {Instrução, saída} que você não consegue encontrar em nenhum conjunto de dados atual de geração de código LLMS (ou talvez você possa)

Para a saída, obrigado Huggingface, eu recebo dados de código TypeScript do projeto de pilha
Para a instrução, obrigado OpenAI, fiz uma solicitação de chamada de API 20K para gerar instruções e explicações para esses dados de código

Treinamento

• Modelo básico: é a llama do código - Instrua 13b
• Método de ajuste fino com eficiência de parâmetro: Lora
• Usando o ajuste de instrução com dois GPUs A100

Todas as outras coisas sobre treinamento (parâmetros, logs, ...) você pode vê -lo aqui (vincular as métricas de treinamento do Huggingface mais tarde)

Resultados

Eu uso o benchmark multipl-e (Cassano et al., 2023), assim como o código do modelo básico que está usando em seu artigo

(Link a tabela de resultados da avaliação posterior)

Parabéns

• Minha família continua me dizendo para não desistir nesta tese de mestrado enquanto eu sou um desenvolvedor da web
• Meu consultor de tese Assoc. Prof. Quan Thanh Tho por me inspirar com este tópico
• Modal.com para tornar as etapas de treinamento muito mais fáceis

Fontes

Você pode encontrar meus trabalhos aqui:

• Site de inferência: https://brocode.site (atualmente abaixo e não a versão correta, mas se eu de alguma forma terminar a configuração do servidor, ele estará lá)
• DataSet: TypeScript-Instruct 20K (por favor me pingue se você também quiser usar isso)
• Modelo de ajuste fino: Modelo de instrução TypeScript (vinculará mais tarde, ele estará no meu Huggingface eventualmente)

Ou entre em contato comigo aqui: https://levuminhhuy.site/about

Futuro

• Que tal ferrugem?!