brocode

Un hermano que codifica contigo

---

Descripción general

¿Por qué siempre Python? ¡Finetunemos un modelo de generación de código solo para TypeScript!

Conjunto de datos

Creé un conjunto de datos TypeScript-Instructo 20K. Son 20,000 pares de {instrucción, salida} que no puede encontrar en ningún conjunto de datos LLMS de generación de código actual (o tal vez pueda)

Para la salida, gracias a Huggingface, obtengo datos de código TypeScript del proyecto Stack
Por la instrucción, gracias OpenAi, hice una solicitud de llamadas de API de 20k para generar instrucción y explicación de esos datos de código

Capacitación

• Modelo base: es el código Llama - Instruir 13B
• Método de ajuste fino de los parámetros: Lora
• Uso de instrucciones ajustado con dos GPU A100

Cualquier otra cosa sobre el entrenamiento (parámetros, registros, ...) Puede verlo aquí (enlace el enlace de métricas de entrenamiento Huggingface más tarde)

Resultados

Utilizo el punto de referencia multiplicado (Cassano et al., 2023) al igual que el Llama del código base que usa en su papel

(Enlace la tabla de resultados de evaluación más tarde)

Prestigio

• Mi familia para seguir diciéndome que no renuncie en esta tesis maestra mientras soy un desarrollador web
• Mi asesor de tesis Asociación. Prof. Quan Thanh Tho por inspirarme con este tema
• Modal.com para hacer los pasos de capacitación mucho más fácil

Fuentes

Puedes encontrar mis obras aquí:

• Sitio web de inferencia: https://brocode.site (actualmente abajo y no la versión correcta, pero si de alguna manera termino configurar el servidor, estará allí)
• DataSet: typescript-insift 20k (por favor pingme si también desea usar esto)
• Modelo ajustado: modelo de instrucciones de typeScript (vinculará más tarde, eventualmente estará en mi cara de abrazo)

O contácteme aquí: https://levuminhhuy.site/about

Futuro

• ¿Qué tal Rust?!