brocode

Un frère qui code avec vous

---

Aperçu

Pourquoi toujours Python? Loyons Finetune un modèle de génération de code pour TypeScript uniquement!

Ensemble de données

J'ai créé un ensemble de données TypeScript-Instruct 20K. C'est 20 000 paires de {instruction, sortie} que vous ne pouvez pas trouver dans un ensemble de données LLMS de génération de code actuel (ou peut-être que vous pouvez)

Pour la sortie, merci en étreignant, j'obtiens des données de code TypeScript du projet de pile
Pour l'instruction, merci Openai, j'ai fait une demande d'appel API 20K pour générer des instructions et des explications pour ces données de code

Entraînement

• Modèle de base: c'est le code LLAMA - Instruct 13B
• Méthode d'adaptation économe en paramètres: Lora
• Utilisation du réglage des instructions avec deux GPU A100

Toutes les autres choses sur la formation (paramètres, journaux, ...) Vous pouvez le voir ici (liez le lien de métriques de formation HuggingFace plus tard)

Résultats

J'utilise la référence MultipL-E (Cassano et al., 2023) tout comme le modèle de code de base Llama en utilisant dans leur article

(liez le tableau des résultats de l'évaluation plus tard)

Gloire

• Ma famille pour continuer à me dire de ne pas arrêter sur cette thèse de maître pendant que je suis un développeur Web
• Mon Assoc Advisor de thèse. Prof. Quan Thanh Tho pour m'avoir inspiré avec ce sujet
• Modal.com pour rendre les étapes de formation beaucoup plus faciles

Sources

Vous pouvez trouver mes œuvres ici:

• Site Web Inference: https://brocode.site (actuellement en bas et non la version correcte, mais si je termine en quelque sorte le serveur, il sera là)
• Ensemble de données: TypeScript-Instruct 20K (veuillez me faire un ping si vous souhaitez également l'utiliser)
• Modèle affiné: Modèle TypeScript-Istruct (sera lié plus tard, il sera finalement sur mon étreinte)

Ou contactez-moi ici: https://levuminhhuy.site/about

Avenir

• Et la rouille?!