language model playground

Terrain de jeu de modèle de langue

Modèle de langue basé sur le réseau neuronal implémenté avec Pytorch. Voir la documentation pour plus de détails.

Prérequette d'environnement

1. Nous utilisons Python avec la version 3.8+ . Vous pouvez installer python avec

   apt install python3.8 python3.8-dev

   Note

   Actuellement, la dernière version de Python prise en charge par Pytorch est 3.8 . C'est pourquoi nous installons python3.8 au lieu de python3.10 . Vous devrez peut-être utiliser sudo pour effectuer une installation.

2. Nous utilisons Pytorch avec la version 1.10+ et CUDA avec la version 11.2+ . Cela ne fonctionne que si vous avez des GPU nvidia . Vous pouvez installer la bibliothèque CUDA avec

   apt install nvidia-driver-460

   Note

   Vous devrez peut-être utiliser sudo pour effectuer une installation.

3. Nous utilisons PIPENV pour installer des dépendances Python. Vous pouvez installer pipenv avec

   pip install pipenv

   Avertissement

   N'utilisez pas apt pour Intall PiPENV.

   Note

   Vous voudrez peut-être définir la variable d'environnement PIPENV_VENV_IN_PROJECT=1 pour rendre les dossiers d'environnement virtuels toujours situés dans vos projets Python. Voir le document PIPENV pour plus de détails.

Installation

1. Clone le projet de Github.

   git clone https://github.com/ProFatXuanAll/language-model-playground.git

2. Modifier le répertoire actuel en language-model-playground .

    cd language-model-playground

3. Utilisez PIPENV pour créer un environnement virtuel Python et installer des dépendances dans un environnement virtuel Python.

   pipenv install

4. Lancez un environnement virtuel Python créé par PiPenv.

   pipenv shell

5. Vous pouvez maintenant exécuter tous les scripts fournis par ce projet! Par exemple, vous pouvez jeter un œil à l'ensemble de données du poème chinois en exécutant : py: mod: `lmp.script.sample_dset`

   python -m lmp.script.sample_dset chinese-poem

LICENCE

Licence de bière. Quiconque a utilisé ce projet doit acheter Profatxuanall une bière si vous l'avez rencontré.