language model playground

Sprachmodellspielplatz

Das neuronales Netzwerkbasis -Sprachmodell mit Pytorch implementiert. Weitere Informationen finden Sie unter Dokumentation.

Umweltvoraussetzung

1. Wir verwenden Python mit Version 3.8+ . Sie können Python mit installieren

   apt install python3.8 python3.8-dev

   Notiz

   Derzeit beträgt die neueste Version von Python von Pytorch 3.8 . Deshalb installieren wir python3.8 anstelle von python3.10 . Möglicherweise müssen Sie sudo verwenden, um die Installation durchzuführen.

2. Wir verwenden Pytorch mit Version 1.10+ und CUDA mit Version 11.2+ . Dies funktioniert nur, wenn Sie Nvidia GPUs haben. Sie können die CUDA -Bibliothek mit installieren

   apt install nvidia-driver-460

   Notiz

   Möglicherweise müssen Sie sudo verwenden, um die Installation durchzuführen.

3. Wir verwenden Pipenv, um Python -Abhängigkeiten zu installieren. Sie können pipenv mit installieren

   pip install pipenv

   Warnung

   Verwenden Sie nicht apt , um Pipenv zu intallieren.

   Notiz

   Möglicherweise möchten Sie die Umgebungsvariable PIPENV_VENV_IN_PROJECT=1 festlegen, damit die Ordner der virtuellen Umgebung immer in Ihren Python -Projekten befinden. Weitere Informationen finden Sie unter Pipenv -Dokument.

Installation

1. Klonen Sie das Projekt aus GitHub.

   git clone https://github.com/ProFatXuanAll/language-model-playground.git

2. Ändern Sie das aktuelle Verzeichnis in language-model-playground .

    cd language-model-playground

3. Verwenden Sie Pipenv, um die virtuelle Python -Umgebung zu erstellen und Abhängigkeiten in der virtuellen Python -Umgebung zu installieren.

   pipenv install

4. Starten Sie die virtuelle Python -Umgebung, die von Pipenv erstellt wurde.

   pipenv shell

5. Jetzt können Sie alle von diesem Projekt bereitgestellten Skripte ausführen! Zum Beispiel können Sie einen Blick auf das chinesische Gedichtdatensatz werfen : PY: Mod: `lmp.script.Siche_DSet`

   python -m lmp.script.sample_dset chinese-poem

LIZENZ

Beerware -Lizenz. Jeder, der dieses Projekt benutzt hat, muss Profatxuanall ein Bier kaufen, wenn Sie ihn kennengelernt haben.