language model playground

語言模型操場

由Pytorch實施的基於神經網絡的語言模型。有關更多詳細信息，請參見文檔。

環境預選

1. 我們將Python與版本3.8+一起使用。您可以使用

   apt install python3.8 python3.8-dev

   筆記

   目前，由Pytorch支持的最新版本為3.8 。這就是為什麼我們安裝python3.8而不是python3.10的原因。您可能需要使用sudo執行安裝。

2. 我們將Pytorch與1.10+版本和CUDA一起使用11.2+版本。這僅在您擁有NVIDIA GPU時才起作用。您可以使用

   apt install nvidia-driver-460

   筆記

   您可能需要使用sudo執行安裝。

3. 我們使用pipenv安裝python依賴性。您可以pipenv

   pip install pipenv

   警告

   請勿使用apt來插入pipenv。

   筆記

   您可能需要設置環境變量PIPENV_VENV_IN_PROJECT=1以使虛擬環境文件夾始終位於Python項目中。有關詳細信息，請參見Pipenv文檔。

安裝

1. 從Github克隆該項目。

   git clone https://github.com/ProFatXuanAll/language-model-playground.git

2. 將當前目錄更改為language-model-playground 。

    cd language-model-playground

3. 使用Pipenv創建Python虛擬環境並在Python虛擬環境中安裝依賴項。

   pipenv install

4. 啟動Pipenv創建的Python虛擬環境。

   pipenv shell

5. 現在，您可以運行此項目提供的任何腳本！例如，您可以通過運行：py：mod：`lmp.script.sample_dset`查看中國詩數據集

   python -m lmp.script.sample_dset chinese-poem

執照

啤酒器許可證。如果您遇到這個項目，任何人使用此項目的人都必須購買Profatxuanall啤酒。