language model playground

语言模型操场

由Pytorch实施的基于神经网络的语言模型。有关更多详细信息，请参见文档。

环境预选

1. 我们将Python与版本3.8+一起使用。您可以使用

   apt install python3.8 python3.8-dev

   笔记

   目前，由Pytorch支持的最新版本为3.8 。这就是为什么我们安装python3.8而不是python3.10的原因。您可能需要使用sudo执行安装。

2. 我们将Pytorch与1.10+版本和CUDA一起使用11.2+版本。这仅在您拥有NVIDIA GPU时才起作用。您可以使用

   apt install nvidia-driver-460

   笔记

   您可能需要使用sudo执行安装。

3. 我们使用pipenv安装python依赖性。您可以pipenv

   pip install pipenv

   警告

   请勿使用apt来插入pipenv。

   笔记

   您可能需要设置环境变量PIPENV_VENV_IN_PROJECT=1以使虚拟环境文件夹始终位于Python项目中。有关详细信息，请参见Pipenv文档。

安装

1. 从Github克隆该项目。

   git clone https://github.com/ProFatXuanAll/language-model-playground.git

2. 将当前目录更改为language-model-playground 。

    cd language-model-playground

3. 使用Pipenv创建Python虚拟环境并在Python虚拟环境中安装依赖项。

   pipenv install

4. 启动Pipenv创建的Python虚拟环境。

   pipenv shell

5. 现在，您可以运行此项目提供的任何脚本！例如，您可以通过运行：py：mod：`lmp.script.sample_dset`查看中国诗数据集

   python -m lmp.script.sample_dset chinese-poem

执照

啤酒器许可证。如果您遇到这个项目，任何人使用此项目的人都必须购买Profatxuanall啤酒。