language model playground

Modelo de idioma Playground

Modelo de linguagem baseada em rede neural implementada com Pytorch. Consulte a documentação para obter mais detalhes.

Pré -referência do ambiente

1. Usamos o Python com a versão 3.8+ . Você pode instalar o python com

   apt install python3.8 python3.8-dev

   Observação

   Atualmente, a versão mais recente do Python suportada pelo Pytorch é 3.8 . É por isso que instalamos python3.8 em vez de python3.10 . Pode ser necessário usar sudo para executar a instalação.

2. Usamos o Pytorch com a versão 1.10+ e o CUDA com a versão 11.2+ . Isso só funciona se você tiver GPUs NVIDIA . Você pode instalar a biblioteca CUDA com

   apt install nvidia-driver-460

   Observação

   Pode ser necessário usar sudo para executar a instalação.

3. Usamos Pipenv para instalar dependências do Python. Você pode instalar pipenv com

   pip install pipenv

   Aviso

   Não use apt para intall o pipenv.

   Observação

   Você pode definir variável de ambiente PIPENV_VENV_IN_PROJECT=1 para fazer pastas de ambiente virtual sempre localizadas em seus projetos Python. Consulte o documento PIPENV para obter detalhes.

Instalação

1. Clone o projeto do Github.

   git clone https://github.com/ProFatXuanAll/language-model-playground.git

2. Altere o diretório atual para o language-model-playground .

    cd language-model-playground

3. Use Pipenv para criar o ambiente virtual do Python e instalar dependências no ambiente virtual do Python.

   pipenv install

4. Inicie o ambiente virtual do Python criado pelo PIPENV.

   pipenv shell

5. Agora você pode executar quaisquer scripts fornecidos por este projeto! Por exemplo, você pode dar uma olhada no conjunto de dados de poema chinês em execução : py: mod: `lmp.script.sample_dset`

   python -m lmp.script.sample_dset chinese-poem

LICENÇA

Licença de Beerware. Qualquer pessoa usou este projeto deve comprar uma cerveja profatxuanall se você o conhecesse.