gpt 2 Pytorch
1.0.0
Melhores modelos de linguagem e suas implicações
Nosso modelo, chamado GPT-2 (um sucessor do GPT), foi treinado simplesmente para prever a próxima palavra em 40 GB de texto da Internet. Devido às nossas preocupações sobre as aplicações maliciosas da tecnologia, não estamos lançando o modelo treinado. Como um experimento na divulgação responsável, estamos lançando um modelo muito menor para os pesquisadores experimentarem, bem como um artigo técnico. do blog Openai
Este repositório é simples implementação GPT-2 sobre gerador de texto em pytorch com código de compactação
O repertório original é o OpenAI/GPT-2. Além disso, você pode ler o papel sobre o GPT-2, "os modelos de idiomas são aprendizes de várias tarefas". Para entender mais conceitos detalhados, recomendo artigos sobre o modelo de transformador.
Boa implementação GPT-2 em Pytorch, a que me referi, Huggingface/Pytorch-Preted-Bert, você pode ver mais detalhes detalhados no Repositório do Huggingface.
Artigo (auto-atimento) Artigo: Atenção é tudo o que você precisa (2017)
Primeiro artigo do OpenAI-GPT: Melhorando o entendimento da linguagem por pré-treinamento generativo (2018)
Veja o OpenAI Blog sobre GPT-2 e Paper
$ git clone https://github.com/graykode/gpt-2-Pytorch && cd gpt-2-Pytorch
# download huggingface's pytorch model
$ curl --output gpt2-pytorch_model.bin https://s3.amazonaws.com/models.huggingface.co/bert/gpt2-pytorch_model.bin
# setup requirements, if using mac os, then run additional setup as descibed below
$ pip install -r requirements.txt$ python main.py --text " It was a bright cold day in April, and the clocks were striking thirteen. Winston Smith, his chin nuzzled into his breast in an effort to escape the vile wind, slipped quickly through the glass doors of Victory Mansions, though not quickly enough to prevent a swirl of gritty dust from entering along with him. "--text : Sentença para começar.--quiet : não imprima todas as coisas estranhas como o "================"--nsamples : Número de amostra amostrada em lote quando o uso da função multinomial--unconditional : se verdadeiro, geração incondicional.--batch_size : número de tamanho em lote--length : comprimento da frase (<número de contexto)--temperature : a temperatura termodinâmica em distribuição (default 0.7)--top_k : retorna os principais elementos k maiores do tensor de entrada fornecido ao longo de uma determinada dimensão. (default 40) Veja mais opção detalhada sobre temperature e top_k aqui
$ python3 -m venv venv
$ source venv/bin/activate
$ pip install torch tqdm
$ brew install libomp
$ export LC_ALL=en_US.UTF-8
$ export LANG=en_US.UTF-8
$ pip install -r requirements.txtJeff Wu (@wuthefwasthat), Thomas Wolf (@thomwolf) por permitir o código de referência.
