gpt2 text generation

GPT2- 텍스트 생성

https://trustmeyourealive.wordpress.com/의 블로그 데이터 세트에서 Openai의 GPT-2를 사용한 미세 조정 및 텍스트 생성.

content-extraction : WordPress API를 사용하여 블로그 데이터 추출

dataset : 추출 된 컨텐츠에서 트레인, 검증, 테스트 데이터 세트

prepare_data.ipynb : 기차, 유효한 테스트 파일에 데이터를 준비하십시오

text_generation.ipyb : 준비된 열차 세트 및 텍스트 생성의 미세 조정 GPT-2

데이터 세트 세부 사항 :

총 토큰 : 246446 (76 개 기사)
어휘 : 50260
훈련 세트 (라인 별) : 2752

복제 후 교체 해야하는 transformers 의 코드 파일 : run_generation.py 및 run_language_modeling.py (text_generation.ipynb의 지침)

생성 된 시퀀스

솔직히, 나는 경외감/충격을 받았다 -이 시퀀스는 진정으로 나처럼 들렸다.

1. 당신을 가장 불안하게 만드는 순간입니다.
2. 학기가 끝날 때까지 여전히 남은 며칠이 남아 있습니다. 토요일입니다.
3. 그러나 내 동생과 나는 서로를 알고 있습니다. 우리는 또한 그가 왼쪽 허벅지 아래에서 반 인치를 덮는 녹색 양말이 달린 녹색 티셔츠와 회색 청바지를 착용한다는 것을 알고 있습니다.
4. 나는 항상 사회의 일부 또는 사람들의 일부가되고 싶었습니다.
5. 한 시간 동안 5 분도 채 걸리지 않으며 (때로는 집을 떠나면 때로는 더 길어집니다).