guided text generation with classifier free language diffusion

분류기가없는 언어 확산으로 안내 된 텍스트 생성

저자 : Victor v. Hobe-Gelting

이 저장소는 다음과 같은 코드의 적응입니다.

확산 LM은 제어 가능한 텍스트 생성을 향상시킵니다

저장소 : https://github.com/xiangli1999/diffusion-lm

종이 : https://arxiv.org/pdf/2205.14217.pdf

확산 확률 모델을 비난합니다

저장소 : https://github.com/hojonathanho/diffusion

종이 : https://arxiv.org/abs/2006.11239

디노 화 확산 확률 모델 개선

저장소 : https://github.com/openai/improved-diffusion

종이 : https://arxiv.org/abs/2102.09672

확산 모델은 이미지 합성에서 GAN을 이기고 있습니다

저장소 : https://github.com/openai/guided-diffusion

종이 : https://arxiv.org/abs/2105.05233

글라이드 : 텍스트 유도 확산 모델로 사진 이미지 생성 및 편집을 향해

저장소 : https://github.com/openai/glide-text2im

종이 : https://arxiv.org/abs/2112.10741

Glid-3

저장소 : https://github.com/jack000/glid-3

콘다 설정 :

 conda install - c conda - forge mpi4py
conda install pytorch torchvision torchaudio cudatoolkit = 11.3 - c pytorch
pip install - e improved - diffusion /
pip install - e transformers /
pip install spacy == 3.2 . 4
pip install datasets == 1.8 . 0
pip install huggingface_hub == 0.4 . 0
pip install wandb 

---

기차 확산 LM :

cd improved-diffusion;

python scripts/run_train.py --diff_steps 2000 --model_arch transformer --lr 0.0001 --lr_anneal_steps 400000 --save_interval 50000 --seed 101 --noise_schedule sqrt --in_channel 128 --modality roc-free --submit no --padding_mode pad --app "--predict_xstart True --training_mode e2e --vocab_size 11043 --roc_train datasets/ROCstory " --notes xstart_e2e --bsz 64

---

제어 가능한 텍스트 생성

python scripts/infill_free.py --model_path 'diffusion_models/diff_roc-free_pad_rand128_transformer_lr0.0001_0.0_2000_sqrt_Lsimple_h128_s2_d0.1_sd101_xstart_e2e/model{model epochs}.pt' --eval_task_ 'free_emotion' --use_ddim True --notes "tree_adagrad" --eta 1. --verbose pipe

---