awesome generative models

Model yang luar biasa-generatif

Daftar kerangka kerja model generatif yang mengagumkan, perpustakaan, perangkat lunak, dan sumber daya untuk produksi media

Terinspirasi oleh python yang luar biasa

---

^{Pekerjaan open source saya didukung oleh masyarakat}

• Mdels generatif yang luar biasa
  • Pembuatan Kode: Algoritma ML + Analisis Statis
  • Kode ke GUI: Algoritma ke Antarmuka Pengguna
  • Sintesis gambar
    • Transfer Gaya Gambar
  • Pembuatan Teks/NLP
    • Generasi/pemrosesan audio dan musik
    • Sintesis musik-video
  • Video-Synth
  • Generasi prosedural untuk bermain game
  • Gambar-generasi
  • Forum

Kode ke GUI: Algoritma ke antarmuka pengguna:

• Pemandangan layar ke kode
• Pix2Code: Menghasilkan kode dari tangkapan layar antarmuka pengguna grafis
• Bred Victor: Pembelajaran Mesin dalam Kesimpulan Teknik dari lingkungan

Pembuatan Kode: Algoritma ML + Analisis Statis

• Tabnine: pelengkapan autok
• Layang -layang: Penyelesaian Coder Algoritma Bantuan
• Insignt: Alat Penyelesaian Kode Standar Seringkali masih menggunakan penyortiran abjad, sedangkan layang -layang menggunakan algoritma ML untuk menyimpulkan apa yang mungkin dilakukan pengembang

Sintesis gambar

• Spade oleh NVLabs: Sintesis gambar fotorealistik yang diberikan tata letak semantik input. kode

Transfer Gaya Gambar

• Artbreeder Berdasarkan Model Biggan OpenSource Versi Biggan Models Tentang

• Proyek Artistik Keren: ... DGSpitzer (Eddie Hu) Pembuat game indie menggunakan Artbreeder berdasarkan model Biggan, StyleGan-Artm-Neural_talking_head_modelsm orde pertama_modelsm Dain dan Topaz Lab untuk beberapa karya hebat pada perbaikan video digital, yang mewarnai hitam dan saat video.

• Proyek Keren: Novel Visual Menggunakan Transfer Gaya ML

NLP: Teks-Sentimen-Analisis:

• DeepMoji: Model Analisis Sentimen Model ini juga digunakan dalam 15.ai, alat teks-ke-pidato untuk menghasilkan suara berbagai karakter.

Teks-ke-gambar:

• Dataset: Google "Draw quick" Dataset Sumber Open Github

Teks-ke-Video:

• Allennlp: Bayangkan ini! Skrip untuk komposisi ke video

Captioning gambar

• TensorFlow Core: Captioning gambar dengan perhatian visual

Teks-ke-animasi

• Menghasilkan animasi dari skenario

Pembuatan Teks/NLP

Generasi Pertanyaan:

• Pembuatan pertanyaan: menghasilkan jawaban pilihan ganda dari teks

Lainnya

• Openai 1,5 miliar Params GPT-2 Rilis
• Aidungeon
• CTRL-GCE: Model penghasil teks CTRL di Google Compute Engine dengan hanya beberapa perintah konsol., Mengapa Google Compute Engine: Model CTRL sangat besar (12 GB pada disk, 15,5 GB GPU VRAM ketika dimuat, bahkan lebih banyak sistem RAM selama runtime) saat ini tidak akan muat ke dalam colaboratory atau Kaggle NoteBOOK atau Kaggle Note.
• Menulis dengan dataset mesin scifi corpus txt dapat berguna untuk GPT2 model fine tune
• GPT2-Chinese-Wuxiao-Novel
• GPT-2 Cina
• [Memeluk face transformer] -pytorch hub

Teks Corpus/Dataset

• SCI-FI-SCRIPS
• Detroit-Becoming-Human dapat menjadi sumber untuk menganalisis pohon dialog dan struktur pohon keputusan.

Generasi/pemrosesan audio dan musik

Proyek:

• Talking Like Your Favorite Character: Text-to-Speech Audio Generation Riset Terkait:
• Tacotron2
• ForwardTacotron: Tacotron2 tanpa perhatian
• Klon Voice: Cloning voice-time-real-time
• Spleeter: Pemisahan pemisahan track suara berada di bawah domain retrival informasi musik.
• Musik generatif ambient oleh Alex Bainter meskipun proyek ini tidak dihasilkan oleh algoritma, memberikan banyak inspirasi di bidang generasi musik. Kode Sedang *NeuralFunk: Desain Suara dengan ML

Sintesis musik-video

• Visualisator Musik yang Dalam Menggunakan Kode Biggan

Sintesis dan Generasi Video:

• Pix2pix-TensorFlow: Poweed Interative Rendered Virtual World Code Update: Model pretrain ditambahkan lebih banyak tentang colab

  • Dengan menggunakan teknik ini kita dapat mewarnai foto hitam putih, mengonversi peta google ke google earth, dll.

• Craft, yang menghasilkan kartun berdasarkan teks descritpionsA karya yang sangat kreatif melibatkan teks untuk pembuatan video dari Allen NLP oleh Video Halaman Proyek Peneliti

SYSTHESIS AUDIO

• Implementasi Pytorch TACO2 NVIDIA
• Clone real-time-voice

Proseduralgenerasi

Pembuatan peta

• Generator peta fantasi prosedural AI, referensi: blog @linonetwo

Animasi

• Pembelajaran mendalam untuk animasi dan kontrol karakter
• DeepMimic: Imitasi gerak dengan pembelajaran penguatan yang dalam

Pelatihan Terdistribusi:

• MPI Mengurangi dan Allreduce Tutorial yang sangat berguna untuk menggambarkan konsep MPT. Periksa kode
• Periksa juga tensorflow-core
• Strategi Traning Terdistribusi

Aplikasi Visi Komputer di Gaming

• E-Sports Talent Scouting Berdasarkan Multimodal Twitch Stream Data Acquisition and Modeling Code Chat Log Twich Stream

Kertas dengan kode

• Kertas dengan kode

Sumber Daya di Kursus Terkait:

• UIUC CS598RK: HCI untuk ML
• Coursera: Model Urutan
• Tumpukan penuh pembelajaran mendalam
• fast.ai
• UIUC: ECE420 Video Processing Lab
• Sumber Daya GRATIS GPU: Menyiapkan GPU Instance Google Cloud untuk Fast.AI secara gratis

Pengaturan komputasi awan

• AWS
• Google Colab

Alat Pembelajaran Deep Tumpukan Lengkap dalam Pipa Pemrosesan Data:

• Cortex: Menyebarkan model pembelajaran mesin dalam produksi mungkin tanpa media Docker dan Kubernetes

Sumber daya untuk alat dev:

• Lumen: Perangkat Lunak Syth Video
• Editor Node Berbasis Pohon Dialog untuk Demo Unity dan Contoh

Lebih banyak sumber daya pada model pretrained:

• [Pytorch Hub] https://pytorch.org/hub/research-kodels
• Hub Tensorflow

Temui orang-orang yang terhubung dengan pikiran di forum:

• reddit-mediasynthesis

Aplikasi:

Menghasilkan Suara Berbagai Karakter: Idealnya Podcast dan Gaming dll:

• 15.ai

Pembuatan Film:

• Black Mirror: Bandersnatch Show Case: dialog pohon
• Late-shift

Desain

• Desain yang digerakkan algoritma
• Logo yang dihasilkan algoritma

Referensi:

• Untuk detail tentang cara mewakili arsitektur animasi dari perspektif perangkat lunak dan dalam matematika. Periksa Bab11-Animasi Sistem Arsitektur Mesin Game, Edisi ke-2 oleh Jason Gregory
• Model AI baru Kite