OpenNMT py

Pengumuman: Opennmt-py tidak lagi didukung secara aktif.

Kami memulai proyek baru EOLE yang tersedia di GitHub

Ini adalah spin-off Opennmt-py dalam hal fitur tetapi kami mengubah banyak hal.

Eole menangani NMT, LLM, encoder serta konsep baru penaksir dalam model NMT lihat posting ini dan berita ini

Jika Anda seorang pengembang, ganti sekarang. Jika Anda hanya pengguna, maka kami akan menerbitkan versi PY-PI pertama segera.

Opennmt-py: Terjemahan mesin saraf open-source dan model bahasa (besar)

Opennmt-py adalah versi Pytorch dari Proyek OpenNMT, kerangka Terjemahan Mesin Saraf Open-Source (MIT) (dan Beyond!). Ini dirancang untuk menjadi ramah penelitian untuk mencoba ide -ide baru dalam terjemahan, pemodelan bahasa, peringkasan, dan banyak tugas NLP lainnya. Beberapa perusahaan telah membuktikan kode tersebut siap produksi.

Kami menyukai kontribusi! Silakan lihat masalah yang ditandai dengan tag selamat datang kontribusi.

Sebelum mengangkat masalah, pastikan Anda membaca persyaratan dan contoh dokumentasi lengkap.

Kecuali ada bug, silakan gunakan forum atau gitter untuk mengajukan pertanyaan.

---

Untuk pemula:

Ada selangkah demi selangkah dan dijelaskan Tuto (terima kasih kepada Yasmin Muslim): Tutorial

Silakan coba baca dan/atau ikuti sebelum mengangkat masalah pemula.

Kalau tidak, Anda bisa melihat langkah QuickStart

---

Baru:

• Anda akan membutuhkan pytorch v2 lebih disukai v2.2 yang memperbaiki beberapa masalah scaled_dot_product_attention
• Dukungan LLM dengan konverter untuk: llama (+ Mistral), Openllama, Redpajama, MPT-7B, Falcon.
• Dukungan untuk kuantisasi 8bit dan 4bit bersama dengan adaptor LORA, dengan atau tanpa pos pemeriksaan.
• Anda dapat finetune 7b dan 13b model pada RTX 24GB tunggal dengan kuantisasi 4-bit.
• Inferensi dapat dipaksakan dalam 4/8bit menggunakan kuantisasi lapisan yang sama seperti dalam finetuning.
• Paralelisme tensor ketika model tidak sesuai dengan memori satu GPU (baik pelatihan dan inferensi)
• Setelah model Anda diaktifkan, Anda dapat menjalankan inferensi baik dengan Opennmt-Py atau lebih cepat dengan Ctranslate2.
• Skrip evaluasi mmlu, lihat hasilnya di sini

Untuk semua usecases termasuk NMT, Anda sekarang dapat menggunakan multiquery alih -alih perhatian multi -kepala (lebih cepat pada pelatihan dan inferensi) dan menghilangkan bias dari semua linier (QKV serta modul feedforward).

Jika Anda menggunakan versi OpenNMT-PY sebelumnya, Anda dapat memeriksa changelog atau perubahan yang melanggar

---

Tutorial:

• Cara Meniru Vicuna dengan 7B atau 13B Llama (atau Open Llama, MPT-7B, Redpajama) Model Bahasa: Tuto Vicuna
• Cara finetune nllb-200 dengan dataset Anda: tuto finetune nllb-200
• Cara membuat server OpenNmt-Py Rest sederhana: Tuto Rest
• Cara Membuat Antarmuka Web Sederhana: Tuto StreamLit
• Replikasi Eksperimen EN-DE WMT17: WMT17 ENDE

---

Pengaturan

Menggunakan Docker

Untuk memfasilitasi pengaturan dan reproduktifitas, beberapa gambar Docker tersedia melalui Registry Kontainer GitHub: https://github.com/opennmt/opennmt-py/pkgs/container/opennmt-py

Anda dapat menyesuaikan alur kerja dan membangun gambar Anda sendiri tergantung pada kebutuhan spesifik dengan menggunakan build.sh dan Dockerfile di direktori docker repo.

 docker pull ghcr.io/opennmt/opennmt-py:3.4.3-ubuntu22.04-cuda12.1

Contoh oneliner untuk menjalankan wadah dan membuka shell bash di dalamnya

 docker run --rm -it --runtime=nvidia ghcr.io/opennmt/opennmt-py:test-ubuntu22.04-cuda12.1

Catatan: Anda harus memasang NVIDIA Container Toolkit (sebelumnya NVIDIA-DOCKER) untuk memanfaatkan fitur CUDA/GPU dengan benar.

Bergantung pada kebutuhan Anda, Anda dapat menambahkan berbagai bendera:

• -p 5000:5000 untuk meneruskan beberapa port yang terbuka dari wadah Anda ke host Anda;
• -v /some/local/directory:/some/container/directory untuk memasang beberapa direktori lokal ke beberapa direktori wadah;
• --entrypoint some_command untuk langsung menjalankan beberapa perintah spesifik sebagai titik masuk kontainer (bukan shell bash default);

Menginstal secara lokal

Opennmt-py membutuhkan:

• Python> = 3.8
• Pytorch> = 2.0 <2.2

Instal OpenNMT-py dari pip :

pip install OpenNMT-py

atau dari sumbernya:

git clone https://github.com/OpenNMT/OpenNMT-py.git
cd OpenNMT-py
pip install -e .

CATATAN: Jika Anda menemukan MemoryError selama instalasi, cobalah untuk menggunakan pip dengan --no-cache-dir .

(Opsional) Beberapa fitur canggih (misalnya model pretrained yang berfungsi atau transformasi spesifik) memerlukan paket tambahan, Anda dapat menginstalnya dengan:

pip install -r requirements.opt.txt

Pemasangan manual beberapa dependensi

Apex sangat disarankan untuk memiliki kinerja yang cepat (terutama pengoptimal legacy fusedadam dan fusedrmsnorm)

git clone https://github.com/NVIDIA/apex
cd apex
pip3 install -v --no-build-isolation --config-settings --build-option= " --cpp_ext --cuda_ext --deprecated_fused_adam --xentropy --fast_multihead_attn " ./
cd ..

Perhatian Flash:

Pada Oktober 2023 Flash Attention 1 telah ditingkatkan ke Pytorch V2 tetapi disarankan untuk menggunakan Flash Attention 2 dengan v2.3.1 untuk dukungan perhatian jendela geser.

Saat menggunakan position_encoding=True atau rotary dengan max_relative_positions=-1 Opennmt-py akan mencoba menggunakan jalur produk dot yang dioptimalkan.

Jika Anda ingin menggunakan perhatian flash maka Anda harus menginstalnya secara manual terlebih dahulu:

pip install flash-attn --no-build-isolation

Jika Flash Attention 2 tidak diinstal, maka kami akan menggunakan F.scaled_dot_product_attention dari Pytorch 2.x

Saat menggunakan max_relative_positions > 0 atau alibi max_relative_positions=-2 opennmt-py akan menggunakan kode warisan untuk multiplikasi matriks.

Perhatian flash dan F.scaled_dot_product_attention sedikit lebih cepat dan menyimpan beberapa memori GPU.

AWQ:

Jika Anda ingin menjalankan inferensi atau mengukur model AWQ, Anda akan memerlukan Autoawq.

Untuk autoawq: pip instal autoawq

Dokumentasi & FAQ

Dokumentasi HTML lengkap

FAQ

Ucapan Terima Kasih

OpenNMT-PY dijalankan sebagai proyek sumber terbuka kolaboratif. Proyek diinkubasi oleh Systran dan Harvard NLP pada tahun 2016 di Lua dan diangkut ke Pytorch pada 2017.

Pemelihara saat ini (sejak 2018):

François Hernandez Vincent Nguyen (Benih)

Kutipan

Jika Anda menggunakan OpenNMT-PY untuk pekerjaan akademik, silakan kutip makalah demonstrasi sistem awal yang diterbitkan dalam ACL 2017:

 @misc{klein2018opennmt,
      title={OpenNMT: Neural Machine Translation Toolkit}, 
      author={Guillaume Klein and Yoon Kim and Yuntian Deng and Vincent Nguyen and Jean Senellart and Alexander M. Rush},
      year={2018},
      eprint={1805.11462},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}