Raksasa teknologi Rusia Yandex telah menggunakan alat YaFSDP yang dikembangkan sendiri secara open source, sebuah metode pengoptimalan untuk pelatihan model bahasa besar (LLM), yang efisiensinya memimpin industri. YaFSDP dapat meningkatkan kecepatan pelatihan LLM secara signifikan hingga 26%, dan menghemat biaya sumber daya GPU secara signifikan, yang tidak diragukan lagi merupakan manfaat besar bagi pengembang dan perusahaan AI. Alat ini berkinerja sangat baik ketika ukuran parameter pelatihan mencapai 30 miliar hingga 70 miliar, memberikan lebih banyak kemungkinan bagi usaha kecil dan menengah serta pengembang individu untuk melatih LLM secara mandiri.
Yandex, raksasa teknologi dari Rusia, baru-baru ini membuka sumber alat YaFSDP yang dikembangkan secara independen kepada komunitas AI global, yang saat ini merupakan metode pengoptimalan pelatihan model bahasa besar (LLM) yang paling efisien di industri. Dibandingkan dengan teknologi FSDP yang banyak digunakan di industri, YaFSDP dapat meningkatkan kecepatan pelatihan LLM hingga 26%, yang diharapkan dapat menghemat banyak sumber daya GPU untuk pengembang dan perusahaan AI.
YaFSDP (Yandex Full Sharded Data Parallel) adalah versi Yandex yang disempurnakan berdasarkan FSDP. Ini berfokus pada mengoptimalkan efisiensi komunikasi GPU dan penggunaan memori, menghilangkan hambatan dalam proses pelatihan LLM. Dalam tugas-tugas intensif komunikasi seperti pra-pelatihan, penyelarasan, dan penyesuaian, YaFSDP menunjukkan peningkatan kinerja yang sangat baik, terutama ketika ukuran parameter pelatihan mencapai 30 miliar hingga 70 miliar.
Mikhail Khruschev, pakar pengembangan senior di Yandex dan anggota tim YaFSDP, mengatakan: "YaFSDP paling cocok untuk model sumber terbuka yang banyak digunakan berdasarkan arsitektur LLaMA. Kami masih terus mengoptimalkan dan memperluas keserbagunaannya di berbagai arsitektur model dan parameter ukuran, dengan maksud untuk penggunaannya yang lebih luas. Meningkatkan efisiensi pelatihan dalam berbagai skenario."
Diperkirakan, dengan mengambil contoh pelatihan model dengan 70 miliar parameter, menggunakan YaFSDP dapat menghemat sekitar 150 sumber daya GPU, yang setara dengan menghemat biaya daya komputasi sebesar US$500.000 hingga US$1,5 juta per bulan. Penghematan biaya ini diharapkan membuat pelatihan LLM otonom lebih layak dilakukan oleh UKM dan pengembang individu.
Pada saat yang sama, Yandex juga berjanji untuk terus berkontribusi terhadap pengembangan komunitas AI global. YaFSDP open source merupakan cerminan dari komitmen tersebut. Sebelumnya, perusahaan telah membagikan sejumlah alat AI open source yang sangat dihormati, seperti pustaka peningkatan gradien kinerja tinggi CatBoost, algoritme kompresi model ekstrem AQLM, dan pustaka penyederhanaan pelatihan model Petals.
Analis industri menunjukkan bahwa seiring dengan perluasan skala LLM, peningkatan efisiensi pelatihan akan menjadi kunci pengembangan kecerdasan buatan. Terobosan teknis seperti YaFSDP diharapkan dapat membantu komunitas AI memajukan penelitian model besar dengan lebih cepat dan mengeksplorasi prospek penerapannya dalam pemrosesan bahasa alami, visi komputer, dan bidang lainnya.
Sumber terbuka YaFSDP menunjukkan sikap dan kontribusi positif Yandex dalam mempromosikan pengembangan teknologi AI. Hal ini juga menyediakan alat yang ampuh bagi komunitas AI global, yang semakin menurunkan ambang batas untuk pelatihan model besar dan mempercepat pemasyarakatan dan penerapan teknologi AI.