Llms
Perkenalan
Panduan ini dirancang untuk pengguna dengan perangkat Apple Silicon yang tertarik untuk bereksperimen dengan model bahasa besar (LLM). Ini mencakup ringkasan repositori dan sumber daya utama, dengan fokus pada mereka yang dioptimalkan untuk perangkat keras Silikon Apple. Panduan ini mencakup berbagai topik, termasuk Generasi Pengambilan-Pengambilan (RAG), pelatihan dan LLM yang menyempurnakan, model visi-bahasa (VLM), dataset, dan antarmuka pengguna (UI). Setiap bagian menyediakan tautan ke repositori dan alat, membantu pengguna mengeksplorasi dan mengimplementasikan LLM secara efektif pada perangkat Apple Silicon mereka. 
Repositori Generasi Pengambilan (RAG):
Chatllm.cpp
- Repositori: chatllm.cpp
- Ringkasan: Repositori ini mencakup dokumentasi dan kode untuk mengimplementasikan model generasi pengambilan (RAG) yang menggunakan LLM, memberikan pedoman dan contoh untuk mengintegrasikan mekanisme pengambilan dengan model bahasa.
Modelscope Rag
- Repositori: Modelscope Rag
- Ringkasan: Notebook Jupyter ini menyediakan tutorial tentang implementasi lap dengan reranking menggunakan Perpustakaan Llamaindex. Ini menampilkan cara meningkatkan generasi berbasis pengambilan dengan mekanisme peringkat untuk peningkatan kinerja.
Quad-ai rag
- Repositori: quad-ai rag
- Ringkasan: Buku catatan ini menunjukkan implementasi RAG menggunakan llama.cpp untuk pengambilan informasi yang efektif dan pembuatan respons. Ini termasuk instruksi langkah demi langkah dan cuplikan kode.
MLX RAG GGUF
- Repositori: Mlx Rag GGUF
- Ringkasan: Repositori ini berisi kode dan dokumentasi untuk mengimplementasikan kain dengan embeddings GGUF menggunakan kerangka kerja MLX. Ini berfokus pada mengintegrasikan berbagai teknik penyematan untuk peningkatan pengambilan.
Embedding flagopen
- Repositori: Embedding Flagopen
- Ringkasan: Repositori menyediakan alat dan metode untuk menanamkan generasi dan integrasi dalam sistem generasi pengambilan. Ini mencakup berbagai model dan teknik untuk menanamkan tugas.
Koktail LM
- Repositori: Koktail LM
- Ringkasan: Proyek ini berfokus pada menggabungkan berbagai teknik dan model embedding untuk menciptakan sistem pengambilan yang kuat untuk tugas -tugas generasi augmented. Ini mencakup berbagai konfigurasi dan contoh.
Silikon Apple OSX:
Osx Apple Silicon Gist
- Repositori: Osx Apple Silicon Gist
- Ringkasan: Inti yang memberikan langkah dan konfigurasi terperinci untuk menjalankan model MLX pada perangkat Apple Silicon, termasuk instruksi pengaturan dan tips kinerja.
Memeluk model MLX
- Repositori: memeluk model MLX
- Ringkasan: Kumpulan model yang dioptimalkan untuk MLX, tersedia di Face Memeluk. Repositori ini menyediakan berbagai model yang cocok untuk tugas ML yang berbeda, dioptimalkan untuk kinerja dan efisiensi.
Contoh MLX
- Repositori: Contoh MLX
- Ringkasan: Repositori ini berisi contoh implementasi dan penggunaan kasus untuk model MLX, termasuk panduan langkah demi langkah dan cuplikan kode untuk berbagai tugas ML.
PHI-3 Visi MLX
- Repositori: phi-3 visi MLX
- Ringkasan: Sebuah proyek yang menampilkan integrasi model visi dengan kerangka kerja MLX, memberikan contoh dan detail implementasi untuk tugas-tugas terkait penglihatan.
Lilm
- Repositori: Lilm
- Ringkasan: Repositori ini berfokus pada penerapan dan mengoptimalkan model bahasa untuk pengaturan sumber daya rendah, memanfaatkan kerangka kerja MLX untuk meningkatkan kinerja pada perangkat Apple Silicon.
Difusi stabil Ml
- Repositori: difusi ml stabil
- Ringkasan: Proyek yang didedikasikan untuk menerapkan dan mengoptimalkan model difusi yang stabil untuk silikon Apple, mengatasi masalah kinerja dan memberikan solusi untuk eksekusi yang efisien.
Fine-tuning MLX Lora
- Repositori: fine-tuning mlx lora
- Ringkasan: Dokumentasi dan kode untuk model penyempurnaan menggunakan LORA dalam kerangka MLX, memberikan instruksi dan contoh langkah demi langkah.
Diskusi MLX
- Repositori: Diskusi MLX
- Ringkasan: Forum untuk membahas berbagai aspek kerangka kerja MLX, termasuk tips penggunaan, pemecahan masalah, dan kontribusi masyarakat.
Nanogpt MLX
- Repositori: Nanogpt Mlx
- Ringkasan: Implementasi minimal dari model GPT yang dioptimalkan untuk kerangka kerja MLX, memberikan kode dan dokumentasi untuk pengaturan dan eksekusi cepat.
Harness evaluasi LM
- Repositori: Harness Evaluasi LM
- Ringkasan: Alat dan tolok ukur untuk mengevaluasi model bahasa, termasuk tes standar dan metrik kinerja untuk berbagai tugas.
Pikagpt
- Repositori: Pikagpt
- Ringkasan: Implementasi ringan model GPT yang dioptimalkan untuk efisiensi dan kinerja pada perangkat silikon Apple, memberikan contoh dan instruksi pengaturan.
Pelatihan LLM Lokal Apple Silicon
- Repositori: Pelatihan LLM Lokal Apple Silicon
- Ringkasan: Proyek yang berfokus pada pelatihan LLM lokal pada perangkat Apple Silicon, memberikan kode dan dokumentasi untuk pengaturan dan eksekusi.
Catatan MLX
- Repositori: Catatan MLX
- Ringkasan: Kumpulan catatan dan panduan untuk menggunakan kerangka kerja MLX, yang mencakup berbagai aspek dari pengaturan hingga penggunaan lanjutan.
Lora Gist
- Repositori: Lora Gist
- Ringkasan: Inti yang memberikan instruksi terperinci untuk model fine-tuning menggunakan LORA, termasuk cuplikan kode dan kiat pengaturan.
Contoh llama3 mac silicon
- Repositori: Llama3 Mac Silicon Contoh
- Ringkasan: Contoh notebook yang menunjukkan penggunaan model LLAMA3 pada silikon Mac, termasuk pengaturan, eksekusi, dan kiat kinerja.
Menyelam dalam ke ai dengan mlx
- Repositori: Menyelam dalam AI dengan MLX
- Ringkasan: Panduan dan tutorial yang komprehensif untuk menyelam jauh ke dalam AI menggunakan kerangka MLX, yang mencakup berbagai model dan menggunakan kasus.
Model Visi-Banguage (VLM):
MLX llava finetuning
- Repositori: Mlx llava finetuning
- Ringkasan: Sebuah repositori yang berfokus pada model-model penglihatan-penglihatan menggunakan kerangka kerja MLX, memberikan contoh dan instruksi terperinci.
Kelinci
- Repositori: Kelinci
- Ringkasan: Proyek yang didedikasikan untuk mengembangkan dan mengoptimalkan model bahasa penglihatan, memberikan kode, dokumentasi, dan contoh untuk berbagai tugas.
Lora/pelatihan/fine-tuning:
Ekosistem internlm
- Repositori: Ekosistem internlm
- Ringkasan: Dokumentasi dan kode untuk mengintegrasikan dan menggunakan model internlm dalam berbagai ekosistem, berfokus pada pelatihan dan penyempurnaan.
Fine-tuning internlm
- Repositori: fine-tuning internlm
- Ringkasan: Repositori yang memberikan instruksi dan kode terperinci untuk menyempurnakan model internlm, termasuk Pedoman Pengaturan dan Eksekusi.
Modelscope Swift
- Repositori: Modelscope Swift
- Ringkasan: Proyek yang didedikasikan untuk mengoptimalkan dan menggunakan model menggunakan kerangka kerja Swift, memberikan contoh dan dokumentasi untuk berbagai tugas.
Litgpt
- Repositori: Litgpt
- Ringkasan: Repositori yang berfokus pada penerapan dan mengoptimalkan model GPT menggunakan kerangka kerja petir, memberikan contoh dan instruksi terperinci untuk pelatihan dan penyempurnaan.
Dataset:
Kuali
- Repositori: Cauldron
- Ringkasan: Repositori dataset tentang memeluk wajah yang menyediakan kumpulan set data untuk pelatihan dan mengevaluasi model pembelajaran mesin, termasuk deskripsi terperinci dan pedoman penggunaan.
GUI:
Librechat
- Repositori: Librechat
- Ringkasan: Librechat adalah proyek open-source untuk membangun dan mengelola antarmuka obrolan untuk model bahasa, menyediakan fitur yang dapat disesuaikan dan opsi integrasi untuk berbagai platform.
Docker dll
- buatan menginstal llama.cpp
- llama-cli --hf-repo jangkauan-vb/meta-llama-3.1-8b-instruct-q6_k-gguf --hf-file meta-llama-3.1-8b-instruct-q6_k.gguf -p "sup?" --CTX-ukuran 8192
Model menggunakan ~ 7.0GB RAM.
Audio
Transkripsi video bertenaga MLX
- Repositori: https://github.com/rayfernando1337/mlx-auto-subtitled-video-generator/
- Ringkasan: Aplikasi StreamLit ini memungkinkan pengguna untuk mengunggah file video dan menghasilkan transkrip yang akurat menggunakan MLX Framework Apple
Tidak disortir
- https://github.com/linyilyi/bilibot/tree/main
- https://github.com/harperreed/photo-similarity-search
- https://github.com/hiyouga/llama-factory
- https://github.com/instructlab/instructlab
- https://github.com/modelscope/swift -https: //github.com/lyogavin/airllm/blob/main/air_llm/examples/run_on_macos.ipynb
