LLMS
소개
이 안내서는 대형 언어 모델 (LLM)을 실험하는 데 관심이있는 Apple Silicon 장치를 가진 사용자를위한 맞춤형입니다. 여기에는 Apple Silicon 하드웨어에 최적화 된 것들에 중점을 둔 주요 저장소 및 리소스 요약이 포함됩니다. 이 안내서는 검색 증거 세대 (RAG), 교육 및 미세 조정 LLM, 비전 언어 모델 (VLM), 데이터 세트 및 사용자 인터페이스 (UI) 등 다양한 주제를 다룹니다. 각 섹션은 저장소 및 도구에 대한 링크를 제공하여 사용자가 Apple Silicon 장치에서 LLM을 효과적으로 탐색하고 구현할 수 있도록 도와줍니다. 
검색-증거 생성 (RAG) 리포지토리 :
chatllm.cpp
- 저장소 : chatllm.cpp
- 요약 :이 저장소에는 LLMS를 사용하여 검색-예술 생성 (RAG) 모델을 구현하기위한 문서 및 코드가 포함되어 있으며 검색 메커니즘을 언어 모델과 통합하기위한 지침 및 예제를 제공합니다.
Modelscope Rag
- 저장소 : ModelScope Rag
- 요약 :이 Jupyter 노트북은 Llamaindex 라이브러리를 사용하여 Reranking으로 Rag 구현에 대한 자습서를 제공합니다. 성능 향상을위한 순위 메커니즘으로 검색 기반 생성을 향상시키는 방법을 보여줍니다.
쿼드 아이 래그
- 저장소 : Quad-Aai Rag
- 요약 :이 노트북은 효과적인 정보 검색 및 응답 생성을 위해 llama.cpp를 사용하여 Rag의 구현을 보여줍니다. 단계별 지침 및 코드 스 니펫이 포함되어 있습니다.
MLX RAG GGUF
- 저장소 : MLX RAG GGUF
- 요약 :이 저장소에는 MLX 프레임 워크를 사용하여 GGUF 임베딩으로 RAG를 구현하기위한 코드 및 문서가 포함되어 있습니다. 강화 된 검색을 위해 다양한 임베딩 기술을 통합하는 데 중점을 둡니다.
플래그 오펜 임베딩
- 저장소 : Flagopen Embedding
- 요약 :이 저장소는 검색-증진 생성 시스템에 생성 및 통합을 포함시키는 도구 및 방법을 제공합니다. 작업을 포함시키기위한 다양한 모델과 기술이 포함되어 있습니다.
LM 칵테일
- 저장소 : LM 칵테일
- 요약 :이 프로젝트는 다양한 임베딩 기술과 모델을 결합하여 강화 된 생성 작업을위한 강력한 검색 시스템을 만듭니다. 다양한 구성 및 예제가 포함됩니다.
OSX Apple Silicon :
OSX Apple Silicon Gist
- 저장소 : OSX Apple Silicon Gist
- 요약 : 설정 지침 및 성능 팁을 포함하여 Apple Silicon 장치에서 MLX 모델을 실행하기위한 상세한 단계 및 구성을 제공하는 GIST.
포옹 얼굴 MLX 모델
- 저장소 : 포옹 얼굴 MLX 모델
- 요약 : Hugging Face에서 사용할 수있는 MLX에 최적화 된 모델 모음. 이 저장소는 성능 및 효율성에 최적화 된 다양한 ML 작업에 적합한 다양한 모델을 제공합니다.
MLX 예제
- 저장소 : MLX 예제
- 요약 :이 저장소에는 다양한 ML 작업에 대한 단계별 가이드 및 코드 스 니펫을 포함하여 MLX 모델의 예제 구현 및 사용 사례가 포함되어 있습니다.
PHI-3 비전 MLX
- 저장소 : PHI-3 Vision MLX
- 요약 : 비전 모델의 MLX 프레임 워크와의 통합을 보여주는 프로젝트는 비전 관련 작업에 대한 예제 및 구현 세부 사항을 제공합니다.
릴름
- 저장소 : Lilm
- 요약 :이 저장소는 Apple Silicon 장치의 향상된 성능을 위해 MLX 프레임 워크를 사용하여 저주적 설정을위한 언어 모델을 구현하고 최적화하는 데 중점을 둡니다.
ML 안정적인 확산
- 저장소 : ML 안정적인 확산
- 요약 : Apple Silicon의 안정적인 확산 모델 구현 및 최적화, 성능 문제 해결 및 효율적인 실행 솔루션 제공 전용 프로젝트.
MLX LORA 미세 조정
- 저장소 : MLX LORA 미세 조정
- 요약 : MLX 프레임 워크 내에서 LORA를 사용하는 미세 조정 모델에 대한 문서 및 코드는 단계별 지침 및 예제를 제공합니다.
MLX 토론
- 저장소 : MLX 토론
- 요약 : 사용법 팁, 문제 해결 및 커뮤니티 기여를 포함하여 MLX 프레임 워크의 다양한 측면을 논의하기위한 포럼.
nanogpt mlx
- 저장소 : nanogpt mlx
- 요약 : MLX 프레임 워크에 최적화 된 GPT 모델의 최소 구현으로 빠른 설정 및 실행을위한 코드 및 문서를 제공합니다.
LM 평가 하네스
- 저장소 : LM 평가 하네스
- 요약 : 표준화 된 테스트 및 다양한 작업에 대한 성능 메트릭을 포함한 언어 모델을 평가하기위한 도구 및 벤치 마크.
Pikagpt
- 저장소 : Pikagpt
- 요약 : Apple Silicon 장치의 효율성 및 성능에 최적화 된 GPT 모델의 가벼운 구현으로 예제 및 설정 지침을 제공합니다.
지역 LLM 훈련 애플 실리콘
- 저장소 : 로컬 LLM 훈련 Apple Silicon
- 요약 : Apple Silicon 장치에서 로컬 LLM을 훈련시키는 데 중점을 둔 프로젝트, 설정 및 실행을위한 코드 및 문서를 제공합니다.
MLX 노트
- 저장소 : MLX 참고
- 요약 : 설정부터 고급 사용에 이르기까지 다양한 측면을 다루는 MLX 프레임 워크 사용을위한 메모 및 가이드 모음.
Lora Gist
- 저장소 : Lora Gist
- 요약 : 코드 스 니펫 및 설정 팁을 포함하여 LORA를 사용하여 미세 조정 모델에 대한 자세한 지침을 제공하는 요점.
LLAMA3 MAC SILICON 예제
- 저장소 : llama3 Mac Silicon 예제
- 요약 : 설정, 실행 및 성능 팁을 포함하여 Mac Silicon에서 LLAMA3 모델 사용을 보여주는 예제 노트북.
MLX와 함께 AI 로의 깊은 다이빙
- 저장소 : MLX와 함께 AI 로의 깊이 다이빙
- 요약 : MLX 프레임 워크를 사용하여 AI에 깊이 빠져 나가는 포괄적 인 가이드 및 튜토리얼, 다양한 모델 및 사용 사례를 다룹니다.
비전 언어 모델 (VLM) :
MLX LLAVA FINETUNING
- 저장소 : MLX LLAVA FINETUNING
- 요약 : MLX 프레임 워크를 사용하여 미세 조정 비전 언어 모델에 중점을 두어 예제와 자세한 지침을 제공합니다.
토끼
- 저장소 : 토끼
- 요약 : 비전 언어 모델을 개발하고 최적화하는 데 전념하는 프로젝트, 다양한 작업에 대한 코드, 문서 및 예제를 제공합니다.
로라/훈련/미세 조정 :
인턴 생태계
- 저장소 : Internlm 생태계
- 요약 : 교육 및 미세 조정에 중점을 둔 다양한 생태계 내에 InternLM 모델을 통합하고 사용하기위한 문서 및 코드.
Internlm 미세 조정
- 저장소 : Internlm 미세 조정
- 요약 : 설정 및 실행 지침을 포함하여 미세 조정 인턴 링크 모델에 대한 자세한 지침 및 코드를 제공하는 저장소.
ModelScope Swift
- 저장소 : ModelScope Swift
- 요약 : Swift 프레임 워크를 사용하여 모델을 최적화하고 배포하는 전용 프로젝트, 다양한 작업에 대한 예제 및 문서를 제공합니다.
litgpt
- 저장소 : litgpt
- 요약 : Lightning Framework를 사용하여 GPT 모델을 구현하고 최적화하는 데 중점을두고 교육 및 미세 조정을위한 예제 및 상세한 지침을 제공합니다.
데이터 세트 :
가마솥
- 저장소 : 가마솥
- 요약 : Hugging Face의 데이터 세트 저장소는 자세한 설명 및 사용 지침을 포함하여 기계 학습 모델 교육 및 평가를위한 데이터 세트 모음을 제공합니다.
GUI :
librechat
- 저장소 : librechat
- 요약 : LibreChat은 언어 모델을위한 채팅 인터페이스를 구축하고 관리하기위한 오픈 소스 프로젝트로, 다양한 플랫폼에 맞춤형 기능 및 통합 옵션을 제공합니다.
도커 등
- Brew 설치 llama.cpp
- llama-cli -HF-REPO Reach-VB/Meta-Llama-3.1-8B-instruct-Q6_K-GGUF -HF-File Meta-Llama-3.1-8B-Instruct-Q6_K.GGUF -P "SUP?" -CTX-Size 8192
이 모델은 ~ 7.0GB RAM을 사용합니다.
오디오
MLX 전원 전사 전사
- 저장소 : https://github.com/rayfernando1337/mlx-auto-subtitreded-video-generator/
- 요약 :이 간소화 응용 프로그램은 사용자가 비디오 파일을 업로드하고 Apple의 MLX 프레임 워크를 사용하여 정확한 사본을 생성 할 수 있습니다.
분류되지 않은
- https://github.com/linyilyi/bilibot/tree/main
- https://github.com/harperreed/photo-similarity-search
- https://github.com/hiyouga/llama-factory
- https://github.com/instructlab/instructlab
- https://github.com/modelscope/swift-https : //github.com/lyogavin/airllm/blob/main/air_llm/examples/run_on_macos.ipynb
