LLMFarm

llmfarm

안정적인 설치 최신 설치

---

LLMFARM은 LLM (Large Language Models)에서 작업하는 iOS 및 MacOS 앱입니다. LLMFARM을 사용하면 iOS 및 MACOS에서 다양한 LLM의 성능을 테스트하고 프로젝트에 가장 적합한 모델을 찾을 수 있습니다.
GGML 및 LLAMA.CPP를 기반으로 Georgi Gerganov.

특징

• 마코 (13+)
• iOS (16+)
• 다양한 추론
• 다양한 샘플링 방법
• 금속 (Intel Mac에서 작동하지 않음)
• 모델 설정 템플릿
• 컨텍스트 상태를 복원하십시오
• 사과 단축키
• 조각

추론

• 야마
• 아체
• 피
• GPT2 + 뇌
• 스타 코더 (Santacoder)
• 매
• MPT
• 꽃
• Stablelm-3B-4E1T
• Qwen
• YI 모델
• Deepseek 모델
• Mixtral Moe
• 플라모 -13b
• 맘바
• RWKV
• gptneox

여기에서 전체 목록을 참조하십시오.

멀티 모달

• Llava 1.5 모델, Llava 1.6 모델
• Bakllava
• 흑요석
• sharegpt4v
• MobileVLM 1.7B/3B 모델
• yi-vl
• MoondReam

참고 : Falcon, Alpaca, Gpt4all, Chinese Llama / Alpaca 및 Chinese Llama-2 / Alpaca-2, Vigogne (프랑스어), Vicuna, Koala, OpenBuddy (다중 언어), 피그말리온 / 메르마, 마법사, Bachuan 1 & 2 + 파생물, Aquila 1 & 2, Mistral ai V0.1, Refact, Persimmon 8B, MPT, Bloom 모델 설정에서 llama inference 선택.

샘플링 방법

• 온도 (온도, Tok-K, Top-P)
• 테일 프리 샘플링 (TFS)
• 국부적으로 일반적인 샘플링
• 미로 트
• 탐욕스러운
• 문법

시작하기

FAQ 섹션에서 몇 가지 질문에 대한 답변을 찾을 수 있습니다.

추론 옵션

채팅을 만들 때 추가 추론 옵션을 지정할 수있는 JSON 파일이 생성됩니다. 채팅 파일은 "채팅"디렉토리에 있습니다. 여기에서 모든 추론 옵션을 볼 수 있습니다.

모델

여기에서 지원되는 모델을 찾을 수 있습니다.

개발

llmfarm_core 별도의 저장소로 이동되었습니다. llmfarm을 만들려면이 저장소를 재귀 적으로 복제해야합니다.

git clone --recurse-submodules https://github.com/guinmoon/LLMFarm

또한 다음과 같은 출처를 사용했습니다.

• Saharnooby의 rwkv.cpp
• Byroneverson의 Mia
• Alexrozanski의 Llamachat
• Gonzalezreal의 Swift-Markdown-UI
• Zachnagengast의 유사성 검색-키트

❤️ 지원 프로젝트