gollama下載 - gollama源代碼下載

Gollama

Gollama是用於管理Ollama型號的MacOS / Linux工具。

它提供了一個用於列表，檢查，刪除，複製和推動Ollama模型的TUI（文本用戶界面），並將其鏈接到LM Studio*。

該應用程序允許用戶使用Hotkeys進行交互選擇模型，分類，過濾，編輯，運行，卸載和執行操作。

特徵

該項目始於重寫我的Llamalink項目，但我決定將其擴展到包含更多功能並使其更加用戶友好。

它正在積極開發中，因此有一些錯誤和缺少的功能，但是我發現它每天都對管理我的模型有用，尤其是清理舊型號。

列表可用型號
顯示元數據，例如大小，定量水平，模型家族和修改日期
編輯 /更新模型的寄託
按名稱，大小，修改日期，定量級別，家庭等進行排序
選擇和刪除模型
運行和卸載模型
檢查模型以獲取更多詳細信息
計算模型的近似VRAM使用
鏈接到LM Studio
複製 /重命名模型
將模型推到註冊表
顯示運行模型
有一些很酷的錯誤

另請參閱 - 攝入的目錄/代碼的回購量將其傳遞給LLMS的格式。

Gollama Intro（“播客”情節）：

安裝

進行安裝（推薦）

go install github.com/sammcj/gollama@HEAD

捲曲

我不建議使用此方法，因為它不太容易更新，但是您可以使用以下命令：

curl -sL https://raw.githubusercontent.com/sammcj/gollama/refs/heads/main/scripts/install.sh | bash

手動

從“發行版”頁面下載最新版本，然後將二進製文件提取到路徑中的目錄。

例如zip -d gollama*.zip -d gollama && mv gollama /usr/local/bin

用法

要運行gollama應用程序，請使用以下命令：

gollama

提示：我喜歡別名Gollama到g以快速訪問：

 echo " alias g=gollama " >> ~ /.zshrc

關鍵綁定

Space ：選擇
Enter ：運行模型（Ollama Run）
i ：檢查模型
t ：頂部（顯示跑步模型）
D ：刪除模型
e ：編輯模型新
c ：複製模型
U ：卸載所有型號
p ：將現有型號提取新
g ：拉（獲取）新型號新
P ：推動模型
n ：按名稱排序
s ：按大小排序
m ：通過修改
k ：按定量排序
f ：家人排序
l ：LM工作室的鏈接模型
L ：將所有型號鏈接到LM Studio
r ：重命名模型（正在進行的工作）
q ：退出

頂部

頂（ t ）

檢查

檢查（ i ）

關聯

鏈接（ l ）和鏈接全（ L ）

注意：如果您正在運行Windows，則需要管理特權。

命令行選項

-l ：列出所有可用的Ollama型號和退出
-L ：將所有可用的Ollama車型鏈接到LM Studio和退出
-s <search term> ：按名稱搜索模型
- 或操作員（ 'term1|term2' ）返回匹配任一術的模型
- 操作員（ 'term1&term2' ）返回與兩個術語匹配的模型
-e <model> ：編輯模型
-ollama-dir ：自定義Ollama模型目錄
-lm-dir ：自定義LM Studio Models目錄
-cleanup ：刪除所有鏈接模型和空目錄和退出
-no-cleanup ：不要清理斷裂的符號鏈接
-u ：卸載所有運行模型
-v ：打印版本和退出
-h或--host ：為Ollama API指定主機
-H ： -h http://localhost:11434 （連接到本地Ollama API）的快捷方式
--vram ：估計模型的VRAM使用情況。接受：
- Ollama模型（例如llama3.1:8b-instruct-q6_K ， qwen2:14b-q4_0 ）
- 擁抱面模型（例如NousResearch/Hermes-2-Theta-Llama-3-8B ）
- --fits ：GB中的可用內存用於上下文計算（例如6GB的6 ）
- --vram-to-nth或--context ：要分析的最大上下文長度（例如32k或128k ）
- --quant ：覆蓋定量級別（例如Q4_0 ， Q5_K_M ）

簡單的模型列表

Gollama也可以與-l一起調用，以列出沒有TUI的模型。

gollama -l

列表（ gollama -l ）：

編輯

Gollama可以與-e一起調用以編輯模型的寄生器。

gollama -e my-model

搜尋

Gollama可以與-s一起調用，以搜索模型。

gollama -s my-model # returns models that contain 'my-model'

gollama -s ' my-model|my-other-model ' # returns models that contain either 'my-model' or 'my-other-model'

gollama -s ' my-model&instruct ' # returns models that contain both 'my-model' and 'instruct'

VRAM估計

Gollama包括全面的VRAM估計功能：

計算拉動Ollama型號（例如my-model:mytag ）或HuggingFace模型ID（例如author/name ）的VRAM使用情況
確定給定VRAM約束的最大上下文長度
找到給定VRAM和上下文約束的最佳定量設置
顯示不同K/V緩存定量選項的估計值（FP16，Q8_0，Q4_0）
自動檢測可用的CUDA VRAM（即將推出！ ）或系統RAM

估計（v）RAM使用：

gollama --vram llama3.1:8b-instruct-q6_K

 VRAM Estimation for Model: llama3.1:8b-instruct-q6_K

| QUANT   | CTX  | BPW | 2K  | 8K              | 16K             | 32K             | 49K             | 64K |
| ------- | ---- | --- | --- | --------------- | --------------- | --------------- | --------------- |
| IQ1_S   | 1.56 | 2.2 | 2.8 | 3.7(3.7,3.7)    | 5.5(5.5,5.5)    | 7.3(7.3,7.3)    | 9.1(9.1,9.1)    |
| IQ2_XXS | 2.06 | 2.6 | 3.3 | 4.3(4.3,4.3)    | 6.1(6.1,6.1)    | 7.9(7.9,7.9)    | 9.8(9.8,9.8)    |
| IQ2_XS  | 2.31 | 2.9 | 3.6 | 4.5(4.5,4.5)    | 6.4(6.4,6.4)    | 8.2(8.2,8.2)    | 10.1(10.1,10.1) |
| IQ2_S   | 2.50 | 3.1 | 3.8 | 4.7(4.7,4.7)    | 6.6(6.6,6.6)    | 8.5(8.5,8.5)    | 10.4(10.4,10.4) |
| IQ2_M   | 2.70 | 3.2 | 4.0 | 4.9(4.9,4.9)    | 6.8(6.8,6.8)    | 8.7(8.7,8.7)    | 10.6(10.6,10.6) |
| IQ3_XXS | 3.06 | 3.6 | 4.3 | 5.3(5.3,5.3)    | 7.2(7.2,7.2)    | 9.2(9.2,9.2)    | 11.1(11.1,11.1) |
| IQ3_XS  | 3.30 | 3.8 | 4.5 | 5.5(5.5,5.5)    | 7.5(7.5,7.5)    | 9.5(9.5,9.5)    | 11.4(11.4,11.4) |
| Q2_K    | 3.35 | 3.9 | 4.6 | 5.6(5.6,5.6)    | 7.6(7.6,7.6)    | 9.5(9.5,9.5)    | 11.5(11.5,11.5) |
| Q3_K_S  | 3.50 | 4.0 | 4.8 | 5.7(5.7,5.7)    | 7.7(7.7,7.7)    | 9.7(9.7,9.7)    | 11.7(11.7,11.7) |
| IQ3_S   | 3.50 | 4.0 | 4.8 | 5.7(5.7,5.7)    | 7.7(7.7,7.7)    | 9.7(9.7,9.7)    | 11.7(11.7,11.7) |
| IQ3_M   | 3.70 | 4.2 | 5.0 | 6.0(6.0,6.0)    | 8.0(8.0,8.0)    | 9.9(9.9,9.9)    | 12.0(12.0,12.0) |
| Q3_K_M  | 3.91 | 4.4 | 5.2 | 6.2(6.2,6.2)    | 8.2(8.2,8.2)    | 10.2(10.2,10.2) | 12.2(12.2,12.2) |
| IQ4_XS  | 4.25 | 4.7 | 5.5 | 6.5(6.5,6.5)    | 8.6(8.6,8.6)    | 10.6(10.6,10.6) | 12.7(12.7,12.7) |
| Q3_K_L  | 4.27 | 4.7 | 5.5 | 6.5(6.5,6.5)    | 8.6(8.6,8.6)    | 10.7(10.7,10.7) | 12.7(12.7,12.7) |
| IQ4_NL  | 4.50 | 5.0 | 5.7 | 6.8(6.8,6.8)    | 8.9(8.9,8.9)    | 10.9(10.9,10.9) | 13.0(13.0,13.0) |
| Q4_0    | 4.55 | 5.0 | 5.8 | 6.8(6.8,6.8)    | 8.9(8.9,8.9)    | 11.0(11.0,11.0) | 13.1(13.1,13.1) |
| Q4_K_S  | 4.58 | 5.0 | 5.8 | 6.9(6.9,6.9)    | 8.9(8.9,8.9)    | 11.0(11.0,11.0) | 13.1(13.1,13.1) |
| Q4_K_M  | 4.85 | 5.3 | 6.1 | 7.1(7.1,7.1)    | 9.2(9.2,9.2)    | 11.4(11.4,11.4) | 13.5(13.5,13.5) |
| Q4_K_L  | 4.90 | 5.3 | 6.1 | 7.2(7.2,7.2)    | 9.3(9.3,9.3)    | 11.4(11.4,11.4) | 13.6(13.6,13.6) |
| Q5_K_S  | 5.54 | 5.9 | 6.8 | 7.8(7.8,7.8)    | 10.0(10.0,10.0) | 12.2(12.2,12.2) | 14.4(14.4,14.4) |
| Q5_0    | 5.54 | 5.9 | 6.8 | 7.8(7.8,7.8)    | 10.0(10.0,10.0) | 12.2(12.2,12.2) | 14.4(14.4,14.4) |
| Q5_K_M  | 5.69 | 6.1 | 6.9 | 8.0(8.0,8.0)    | 10.2(10.2,10.2) | 12.4(12.4,12.4) | 14.6(14.6,14.6) |
| Q5_K_L  | 5.75 | 6.1 | 7.0 | 8.1(8.1,8.1)    | 10.3(10.3,10.3) | 12.5(12.5,12.5) | 14.7(14.7,14.7) |
| Q6_K    | 6.59 | 7.0 | 8.0 | 9.4(9.4,9.4)    | 12.2(12.2,12.2) | 15.0(15.0,15.0) | 17.8(17.8,17.8) |
| Q8_0    | 8.50 | 8.8 | 9.9 | 11.4(11.4,11.4) | 14.4(14.4,14.4) | 17.4(17.4,17.4) | 20.3(20.3,20.3) |

要找到適用於給定內存約束（例如6GB）的最佳定量類型，您可以提供--fits <number of GB> ：

gollama --vram NousResearch/Hermes-2-Theta-Llama-3-8B --fits 6

 VRAM Estimation for Model: NousResearch/Hermes-2-Theta-Llama-3-8B

| QUANT/CTX | BPW  | 2K  | 8K  | 16K          | 32K           | 49K            | 64K             |
| --------- | ---- | --- | --- | ------------ | ------------- | -------------- | --------------- |
| IQ1_S     | 1.56 | 2.4 | 3.8 | 5.7(4.7,4.2) | 9.5(7.5,6.5)  | 13.3(10.3,8.8) | 17.1(13.1,11.1) |
| IQ2_XXS   | 2.06 | 2.9 | 4.3 | 6.3(5.3,4.8) | 10.1(8.1,7.1) | 13.9(10.9,9.4) | 17.8(13.8,11.8) |
...

這將顯示一個表，顯示各種定量類型和上下文大小的VRAM使用情況。

VRAM估計器的工作原理：

從擁抱臉部獲取模型配置（如果不是本地緩存）
計算模型參數，激活和KV緩存的內存要求
根據指定的定量設置調整計算
執行二進制和線性搜索以優化上下文長度或定量設置

注意：估算器將嘗試使用CUDA VRAM（如果有），否則它將落回系統RAM進行計算。

配置

Gollama使用位於~/.config/gollama/config.json JSON配置文件。配置文件包括用於排序，列，API鍵，日誌級別等的選項...

示例配置：

{
  "default_sort" : " modified " ,
  "columns" : [
    " Name " ,
    " Size " ,
    " Quant " ,
    " Family " ,
    " Modified " ,
    " ID "
  ],
  "ollama_api_key" : " " ,
  "ollama_api_url" : " http://localhost:11434 " ,
  "lm_studio_file_paths" : " " ,
  "log_level" : " info " ,
  "log_file_path" : " /Users/username/.config/gollama/gollama.log " ,
  "sort_order" : " Size " ,
  "strip_string" : " my-private-registry.internal/ " ,
  "editor" : " " ,
  "docker_container" : " "
}

strip_string可用於從模型名稱中刪除前綴，因為它們在TUI中顯示。如果您有一個常見的前綴，例如出於顯示目的，這將很有用。
docker_container實驗- 如果設置，Gollama將嘗試執行指定容器內的任何運行操作。
editor -實驗- 如果設置，Gollama將使用此編輯器打開寄生器進行編輯。

安裝和構建來自來源

克隆存儲庫：

git clone https://github.com/sammcj/gollama.git
cd gollama

建造：
```
go get
make build
```
跑步：
```
./gollama
```

記錄

可以在$HOME/.config/gollama/gollama.log中存儲在gollama.log中的日誌。可以在配置文件中設置日誌級別。

貢獻

歡迎捐款！請分配存儲庫，並在更改中創建拉動請求。

_山姆

_{何塞·阿爾馬拉茲（Jose Almaraz）}

_{何塞·羅伯托·阿爾馬拉茲（Jose Roberto Almaraz）}

_{Oleksii Filonenko}

_{紹斯沃爾夫}

_anrgct

致謝

霍拉馬
Llama.cpp
魅力

感謝Matt Williams，Fahd Mirza和AI Code King等人提供的鏡頭並提供反饋。

執照

該項目已根據MIT許可獲得許可。有關詳細信息，請參見許可證文件。

展開

gollama

Gollama

目錄

特徵

安裝

進行安裝（推薦）

捲曲

手動

用法

關鍵綁定

頂部

檢查

關聯

命令行選項

簡單的模型列表

編輯

搜尋

VRAM估計

配置

安裝和構建來自來源

記錄

貢獻

致謝

執照

Google Dorks

shepherd

hidusbf

mongo express

Free Algorithms Books

markdownpedia

chat.petals.dev

GPT Prompt Templates

GPTyped

Google Dorks

shepherd

hidusbf

Google Dorks

shepherd

hidusbf