gtsystem
1.0.0
一個低代碼Python包裝，用於製作Genai應用程序
Genai Techne的使命是幫助企業和專業人士在生成AI的手工藝品中表現出色。查看Genai Techne替代方案，您可以在其中閱讀有關我們的任務，閱讀GTSystem文檔，從分步教程中學習並影響GTSystem的路線圖的更多信息。
使用gtsystem軟件包開始啟動以下步驟。
步驟1。使用pip install gtsystem安裝GTSystem軟件包
步驟2。打開jupyter筆記本並嘗試此示例。
from gtsystem import openai , bedrock , anthropic , ollama , instrument
prompt = 'How many faces does a tetrahedron have?'
openai . text ( prompt )
bedrock . text ( prompt )
anthropic . text ( prompt )
ollama . text ( prompt )
instrument . metrics . stats ()注意：要安裝依賴項並設置每個供應商API，您可以在此處繼續閱讀。
gtsystem軟件包源可在GitHub的此存儲庫中找到。
您可以在Genai Techne替代帖子上閱讀有關GTSystem背後的願景的更多信息。
您可以通過遵循gtsystem Repo中包含的筆記本樣本來學習gtsystem API。這些樣本記錄在Genai Techne替代上。
審查模型排行榜：使用00-leaderboard.ipynb來審查模型排行榜，通過排名，供應商，模型來決定要探索哪一個。
使用一行代碼來評估模型：請參閱01-evaluate.ipynb以獲取跨多個模型的單個語句提示評估，包括OpenAI GPT，Bedrock託管Claude或Llama。
渲染LLM響應：使用02-render.ipynb用於格式化良好的模型響應渲染，包括Markdown表。
來自Excel的加載評估任務：嘗試03-tasks.ipynb以自動化評估任務 - 查找，列表，按任務加載提示，包括溫度和TOPP的最佳參數值。
響應的儀器速度和尺寸（成本）：重複使用04-instrument.ipynb用於儀器和比較延遲和響應尺寸的多個模型。
基準響應質量：使用05-benchmark.ipynb進行自動基準測試，從而使用Llama和Claude等模型的響應質量使用GPT-4作為LLM評估器。
在筆記本電腦上運行模型：獲取06-ollama.ipynb在筆記本電腦上本地運行Mistral，Llama和Codellama之類的模型，並比較託管在雲或專有模型API上的模型。
低代碼樣本：查看簡單的07-low-code-sample.ipynb ，以了解只需簡單的GTSystem API就可以完成多少。
從08-prototype-to-production.ipynb ：從08-Prototype to-production.ipynb開始，從使用最佳型號的原型，然後在筆記本電腦上探索本地型號，最後比較一個無縫工作流中的最快供應商。
基岩上的視覺聊天：探索09-chat-bedrock.ipynb使用基岩託管模型進行視覺聊天。
關於人類的視覺聊天：探索10-chat-anthropic.ipynb使用擬人託管模型進行視覺聊天。
OpenAi上的視覺聊天：探索11-chat-openai.ipynb使用OpenAi GPT4-Turbo進行視覺聊天。
您可以根據您的需求安裝以下依賴關係以與gtsystem一起使用。從我們的requirements.txt開始。txt或創建自己的。然後在您的環境中運行pip install -r requirements.txt 。
# Python capabilities
pandas
markdown
openpyxl
# Jupyter notebook
jupyterlab
ipywidgets
# AWS for Bedrock managed models
boto3
awscli
botocore
# OpenAI for GPT models
openai
# Anthropic models
anthropic
# Ollama for LLMs running on your laptop
ollama
# Groq for open models on fast Groq LPUs
groq
使用亞馬遜基岩託管的模型，例如Llama和Claude，請遵循以下步驟。
步驟1。登錄到AWS控制台>啟動身份和訪問管理（IAM）>為命令行界面（CLI）訪問創建用戶。閱讀基礎文檔以獲取更多詳細信息。
步驟2。安裝AWS CLI>在終端中運行aws configure >從步驟1添加憑據。
要使用Ollama在筆記本電腦上本地提供的LLMS，請按照以下步驟操作。
步驟1。下載Ollama注意每個型號的內存要求。 7B型號通常需要至少8GB的RAM。 13B模型通常至少需要16GB的RAM。 70B型號通常需要至少64GB的RAM
步驟2。查找模型Ollama庫>運行命令ollama pull <model>終端中以下載模型。目前，GTSystem支持諸如Llama2，Mistral和Llava之類的流行模型。
使用OpenAI模型遵循以下步驟。
步驟1。註冊OpenAI API訪問並獲取API鍵。
步驟2。使用export OPENAI_API_KEY="your-key-here"將OpenAI API鍵添加到您的~/.zshrc或~/.bashrc
在快速Groq LPU上使用開放型號，請按照以下步驟操作。
步驟1。GROQAPI訪問的註冊並獲取API鍵。
步驟2。使用export GROQ_API_KEY="your-key-here"中的~/.zshrc或~/.bashrc添加groq api鍵
如果您是Python的新手，那麼這就是您可以從頭開始的方式。
首先，您應該在系統上運行最新的Python，並使用Python Package Manager升級到最新情況。
python --version
# should return Python 3.10.x or higher as on Jan'23
pip --version
# should return pip 22.3.x or higher as on Jan'23如果您沒有最新的Python，請遵循此指南。如果安裝了用於管理依賴關係的Python的特定版本，請按照pyenv Python版本管理器安裝此線程。如果需要，請使用以下命令升級到最新的PIP。
pip install --user --upgrade pip現在，我們將為我們的MLOPS設置創建一個虛擬環境，以使我們的依賴關係被隔離，並且不會與系統安裝的軟件包發生衝突。我們將遵循本指南來創建和管理虛擬環境。首先更改為我們將開發應用程序的目錄。
python -m venv env如果運行LS Env，您將看到以下文件夾和創建的文件。
bin include lib pyvenv.cfg現在，我們可以這樣激活我們的虛擬環境。您會注意到，開發目錄以（ENV）為前綴，以表明您現在正在虛擬環境中運行。
. env/bin/activate您可以確認自己沒有使用自己的Python在虛擬環境中運行。
which python
# # should return /Users/.../env/bin/python使用停用命令離開虛擬環境。使用與之前的同一命令重新輸入。
