llama recipes下載 - llama recipes源代碼下載

llama recipes

其他源碼

v.0.0.4.post1 Release Notes

下載

美洲駝食譜：開始使用Meta的Llama模型的示例

“ Llama-Recipes”存儲庫是Meta Llama模型的伴侶。我們支持此存儲庫中最新版本，Llama 3.2 Vision和Llama 3.2文本。該存儲庫包含示例腳本和筆記本，以在各種用例中開始使用這些模型，包括用於域名適應性的微調和使用LLAMA和LLM生態系統中的其他工具構建基於LLM的應用程序。此處的示例在本地，雲和本地使用。

提示

使用這些新食譜開始使用Llama 3.2：

Finetune Llama 3.2願景
多模式推斷與美洲駝3.2視覺
Llama Guard 1B +多模式推理的推斷。

筆記

Llama 3.2遵循與Llama 3.1相同的提示模板，並帶有一個新的Special令牌<|image|>代表多模型模型的輸入圖像。

有關圖像推理的及時模板的更多詳細信息，可以在文檔網站上找到圖像推理，工具呼叫和代碼解釋器。

美洲駝食譜：開始使用Meta的Llama模型的示例
- 目錄
- 入門
  - 先決條件
    - pytorch夜生活
  - 安裝
    - 與PIP安裝
    - 以可選的依賴性安裝
    - 從源安裝
  - 獲取美洲駝模特
    - 模型轉換為擁抱臉
- 存儲庫組織
  - recipes/
  - src/
- 支持的功能
- 貢獻
- 執照

入門

這些說明將使您在本地計算機上啟動並運行該項目的副本，以開發和測試目的。有關如何在實時系統上部署項目的註釋，請參見部署。

先決條件

pytorch夜生活

如果您想使用Pytorch Nightlies而不是穩定的版本，請轉到本指南以檢索右--extra-index-url URL參數，用於您的平台上的pip install命令。

安裝

Llama-Recipes提供了一個PIP分發，以便在其他項目中輕鬆安裝和使用。或者，可以從源安裝。

筆記

在安裝Pytorch車輪時，請確保使用正確的CUDA版本（來自nvidia-smi ）。在這裡，我們將11.8用作cu118 。 H100 GPU與CUDA> 12.0更好地工作

與PIP安裝

 pip install llama-recipes

以可選的依賴性安裝

Llama-Recipes提供可選軟件包的安裝。有三個可選的依賴性組。為了運行單元測試，我們可以安裝所需的依賴項：

 pip install llama-recipes[tests]

對於VLLM示例，我們需要可以安裝的其他要求：

 pip install llama-recipes[vllm]

使用敏感主題安全檢查器安裝以下安裝：

 pip install llama-recipes[auditnlg]

一些食譜需要蘭班鏈。要安裝軟件包，請按照食譜說明或安裝：

 pip install llama-recipes[langchain]

可選依賴項也可以與[option1，option2]結合使用。

從源安裝

要從源安裝，例如開發使用這些命令。我們正在使用Hatchling作為我們的構建後端，它需要最新的PIP以及SetUptools包裝。

 git clone [email protected]:meta-llama/llama-recipes.git
cd llama-recipes
pip install -U pip setuptools
pip install -e .

為了開發和為駱駝歸入訓練，請安裝所有可選的依賴性：

 git clone [email protected]:meta-llama/llama-recipes.git
cd llama-recipes
pip install -U pip setuptools
pip install -e .[tests,auditnlg,vllm]

獲取美洲駝模特

您可以在此處找到擁抱臉部集線器上的Llama模型，其中名稱中帶有hf的模型已經轉換為擁抱的面部檢查站，因此不需要進一步的轉換。下面的轉換步驟僅適用於在擁抱面部模型中心託管的元模型的原始模型權重。

模型轉換為擁抱臉

如果您從Meta網站下載了模型檢查點，則可以使用以下方式將其轉換為擁抱的面部格式。

 # # Install Hugging Face Transformers from source
pip freeze | grep transformers # # verify it is version 4.45.0 or higher

git clone [email protected]:huggingface/transformers.git
cd transformers
pip install protobuf
python src/transformers/models/llama/convert_llama_weights_to_hf.py 
   --input_dir /path/to/downloaded/llama/weights --model_size 3B --output_dir /output/path

存儲庫組織

涉及駱駝使用情況的大多數代碼都是在2個主要文件夾中組織的： recipes/和src/ 。

`recipes/`

包含按主題中的文件夾中組織的示例：

子文件夾	描述
Quickstart	使用駱駝的“ Hello World”，如果您是使用美洲駝的新手，請從這裡開始。
USE_CASE	腳本顯示Meta Llama的常見應用3
3P_Integration	合作夥伴擁有的文件夾顯示了Meta Llama的常見應用3
負責人	使用Purplellama來保護模型輸出的腳本
實驗	實驗LLM技術的Meta Llama實施

`src/`

包含支持示例配方的模塊：

子文件夾	描述
配置	包含用於PEFT方法，FSDP，數據集，權重和偏見實驗跟踪的配置文件。
數據集	包含每個數據集以下載和處理的單個腳本。筆記
推理	包括用於推斷微型模型的模塊。
model_checkpointing	包含FSDP檢查點處理程序。
政策	包含FSDP腳本以提供不同的策略，例如混合精度，變壓器包裝策略和激活檢查點以及任何精確優化器（用於運行純BF16模式的FSDP）。
UTILS	實用程序文件： `train_utils.py`提供培訓/評估循環和更多的火車效果。 `dataset_utils.py`獲取預處理數據集。 `config_utils.py`覆蓋從CLI接收的配置。 `fsdp_utils.py`提供了PEFT方法的FSDP包裝策略。 `memory_utils.py`上下文管理器跟踪火車循環中的不同內存統計信息。

支持的功能

此存儲庫中的配方和模塊支持以下功能：

特徵
HF支持推理	✅
HF支持芬太尼	✅
peft	✅
遞延初始化（元初始化）	✅
多GPU的低CPU模式	✅
混合精度	✅
單節點量化	✅
閃爍注意力	✅
激活檢查點FSDP	✅
混合碎片數據並行（HSDP）	✅
數據集包裝和填充	✅
BF16優化器（純BF16）	✅
分析和MFU跟踪	✅
梯度積累	✅
CPU卸載	✅
FSDP檢查點轉換為HF進行推理	✅
W＆B實驗跟踪器	✅