llama.mmengineダウンロードllama.mmengineソースコードのダウンロード

llama.mmengine

AI ソースコード

1.0.0

ダウンロード

llama.mmengine

？Mmengineでllamaをトレーニングします！

llama.mmengineは、もともとコンピュータービジョンタスク向けに設計されたMmengineトレーニングエンジンを活用して、言語モデルをトレーニングおよび微調整する実験リポジトリです。このプロジェクトの主な目標は、MmengineとLanguageモデルとの互換性を調査し、微調整技術について学び、知識の共有とコラボレーションのためにオープンソースコミュニティと関わることです。

？特徴

7Bから65Bの範囲のパラメーターサイズでLLAMAモデルをロードするためのサポート
チューニングサポートを指示します
低ランク適応（LORA）微調整サポート

？トッドリスト

INT8量子化サポート
生成スクリプトを改善します
サポートショー検証損失

？はじめる

インストール

Pytorchをインストールします
このガイドに従うhttps://pytorch.org/get-started/locally/
このリポジトリをセットアップします
レポをクローンします
```
git clone https://github.com/RangiLyu/llama.mmengine
cd llama.mmengine
```
依存関係をインストールします
```
pip install -r requirements.txt
```
setup.pyを実行します
```
python setup.py develop
```

事前に訓練されたLlamaモデルを取得します

公式のLlama Repoからモデルの重みをダウンロードしてください。

チェックポイントフォルダーは次のようなものでなければなりません：

 checkpoints/llama
├── 7B
│   ├── checklist.chk
│   ├── consolidated.00.pth
│   └── params.json
├── 13B
│   ...
├── tokenizer_checklist.chk
└── tokenizer.model

ウェイトを変換します（Lit-Llamaのスクリプトをありがとう）：

 python scripts/convert_checkpoint.py 
    --output_dir checkpoints/mm-llama 
    --ckpt_dir checkpoints/llama 
    --tokenizer_path checkpoints/llama/tokenizer.model 
    --model_size 7B

ロラの微調整

python tools/train.py configs/llama-7B_finetune_3e.py

推論

python tools/generate.py configs/llama-7B_finetune_3e.py work_dirs/llama-7B_finetune_3e/epoch_3.pth

？貢献

llama.mmengineに貢献してくれたことにあなたの興味を大いに感謝します！このプロジェクトは個人的なサイドプロジェクトとして維持されていることに注意してください。つまり、開発とサポートのために利用可能な時間は限られています。それを念頭に置いて、私はコミュニティのメンバーがプルリクエストを提出することで関与し、積極的に貢献することを親切に勧めます！