Auto_Standard_Generator

自動標準ジェネレーター：微調整練習

このリポジトリには、Harbin Institute of Technologyの5人の学部生のチームによって開発された1年目のプロジェクトであるAuto Standard Generatorのコードとデータが含まれています。

---

？ニュース

• [2024.3.25] ??生データの収集：削られたPDF技術基準。
• [2024.3.25] ??クリーニングとプリプロセシング：データセット用のバッチ処理テキスト。
• [2024.4.23] ??データのクリーニング：削除された文字化けテキスト。

トト

• データのラベル付け：微調整のための命令データを構築します。
• 微調整
• 加速度と圧縮：モデルの加速と圧縮の手法を使用して、推論のレイテンシとメモリコストを削減します。
• GUI開発：ユーザーインターフェイスを開発します。

---

簡単な紹介

特定のタスクに固有のラベル付きデータの小さなデータセットで、事前に訓練された一般的な大手言語モデル（LLMS）を微調整すると、モデルはそのタスクにとって重要な特定の機能を学習し、パフォーマンスを改善できます。

このプロジェクトは、技術標準ドキュメントの生成に特化するために、Llama 2やChatglm 3などのオープンソースの一般LLMを微調整することに焦点を当てています。

---

はじめる

1。環境準備

2。データセットビルディング

3。監視された微調整