chatglm_6b_lora_ptunning
1.0.0
chatglm-6bオープンソースモデルをloraを使用して微調整することにより、Chatglmモデルを複合タスク処理に使用できます。このプロジェクトは、主に2つのタスクを扱っています：新しいメディア業界のコメントのインテリジェントな分類と情報抽出
プロジェクトは継続的に更新されています...
テキスト分類とは、テキストの1つ以上の段落を、その内容またはトピックの特性に従って異なるカテゴリまたはタグに分割するプロセスを指します。実際の作業では、ニュース分類、履歴書分類、電子メール分類、オフィスドキュメント分類、エリア分類など、テキスト分類が広く使用されています。テキストフィルタリングは、大量のテキストから特別な要件を満たす情報を迅速に識別およびフィルタリングするために実現できます。
情報抽出は、構造化されていないまたは半構造化された自然のテキストから、エンティティ、関係、イベントなどの事実上の説明を特定し、構造化された形式で保存し、それらを利用する技術です。による
「Xiao MingとXiao Qinは良い友達です。どちらも雲南省出身です。シャオミンはダリに住んでおり、Xiao QinはLijiangに住んでいます。」
例として、あなたは取得できます：
<Xiao Ming、友人、Xiao Qin>と<Xiao Qin、生きている、生きている、生きている、ダリ>およびその他のトリプル情報。
インターネットテクノロジーの急速な発展に伴い、新しいメディア業界は、情報普及のための主要なプラットフォームの1つになりました。情報爆発のこの時代に、人々はソーシャルメディア、ニュースクライアント、ブログ、その他のフォームを通じて情報を入手します。ただし、情報の量が増えているため、この情報を効率的に管理および利用する方法は緊急の問題になりました。バックグラウンドとしてのいくつかの「新しいメディア業界」データに基づいて、このプロジェクトは、新しいメディア業界が大規模な情報から有用な情報を迅速かつ正確に取得し、テキストコメントの分類と情報抽出を通じて合理的な分類と管理を実施するのに役立ちます。これにより、新しいメディアプラットフォームがユーザーエクスペリエンスを改善するのに役立つだけでなく、情報プロデューサーに、より正確なデータ分析と意思決定サポートを提供します。
chatglm-6bモデル + lora微調整方法に基づいて、テキスト分類と情報抽出の共同タスクの開発が実現されます
| モデル | GPUビデオメモリ |
|---|---|
| chatglm-6b | 13 GB |
| 依存関係パッケージ | バージョン要件 |
|---|---|
| プロトブフ | > = 3.19.5、<3.20.1 |
| トランス | > = 4.27.1 |
| 流線 | == 1.17.0 |
| データセット | > == 2.10.1 |
| 加速します | == 0.17.1 |
| パッケージング | > = 20.0 |
LORAテクノロジーは、事前に処理されたモデルの重みをフリーズし、各変圧器ブロックにトレーニング可能な層（ランク分解マトリックスと呼ばれる）を注入します。つまり、モデルの線形層の横に「サイドバンチ」AとBを追加します。その中で、AはDディメンションからR次元へのデータを低下させます。これは、重要なハイパーパラメーターであるLoraのランクです。 bはデータをR次元からD次元に上げ、パートBのパラメーターは最初に0です。モデルトレーニングが完了した後、A+B部のパラメーターを元の大規模モデルのパラメーターと組み合わせる必要があります。
データ形式：辞書スタイル。コンテキストコンテンツは次のとおりです。元の入力テキスト（プロンプト）;ターゲットポイント：ターゲットテキスト。混合データセットには、テキスト分類データと情報抽出データが含まれます。
トレーニングデータセットには、合計902サンプルが含まれています。
検証データセットには、合計のサンプルが含まれています。
このプロジェクトでのChATGLM-6Bモデルの重みの使用は、モデルの許可の対象となります。
