GUNDAMのダウンロードGUNDAMソースコードのダウンロード

GUNDAM

AI ソースコード

1.0.0

ダウンロード

ゴールデンプラグインデータマネージャー（ガンダム）

プロジェクト|論文|ドキュメント

Gundamは、言語モデルを利用してPytorchに基づいて構築されたテキストデータを効率的に処理するデータマネージャーです。ガンダムは次のとおりです。

包括的：Gundamは、提案されたマイナー、GPT-2ベースのジェネレーター、デモンストレーションレトリバーを含むデータマネージャーを提供し、これらのコンポーネントはすべて拡張可能です。
柔軟性：Gundamは、サイズが異なるGPT-2言語モデルをサポートしています。
効率的：Gundamは、データの品質を確認するために効率的な1対1の鉱夫を提供します。

簡単な紹介

Gundamは、言語モデルを条件付けられたプラグインデモンストレーションの十分性と必要性を測定する新しいデータ管理フレームワークです。提案された充足度と必要性メトリックは、デモンストレーションインスタンス（つまり、インスタンスレベル）とデモンストレーションセット（つまり、セットレベル）の両方で操作できることを示します。したがって、ゴールデンプラグインセットと呼ばれる十分で必要なプラグインデータのセットは、有益なサンプルを含むコアセットと見なすことができます。可能なすべてのサブセットを列挙して測定することは実行不可能であるため、Goldenプラグインセットをマイニングするために新しいツリーベースの検索アルゴリズムを設計します。ゴールデンプラグインセットを事前に計算して保存して、オンラインの計算コストを節約できることに注意してください。この点で、ノンパラメトリックデモンストレーションレトリバーは、データコーパス全体の代わりに保存されたゴールデンプラグインセットで実行でき、不十分または不必要なデモンストレーションを取得しないようにします。さらに、多くの現実世界のデータコーパスが成長し続けることを考慮すると、変更されたすべての部品と変化していないパーツのガンダムを再計算しないように、インクリメンタル更新アルゴリズムを開発します。

ユースケース

ガンダムの重要な利点は、ガンダムのコアアイデアは、特定の言語モデルに関するデータの品質を示すために、Gundamの中心的なアイデアは保存されたデータに異なる優先レベルを割り当てることであるため、Gundamを既存のデータ管理プラットフォームに簡単に展開できることです。

TODO（2023/07/24の最新アップデート）

監視されていない学習設定（別名、少数のショット推論）と監視された学習設定（別名、ウォームアップ推論）の両方で、1対1のマイナーとGPT-2ベースのジェネレーターの基本バージョンをリリースします。
ランダムベースのデモンストレーションレトリバー、関連性ベースのデモンストレーションレトリバー、および多様性ベースのデモンストレーションレトリバーをサポートします。
ペアから1つのマイナーとGPT-3ベースのジェネレーターをサポートします。
十分性と必要性のテキストデータセットをリリースします。
詳細なドキュメントチュートリアルとREADMEガイダンスをリリースします。

引用コア

 @software { GUNDAM ,
  author = { Jiarui Jin, Yuwei Wu, Mengyue Yang, Xiaoting He, Weinan Zhang, Yiming Yang, Yong Yu, and Jun Wang } ,
  title = { GUNDAM: A Data-Centric Manager for Your Plug-in Data with Language Models } ,
  year = { 2023 } ,
  publisher = { GitHub } ,
  journal = { GitHub repository } ,
  version = { 0.0 } ,
  howpublished = { url{https://github.com/GUNDAM-Labet/GUNDAM} } ,
}