素晴らしいハギングフェイス
これは、フェイスライブラリを抱き締めると統合されたいくつかの素晴らしいオープンソースプロジェクトとアプリケーションのリストです。
貢献する方法
？公式図書館
❤️で作られたファーストパーティのクールなもの？顔を抱き締める。
- トランス - Jax、Pytorch、Tensorflowの最先端の自然言語処理。
- データセット - 高速で使いやすく、効率的なデータ操作ツールを備えたMLモデル用のすぐに使用できるNLPデータセットの最大のハブ。
- トークナー - 研究と生産のために最適化された最先端のトークンザー。
- ノックノック - トレーニングが2つの追加コードのみで終了したときに通知を受け取ります。
- Accelerate-マルチGPU、TPU、混合精度でPytorchモデルをトレーニングおよび使用する簡単な方法。
- AutONLP-最先端の自然言語処理モデルを訓練し、スケーラブルな環境に自動的に展開します。
- NN_PRUNING-微調整またはトレーニング中にモデルを剪定します。
- huggingface_hub- huggingface.coハブにモデルやその他のファイルをダウンロードして公開するクライアントライブラリ。
- Tune-トランスベースのモデルを比較するためのベンチマーク。
？？チュートリアル
ハグするフェイスツールキットの使用方法を段階的に学びます。
- 公式コース（ハグの顔から） - 公式コースシリーズによって提供された公式コースシリーズ？顔を抱き締める。
- Transformers-Tutorials（@nielsroggeによる） - 実際のデータセットに複数のモデルを適用するためのチュートリアル。
？ NLPツールキット
変圧器の上に構築されたNLPツールキット。スイス軍！
- allennlp（AI2から） - オープンソースNLP研究ライブラリ。
- Graph4NLP- NLPのグラフニューラルネットワークを簡単に使用できるようにします。
- Lightning Transformers -Pytorch Lightningインターフェイス付きの変圧器。
- アダプタートランス - トランスライブラリへの拡張、アダプターを最先端の言語モデルに統合します。
- OBSEI-低コードAIワークフローオートメーションツールで、ワークフローパイプラインでさまざまなNLPタスクを実行します。
- Trapper（Obssから） - モジュラー設計と一貫したAPIでのトランスモデルを介した最先端のNLP。
- Flair-最先端のNLPのための非常にシンプルなフレームワーク。
？テキスト表現
文をベクトルに変換します。
- 文変換器（UKPLABから） - 広く使用されているエンコーダは、文、段落、画像の密なベクトル表現を計算します。
- Whiteningbert（Microsoftから） - ホワイトニングを伴う簡単な監視なしの文の埋め込みアプローチ。
- Simcse（プリンストンから） - 対照的な学習に埋め込む最先端の文。
- 濃度（プリンストンから） - 大規模なフレーズの密な表現を学ぶ。
推論エンジン
トランス互換APIを実装する高度に最適化された推論エンジン。
- TurboTransformers（Tencentから） - 高速C ++ APIを搭載したトランスの推論エンジン。
- FasterTransformer（NVIDIAから） - NVIDIA GPUで高度に最適化された変圧器ベースのエンコーダーおよびデコーダーコンポーネントを実行するためのスクリプトとレシピ。
- LightSeq（bytedanceから） - CUDAで実装されたシーケンス処理と生成のための高性能推論ライブラリ。
- FASTSEQ（Microsoftから） - テキスト生成、要約、翻訳タスクなどの人気シーケンスモデル（BART、ProphetNetなど）の効率的な実装。
？モデルのスケーラビリティ
複数のGPUにわたる並列化モデル。
- Parallelformers（TUNIBから） - モデルの並列展開のためのライブラリ。
- オスロ（TUNIBから） - 大規模なモデルをトレーニングするのに役立つさまざまな機能をサポートするライブラリ。
- DeepSpeed（Microsoftから） - DeepSpeed -Zero-モデルの変更がゼロからNO変更のあるモデルサイズをスケーリングします。 HFトレーナーと統合。
- フェアスケール（Facebookから） - ゼロプロトコルも実装しています。 HFトレーナーと統合。
- Colossalai（HPCaitechから） - 大規模な並列トレーニング用の統一されたディープラーニングシステム（1D、2D、2.5D、3D、3D、およびシーケンス並列性、およびゼロプロトコル）。
？§モデル圧縮/加速
推論速度を改善するために、モデルを圧縮または加速します。
- Torchdistill-知識蒸留のためのPytorchベースのモジュラー、構成駆動型フレームワーク。
- TextBrewer（HFLから） - 言語モデルを圧縮するための最先端の蒸留方法。
- Bert-of-of-Sheseus（Microsoftから） - 元のBertのコンポーネントを徐々に交換することにより、Bertを圧縮します。
？§敵対的な攻撃
モデルの堅牢性をテストするために敵対的な攻撃を実施します。
- TextAttack（UVAから）-NLPでの敵対的な攻撃、データ増強、モデルトレーニングのためのPythonフレームワーク。
- Textflint（Fudanから）-NLP用の統一された多言語の堅牢性評価ツールキット。
- OpenAttack（Thuから） - オープンソースのテキスト攻撃攻撃ツールキット。
？スタイル転送
テキストのスタイルを転送してください！今、あなたはそれがなぜトランスと呼ばれるのか知っていますか？
- StyleFormer-スタイル間でスムーズにテキストを転送するためのニューラル言語スタイルの転送フレームワーク。
- CONSERT-自己監視文の表現転送のための対照的なフレームワーク。
？感情分析
人間の感情と感情を分析する。
- Conv -Emotion-会話における感情認識のためのさまざまなアーキテクチャの実装。
？文法エラー補正
あなたはタイプミスをしました！修正させてください。
- Gramformer-自然言語テキストの文法エラーを検出、強調表示、修正するためのフレームワーク。
？翻訳
異なる言語間で翻訳します。
- DL-Translate- HFトランスに基づく深い学習ベースの翻訳ライブラリ。
- EasyNMT（UKPLABから） - HFトランスに基づいた使いやすい、最先端の翻訳ライブラリとDocker画像。
知識とエンティティ
学習知識、採掘団体、世界をつなぐ。
- 純粋な（プリンストンから） - テキストからのエンティティと関係の抽出。
？スピーチ
HFライブラリによって駆動される音声処理。スピーチの必要性！
- S3PRL-トレーニング前および表現学習ツールキットの自己監視スピーチ。
- SpeechBrain -Pytorchベースの音声ツールキット。
？マルチモダリティ
さまざまなモダリティから世界を理解する。
- Vilt（Kakaoから） - 畳み込みや地域の監督のないビジョンと言語の変圧器。
？強化学習
RLマジックとNLPを組み合わせてください！
- TRL-近位政策最適化（PPO）を使用して、人間の好みに合わせて微調整します。
❓質問の回答
答えを探していますか？救助への変圧器！
- Haystack（Deepsetから） - 野生で質問を回避するシステムを開発および展開するためのエンドツーエンドのフレームワーク。
？推奨システム
これはあなたにぴったりだと思います！
- Transformers4Rec（NVIDIAから） - シーケンシャルおよびセッションベースの推奨事項のために、変圧器を搭載した柔軟で効率的なライブラリ。
⚖️評価
HFデータセットを搭載したモデル出力とデータ品質の評価！
- ju審（OBSから） - NLPモデルの出力を評価するための使いやすいツール、NLG（自然言語生成）のために、さまざまな自動化されたテキストからテキストへのメトリックを提供します。
- スポットライト - 1つのコードでHFデータセットをインタラクティブに探索します。モデル結果（埋め込み、予測など）を使用して、重要なデータセグメントとモデル障害モードを理解します。
？ニューラル検索
検索しますが、ニューラルネットワークの力があります！
- JINA統合-JINAの抱き合った顔の加速APIの統合。
- Weaviate Integration（Text2Vec）（QA） - 抱き合ったフェイストランスの統合を織ります。
- Colbert（Stanfordから） - 数十ミリ秒で大規模なテキストコレクションを介したスケーラブルなBERTベースの検索を可能にする高速かつ正確な検索モデル。
cloudクラウド
クラウドはあなたの人生を楽にします！
- Amazon Sagemaker- Amazon Sagemakerの抱き合ったフェイストランスモデルをこれまで以上に簡単に訓練することができます。
ハードウェア
魔法が起こる可能性のあるインフラストラクチャ。
- Qualcomm -Snapdragonのトランスフォーマーの有効化に関するコラボレーション。
- Intel-構成オプションについては、Intelとのコラボレーション。
