haloopダウンロードhaloopソースコードのダウンロード

haloop

AI ソースコード

Training Transformers

ダウンロード

ハループ

Haloopはスピーチエージェントツールキットです。 Haloopが提供しています：

モデルを初期化するhaiプログラム。
音響モデルトレーニングのためのhacプログラム。
RNN言語モデルのトレーニングと評価のhar 。
因果注意モデルトレーニングのhal ;
エージェントテスト用のhat ;
GPT言語モデルに基づく文のログ確率を獲得するためのhap 。
Wordエラー率を使用してデータセット内のラベルを比較するhaw 。
データセット間の相関を計算するhax 。

パッケージはPypiからインストールできます。

 pip install haloop

前処理されたモデル

hatウクライナ人の触覚に向けて、紙GPT-2メタデータを取得したウクライナのGPT-2モデルで使用できます。

インストールしてダウンロードする必要があります。

 pip install bitsandbytes sentencepiece

wget https://a.wilab.org.ua/gpt/wiki.model  # sentencepiece tokenizer
wget https://a.wilab.org.ua/gpt/ckpt10m.pt  # model checkpoint for GPT-2 Large

さて、REPLをキックオフします：

 hat --spm wiki.model ckpt10m.pt

言語モデルの下でログの確率を計算して、文のリストを獲得します。最初に、入力ファイルはトークンカウントでソートされ、GPUの使用率を改善します。

 cat ubertext.wikipedia.filter_rus_gcld+short.text_only.txt | spm_encode --model wiki.model | awk -v OFS="t" '{ print length, $0 }' | sort -r -n -s | cut -f2-  | spm_decode --model wiki.model > wikipedia.toksorted.txt
cat wikipedia.toksorted.txt | hap --compile --spm wiki.model ckpt10m.pt | pv -l > wikipedia.toksorted.scores.txt

引用

引用してください：

 @inproceedings{kyrylov-chaplynskyi-2023-gpt,
    title = "{GPT}-2 Metadata Pretraining Towards Instruction Finetuning for {U}krainian",
    author = "Kyrylov, Volodymyr  and
      Chaplynskyi, Dmytro",
    booktitle = "Proceedings of the Second Ukrainian Natural Language Processing Workshop (UNLP)",
    month = may,
    year = "2023",
    address = "Dubrovnik, Croatia",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2023.unlp-1.4",
    pages = "32--39",
    abstract = "We explore pretraining unidirectional language models on 4B tokens from the largest curated corpus of Ukrainian, UberText 2.0. We enrich document text by surrounding it with weakly structured metadata, such as title, tags, and publication year, enabling metadata-conditioned text generation and text-conditioned metadata prediction at the same time. We pretrain GPT-2 Small, Medium and Large models each on single GPU, reporting training times, BPC on BrUK and BERTScore on titles for 1000 News from the Future. Next, we venture to formatting POS and NER datasets as instructions, and train low-rank attention adapters, performing these tasks as constrained text generation. We release our models for the community at https://github.com/proger/uk4b.",
}