haloop 다운로드 - haloop 소스 코드 다운로드

haloop

AI 소스 코드

Training Transformers

다운로드

할로프

Haloop는 음성 에이전트 툴킷입니다. Haloop 제공 :

모델을 초기화하는 hai 프로그램;
음향 모델 교육을위한 hac 프로그램;
RNN 언어 모델 교육 및 평가를위한 har ;
인과 관계 모델 훈련을위한 hal ;
에이전트 테스트를위한 hat ;
GPT 언어 모델에 따른 문장의 로그 확률을 기록하는 hap ;
Word 오류율을 사용하여 데이터 세트의 레이블을 비교하는 haw ;
데이터 세트 간의 상관 관계를 계산하기위한 hax ;

패키지는 PYPI에서 설치할 수 있습니다.

 pip install haloop

사전 예방 모델

hat 우리의 논문 GPT-2 메타 데이터의 우크라이나 GPT-2 모델과 함께 사용할 수 있습니다.

설치 및 다운로드해야합니다.

 pip install bitsandbytes sentencepiece

wget https://a.wilab.org.ua/gpt/wiki.model  # sentencepiece tokenizer
wget https://a.wilab.org.ua/gpt/ckpt10m.pt  # model checkpoint for GPT-2 Large

이제 대답을 시작하십시오.

 hat --spm wiki.model ckpt10m.pt

언어 모델에서 로그 확률을 계산하여 문장 목록을 점수를 매 깁니다. 먼저 입력 파일은 GPU 사용을 개선하기 위해 토큰 수에 의해 정렬됩니다.

 cat ubertext.wikipedia.filter_rus_gcld+short.text_only.txt | spm_encode --model wiki.model | awk -v OFS="t" '{ print length, $0 }' | sort -r -n -s | cut -f2-  | spm_decode --model wiki.model > wikipedia.toksorted.txt
cat wikipedia.toksorted.txt | hap --compile --spm wiki.model ckpt10m.pt | pv -l > wikipedia.toksorted.scores.txt

인용

인용하십시오 :

 @inproceedings{kyrylov-chaplynskyi-2023-gpt,
    title = "{GPT}-2 Metadata Pretraining Towards Instruction Finetuning for {U}krainian",
    author = "Kyrylov, Volodymyr  and
      Chaplynskyi, Dmytro",
    booktitle = "Proceedings of the Second Ukrainian Natural Language Processing Workshop (UNLP)",
    month = may,
    year = "2023",
    address = "Dubrovnik, Croatia",
    publisher = "Association for Computational Linguistics",
    url = "https://aclanthology.org/2023.unlp-1.4",
    pages = "32--39",
    abstract = "We explore pretraining unidirectional language models on 4B tokens from the largest curated corpus of Ukrainian, UberText 2.0. We enrich document text by surrounding it with weakly structured metadata, such as title, tags, and publication year, enabling metadata-conditioned text generation and text-conditioned metadata prediction at the same time. We pretrain GPT-2 Small, Medium and Large models each on single GPU, reporting training times, BPC on BrUK and BERTScore on titles for 1000 News from the Future. Next, we venture to formatting POS and NER datasets as instructions, and train low-rank attention adapters, performing these tasks as constrained text generation. We release our models for the community at https://github.com/proger/uk4b.",
}