llama lora chinese couplet

llama-lora-chinese-couplet

중국 커플을 훈련시킬 수있는 잠재력을 보여주는 간단한 llama-lora 끝에서 종말 예제

• int8 llama + lora = 소비자 gpu의 Finetune <= 10g vram!

슬라이드, 마지막 업데이트 04/29/2023

• LLM, 프리 트레인, FINETUNE
• LORA : Microsoft의 인기있는 매개 변수 효율적인 Finetune 접근법
• 라마 : 페이스 북에서 연구 커뮤니티로의 선물
• LLAMA-2 : Facebook의 새롭고 더 나은 선물
• Alpaca : Stanford의 Chatgpt의 "80%"에 대한 $ 600의 접근 방식
• 알파카-로라 : 스탠포드 학생의 더 저렴한 접근?
• 시간으로 인해 생략되었습니다
  • 양자화 소개, llm.int8

제로 샷 예

• 5k 쌍의 3 개의 에포크, Cap Max 토큰, Greedy
• 중국 문자의 #과 일치하는 사후 처리 (예, 나는 속임수 ^_ ^)
• 이상적으로 잘 훈련 된 모델은 문장의 끝 (EOS) 자체를 알 것입니다.
• 프롬프트 :对联：{上联}n下联：

상단 링크	기본 라마	llama_lora_a100_9mins	llama_lora_tesla_t4_35mins
봄 산들 바람은 길을 포장하는 것을 자랑스럽게 생각합니다	진흙에 몰입하십시오	달빛은 바람의 소리에 소리를 지르며 꿈이 날려	바람과 비가 떠 다니는 꿈을 날려 버립니다
아름다운 중국 매력적인 베이징	아름다운 중국 매력적인 베이징 nprevious 링크 :	중국의 꿈의 역사	드림 차이나 드림 에이커
생선 책의 꿈	생선 구운 돼지 고기 n	새들은 수천 마일 소리를냅니다	새들은 수천 마일 소리를냅니다
고대 성전에 일몰과 일몰	일몰은 고대 성전에서 빛납니다	달은 아침 비가 꿈을 채 웁니다	달은 아침 서리가 꿈을 채 웁니다

• 당신이 중국 커플에있는 경우, 나는 더 나은 T5 버전을 가지고 있습니다.

고품질 AI에 대한 몇 가지 추가 생각

• 메모를 참조하십시오