Title Generator with LLM PEFT
1.0.0
[업데이트] : Qlora와 함께 미세 조정 된 llama2가 곧 추가 될 예정입니다!
이 프로젝트는 학술 기사에 대한 주어진 초록에서 제목을 생성하는 것을 목표로합니다. ARXIV 데이터 세트를 사용하여 PEFT 로 모델을 미세 조정했습니다. 두 가지 모델이 Lora 와 함께 조정되었습니다 (Hu et al., 2021). 컴퓨터 과학 카테고리의 기사 만 ARXIV 데이터 세트 에서 선택되었습니다. 이 숫자는 메모리와 시간 제한으로 인해 감소되었습니다. 미세 조정 된 모델은 Huggingface 공간을 통해 사용할 수 있습니다.
프로젝트에는 다음이 포함됩니다.
Rouge Score 의 평가 메트릭외부 라이브러리 및 패키지 :
훈련 매개 변수 및 제한
R=8 , alpha=64 , dropout=0.01 , learning rate=2e-4 , paged_adamW_32bit optimizer | 오리지널 제목 | 생성 된 제목 | |
|---|---|---|
| 1 | 강한 상관 된 양자 시스템에 대한 양자 회로 | 강력한 상관 관계가있는 양자 시뮬레이션 |
| 2 | Teko : 외부 지식이있는 텍스트가 풍부한 그래프 신경망 | 외부 지식이있는 텍스트가 풍부한 그래프 신경망 |
| 3 | 화물 : 게놈 정보의 효과적인 형식이없는 압축 저장 | 화물 : 유전체학을위한 압축 아카이브 |
| 4 | 기차 지상 MMWAVE 통신의 에너지 효율적인 전력 제어 | 고속 열차를위한 기차 지상 MMWAVE 통신의 에너지 효율 |
| 5 | 기계 학습 연구의 편견에 대한 설문 조사 | 기계 학습에서 편견의 출처와 결과 이해 |
| 6 | SA-UNET : 망막 용기 세분화에 대한 공간주의 U-Net | 공간주의 U-Net : 눈 관련 질병에 대한 공간주의 |
| 7 | 빠른 K- 세분화를위한 새로운 휴리스틱 알고리즘 | K- 세분화를위한 새로운 휴리스틱 알고리즘 |
| 8 | 건강 관리에서 IoT의 진행 및 도전 : 짧은 검토 | 스마트 의료 및 건강 관리 : 스마트 의료 및 보안의 비교 분석 |
| 9 | FVC : 기능 공간에서 깊은 비디오 압축을 향한 새로운 프레임 워크 | 학습 기반 비디오 코딩을위한 기능 공간 비디오 압축 |
바트 훈련/테스트 손실 (6 개의 에포크)
T5 교육/테스트 손실 (6 개의 에포크)
