chatglm_6b_lora_ptunning
1.0.0
LORA를 사용하여 ChatGLM-6B 오픈 소스 모델을 미세 조정함으로써 ChatGLM 모델은 복합 작업 처리에 사용될 수 있습니다. 이 프로젝트는 주로 새로운 미디어 산업 의견 및 정보 추출의 지능형 분류라는 두 가지 작업을 처리합니다.
프로젝트가 지속적으로 업데이트되고 있습니다 ...
텍스트 분류는 텍스트의 하나 이상의 단락을 내용 또는 주제 특성에 따라 다른 범주 또는 태그로 나누는 과정을 말합니다. 실제 작업에서 텍스트 분류는 다음과 같이 널리 사용됩니다. 뉴스 분류, 이력서 분류, 이메일 분류, 사무실 문서 분류, 영역 분류 등 텍스트 필터링은 또한 많은 양의 텍스트에서 특별한 요구 사항을 충족하는 정보를 신속하게 식별하고 필터링 할 수 있습니다.
정보 추출은 구조화되지 않은 또는 반 구조화 된 자연 텍스트에서 실체, 관계, 이벤트 등에 대한 사실적인 설명을 식별하고 구조적 형태로 저장하고 활용하는 기술입니다. ~에 의해
"Xiao Ming과 Xiao Qin은 좋은 친구입니다. 그들은 Yunnan 출신입니다. Xiao Ming은 Dali에 살고 Xiao Qin은 Lijiang에 살고 있습니다."
예를 들어, 당신은 다음을 얻을 수 있습니다.
<Xiao Ming, 친구, Xiao Qin> 및 <Xiao Qin, 생활, 생활, 살아있는, dali> 및 기타 트리플 정보.
인터넷 기술의 빠른 개발로 인해 새로운 미디어 산업은 정보 보급을위한 주요 플랫폼 중 하나가되었습니다. 이 정보 폭발 시대에 사람들은 소셜 미디어, 뉴스 고객, 블로그 및 기타 형태를 통해 정보를 얻습니다. 그러나 정보가 증가함에 따라이 정보를 효율적으로 관리하고 활용하는 방법은 긴급한 문제가되었습니다. 이 프로젝트는 일부 "새로운 미디어 산업"데이터를 기반으로,이 프로젝트는 새로운 미디어 산업이 텍스트 주석의 분류 및 정보 추출을 통해 대규모 정보에서 유용한 정보를 빠르고 정확하게 얻고 합리적인 분류 및 관리를 수행 할 수 있도록 도와줍니다. 이는 새로운 미디어 플랫폼이 사용자 경험을 향상시키는 데 도움이 될뿐만 아니라 정보 제작자에게보다 정확한 데이터 분석 및 의사 결정 지원을 제공합니다.
ChatGLM-6B 모델 + LORA 미세 조정 방법을 기반으로 텍스트 분류 및 정보 추출의 공동 작업 개발이 실현됩니다.
| 모델 | GPU 비디오 메모리 |
|---|---|
| chatglm-6b | 13GB |
| 종속성 패키지 | 버전 요구 사항 |
|---|---|
| protobuf | > = 3.19.5, <3.20.1 |
| 변압기 | > = 4.27.1 |
| 간소 | == 1.17.0 |
| 데이터 세트 | > == 2.10.1 |
| 가속 | == 0.17.1 |
| 포장 | > = 20.0 |
LORA 기술은 사전에 사전 된 모델의 무게를 동결시키고 각 변압기 블록에 훈련 가능한 층 (순위 분해 매트릭스라고 함)을 주입합니다. 그중에서도 A는 D 차원에서 R 차원으로의 데이터를 낮추며, 이는 LORA의 순위 인 중요한과 파라미터입니다. B는 R 차원에서 D 차원으로의 데이터를 높이고 파트 B의 매개 변수는 처음에는 0입니다. 모델 교육이 완료된 후 A+B 부품의 매개 변수는 원래 큰 모델의 매개 변수와 결합되어야합니다.
데이터 형식 : 사전 스타일; 컨텍스트 내용은 다음을 나타냅니다. 원래 입력 텍스트 (프롬프트); 대상 지점 : 대상 텍스트. 혼합 데이터 세트에는 텍스트 분류 데이터 및 정보 추출 데이터가 포함됩니다.
훈련 데이터 세트에는 총 902 개의 샘플이 포함됩니다.
검증 데이터 세트에는 총 122 개의 샘플이 포함됩니다.
이 프로젝트에서 ChatGLM-6B 모델 가중치를 사용하면 모델 권한이 적용됩니다.
