Text Dataset Aid Plugin

txt 파일을 사용하여 데이터 세트를 수용하십시오. TXT를 JSONL 파일로 내보낼 수있는 기능이 곧 추가됩니다.

문맥

조건 : 완전히 작동합니다

NLP 및 텍스트 생성 데이터 세트의 생성은 매우 충격적이며 연구원이 텍스트를 자동으로 생성 할 수있는 모델을 훈련시킬 수있는 잠재력이 있습니다. 그러나 사용자 정의 데이터 세트의 생성은 치명적이고 느린 프로세스입니다.

텍스트 데이터 세트 보조금은 GPT-3과 같은 텍스트 생성 모델을위한 미세 조정 데이터 세트를 작성하는 데 도움이되는 유용한 도구입니다! 이렇게하면 FinetUning 후 모델에서 생성 된 텍스트가보다 개인화되거나 상세하거나 더 나은 형식으로 만들 수 있습니다. 핫키 구성을 통해 메뉴를 다루는 것을 거절하십시오!

이 플러그인은 NLP 및 텍스트 생성 모델에 대한 교육 데이터를 빠르게 생성하는 데 사용될 수 있습니다. 이를 통해 이러한 분야의 연구 속도를 높이고 실무자가 이러한 모델을보다 쉽게 ​​훈련 할 수 있습니다.

텍스트 데이터 세트 보조금 플러그인은 GPT-3과 같은 텍스트 생성 모델을위한 미세 조정 데이터 세트를 작성하는 데 도움이되는 유용한 도구입니다. 이렇게하면 FinetUning 후 모델에서 생성 된 텍스트가보다 개인화되거나 상세하거나 더 나은 형식으로 만들 수 있습니다. 핫키 구성을 통해 메뉴를 다루는 것을 거절하십시오!

두 번째 뇌 내의 맥락

두 번째 뇌에서 작업하는 동안 수집 된 데이터 세트에서 자신의 텍스트 생성 모델을 업데이트하면 모델이 두 번째 뇌의 요구에 더 잘 맞을 수 있습니다. 이 플러그인은 Obsidian 내의 명령의 특성으로 인해 모든 생성 또는 편집 워크 플로에 적합합니다. 이 플러그인을 저처럼 사용하기를 바랍니다!

미세 조정의 장점

텍스트 생성 모델을 고수하면 더 자연스럽고 표현적인 텍스트를 생성 할 수 있습니다.

1. 텍스트 예측/생성의 정확도가 높아집니다
2. 텍스트 생성의 유창성 및 일관성 증가
3. 생성 된 텍스트의 스타일과 내용에 대한 더 큰 제어
4. 모델이 생성하는 출력 유형에 대한 더 많은 제어
5. 입력 유형의 유연성이 더 큰 모델이 받아 들일 수 있습니다.
6. 더 인간과 같은 출력을 생산하는 능력
7. 특정 유형의 출력 예측에서 정확도 향상

Microsoft의 미세 조정 원칙을위한 훌륭한 리소스

용법

VIM 모드를 사용 하여이 플러그인의 핵심 기능은 더 쉽게 만들어 지지만 어느 경우에도 작동해야합니다. 현재 제공되는 두 가지 명령이 있습니다.

이미 프롬프트가있는 경우 데이터 세트에 프롬프트를 보내면 플러그인이 아무것도하지 않습니다.

완료를 데이터 세트로 보내면 이미 프롬프트가있을 때 텍스트 선택이 해당 프롬프트의 완료로 데이터 세트로 전송됩니다.

개방형 세대 지원!

완료를 데이터 세트로 보내고 프롬프트가 없으면 텍스트 선택이 텍스트 선택에 비어있는 빈 프롬프트가있는 데이터 세트에 텍스트 선택이 삽입됩니다.

이것의 예

{ "prompt" : " " , "completion" : " Hello can I help you? " }

또 다른 예

{ "prompt" : " " , "completion" : " Hi, How can I help you today " }

선택을 보내려면 데이터 세트 파일로 보내기로 보냅니다. 프롬프트로 선택하여 데이터 세트 파일로 보내기로 보내십시오.

미세 조정 데이터 세트의 예

{ "prompt" : " Company: BHFF insurance n Product: allround insurance n Ad:One stop shop for all your insurance needs! n Supported: " , "completion" : " yes " }
{ "prompt" : " Company: Loft conversion specialists n Product: - n Ad:Straight teeth in weeks! n Supported: " , "completion" : " no " }

설치

Obsidian의 커뮤니티 플러그인 페이지에서 설치

• 설정 설정> 타사 플러그인
• 안전 모드 가 꺼져 있는지 확인하십시오
• 커뮤니티 플러그인 검색을 클릭하십시오
• "DataSet Finetuning Aid 플러그인"검색
• 설치를 클릭합니다
• 설치되면 커뮤니티 플러그인 창을 닫고 새로 설치된 플러그인을 활성화하십시오.

Github에서 수동으로 설치합니다

• Github 저장소의 릴리스 섹션에서 최신 릴리스를 다운로드하십시오 (이를 찾을 수없는 경우이 내용을 보면서 오른쪽에 있어야합니다).
• zip에서 Vault의 플러그인 폴더로 플러그인 폴더를 추출하십시오. <vault>/.obsidian/plugins/
  참고 : 일부 컴퓨터에서 .obsidian 폴더가 숨겨져있을 수 있습니다. MACOS에서는 Finder의 폴더를 표시하려면 Command+Shift+Dot 누를 수 있어야합니다.
• Reload Obsidian

설정

플러그인의 설정 패널 내에 구성 할 수있는 4 가지 주요 설정이 있지만 JSONL이라는 텍스트 생성 모델의 데이터 세트에 대한 인기있는 형식에 대해 기본값이 설정됩니다.

설정 이름	설명	기본
프롬프트에 대한 접두사	이것은 데이터 세트로 전송 될 때 프롬프트에 선불 된 문자열입니다.	{"prompt":
프롬프트 용 접미사	이것은 데이터 세트로 전송 될 때 프롬프트에 추가 된 문자열입니다.	,
완료를위한 접두사	이것은 데이터 세트로 전송 될 때 완료로 선정 된 문자열입니다.	"completion":
완료를위한 접미사	이것은 데이터 세트로 전송 될 때 완료에 추가 된 문자열입니다.	}n

개발 내의 도움

개발

새 버전 만들기 :

git tag -a 1.0.1 -m " 1.0.1 "
git push origin 1.0.1

영감

자신의 언어 모델을 미세 조정하는 효율성과 매력에서 영감을 얻은이 플러그인을 사용하면 프롬프트 및 응답 형태로 메모에서 데이터 세트를 작성할 수 있습니다. GPT3과 같은 모델을위한 OpenAI 사양으로 텍스트를 자동으로 형식화합니다.

이 플러그인은 tfthacker가 만든 TextTransporter 플러그인과 시뮬레이션을 공유합니다.

Conner Ohnesorge의 ❤️으로 제작되었습니다