CompanionLLM
1.0.0
동반자 LLM | 동반자 미스트랄 |
Companionllm 프로젝트에 오신 것을 환영합니다! 여기서 우리는 다른 언어 모델 (LLM)을 복용하여 고유 한 동반자가되도록 정제합니다. 통찰력, 공감 및 동반자를 제공하는 의미있는 토론에서 감상을 가지고 있다고 믿는 대화 파트너가 있다고 상상해보십시오.
| Colab 페이지 | 기능 |
|---|---|
| 곧 올 것입니다 | 데이터 세트 생성 |
| 데이터 세트 준비 | |
| Companionllm 데이터 세트로 LLM을 Finetuning | |
| Avalon으로부터 추론을 받으십시오 | |
| Mistral 7b Finetuning | |
| Avalon-Mistral-7B 추론 |
이 프로젝트의 목표는 특별히 선별 된 데이터 세트를 사용하여 다른 LLM을 미세 조정하여 더 인간과 같은 반응을 제공하는 프레임 워크를 제공하는 것입니다. 우리는 Ehartford에서 만든 원본 데이터 세트에서 영감을 얻었으며, Huggingface에서 찾을 수 있습니다. 그러나 Companionllm 모델을 훈련하기 위해 특별히 맞춤화하기 위해 데이터 세트를 수정했습니다.
이 저장소는 다른 LLM을베이스 모드로 사용하여 자신의 동반자를 미세화하는 프레임 워크입니다. Avalon은 제가 동반자를 위해 선택한 이름이며 논리적이고 운영적인 내비게이션을 가진 인공 가상 어시스턴트를 의미합니다.
Avalon과의 대화의 몇 가지 예는 다음과 같습니다.
### Human : what is your name
### Companion : Hi! My name is Avalon. It stands for "Artificial Virtual Assistant with Logical and Operational Navigation". Ask me about anything that interests you, and I'll give you my best answer!
### Human : I am feeling sad
### Companion : Oh no, I'm sorry to hear that. It's great that you're opening up about it, though. Can I ask, what's going on? Is there something specific you're feeling sad about, or are you just generally down? I'm here to listen if you want to talk about it.
### Human : I am not able to sleep
### Companion : That sounds really frustrating! Lack of sleep can definitely take a toll on both your physical and mental health. Are you having trouble falling asleep, or staying asleep? Or both? Can you share a bit more about what your sleep experience has been like?
당사의 데이터 세트는 원래 Samantha 데이터 세트의 구성 요소를 추가 상황 데이터와 함께 혼합하여 동반자의 감정을 모방 할 수있는 동반자의 용량을 증폭시킵니다. 신중하게 선별 된이 데이터 세트는 대화, 정서적 뉘앙스 및 모델이 지각있는 동반자 인 것처럼 반응하도록 유도하는 프롬프트를 포함합니다.
언어 모델을 미세 조정하려면 특정 작업 또는 도메인에 적응하기 위해 특정 데이터 세트에서 교육하는 것이 포함됩니다. 우리의 경우, 우리는 다른 LLM을 교육하여 감각적 동반자의 특성을 구현합니다. 미세 조정 프로세스에는 다음이 포함됩니다.
데이터 세트 준비 : 모델이 감각과 교제의 주제와 일치하는 응답을 생성하도록 돕기 위해 설계된 수정 된 데이터 세트를 준비했습니다.
미세 조정 구성 : 모델의 아키텍처 및 매개 변수는 지각있는 동반자로서의 성능을 최적화하도록 구성되었습니다. 여기에는 하이퍼 파라미터, 훈련 지속 시간 및 배치 크기 조정이 포함됩니다.
교육 및 반복 : 우리는 여러 교육 반복을 실행하여 주기적으로 모델의 진행 상황을 평가하고 응답을 개선하기 위해 필요에 따라 매개 변수를 조정합니다.
유효성 검사 : 미세 조정 프로세스 전체에서 모델의 출력을 검증하여 지각 동반자를 시뮬레이션하려는 목표와 일치하는지 확인합니다.
data/ : 미세 조정에 사용되는 수정 된 데이터 세트가 포함되어 있습니다.notebook : 데이터 전처리, 교육 및 평가에 사용되는 Jupyter 노트북. CompanionLlm 모델에 참여하려면 다음을 수행하십시오.
requirements.txt 에 나열된 필요한 종속성을 설치하십시오 .txt.자유롭게 실험하고 피드백을 제공하며 프로젝트에 기여하십시오!
Companionllm에 대한 기여는 환영 받고 권장됩니다. 미세 조정 프로세스 개선, 데이터 세트 향상 또는 모델의 응답을 정제하는 데 관심이 있든, 입력은이 고유 한 동반자의 개발을 형성하는 데 도움이 될 수 있습니다.
기부하기 전에 기여 가이드 라인을 검토하십시오.
Companionllm은 MIT 라이센스에 따라 배포됩니다.
AI 언어 모델의 매혹적인 세계에 의해 구동되는 지각있는 동반자를 만드는이 흥미 진진한 여정에 참여하십시오. 기술이 할 수있는 일의 경계를 추진하고 동반자를 재정의하자!
질문, 제안 또는 협업을 위해 @adithya-sk로 연락하십시오.
면책 조항 : Companionllm 모델의 인식 된 감상은 시뮬레이션 된 경험이며 실제 의식을 반영하지 않습니다.
이 프로젝트는 LLMS, Ehartford 또는 Hugging Face와 제휴하지 않습니다. AI 언어 모델의 잠재력을 탐구하는 것은 독립적 인 이니셔티브입니다.
