BYOSC Build Your Own Scalable Chatbots 다운로드 -Byosc BYOSC Build Your Own Scalable Chatbots 소스 코드 다운로드

BYOSC Build Your Own Scalable Chatbots

AI 소스 코드

1.0.0

다운로드

byosc-build-your-on-scalable-chatbots

소개

대학 시험을 준비 할 때, 파트너가 지식 격차를 발견하고 수업 중에 처리 된 주제에 대한 구체적인 의심을 명확하게하는 데 필수적인 것으로 입증되었습니다. Chatgpt, Phind 및 Clod와 같은 LLM을 기반으로하는 챗봇은 이미 학생들에게 도움을 제공하고 있지만 학생들의 대학 과정에 대한 강의/자료 관련 도움을 제공 할 수는 없습니다. 우리는 특정 과정의 특정 자료에 챗봇을 미세 조정하기위한 시스템을 만들 것을 제안합니다. 이 덕분에, 우리는 전형적인 대학생의 과정을위한 공부 친구를 만들고 의심에 대답하고 질문을 생성 할 수 있습니다!

이 링크에서 챗봇을 테스트 할 수 있습니다.

프로젝트의 암시 적 범위 (및 전체 과정)는 MLOPS를 호스팅 할 수있는 확장 가능한 인프라를 구축하는 것입니다. 이러한 이유로 전통적인 모 놀리 식 ML 파이프 라인은 기능 파이프 라인 , 훈련 파이프 라인 , 추론 파이프 라인 의 세 가지 프로세스로 나뉩니다.

건축학

기능 파이프 라인

기능 파이프 라인은 다음을 담당합니다.

공개 공유 폴더에서 사용 가능한 새 파일 다운로드
파일의 전 사체를 생성합니다
Hopsworks에 새 전사를 업로드합니다
GPT 3.5 API를 사용하여 기초 모델의 미세 조정을위한 유효한 명령어 세트를 생성합니다.
이러한 명령어를 Hopsworks에 업로드합니다

기능 파이프 라인을 실행합니다

기능 파이프 라인을 실행하는 몇 가지 옵션이 있습니다.

FeaturePipeline/Reading.ipynb 노트북을 실행하십시오
python3 FeaturePipeline/FeaturePipeline.py 사용하여 python3 FeaturePipeline/FeaturePipeline.py 를 실행하십시오

후자의 사본은 FeaturePipeline/FeaturePipeline_modal.py 파일에서 약간 수정되어 modal [run|deploy] FeaturePipeline/FeaturePipeline.py 사용하여 모달 호스팅 서비스에서 실행할 수 있도록합니다.

훈련 파이프 라인

교육 파이프 라인은 다음을 담당합니다.

Hopsworks에서 지침을 검색합니다
PEFT 및 LORA 기술을 사용하여 트레이너 인스턴스 설정
훈련 실행
결과를 포옹 페이스에 업로드합니다

훈련 파이프 라인 실행

교육 파이프 라인을 실행하려면 노트북 TrainingPipeline/FineTuning.ipynb 실행하십시오

추론 파이프 라인

추론 파이프 라인은 다음을 담당합니다.

Streamlit + Langchain을 사용하여 챗봇 인터페이스를 실행하십시오
Hopsworks에서 자료의 성적표 다운로드
문장 버트를 사용하여 원래 자료의 컴퓨팅 임베딩
문장 버트를 사용하여 사용자 질문의 임베딩 컴퓨팅
특정 질문에 대해 가장 좋은 자료를 검색하십시오
래그를 사용하여 챗봇의 응답을 보강합니다

추론 파이프 라인 실행

추론 파이프 라인을 실행하려면 streamlit run chatbot_app.py 실행하십시오

결론

실험적으로 미세 조정 프로세스만으로도 기초 모델을 비 결합 된 것보다 일관되게 개선하기에 충분하지 않지만, Rag-Enabled Chatbot은 원래 자료에 따라 사용자의 질문에 올바르게 대답 할 수있을뿐만 아니라, 답변이 어디에서 얻은 지 (대부분) 대학 시험을위한 필수 기능을 제공 할 수 있습니다!