faq llm
1.0.0
이 저장소에는 LORA 기술을 사용한 매개 변수 효율적인 미세 튜닝을 사용하여 전자 상거래 FAQ 챗봇을 구축하기위한 코드 및 리소스가 포함되어 있습니다. 이 프로젝트는 대형 언어 모델 (LLM)을 활용하고 Falcon-7B 모델을 사용하여 미세 조정 접근법을 채택하여 전자 상거래 사이트에 대한 챗봇을 개발하는 것을 목표로합니다. 미세 조정은 모델의 성능을 향상시키기 위해 매개 변수 효율적인 미세 튜닝 (PEFT) 및 LORA (저급 적응) 기술로 수행됩니다.
빠르게 진행되는 전자 상거래 세계에서 고객 쿼리를 효율적으로 처리하는 것이 중요합니다. 이 프로젝트는 고급 언어 모델을 활용하여 자주 묻는 질문에 대한 응답을 자동화하기 위해 챗봇 솔루션을 소개합니다. 미세 조정 된 모델 인 Falcon-7B는 Kaggle에서 추출한 사용자 정의 데이터 세트에서 교육을받으며 전자 상거래 도메인의 일반적인 사용자 쿼리를 다루고 있습니다.
이 프로젝트는 OpenAI의 GPT 모델 및 Meta의 LLAMA 모델을 포함하여 미리 훈련 된 모델을 기반으로합니다. 또한 IBM Watson Assistant 및 ADA Healthcare Chatbot과 같은 기존 챗봇도 탐구합니다. RAG (검색 증강 생성)와 미세 조정 된 모델의 비교에 대해 논의합니다.
Kaggle에서 공급 된 데이터 세트는 질문과 해당 답변이있는 79 개의 샘플로 구성됩니다. 분할에는 67 개의 훈련 샘플 (85%)과 테스트 용 12 개의 샘플 (15%)이 포함됩니다.
Kaggle의 데이터 세트 링크
이 방법론에는 Falcon-7B 모델을 사용하고 PEFT 및 LORA 기술로 미세 조정하고 얼굴을 포옹하여 변압기 및 PEFT와 같은 주요 라이브러리를 활용하는 것입니다. 이 프로세스에는 데이터 세트 전처리, LORA 어댑터 구성 및 모델 교육이 포함됩니다.
이 모델은 epochs의 손실 값 감소를 보여 주며 긍정적 인 훈련 추세를 나타냅니다. 평가에 사용되는 BLEU 점수는 예상 결과와 정렬 된 응답 생성에 대한 모델의 능력을 보여줍니다.
이 프로젝트는 고급 언어 모델을 통해 전자 상거래의 고객 지원을 향상시키는 데 기여합니다. 달성 된 결과는 유망하지만 더 큰 데이터 세트와 연속 모델 개선을 통한 추가 실험이 권장됩니다.
감사의 말은 Falcon-7B 모델의 개발자, Hugging Face Community, 데이터 세트를 호스팅하기위한 Kaggle 및 New Haven 대학의 교수진으로 확장됩니다.
현지 사용을 위해 유선 응용 프로그램이 개발되었으며, 최적의 성능을 위해 최소 16 기가 바이트의 비디오 RAM (VRAM)이있는 GPU가 필요합니다. 이 저장소의 앱. Streamlit-App Dir에서 체크 아웃
자유롭게 탐색, 실험 및 추가 개선에 기여하십시오.
