dolly expert lite

제목	app_file	SDK	sdk_version
Dolly-Expert-Builder	app.py	Gradio	3.34.0

Dolly-Expert-lite

도메인 별 질문에 대답하고 대화를 유지할 수있는 가벼운 Dolly-V2 구동 조수. LLM 시대의 전문가 시스템입니다.

"따라서 해킹 할 수 있다고 생각합니다": 오픈 소스 LLM (예 : OpenAssistant, MPT, Dolly 등) DevPost Hackathon에 제출하십시오.

• Dolly Expert Builder @ Huggingface 공간
• 게시 된 Databricks 노트북
• Jupyter Notebook -Github 버전

영감

전문가 시스템

전문가 시스템은 인공 지능에서 큰 것이 었습니다. 그들은 특정 분야에서 인간 전문가의 의사 결정 능력을 모방하며 많은 사용 사례에서 상당한 가치를 제공 할 수 있습니다. 구식 전문가 시스템의 주요 단점은 부울 진술이나 유사한 논리를 사용하여 프로그래밍해야한다는 것이 었습니다. 많은 경우에,이 접근법은 당면한 작업에 쉽게 이용할 수있는 전문가를 갖는 목적을 물리 쳤다.

폐쇄 소스 LLM

Chatgpt3.5 및 ChatGpt-4와 같은 폐쇄 소스 LLM 응용 프로그램은 많은 작업이 매우 좋은 거대한 모델입니다. 응답 방법을 모르거나 답이 온라인 상태 일 때 환각과 같은 제한이 있습니다. 인터넷이나 파일에 액세스 할 수 없습니다. 때때로, 이러한 환각은 매우 설득력있는 방식으로 들릴 것이며, 그것을 구현하려고 할 때마다 그들은 허위 또는 잘못된 것으로 판명 될 것입니다. 이 모델에는 엄청난 상황이 있으므로 사람들이 많은 정보를 제공하고 신속한 엔지니어링 기술을 구현함으로써 어려움을 겪는 모든 작업을 수행 할 수 있도록 도와줍니다. 이로 인해 폐쇄 소스 코드가있는 대기업만이 LLM 애플리케이션을 개발하고 배포 할 수 있다고 생각합니다.

그것이하는 일

Dolly Expert Lite는 Open-Source Lange Language Model (LLM) 인 Dolly-V2-12B의 경량 버전 인 Dolly-V2-3B를 활용하여 맞춤형 벡터 데이터베이스에서 검색을 사용하여 도메인 별 질문에 답변합니다. 이 예에서 Dolly-Expert-Builder는 Ontario (캐나다) 빌딩 코드에서 정보를 검색하여 공식 정부 코드에 따라 건설, 배관, 전기 배선 및 환기에 대한 특정 질문에 답변합니다. Dolly-expert-Builder는 출처와 일관되고 사실적으로 정확한 정보를 제공 할 수 있으며 작업을 수행하는 동안 규제 준수를 돕기 위해 장인 (배관공, 전기 기사, 기계공, 주택 건축업자)에 적합한 지침 역할을 할 수 있습니다.

이 방법을 따르면 개인 및 조직은 지역 데이터를 사용하여 전문가 비서가 도메인 별 질문에 답변 할 수 있도록 할 수 있습니다. 가능한 사용 사례는 다음과 같습니다.

• 규제/법적 요구 사항을 철자합니다
• 온 보딩 및 교육 지원
• 품질 시스템 설명
• 문헌 리뷰
• 문서 검색

우리가 그것을 어떻게 만들었는지

• 모델 : Dolly-V2-3B는 가벼운 개발 및 배포를 보여줍니다
• 프레임 워크 : Langchain, 질문에 대한 답변 체인을 만들고 ChromADB와의 통합으로 인해
• 텍스트 임베딩 : 약하게 감독 된 대조적 인 사전 훈련 (E5-Base-V2)에 의한 텍스트 임베드. MTEB English Leaderboard에 따라 검색 작업에서 높은 점수로 인해
• 온타리오 (캐나다) 건축법 : 비 기술인이 LLM 응용 프로그램의 혜택을받을 수있는 방법을 모범을 보이기 위해. 섹션의 이름이 "섹션 1", "섹션 2"..., 섹션 14 "이므로 코드 페이지는 탐색하기가 쉽지 않습니다. 웹 사이트를 사용하여 벡터 매장으로 구문 분석하고 변환했습니다.
• 벡터 저장소 : ChromADB
• 배포 : Huggingface 공간 및 Gradio. 배포 사용 가능 : Dolly Expert Builder

우리가 도전 한 도전

도구가 너무 새롭기 때문에 표준 사용 사례와의 일부 발산으로 인해 오류가 발생합니다. 예를 들어:

• Langchain의 동일한 질문 응답 체인에서 메모리와 소스를 사용하지 못합니다. 메모리 클래스에서 상속 된 클래스를 만들어 해결 방법이 구현되었습니다.
• 목이 노트북에있는 동안 웹 스크래핑시 오류. 이것은 Nest_asyncio 해결 방법을 적용하여 우회 할 수 있습니다.
• 벡터 데이터베이스로드되지 않습니다. 또 다른 초기 개발 Langchain 문제, ChromADB 초기화에서 persists_directory 사용할 때 부분적으로 저장되었으며 .persists () 메소드가 호출되지 않았기 때문에 나중에 별도의 인스턴스에서로드되지 않습니다. 데이터베이스를 최종적으로 사용할 수 있도록 다시 작성하고 다시 커밋해야했습니다.
• Jupyter Notebook에서 Gradio 앱이 출시되지 않았습니다. 이전의 해결 방법은 Gradio 요구 사항 인 Asyncio의 로컬 설치를 변경하여 동일한 런타임 중에 사용할 수 없습니다. 이를 피하기 위해 벡터 데이터베이스는 별도의 노트북으로 만들어졌으며 Repo에 전념했습니다.
• CPU에서 매우 느린 추론. 공식적인 양자화 된 돌리 모델이 없기 때문에 추론을 위해 CPU를 사용하면 대기 시간이 매우 높았습니다. 또한 제출 시간까지 데이터 사브릭 무료 평가판이 부족했습니다. 다행히도 코드는 그때까지 기능적이었고 T4 스몰 공간에서 온라인으로 배포하고 테스트 할 수있었습니다.

우리가 자랑스러워하는 업적

Dolly와 같은 오픈 소스 모델을 사용하여 LLM 애플리케이션의 기능적 경량 프로토 타입을 만들고 포옹 페이스 공간으로 배포 할 수 있습니다. LLM 응용 프로그램은 모든 사람을위한 것이며 오픈 소스 생태계는 폐쇄 소스 개척자만큼이나 능력이 있음을 보여줄 수 있습니다.

우리가 배운 것

일반적인 소프트웨어 개발 지식 측면에서, 나는 서로 충돌하는 패키지 문제 해결을 배웠고, 어떤 종속성이 설치되는지에 따라 Python을 다시 시작해야한다는 것을 배웠거나 때로는 한 번에 모든 것을 시도하는 대신 작업을 구획화하는 것이 더 낫다는 것을 알게되었습니다. 또한 Gradio의 기본 사항을 앱을 만들 수 있다는 것을 배웠습니다. 그리고 가장 중요한 것은 GitHub 문제와 stackoverflow 게시물을 더 잘 탐색하여 내가 직면 한 문제에 대한 해결 방법을 찾는 법을 배웠습니다.

LLM 관련 지식의 관점에서, 나는 신속한 엔지니어링의 중요성과 추론 결과를 극적으로 향상시킬 수있는 방법에 대해 배웠고, NLP (Natural Language Processing) 용어를 훨씬 더 많이 탐색하는 법을 배웠으며 질문 체인 메모리의 유형에 대해 배웠습니다. 또한 오픈 소스 모델은 관심있는 사람에게 LLM 애플리케이션을 개발하고 배포 할 수 있으며 문서화 및 문제 해결 또는 현재 문제를 조사 할 시간을 투자 할 수 있다는 것을 알게되었습니다.

Dolly Expert Lite의 다음 단계

• 다국어 : Dolly Expert Lite의 다음 반복을 위해, 나는 다른 언어와 다국어 임베딩의 정보를 사용하여 벡터 매장을 만드는 좋은 결과를 얻을 수 있는지 실험하고보고 싶습니다. 이를 통해 튜토리얼이나 인기 가이드에는 보이지 않는 다른 비 공동 응용 프로그램의 개발이 가능합니다. 예를 들어, 멕시코의 노동법을 탐색하는 데 도움이되는 법적 보조원 또는 캐나다 프랑스어를 해석 할 수있는 규제 준수 보조원.
• 성능 : 추론 속도를 향상시키기 위해 질문에 대답하기 위해 미세 조정 돌리를 살펴보고 일관된 비교적 짧은 추론 시간을 유지하려고 노력하면서 12B 또는 7B 모델을 사용할 수있는 양자화 방법이 있는지 조사하고 싶습니다. 또한 최적의 라이브러리에 관심이 있으며 Intel Neural Stick의 유스 케이스를 작업하고 싶습니다. 이는 지역 추론을위한 저렴한 대안이 될 수 있습니다.
• 메모리 : 새로운 기능의 경우, 지식 그래프 메모리를 사용하여 주요 항목을 대화에 저장하여보다 복잡한 경우에 도구를 사용할 수 있습니다. 예를 들어, 규제 요구 사항이 충족되었는지 명확하게하고 그렇지 않은 경우 요구 사항이 해체 및 구현을 위해 설명 할 수있는 방법.