Biomistral, Qdrant 및 Llama.cpp를 사용하여 의료용 래그 앱 구축
오픈 소스 스택을 사용한 헝겊 구현입니다. Biomistral 7b는 PubMedbert와 함께 임베딩 모델, 자체 호스팅 벡터 DB로서 Qdrant 및 Orgestration 프레임 워크로서 Langchain & llama CPP를 구축하는 데 사용되었습니다.
설명 및 주요 기능 :
- 의료 영역에 맞게 조정 된 강력한 기술 제품군을 사용하여 최첨단 의료 검색 증강 생성 (RAG) 애플리케이션을 구축하십시오.
- 의료 응용 프로그램을 위해 특별히 설계된 새로운 대형 언어 모델 인 Biomistral 7B는 비교할 수없는 정확성과 복잡한 의료 쿼리에 대한 통찰력을 제공합니다.
- QDRANT, 우리가 Docker 컨테이너 내부에서 실행되는 자체 주최 벡터 데이터베이스. 이 강력한 도구는 의료 언어 모델에 의해 생성 된 것과 같은 고차원 데이터 벡터를 관리하고 검색하는 백본 역할을합니다.
- 의료 텍스트에 대한 모델의 이해를 향상시키기 위해 의료 영역을 위해 특별히 제작 된 임베드 모델 인 PubMed Bert 임베딩을 사용합니다.
- 이를 통해 응용 프로그램은 의학 문헌 및 질문의 뉘앙스를 파악하여보다 정확하고 관련성이 높은 답변을 제공 할 수 있습니다.
- 설정의 중요한 구성 요소는 CPU 기계에서 대형 언어 모델을 추론 할 수있는 라이브러리 인 Llama.cpp입니다. 이 양자화 된 모델 접근법은 성능을 손상시키지 않고 효율적이고 비용 효율적인 배포를 허용합니다.
- 응용 프로그램 구성 요소를 조정하기 위해 도구와 서비스를 원활하게 통합하여 원활한 작동 및 확장 성을 보장하는 오케스트레이션 프레임 워크 인 Langchain을 소개합니다.
- 백엔드에서는 Python 3.7+를 사용하여 API를 구축하기위한 현대적이고 빠른 (고성능) 웹 프레임 워크 인 Fastapi를 활용합니다. Fastapi는 의료용 래그 응용 프로그램에 대한 반응적이고 효율적인 백엔드를 만드는 데 필요한 속도와 사용 편의성을 제공합니다.
- 마지막으로 Web UI의 경우 세계에서 가장 인기있는 프론트 엔드 오픈 소스 툴킷의 최신 버전 인 Bootstrap 5.3을 사용합니다. 이를 통해 우리는 의료용 래그 애플리케이션에 액세스 할 수 있고 사용하기 쉬운 매끄럽고 직관적이며 모바일 응답 사용자 인터페이스를 만들 수 있습니다.
- 우리는 이러한 기술을 응집력 있고 기능적인 의료 걸레 응용 프로그램에 통합하기위한 환경을 설정했습니다.
구현 전문가 안내서 :
데모 ▶ ️
© ️ 라이센스?
MIT 라이센스에 따라 배포됩니다. 자세한 내용은 LICENSE 참조하십시오.
이 LLM 프로젝트가 마음에 들면이 리포지어로 떨어집니다.
날 따라 오세요
