Local LLM Langchain

지역 LLM에 대한 노트북

이 프로젝트의 목표는 사용자가 Langchain으로 테스트하기 위해 노트북에 현지 호스팅 언어 모델을 쉽게로드 할 수 있도록하는 것입니다. 현재 3 개의 노트북이 있습니다. 그들 중 두 명은 API를 사용하여 사용자 정의 Langchain LLM 래퍼를 만듭니다. Oobabooga의 텍스트 생성 웹 UI와 다른 하나는 Koboldai의 경우 하나입니다. 세 번째 노트북은 Oobabooga의 Text-Generation-Webui 가상 환경과 모델 로딩 모듈을 활용하여 API없이 모델을로드합니다.

텍스트를 생성하는 데 사용할 수있는 사용자 정의 LLM 래퍼 인스턴스로 끝납니다.

llm("prompt goes here")

대부분의 가이드 및 문서에 사용 된 OpenAi LLM 클래스 대신에 사용할 수 있습니다.

시작하기

해당 리포지토리에 제공된 API에 대한 설정 지침을 따르십시오. API URL로 URL 변수를 업데이트 한 다음 셀을 실행하여 사용자 정의 LLM 래퍼의 인스턴스를 만듭니다.

로드맵

API를 사용하는 것이 이제 모델을로드하는 데 선호하는 방법입니다. API 클래스/노트북을 개선 할 계획이지만 지금은 잘 작동합니다. 나는 지금 이외의 물건을 남기고 있지만 앞으로 적극적으로 유지하지는 않을 것이므로 상황이 깨질 수 있습니다.

비 API 노트북 지침 :

1. 파이썬 또는 콘다 환경을 활성화하십시오.
2. 선호하는 명령 프롬프트 또는 터미널에서 pip install jupyter 를 실행하여 Jupyter Notebook을 설치하십시오.
3. 설치가 올바르게 구성되어 있는지 확인하려면 명령 프롬프트 또는 터미널을 다시 시작하십시오.
4. Python 또는 Conda 환경을 다시 활성화하고 Jupyter 인터페이스를 시작하기 위해 명령 프롬프트 또는 터미널에서 jupyter notebook 실행하십시오.
5. Non-API-Notebook.ipynb 가 위치한 디렉토리로 이동하십시오 (Ooba 사용자가 ./text-generation-webui/ 에 넣고 Jupyter 인터페이스에서 노트북을 열십시오.