dynamic_prompting

다이나믹 트림

Dynamic Fewhot 프롬프트는 프롬프트에 포함 할 지식 기반 (RAG와 유사)의 쿼리에 문맥 적으로 가까운 N 샘플을 동적으로 선택하는 파이썬 패키지입니다. 이를 통해 데이터 세트에서 패턴을 배우고 추출하기 위해 LLM을 미세 조정할 필요없이 LLM에 관련 및 유익한 예를 제공 할 수 있습니다. 이는 계산 비용과 리소스가 낮다는 것을 의미합니다. 작업과 관련된 샘플을 수집하면 LLM에 대해서는 명확하지 않을 수 있습니다.

주요 기능

• LLM을 미세 조정하는 것보다 빠릅니다
• 정적 소수의 샷 프롬프트보다 더 나은 성능
• 모델을 미세 조정하는 것보다 데이터가 적습니다

빠른 시작

Pip :

 pip install dynamic_prompting

또는 소스에서 설치하십시오

 git clone https://github.com/ElmiraGhorbani/dynamic_prompting

pip install -e .

추론

먼저 모델 설정 :

llama3 모델

1. Meta Llama 웹 사이트 (https://llama.meta.com/llama-downloads)를 방문하여 모델을 다운로드하려면 등록하십시오.

2. 등록되면 모델을 다운로드 할 수있는 URL이 포함 된 이메일이 표시됩니다. Download.sh 스크립트를 실행하면이 URL이 필요합니다.

3. 이메일을 받으면 다운로드 한 LLAMA 저장소로 이동하여 다운로드를 실행하십시오 .SH 스크립트.

   • 다운로드에 실행 권한을 부여하십시오 .SH 스크립트
   • 이 과정에서 이메일에서 URL을 입력하라는 메시지가 표시됩니다.
   • "복사 링크"옵션을 사용하지 마십시오. 이메일에서 링크를 수동으로 복사하십시오.

모델을 다운로드 한 후에는이 폴더에 모델을 넣으십시오.

그렇지 않으면이 방법을 사용할 수 있습니다.

 - Step 1: Go to your Hugging Face account “Settings” and then “Access Tokens” on the left column, and copy the token you need.

- Step 2: On your terminal, export your token starting with “HF_”. Use a distinct name (for example, HF_TOKEN) for each token you export. 
You may add this line to your ~/.bashrc if you do not want to export it every time you start a session.

 export HF_TOKEN="HF_XXXXXXXXXXXXX"

텍스트 임베딩 모델

임베딩 클래스는 텍스트 임베딩 모델과 인터페이스하도록 설계되었습니다. 많은 임베딩 모델 제공 업체 (Openai, Cohere, Hugging Face 등)가 있습니다. 현재이 클래스는 MXBAI-embed-LARGE-V1 , BGE-SMALL-EN-V1.5 및 NOMIC-EMBED-TEXT-V1.5 에 대한 표준 인터페이스를 제공합니다.

시작하세요

시작하려면 모델을 다운로드 하여이 폴더에 넣으십시오.

git lfs install

nomic 모델

git clone https://huggingface.co/nomic-ai/nomic-embed-text-v1.5

cd nomic-embed-text-v1.5

git lfs fetch

BGE 모델

git clone https://huggingface.co/BAAI/bge-small-en-v1.5

cd bge-small-en-v1.5

git lfs fetch

mxbai 모델

git clone https://huggingface.co/mixedbread-ai/mxbai-embed-large-v1

cd mxbai-embed-large-v1

git lfs fetch

데모

exames.ipynb를 확인하십시오