UA LLM

UA-LLM : 우크라이나 NLP의 LLM

이 저장소에는 광범위한 우크라이나 NLP 작업에 다양한 LLM (LLM)을 적응, 훈련, 평가 및 활용하는 데 도움이되는 전체 파이프 라인과 스크립트 및 개별 구성 요소가 포함되어 있습니다.

설치

이 저장소에서 코드를 사용하려면 시스템에 Conda를 설치해야합니다. 그런 다음 다음 명령을 실행하여 필요한 종속성으로 새로운 Conda 환경을 만들 수 있습니다.

 conda env create -f environment.yml

이로 인해 필요한 모든 의존성이 설치된 ua-llm 이라는 새로운 Conda 환경이 생성됩니다. 그런 다음 다음 명령을 실행 하여이 환경을 활성화 할 수 있습니다.

 conda activate ua-llm
pre-commit install  # required only for contributors

용법

LLM 제공 업체에서 액세스 자격 증명을 얻으십시오.

소스 코드 디렉토리로 이동 :

 cd src

얻은 자격 증명으로 모델 구성을 채우십시오. OpenAI 제공 업체의 예제 명령을 참조하십시오.

 python tools/set_auth.py --openai_org_id <your_org> --openai_api_key <your_api_key>

또는 다른 지원되는 LLM 제공 업체에 대해 다음 명령과 유사한 명령을 사용하십시오 (인수 목록을 보려면 --help 로 실행).

 python tools/set_auth.py --cohere_api_key <your_api_key>

예제 작업을 실행하여 예측을 받고이를 평가하려면 (각 요청에 대해 LLM 제공 업체가 청구되므로 시험 구독 또는 API 키를 사용하여 다음 명령을 실행하는 것이 좋습니다) :

 python main.py +task=qa_eval_task

결과적으로 다음 출력을 얻을 수 있습니다.

configs/ 디렉토리에서 평가 작업 구성 및 기타 파일을 탐색하여 작업 및 작동 방식에 대한 자세한 내용을 얻으십시오. Hydra Framework 및 Omegaconf에 대한 자세한 내용을 알고 싶을 수도 있습니다.

이제 평가를 위해 자신의 데이터 세트를 사용하거나 특정 요구에 맞는 지원되는 작업을 조정할 준비가되었습니다.

지원되는 LLM

• Openai GPT 모델
• 코셔 명령
• Replice.com 모델 (llama, mistral 등)

지원되는 작업

• 컨텍스트 기반 질문 응답 (CBQA)

 python main.py +task=qa_predict_task

• 데이터 생성/주석에 대한 컨텍스트 기반 질문

 python main.py +task=qa_annotate_task

기여

이 저장소에 기여하려면 새 지점을 만들고 변경 사항에 따라 풀 요청을 제출하십시오. 모든 기부금을 환영합니다!

특허

이 저장소는 Apache 2.0 라이센스에 따라 라이센스가 부여됩니다. 자세한 내용은 라이센스 파일을 참조하십시오.