ragcar

Ragcar: Generative Companion для Advanced Research, полученного в поисках, для передовых исследований

Рагкар? Основана на библиотеке обработки естественного языка в архитектуре Kakaove Lane Pororo, добавляя большую языковую модель (LLM) OpenAI GPT и функцию Naver's Hyperclova X API. Он поддерживает инструменты, необходимые для тряпки (тряпки).

Установка

• python>=3.8 он работает нормально в среде.

• Вы можете установить пакет через команду ниже.

 pip install ragcar

• Вы также можете установить его в локальной среде, как показано ниже.

 git clone https://github.com/leewaay/ragcar.git
cd ragcar
pip install -e . 

Использование

Вы можете использовать Ragcar со следующей командой:

• Во -первых, чтобы импортировать Ragcar , вы должны запустить следующую команду:

 > >> from ragcar import Ragcar

• После импорта вы можете проверить задачи, поддерживаемые в настоящее время Ragcar в рамках следующей команды.

 > >> from ragcar import Ragcar
> >> Ragcar . available_tools ()
"Available tools are ['tokenization', 'sentence_embedding', 'sentence_similarity', 'semantic_search', 'text_generation', 'text_segmentation']"

• Чтобы увидеть, какие модели поддерживаются задачей, вы можете пройти процесс ниже.

 > >> Ragcar . available_models ( "text_generation" )
'Available models for text_generation are ([src]: openai, [model]: gpt-4-turbo-preview, gpt-4, gpt-3.5-turbo, MODELS_SUPPORTED(https://platform.openai.com/docs/models)), ([src]: clova, [model]: YOUR_MODEL(https://www.ncloud.com/product/aiService/clovaStudio))'

• Если вы хотите выполнить определенную задачу, вы можете поместить тип модели в имя инструмента и аргумент src , который вы смотрите перед фактором tool .

 > >> from ragcar . utils import PromptTemplate
> >> prompt_template = PromptTemplate ( "사용자: {input} 수도는? n AI:" )

> >> generator = Ragcar ( tool = "text_generation" , src = "openai" , prompt_template = prompt_template , formatting = True )

• После создания объекта его можно использовать, передавая входное значение следующим образом. Пожалуйста, обратитесь к каждому примеру задачи в примерах.

 > >> generator ( input = "대한민국" )
{
    'id' : 'openai-dad4969f-6f0d-4413-a748-26d05cc0e73d' , 
    'model' : 'gpt-4-turbo-preview' , 
    'content' : '대한민국의 수도는 서울입니다.' , 
    'finish_reason' : 'stop' , 
    'input_tokens' : 23 , 
    'output_tokens' : 15 , 
    'total_tokens' : 38 , 
    'predicted_cost' : 0.0015899999999999998 , 
    'response_time' : 1.0608701705932617
}

️ Как настроить переменные среды

Некоторым src требуется переменные среды (Ex. API -ключ ), которые требуют безопасности и технического обслуживания, и может быть установлен как один из следующих трех методов:

1. .env Файл: Создайте файл .env в верхнем маршруте проекта и введите необходимые значения переменных среды.

2. Экспорт: объявить необходимые переменные среды в терминале.

 export OPENAI_API_KEY= ' sk-... '

3. Значение фактора model : введите необходимую переменную среды непосредственно к значению фактора модели. ( Примените то же самое, даже если вам нужно добавить его в дополнение к model по умолчанию )

 > >> Ragcar . available_customizable_src ( "text_generation" )
"Available customizable src for text_generation are ['clova', 'openai']"

> >> Ragcar . available_model_fields ( "clova" )
'Available fields for clova are ([field]: model_n, [type]: str), ([field]: api_key, [type]: str), ([field]: app_key, [type]: str)' 

 > >> generator = Ragcar (
    tool = "text_generation" , 
    src = "clova" , 
    model = {
        "model_n" : "YOUR_API_URL" , 
        "api_key" : "YOUR_APIGW-API-KEY" ,
        "app_key" : "YOUR_CLOVASTUDIO-API-KEY"
    }, 
    prompt_template = prompt_template , 
    formatting = True
)
> >> generator ( input = "대한민국" )
{
    'id' : 'clova-3c241fa1-f01e-4738-b208-5bcb35daad42' ,
    'model' : 'HCX-003' ,
    'content' : '대한민국 수도는 서울입니다.' ,
    'finish_reason' : 'stop_before' ,
    'input_tokens' : 12 ,
    'output_tokens' : 8 ,
    'total_tokens' : 20 ,
    'predicted_cost' : 0.6 ,
    'response_time' : 0.7090704441070557 ,
    'ai_filter' : []
 }

• Пожалуйста, проверьте примеры для более подробных способов!

️ Примечания об использовании Tool text_generation

1. Уведомление о predicted_cost

predicted_cost рассчитывается по -разному в зависимости от API, используемого при использовании инструмента Text_Generation . Для OpenAI predicted_cost рассчитывается по доллару (доллару США) , а CLOVA рассчитывается как оригинал (KRW) . Это потому, что система выставления счетов каждой услуги отличается. Конкретная информация о зарядке в соответствии с текущей моделью может быть найдена в файле base.py.

2. Меры предосторожности при использовании NAVER Hyperloba

При использовании tool Text_Generation с Clova src , будьте осторожны с изменениями, которые были изменены по сравнению с некоторым официальным параметром:

• Изменение имени параметра :

  • Пожалуйста, используйте presence_penalty вместо top_k .
  • Пожалуйста, используйте frequency_penalty вместо repeat_penalty .

• Диапазон значений параметров :

  • 0.0 < temperature < 1.0
  • 0.0 < top_p < 1.0
  • 0 < presence_penalty < 128
  • 0.0 < frequency_penalty < 10.0

️ Как загрузить модель Google Drive

ПРЕДЛОЖЕНИЕ ПРИВЕТСТВА ПРИМЕР. Проверка

Документация

Если у вас есть какие -либо вопросы или мнения, пожалуйста, оставьте проблему.

Признание

• Пороро

 @misc { pororo ,
  author       = { Heo, Hoon and Ko, Hyunwoong and Kim, Soohwan and
                  Han, Gunsoo and Park, Jiwoo and Park, Kyubyong } ,
  title        = { PORORO: Platform Of neuRal mOdels for natuRal language prOcessing } ,
  howpublished = { url{https://github.com/kakaobrain/pororo} } ,
  year         = { 2021 } ,
}

• ПРЕДЛОЖЕНИЯ Трансформаторы

 @inproceedings { reimers-2019-sentence-bert ,
    title = " Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks " ,
    author = " Reimers, Nils and Gurevych, Iryna " ,
    booktitle = " Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing " ,
    month = " 11 " ,
    year = " 2019 " ,
    publisher = " Association for Computational Linguistics " ,
    url = " https://arxiv.org/abs/1908.10084 " ,
}