ragcar

RagCar: Companheiro generativo de recuperação de recuperação para pesquisa avançada

Ragcar? É baseado na biblioteca de processamento de linguagem natural da arquitetura Pororo Kakaove Lane Pororo, adicionando um grande modelo de idioma (LLM) OpenAI GPT e o recurso HyperClova X API do Naver. Ele suporta as ferramentas necessárias para o RAG (RAG).

Instalação

• python>=3.8 Funciona normalmente em um ambiente.

• Você pode instalar o pacote através do comando abaixo.

 pip install ragcar

• Você também pode instalá -lo em um ambiente local, como mostrado abaixo.

 git clone https://github.com/leewaay/ragcar.git
cd ragcar
pip install -e . 

Uso

Você pode usar Ragcar com o seguinte comando:

• Primeiro, para importar Ragcar , você deve executar o seguinte comando:

 > >> from ragcar import Ragcar

• Após a importação, você pode verificar as tarefas atualmente suportadas pelo Ragcar através do seguinte comando.

 > >> from ragcar import Ragcar
> >> Ragcar . available_tools ()
"Available tools are ['tokenization', 'sentence_embedding', 'sentence_similarity', 'semantic_search', 'text_generation', 'text_segmentation']"

• Para ver quais modelos são suportados por tarefa, você pode passar pelo processo abaixo.

 > >> Ragcar . available_models ( "text_generation" )
'Available models for text_generation are ([src]: openai, [model]: gpt-4-turbo-preview, gpt-4, gpt-3.5-turbo, MODELS_SUPPORTED(https://platform.openai.com/docs/models)), ([src]: clova, [model]: YOUR_MODEL(https://www.ncloud.com/product/aiService/clovaStudio))'

• Quando você deseja executar uma tarefa específica, você pode colocar o tipo de modelo no nome da ferramenta e no argumento src que você olha antes tool .

 > >> from ragcar . utils import PromptTemplate
> >> prompt_template = PromptTemplate ( "사용자: {input} 수도는? n AI:" )

> >> generator = Ragcar ( tool = "text_generation" , src = "openai" , prompt_template = prompt_template , formatting = True )

• Após a criação do objeto, ele pode ser usado passando o valor de entrada da seguinte maneira. Consulte cada exemplo de tarefa em exemplos.

 > >> generator ( input = "대한민국" )
{
    'id' : 'openai-dad4969f-6f0d-4413-a748-26d05cc0e73d' , 
    'model' : 'gpt-4-turbo-preview' , 
    'content' : '대한민국의 수도는 서울입니다.' , 
    'finish_reason' : 'stop' , 
    'input_tokens' : 23 , 
    'output_tokens' : 15 , 
    'total_tokens' : 38 , 
    'predicted_cost' : 0.0015899999999999998 , 
    'response_time' : 1.0608701705932617
}

️ Como configurar variáveis ​​de ambiente

Certos src requerem variáveis ​​de ambiente (por exemplo, a chave da API ) que requer segurança e manutenção e podem ser definidas como um dos três métodos a seguir:

1. .env arquivo: crie um arquivo .env na rota superior do projeto e insira os valores de variáveis ​​de ambiente necessário.

2. Exportar: Declare as variáveis ​​de ambiente necessário no terminal.

 export OPENAI_API_KEY= ' sk-... '

3. Valor do fator model : insira a variável de ambiente necessária diretamente para o valor do fator do modelo. ( Aplique o mesmo, mesmo se precisar adicioná -lo além do model padrão )

 > >> Ragcar . available_customizable_src ( "text_generation" )
"Available customizable src for text_generation are ['clova', 'openai']"

> >> Ragcar . available_model_fields ( "clova" )
'Available fields for clova are ([field]: model_n, [type]: str), ([field]: api_key, [type]: str), ([field]: app_key, [type]: str)' 

 > >> generator = Ragcar (
    tool = "text_generation" , 
    src = "clova" , 
    model = {
        "model_n" : "YOUR_API_URL" , 
        "api_key" : "YOUR_APIGW-API-KEY" ,
        "app_key" : "YOUR_CLOVASTUDIO-API-KEY"
    }, 
    prompt_template = prompt_template , 
    formatting = True
)
> >> generator ( input = "대한민국" )
{
    'id' : 'clova-3c241fa1-f01e-4738-b208-5bcb35daad42' ,
    'model' : 'HCX-003' ,
    'content' : '대한민국 수도는 서울입니다.' ,
    'finish_reason' : 'stop_before' ,
    'input_tokens' : 12 ,
    'output_tokens' : 8 ,
    'total_tokens' : 20 ,
    'predicted_cost' : 0.6 ,
    'response_time' : 0.7090704441070557 ,
    'ai_filter' : []
 }

• Por favor, verifique exemplos de maneiras mais detalhadas!

️ Notas sobre o uso de Tool text_generation

1. Aviso de predicted_cost

predicted_cost é calculado de maneira diferente, dependendo da API usada ao usar a ferramenta text_generation . Para o OpenAI, predicted_cost é calculado pelo dólar (USD) e Clova é calculado como o original (KRW) . Isso ocorre porque o sistema de cobrança de cada serviço é diferente. Informações específicas de carregamento de acordo com o modelo atual podem ser encontradas no arquivo base.py.

2. Precauções ao usar o Naver Hyperloba

Ao usar tool Text_generation com Clova src , tenha cuidado com as alterações que foram alteradas em comparação com algum parâmetro oficial:

• Nome do parâmetro Alterar :

  • Use presence_penalty em vez de top_k .
  • Use frequency_penalty em vez de repeat_penalty .

• Intervalo de valor do parâmetro :

  • 0.0 < temperature < 1.0
  • 0.0 < top_p < 1.0
  • 0 < presence_penalty < 128
  • 0.0 < frequency_penalty < 10.0

️ Como fazer upload do modelo do Google Drive

Exemplo de exemplo de sentença_embedding

Documentação

Se você tiver alguma dúvida ou opinião, deixe um problema.

Reconhecimentos

• Pororo

 @misc { pororo ,
  author       = { Heo, Hoon and Ko, Hyunwoong and Kim, Soohwan and
                  Han, Gunsoo and Park, Jiwoo and Park, Kyubyong } ,
  title        = { PORORO: Platform Of neuRal mOdels for natuRal language prOcessing } ,
  howpublished = { url{https://github.com/kakaobrain/pororo} } ,
  year         = { 2021 } ,
}

• Transformadores de frases

 @inproceedings { reimers-2019-sentence-bert ,
    title = " Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks " ,
    author = " Reimers, Nils and Gurevych, Iryna " ,
    booktitle = " Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing " ,
    month = " 11 " ,
    year = " 2019 " ,
    publisher = " Association for Computational Linguistics " ,
    url = " https://arxiv.org/abs/1908.10084 " ,
}