ragcar

Raccar: compagnon génératif de la récupération de la recherche pour la recherche avancée

Raccar? Est basé sur la bibliothèque de traitement du langage naturel de l'architecture de Kakaove Lane Pororo, ajoutant un modèle grand langage (LLM) Openai GPT et la fonction API Hyperclova X de Naver. Il prend en charge les outils nécessaires au chiffon (RAG).

Installation

• python>=3.8 Il fonctionne normalement dans un environnement.

• Vous pouvez installer le package via la commande ci-dessous.

 pip install ragcar

• Vous pouvez également l'installer dans un environnement local comme indiqué ci-dessous.

 git clone https://github.com/leewaay/ragcar.git
cd ragcar
pip install -e . 

Usage

Vous pouvez utiliser Ragcar avec la commande suivante:

• Tout d'abord, afin d'importer Ragcar , vous devez exécuter la commande suivante:

 > >> from ragcar import Ragcar

• Après l'importation, vous pouvez vérifier les tâches actuellement prises en charge par Ragcar via la commande suivante.

 > >> from ragcar import Ragcar
> >> Ragcar . available_tools ()
"Available tools are ['tokenization', 'sentence_embedding', 'sentence_similarity', 'semantic_search', 'text_generation', 'text_segmentation']"

• Pour voir quels modèles sont pris en charge par la tâche, vous pouvez passer par le processus ci-dessous.

 > >> Ragcar . available_models ( "text_generation" )
'Available models for text_generation are ([src]: openai, [model]: gpt-4-turbo-preview, gpt-4, gpt-3.5-turbo, MODELS_SUPPORTED(https://platform.openai.com/docs/models)), ([src]: clova, [model]: YOUR_MODEL(https://www.ncloud.com/product/aiService/clovaStudio))'

• Lorsque vous souhaitez effectuer une tâche spécifique, vous pouvez mettre le type de modèle dans le nom de l'outil et l'argument src que vous recherchez avant tool .

 > >> from ragcar . utils import PromptTemplate
> >> prompt_template = PromptTemplate ( "사용자: {input} 수도는? n AI:" )

> >> generator = Ragcar ( tool = "text_generation" , src = "openai" , prompt_template = prompt_template , formatting = True )

• Après la création d'objets, il peut être utilisé en passant la valeur d'entrée comme suit. Veuillez vous référer à chaque exemple de tâche dans des exemples.

 > >> generator ( input = "대한민국" )
{
    'id' : 'openai-dad4969f-6f0d-4413-a748-26d05cc0e73d' , 
    'model' : 'gpt-4-turbo-preview' , 
    'content' : '대한민국의 수도는 서울입니다.' , 
    'finish_reason' : 'stop' , 
    'input_tokens' : 23 , 
    'output_tokens' : 15 , 
    'total_tokens' : 38 , 
    'predicted_cost' : 0.0015899999999999998 , 
    'response_time' : 1.0608701705932617
}

️ Comment configurer les variables d'environnement

Certains src nécessitent des variables d'environnement (Ex. Clé API ) qui nécessite la sécurité et la maintenance, et peuvent être définies comme l'une des trois méthodes suivantes:

1. Fichier .env : créez un fichier .env dans la route supérieure du projet et entrez les valeurs de variable d'environnement nécessaires.

2. Exportation: Déclarer les variables d'environnement nécessaires dans le terminal.

 export OPENAI_API_KEY= ' sk-... '

3. Valeur du facteur model : entrez directement la variable d'environnement requise à la valeur du facteur de modèle. ( Appliquez la même chose même si vous devez l'ajouter en plus du model par défaut )

 > >> Ragcar . available_customizable_src ( "text_generation" )
"Available customizable src for text_generation are ['clova', 'openai']"

> >> Ragcar . available_model_fields ( "clova" )
'Available fields for clova are ([field]: model_n, [type]: str), ([field]: api_key, [type]: str), ([field]: app_key, [type]: str)' 

 > >> generator = Ragcar (
    tool = "text_generation" , 
    src = "clova" , 
    model = {
        "model_n" : "YOUR_API_URL" , 
        "api_key" : "YOUR_APIGW-API-KEY" ,
        "app_key" : "YOUR_CLOVASTUDIO-API-KEY"
    }, 
    prompt_template = prompt_template , 
    formatting = True
)
> >> generator ( input = "대한민국" )
{
    'id' : 'clova-3c241fa1-f01e-4738-b208-5bcb35daad42' ,
    'model' : 'HCX-003' ,
    'content' : '대한민국 수도는 서울입니다.' ,
    'finish_reason' : 'stop_before' ,
    'input_tokens' : 12 ,
    'output_tokens' : 8 ,
    'total_tokens' : 20 ,
    'predicted_cost' : 0.6 ,
    'response_time' : 0.7090704441070557 ,
    'ai_filter' : []
 }

• Veuillez vérifier des exemples pour des moyens plus détaillés!

️ Notes sur l'utilisation Tool Text_generation

1. Avis de predicted_cost

predicted_cost est calculé différemment en fonction de l'API utilisée lors de l'utilisation de l'outil Text_generation . Pour OpenAI, predicted_cost est calculé par le dollar (USD) , et Clova est calculé comme l'original (KRW) . En effet, le système de facturation de chaque service est différent. Des informations de charge spécifiques en fonction du modèle actuel peuvent être trouvées dans le fichier Base.py.

2. Précautions lors de l'utilisation de Naver Hyperloba

Lorsque vous utilisez Text_generation tool avec CLOVA src , faites attention aux modifications qui ont été modifiées par rapport à un paramètre officiel:

• Changement de nom de paramètre :

  • Veuillez utiliser presence_penalty au lieu de top_k .
  • Veuillez utiliser frequency_penalty au lieu de repeat_penalty .

• Plage de valeurs de paramètre :

  • 0.0 < temperature < 1.0
  • 0.0 < top_p < 1.0
  • 0 < presence_penalty < 128
  • 0.0 < frequency_penalty < 10.0

️ Comment télécharger le modèle Google Drive

Exemple de phrase_embedding

Documentation

Si vous avez des questions ou des opinions, veuillez laisser un problème.

Reconnaissance

• pororo

 @misc { pororo ,
  author       = { Heo, Hoon and Ko, Hyunwoong and Kim, Soohwan and
                  Han, Gunsoo and Park, Jiwoo and Park, Kyubyong } ,
  title        = { PORORO: Platform Of neuRal mOdels for natuRal language prOcessing } ,
  howpublished = { url{https://github.com/kakaobrain/pororo} } ,
  year         = { 2021 } ,
}

• Transformateurs de phrase

 @inproceedings { reimers-2019-sentence-bert ,
    title = " Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks " ,
    author = " Reimers, Nils and Gurevych, Iryna " ,
    booktitle = " Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing " ,
    month = " 11 " ,
    year = " 2019 " ,
    publisher = " Association for Computational Linguistics " ,
    url = " https://arxiv.org/abs/1908.10084 " ,
}