Selective_Context

Contexte sélectif pour les LLM

Le contexte sélectif compresse votre invite et votre contexte permet aux LLM (tels que ChatGpt) de traiter 2x plus de contenu. Il est particulièrement utile pour gérer de longs documents et maintenir de longues conversations sans compromettre leurs performances sur diverses tâches!

Ce référentiel contient le code et les données de l'article: compression du contexte pour améliorer l'efficacité de l'inférence des modèles de gros langues.

Mises à jour !!

• 9 octobre 2023 : Ce travail a été accepté pour les principales procédures de l'EMNLP 2023 ?. Le lien papier ci-dessus est la dernière version de conférence. Si vous recherchez la version ARXIV précédente de l'article: déverrouiller les contraintes de contexte de LLMS.

• 6 mai 2023 : Essayez notre démo sur l'espace étreint.

Caractéristiques clés

• Gestion de contexte efficace : le contexte sélectif maximise l'utilité de la longueur du contexte fixe dans les LLM, leur permettant de traiter plus efficacement les documents longs et les conversations prolongées.
• Évaluation de l'informativité : Notre méthode utilise un modèle de langue de base pour calculer l'auto-information pour les unités lexicales (phrases, phrases ou jetons) dans un contexte et l'utiliser pour évaluer leur informativité.
• Évaluation approfondie : nous fournissons des évaluations approfondies du contexte sélectif sur trois sources de données (articles ArXIV, articles de presse de la BBC et transcriptions de conversation) et quatre tâches NLP différentes (résumé, réponse aux questions, reconstruction du contexte original et conversation).

Commencer

Pour commencer, suivez ces étapes:

1. Installez selective-context via PYPI:

    pip install selective-context
   python -m spacy download en_core_web_sm
   

   Si vous traitez chinois, exécutez python -m spacy download zh_core_web_sm .

2. Importer SelectiveContext :

    from selective_context import SelectiveContext
   

3. Compressez votre invite et votre contexte. Le context contient le contexte compressé:

    sc = SelectiveContext(model_type='gpt2', lang='en')
   context, reduced_content = sc(text)
   

4. Vous pouvez également ajuster le rapport de réduction:

    context, reduced_content = sc(text, reduce_ratio = 0.5)
   

5. Si vous préférez essayer avec l'interface Web, essayez notre application Streamlit:

    streamlit run app/app.py
   

   Ou visitez directement notre espace sur Hugging Face Hub.

Structure de code

• selective_context.py : une démo pour effectuer une réduction du contexte à l'aide du contexte sélectif.
• context_manager.py : le module principal pour gérer le contexte et implémentation de l'algorithme de contexte sélectif.
• main.py : le script principal pour exécuter des expériences et évaluer l'efficacité du contexte sélectif.
• qa_manager.py : un module d'assistance pour gérer les tâches de réponse aux questions pendant les expériences.

Expériences

Pour reproduire les expériences du papier:

1. Tout d'abord, vous téléchargez les ensembles de données requis dans les expériences:

 wget https://github.com/liyucheng09/Selective_Context/releases/download/v0.1.0rc1/datasets_dumps.zip
unzip datasets_dumps.zip

2. Vous courez:

 python main.py datasets_dumps/arxiv datasets_dumps/news datasets_dump/conversation <output_path_to_save_results> <num_articles> <HF_model_name_or_path>

Ensemble de données dans le papier

L'ensemble de données utilisé dans le papier peut être trouvé sur:

• Arxiv: hub hf
• BBC News: HF Hub
• Sharegpt.com: HF HUB

Les ensembles de données sont créés par nous-mêmes, donc si vous avez besoin de citation, utilisez simplement la citation de cet outil.

Si vous avez du mal à accéder à Huggingface Hub, téléchargez les données via:

 wget https://github.com/liyucheng09/Selective_Context/releases/download/v0.1.0rc1/data_dumps.zip

Citation

Si vous trouvez ce référentiel utile ou utilisez notre méthode dans vos recherches, envisagez de citer notre article:

 @misc{li2023compressing,
      title={Compressing Context to Enhance Inference Efficiency of Large Language Models}, 
      author={Yucheng Li and Bo Dong and Chenghua Lin and Frank Guerin},
      year={2023},
      eprint={2310.06201},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

La version précédente:

 @misc{li2023unlocking,
      title={Unlocking Context Constraints of LLMs: Enhancing Context Efficiency of LLMs with Self-Information-Based Content Filtering}, 
      author={Yucheng Li},
      year={2023},
      eprint={2304.12102},
      archivePrefix={arXiv},
      primaryClass={cs.CL}
}

Licence

Ce projet est autorisé sous la licence du MIT.