xolote

Xolote

Centralisez votre propre matériel de recherche et consultez-le avec la puissance de l'IA et des LLM. Aussi simple que de demander à Chatgpt de vous aider sur vos recherches!

Motivation

En tant que chercheurs de démarrage nous-mêmes, nous avons été confrontés à un problème commun auquel vous avez peut-être également été confronté, même si vous n'êtes pas exactement un chercheur: garder une trace de plusieurs fichiers et autres sources d'informations essentielles à votre travail.

Comment vous souvenez-vous d'une caractéristique particulière de cette contribution spécifique à la littérature actuelle? Dans quel article l'avez-vous lu? Quelle a été la principale source qui a aidé cet auteur à développer son algorithme de roman et comment l'a-t-elle adapté à son problème particulier?

Nous avons pensé à Xolote comme un outil d'IA pour aider les chercheurs avec leur propre matériel et leurs références d'informations, telles que les articles académiques et les articles scientifiques. Plus que de pouvoir répondre à des questions sans contexte comme quel est le sujet principal de ces articles? , nous visons à exploiter le potentiel des modèles de grande langue (LLM), comme le chatppt, et à fournir un puissant outil d'assistance à portée de main pour accélérer et améliorer le processus de recherche très fréquemment trouvé dans le monde universitaire.

Nous savons que dans ce processus, les chercheurs ont leur propre collection de matériel pertinent pour leur sujet. Ils n'ont peut-être pas tout lu, mais connaissent au moins chacune des références et leur contenu. À ce stade, dans l'esprit du chercheur se pose souvent des questions spécifiques liées à des sections particulières de leur travail qui, bien sûr, doivent être citées de manière appropriée, et c'est là que nous voulions un outil intelligent pour aider.

Par exemple, lors de l'écriture de votre article, vous vous demandez peut-être: combien de valeurs ces auteurs ont-ils utilisés dans l'expérience pour calibrer le paramètre alpha de l'algorithme? Et pourquoi cette gamme? Bien sûr, le fait que vous ayez cette question signifie que vous lisez cette section dans l'un de vos articles (et, espérons-le, l'a compris), mais vous ne vous souvenez peut-être pas des détails de cette expérience particulière. Pourquoi perdre du temps à regarder vos dizaines de fichiers alors que vous pouviez simplement demander à une IA de rafraîchir votre mémoire, ou de vous dire où les auteurs ont décrit exactement cela?

Considérez Xolote comme votre Chatgpt personnalisé, qui est déjà formé sur le langage humain, avec le plus d'avoir votre propre matériel de recherche en tant que base de connaissances qu'il peut consulter, interroger, résumer, connecter et organiser en fonction de vos invites.

À titre de note, cela ne vous évite pas de lire réellement vos papiers. La plupart des universitaires, sinon tous, sont d'accord en ce que, quelle que soit la puissance de l'IA, les chercheurs doivent lire leurs sources. Mais cela ne vous empêche pas d'utiliser un simple Ctrl + F qui vous montre un paragraphe que vous savez déjà de quoi il s'agit. Xolote prend cela à un tout nouveau niveau et intelligent, grâce à la capacité actuelle et au potentiel futur de l'IA et des LLM spécialement.

Contexte et origine

Xolote est né comme l'un des projets du Hackmty 2023, le plus grand hackathon d'Amérique latine. Le défi était de créer une nouvelle application d'un moteur de recherche intelligent à l'aide de modèles de grandes langues.

Pendant les 24 heures du hackathon, nous n'avons réussi qu'à terminer une simple démo, qui nous a placés parmi les 10 meilleurs finalistes du concours, sur +100. Nous sommes ravis de voir quelles fonctionnalités nous pouvons montrer à la communauté maintenant que nous avons plus de temps!

- SU Groupe

L'extrémité avant

Dans le cadre du hackathon, nous avons développé une interface utilisateur pour ce projet. Nous prévoyons de l'améliorer et de le publier bientôt.

Démo

Développement local

Pour exécuter ce référentiel dans votre machine locale, vous avez besoin:

• Python 3
  • Nous avons spécifiquement utilisé Python 3.11

Créer un environnement virtuel:

 python -m venv venv

Et l'activer (exemple PowerShell):

 venvScriptsActivate.ps1

Ensuite, exécutez ce qui suit pour installer les packages requis:

pip install - r requirements.txt

Les exigences peuvent changer: pour l'instant, il n'y a aucune garantie de compatibilité avec les anciennes versions du référentiel.

1. Créez un compte AI ouvert et générez une clé API.
   • À moins que vous n'obtiez des crédits gratuits, vous devrez payer pour l'utilisation de l'API. Vérifiez les frais ici.
2. Créez un fichier .env avec votre clé API:

 OPENAI_API_KEY =< your secret key>

4. Mettez vos fichiers PDF dans le répertoire /data/pdfs/ .
5. Exécutez le cahier Jupyter /src/llm/showcase.ipynb avec vos propres questions!