SyntheSearch

‍️ Synthesearch

? ️ Auteurs

• Projet principal: Phong Cao
• Développeur AI: Phong Cao
• Backend: Phong Cao, Hien Hoang
• Frontend: Doanh Phung, Minh Bui

---

? Aperçu du projet

SyntheSearch : Un outil de recherche intelligent qui trouve et synthétise les articles les plus pertinents, faisant gagner du temps aux chercheurs et améliorant les informations.

---

Commencer

Démarrer le serveur (backend)

1. Accédez au répertoire backend:

    cd backend

2. Configurer un environnement virtuel:

   python3 -m venv venv

3. Activez l'environnement virtuel:

    source venv/bin/activate

4. Installez les dépendances:

   pip install -r requirement.txt

   ️ Remarque: Sur iOS, assurez-vous que pywin32 est supprimé de requirement.txt .

5. Exécutez le serveur:

   uvicorn main:app --reload

---

Démarrer le client (frontend)

1. Accédez au répertoire Frontend:

    cd frontend

2. Installez les dépendances:

   npm i

3. Démarrer le serveur de développement:

   npm run dev

---

Introduction

SyntheSearch est une application Web conçue pour rationaliser le processus de recherche pour les étudiants et les chercheurs en localisant efficacement les articles de recherche pertinents. Les chercheurs passent souvent des heures à passer à travers des articles, dans l'espoir de trouver les études qui correspondent le mieux à leurs intérêts. SyntheSearch vise à réduire ce temps en suggérant intelligemment les articles les plus pertinents et en générant une synthèse pour révéler comment les études interagissent, offrant aux utilisateurs un aperçu perspicace qui fait gagner du temps et améliore la compréhension.

---

Inspiration

L'inspiration pour Synthesearch est venue de nos propres expériences en tant qu'étudiants. Avant Hackumass XII, un membre de l'équipe a eu du mal à trouver des documents de recherche sur les applications d'apprentissage automatique dans la détection du cancer. Le processus de localisation des sources crédibles était épuisant et prenant du temps, même avec des outils de recherche de bibliothèque optimisés. Cette frustration nous a inspiré à développer un moteur de recherche plus efficace qui tire parti de modèles de grandes langues (LLM) et de bases de données vectorielles pour faire surface rapidement la recherche et le résumé pertinents ...

---

Comment nous avons construit le projet

Nous avons choisi Python pour le back-end en raison de ses vastes cadres pour le développement de l'IA. Databricks a été utilisé pour rationaliser notre pipeline d'apprentissage automatique. Voici comment nous avons approché Building Synthesearch:

1. Collecte de données : Nous avons commencé par gratter les données de la collecte de base des articles de recherche en libre accès.
2. ? Incorporer : en utilisant Langchain, nous avons implémenté le modèle d'Openai Embedding-3-large pour convertir des textes papier en intégres vectoriels.
3. Stockage : Nous avons utilisé LancedB comme base de données vectorielle, stockant les vecteurs intégrés pour une récupération rapide et efficace.
4. Résumé et synthèse : Nous avons utilisé le modèle GPT-4O-MINI d'OpenAI pour générer des résumés, des suggestions et des idées synthétisées.
5. Front-end : nous avons construit l'interface utilisateur à l'aide de react.js avec un modèle de typeScript, offrant une expérience propre et réactive pour les utilisateurs.

---

? Défis rencontrés

• Problèmes de workflow GitHub : Les conflits fréquents des demandes d'attraction ont ralenti nos progrès en raison des conflits de fusion.
• ETPACES DE COMMUNICATION : Une mauvaise communication a conduit à du travail dupliqué et des inefficacités.

---

? Leçons apprises

Ce projet a été une expérience d'apprentissage inestimable. Comme il s'agissait de notre premier projet LLM, nous avons acquis une expérience pratique avec Genai Technologies, en particulier la puissance des bases de données vectorielles. Nous avons appris l'importance de la communication claire de l'équipe, et nous avons maintenant une compréhension plus approfondie des LLM et de leurs capacités dans la révolution de la récupération de l'information.

---

Construit avec

• ? Python (développement backend)
• ? Langchain (intégration)
• LancedB (base de données vectorielle)
• ? Modèles Openai GPT (résumé et synthèse)
• ⚛️ réagir avec dactylographie (développement frontal)
• ? Tailwindcss (style)
• ⚡ Vite (outillage)
• ? Databricks (pipeline d'apprentissage automatique)

---

? Autoriser les chercheurs

Grâce à SyntheSearch, nous sommes ravis de contribuer à l'efficacité du processus de recherche, ce qui permet aux chercheurs de se concentrer sur les idées plutôt que sur la surcharge d'informations.