SyntheSearch

‍♂ synthesearch

? ️ผู้เขียน

• โครงการนำ: Phong Cao
• นักพัฒนา AI: Phong Cao
• แบ็กเอนด์: Phong Cao, Hien Hoang
• Frontend: Doanh Phung, Minh Bui

---

- ภาพรวมโครงการ

Synthesearch : เครื่องมือวิจัยอัจฉริยะที่ค้นหาและสังเคราะห์เอกสารที่เกี่ยวข้องมากที่สุดประหยัดเวลานักวิจัยและเพิ่มความเข้าใจ

---

เริ่มต้น

เริ่มต้นเซิร์ฟเวอร์ (แบ็กเอนด์)

1. นำทางไปยังไดเรกทอรีแบ็กเอนด์:

    cd backend

2. ตั้งค่าสภาพแวดล้อมเสมือนจริง:

   python3 -m venv venv

3. เปิดใช้งานสภาพแวดล้อมเสมือนจริง:

    source venv/bin/activate

4. ติดตั้งการพึ่งพา:

   pip install -r requirement.txt

   หมายเหตุ: บน iOS ตรวจสอบให้แน่ใจว่า pywin32 ถูกลบออกจาก requirement.txt . txt

5. เรียกใช้เซิร์ฟเวอร์:

   uvicorn main:app --reload

---

เริ่มไคลเอนต์ (ส่วนหน้า)

1. นำทางไปยังไดเรกทอรีส่วนหน้า:

    cd frontend

2. ติดตั้งการพึ่งพา:

   npm i

3. เริ่มต้นเซิร์ฟเวอร์การพัฒนา:

   npm run dev

---

การแนะนำ

Synthesearch เป็นเว็บแอปพลิเคชันที่ออกแบบมาเพื่อปรับปรุงกระบวนการวิจัยสำหรับนักเรียนและนักวิจัยโดยการค้นหางานวิจัยที่เกี่ยวข้องอย่างมีประสิทธิภาพ นักวิจัยมักใช้เวลาหลายชั่วโมงในการกลั่นกรองเอกสารโดยหวังว่าจะพบการศึกษาที่ตรงกับความสนใจของพวกเขามากที่สุด Synthesearch มีจุดมุ่งหมายเพื่อลดเวลานี้โดยการแนะนำเอกสารที่เกี่ยวข้องมากที่สุดอย่างชาญฉลาดและสร้างการสังเคราะห์เพื่อเปิดเผยว่าการศึกษามีความสัมพันธ์กันอย่างไร

---

แรงบันดาลใจ

แรงบันดาลใจสำหรับ Synthesearch มาจากประสบการณ์ของเราในฐานะนักเรียน ก่อนที่ Hackumass XII สมาชิกในทีมคนหนึ่งพยายามหางานวิจัยเกี่ยวกับแอปพลิเคชันการเรียนรู้ของเครื่องจักรในการตรวจหามะเร็ง กระบวนการค้นหาแหล่งที่มาที่น่าเชื่อถือนั้นเหนื่อยล้าและใช้เวลานานแม้จะมีเครื่องมือค้นหาห้องสมุดที่เหมาะสม ความคับข้องใจนี้เป็นแรงบันดาลใจให้เราพัฒนาเครื่องมือค้นหาที่มีประสิทธิภาพมากขึ้นซึ่งใช้ประโยชน์จากโมเดลภาษาขนาดใหญ่ (LLM) และฐานข้อมูลเวกเตอร์เพื่อทำการวิจัยและสรุปที่เกี่ยวข้องอย่างรวดเร็ว ...

---

เราสร้างโครงการอย่างไร

เราเลือก Python สำหรับปลายด้านหลังเนื่องจากกรอบการทำงานที่กว้างขวางสำหรับการพัฒนา AI DataBricks ใช้เพื่อปรับปรุงท่อเรียนรู้การเรียนรู้ของเครื่องของเรา นี่คือวิธีที่เราเข้าหาการสร้าง Synthesearch:

1. การรวบรวมข้อมูล : เราเริ่มต้นด้วยการขูดข้อมูลจากคอลเลกชันหลักของเอกสารการวิจัยแบบเปิด
2. - Embedding : การใช้ Langchain เราได้ใช้โมเดลขนาดใหญ่ของ OpenAI-embedding-3 ขนาดใหญ่เพื่อแปลงข้อความกระดาษให้เป็น Embeddings เวกเตอร์
3. ที่เก็บข้อมูล : เราใช้ LancingB เป็นฐานข้อมูลเวกเตอร์ของเราจัดเก็บเวกเตอร์ฝังตัวเพื่อการดึงที่รวดเร็วและมีประสิทธิภาพ
4. การสรุปและการสังเคราะห์ : เราใช้โมเดล GPT-4O-MINI ของ OpenAI เพื่อสร้างบทสรุปคำแนะนำและข้อมูลเชิงลึกที่สังเคราะห์
5. Front-end : เราสร้างส่วนต่อประสานผู้ใช้โดยใช้ React.js ด้วยเทมเพลต typeScript ให้ประสบการณ์ที่สะอาดและตอบสนองได้สำหรับผู้ใช้

---

- ความท้าทายต้องเผชิญ

• ปัญหาเวิร์กโฟลว์ GitHub : ความขัดแย้งการร้องขอการดึงบ่อยครั้งทำให้ความคืบหน้าของเราช้าลงเนื่องจากการรวมความขัดแย้ง
• ช่องว่างการสื่อสาร : การสื่อสารผิดพลาดนำไปสู่งานที่ซ้ำกันและความไร้ประสิทธิภาพ

---

- บทเรียนเรียนรู้

โครงการนี้เป็นประสบการณ์การเรียนรู้ที่มีค่า เนื่องจากเป็นโครงการ LLM ครั้งแรกของเราเราได้รับประสบการณ์ในการใช้งานกับ Genai Technologies โดยเฉพาะอย่างยิ่งพลังของฐานข้อมูลเวกเตอร์ เราได้เรียนรู้ถึงความสำคัญของการสื่อสารของทีมที่ชัดเจนและตอนนี้เรามีความเข้าใจที่ลึกซึ้งยิ่งขึ้นเกี่ยวกับ LLM และความสามารถของพวกเขาในการปฏิวัติการดึงข้อมูล

---

สร้างขึ้นด้วย

• - Python (การพัฒนาแบ็กเอนด์)
• - Langchain (ฝัง)
• lancedB (ฐานข้อมูลเวกเตอร์)
• - โมเดล OpenAI GPT (การสรุปและการสังเคราะห์)
• ⚛ทำปฏิกิริยา กับ typeScript (การพัฒนาส่วนหน้า)
• - tailwindcss (สไตล์)
• ⚡ VITE (เครื่องมือ)
• - Databricks (ท่อเรียนรู้ของเครื่อง)

---

- เพิ่มขีดความสามารถของนักวิจัย

ผ่าน Synthesearch เรารู้สึกตื่นเต้นที่จะมีส่วนร่วมในประสิทธิภาพของกระบวนการวิจัยช่วยให้นักวิจัยมุ่งเน้นไปที่ข้อมูลเชิงลึกมากกว่าข้อมูลที่มากเกินไป