หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>ซอร์สโค้ดอื่น ๆ
ดาวน์โหลด

Marat - การวิเคราะห์ข้อมูลโดยใช้ตัวแทนที่ใช้ LLM

ภาพ

อะไร

Marat ("MUH-RAH") เป็นเครื่องมือวิเคราะห์ข้อมูลและการสร้างภาพข้อมูลที่อำนวยความสะดวกในการวิเคราะห์ข้อมูลเชิงสำรวจจากข้อมูลเชิงลึกที่ขับเคลื่อนด้วย AI ทั่วไปไปจนถึงการวิเคราะห์เฉพาะหรือการร้องขอการสร้างภาพโดยผู้ใช้

ทำไม

การใช้การวิเคราะห์ข้อมูลในปัจจุบันการใช้ประโยชน์จากการสนทนา AI นั้นเป็นคำถามหลักโดยผู้ใช้แชทด้วยข้อมูลที่เป็นตัวเป็นตน แม้ว่าสิ่งนี้จะมีประโยชน์มาก แต่ฉันเชื่อว่ามันไม่ได้เพิ่มประโยชน์สูงสุดของ AI ในการทำความเข้าใจข้อมูล เรามักจะไม่ดูข้อมูลเชิงลึกและข้อมูลเป็นองค์ประกอบแยกต่างหากที่มีปฏิสัมพันธ์กับในภาษาถิ่น แต่เป็นเครือข่ายความเข้าใจโดยมีข้อมูลเชิงลึกที่เชื่อมโยงเข้าด้วยกันเพื่อสร้างความเข้าใจอย่างถ่องแท้เกี่ยวกับข้อมูลเชิงลึกของข้อมูล โครงการนี้แสดงให้เห็นถึงความพยายามพิสูจน์แนวคิดเพื่อใช้มุมมองการวิเคราะห์นี้ได้ดีขึ้น

ยังไง

MARAT ใช้ Frontend สไตล์ผังงาน NextJS เพื่อแสดงภาพและประสานงานการวิเคราะห์ข้อมูลผ่านตัวแทน Langgraph ที่ใช้ Python Fastapi ใช้เพื่อส่งข้อมูลไปยังฐาน Python ซึ่งการวิเคราะห์จะดำเนินการและส่งกลับไปยัง Frontend NextJS เพื่อให้เห็นภาพและจัดระเบียบ

กรณีการใช้ตัวอย่าง

ไปที่หน้าแดชบอร์ดหลัก (localhost: 3000/แดชบอร์ด) และอัปโหลดไฟล์ข้อมูล CSV ของคุณเมื่อได้รับแจ้ง เมื่อพรอมต์คำถามปรากฏขึ้นคุณสามารถถามคำถามที่เฉพาะเจาะจง (เช่นสร้างการถดถอยเชิงเส้นระหว่างขนาดและค่าใช้จ่าย) หรือคำถามที่กว้าง (เช่นบอกฉันทุกอย่างสิ่งที่ก่อให้เกิดการเปลี่ยนแปลงราคา ฯลฯ ) ในการสร้างรายงานเลือกโหนดที่คุณต้องการรวมและคลิก "สร้างรายงานจากโหนดที่เลือก" รายงานจะถูกสร้างเป็น PDF และสามารถดาวน์โหลดได้ผ่านหน้า /รายงาน

คุณสมบัติ

  • ตัวเลือกการวิเคราะห์ที่หลากหลาย : การวิเคราะห์การถดถอย, การสร้างภาพข้อมูล, การวิเคราะห์คลัสเตอร์ ฯลฯ
  • การสร้างรายงาน : การเลือกโหนดที่คุณสนใจและคลิก "สร้างรีวิวจากโหนดที่เลือก" (รายงานจะปรากฏในหน้า "รายงาน")
  • เค้าโครงโหนด : เลือก "เค้าโครงแนวตั้ง" หรือ "เค้าโครงแนวนอน" เพื่อปรับโหนดที่แทรกโดยอัตโนมัติหรือย้ายไปรอบ ๆ ตามที่คุณต้องการ
  • การตรวจสอบรหัส : เลือกตัวขยาย "การแสดงรหัส" เพื่อเปิดเผยรหัส Python ที่ใช้ในการวิเคราะห์ใด ๆ
  • การส่งออก SVG : หากคุณต้องการบันทึกการวิเคราะห์ที่มองเห็นได้เลือก "ส่งออกไปยัง SVG"

โครงสร้างไฟล์

รหัส NextJS ส่วนหน้าทั้งหมดอยู่ในโฟลเดอร์ 'NextJS' ปัจจุบัน TypeScript ไม่ได้ตั้งค่าในโหมดสคริปต์ แต่ฉันกำลังวางแผนที่จะอัปเดตสิ่งนี้เมื่อมีการเพิ่มการกำหนดค่าทุกประเภทอย่างสมบูรณ์

การกำหนดค่า Langgraph และ Agent สามารถพบได้ในโฟลเดอร์ Backend โดยมีคำจำกัดความของตัวแทนและการกำหนดค่ากราฟที่พบใน Backend-> Api-> agents-> agents.py และ backend-> api-> agent_graph-> graph.py ตามลำดับ การตั้งค่าแบ็กเอนด์ Fastapi อยู่ในแบ็กเอนด์-> api-> test.py โดยมีการประสานงานของการตอบสนอง langgraph ที่พบใน langchain_base-> langchain.py การกำหนดค่าแบบจำลองสามารถพบได้ในไดเรกทอรี Backend-> Api-> Models พรอมต์ทั้งหมดอยู่ในแบ็กเอนด์-> api-> พรอมต์-> พรอมต์

สคีมาและการใช้งานส่วนใหญ่มาจากโครงการนี้ซึ่งยังมีสื่อการเรียนรู้ที่ยอดเยี่ยม

การติดตั้ง

นักเทียบท่า

วิธีที่ง่ายที่สุดในการติดตั้งและเริ่มต้นคือผ่าน Docker คุณสามารถดึงภาพที่สร้างไว้ล่วงหน้าหรือสร้างภาพในเครื่อง

ดึงภาพนักเทียบท่าจาก DockerHub

  1. เพื่อให้ได้ภาพแบ็กเอนด์ NextJs และ Python รุ่นล่าสุด: 
    docker pull nbritt27/marat-agent-data-analysis:frontendv1.0
docker pull nbritt27/marat-agent-data-analysis:backendv1.0
  2. เพื่อเรียกใช้ภาพส่วนหน้า: 
    docker run -p 3000:3000 --name marat-frontend -d marat-agent-data-analysis:frontend
  3. ในการเรียกใช้อิมเมจแบ็กเอนด์คุณจะต้องจัดเตรียมคีย์ OpenAI API ของคุณเอง สามารถทำได้เป็นอาร์กิวเมนต์คำหลัก: 
    docker run -p 8000:8000 --name marat-agent-data-analysis-backend -d 
-e OPENAI_API_KEY=your_api_key 
marat-agent-data-analysis-backend:v1.0

สร้างภาพในพื้นที่

  1. โคลนที่เก็บ 
    git clone https://github.com/nbritt27/marat-agent-data-analysis.git
cd marat-agent-data-analysis
  2. คัดลอก env.example ลงในไฟล์. env ของคุณ 
    cp .env.example .env
  3. แทนที่ตัวแปรสภาพแวดล้อมด้วยปุ่ม API ของคุณ
  4. เขียนภาพท้องถิ่น 
    docker compose up

ทำงานโดยไม่มีนักเทียบท่า

สมมติว่าคุณติดตั้งโหนดแล้ว (โครงการนี้ใช้โหนด 20.12.0): โครงการใช้ส่วนหน้า NextJS โดยพบคำแนะนำการติดตั้ง NextJS ที่ https://nextjs.org/docs/getting-started/installation

  1. ย้ายเข้าสู่ไดเรกทอรี NextJS 

     cd nextjs

  2. ติดตั้งการพึ่งพา NEXTJS และโหนดทั้งหมด 

    npm install
# or
pnpm install

  3. ติดตั้งการพึ่งพา PIP 

    pip install -r ../backend/requirements.txt

  4. เพื่อเรียกใช้โครงการ 

     npm run dev

    หมายเหตุ: หากคุณใช้ Windows และต้องการสร้างรายงานคุณจะต้องดาวน์โหลดตัวติดตั้งสำหรับ wkhtmltopdf https://wkhtmltopdf.org/downloads.html และระบุเส้นทางที่เรียกใช้งานได้ในไฟล์ Env

โครงการนี้ดำเนินการรหัส Python ที่สร้างขึ้น แนะนำให้ใช้โครงการภายในสภาพแวดล้อมหรือคอนเทนเนอร์เสมือนจริง

วิถีโครงการ

ระยะสั้น

  • เปิดใช้งานการจัดเก็บเซสชัน (น่าจะผ่านจุดสิ้นสุดของ Postgres ด้วยการตรวจสอบ NextJS)
  • อัปเดตการกำหนดค่าตัวแทน (ตัวแทนมากขึ้น = ฟังก์ชั่นมากขึ้น) และความเชี่ยวชาญสำหรับการวิเคราะห์บางประเภท
  • ตัวเลือกในการถามคำถามติดตามผลหรือคำขอวิเคราะห์ในโหนดเฉพาะ
  • การรวมตัวกันของผู้ให้บริการ LLM หลายราย (OpenAI เป็นผู้เดียวที่ได้รับการทดสอบอย่างกว้างขวาง)

กลางเดือน

  • ความสามารถสำหรับผู้ใช้ในการเพิ่มโหนดของตนเองด้วยการวิเคราะห์ที่กำหนดเองหรือข้อมูลเชิงลึก
  • รองรับประเภทไฟล์เพิ่มเติม
  • ใช้ระบบ graphrag สำหรับการจัดการข้อมูลข้อความและการวิเคราะห์
  • ห่วงโซ่การให้เหตุผลทางความคิดและการรับรองเมตาสำหรับคำสั่งตัวแทนบางอย่าง

ระยะยาว

  • ความสามารถในการอัปโหลดรายงาน/ต้นฉบับทั้งหมดและแปลงเป็นโฟลว์ที่สามารถแก้ไขได้
  • เครื่องมือในการขยายการวิเคราะห์ที่มีอยู่โดยอัตโนมัติ
  • การรวมเครื่องมือวิจัยเพิ่มเติมเพื่อการวางแผนการวิเคราะห์ที่รวดเร็วและการสร้างต้นฉบับ

ข้อบกพร่องที่รู้จัก

  • ส่วนหน้า
    • บางครั้งหน้าจะโหลดและกล่องโต้ตอบ "เลือกไฟล์" ไม่สามารถใช้งานได้ การรีเฟรชหน้าปกติจะแก้ไขปัญหานี้ได้
    • บางครั้งการส่งไฟล์ที่เลือกจะส่งคืนคุณไปยังตัวเลือก "เลือกไฟล์" เพียงแค่เลือกไฟล์อีกครั้งทำงานเป็นครั้งที่สอง
    • องค์ประกอบข้อความเช่นรหัสและข้อมูลเชิงลึกไม่สามารถถูกเน้นและคัดลอกได้ในปัจจุบัน สิ่งนี้ดูเหมือนจะเป็นปัญหากับองค์ประกอบ DOM บางอย่างที่นำเสนอให้กับเหตุการณ์เมาส์เหนือพวกเขาและฉันกำลังดำเนินการแก้ปัญหา
    • เมื่อจัดการกับตารางบางอย่างการส่งออก SVG จะพบข้อผิดพลาด
  • แบ็กเอนด์
    • ในบางครั้ง LLM coder จะพยายามพิมพ์รูปพล็อตซึ่งจะเพิ่มในรูปแบบข้อความเป็นโหนด
    • ในบางครั้ง LLM Coder จะส่งออกผลลัพธ์กลับไปยังการโทรของตัวเองไปยังจุดสิ้นสุดที่สมบูรณ์ซึ่งมักจะส่งผลให้มีการร้องขอโทเค็นสูงสุด> การใช้งานในปัจจุบันช่วยให้การลองใหม่สูงสุดสามครั้งโดยทั่วไปจะเพียงพอ

มีส่วนร่วม/ติดต่อ

ฉันชอบความช่วยเหลือในการทำงานในโครงการนี้ หากคุณสนใจที่จะช่วยเหลือโครงการหรือมีคำถามหรือข้อสงสัยอื่น ๆ วิธีที่ดีที่สุดในการติดต่อฉันคืออีเมลที่ [email protected]

ใบอนุญาต

โครงการนี้ได้รับใบอนุญาตภายใต้ใบอนุญาต MIT - ดูไฟล์ใบอนุญาตสำหรับรายละเอียด

หากคุณใช้โครงการนี้หรือชุดย่อยใด ๆ โปรดแจ้งให้เราทราบ! ฉันชอบที่จะเห็นสิ่งที่คุณสามารถสร้างได้ :)

ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด