หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>โค้ดแหล่งที่มา AI
ดาวน์โหลด

โครงการ AI Agent: การสกัดข้อมูลอัตโนมัติ

โครงการนี้ใช้ประโยชน์จาก AI Agent สำหรับการสกัดและประมวลผลข้อมูลอัตโนมัติ ระบบอนุญาตให้ผู้ใช้อัปโหลดไฟล์ CSV หรือเชื่อมต่อกับ Google Sheet จากนั้นโต้ตอบกับข้อมูลโดยใช้แบบสอบถามภาษาธรรมชาติ เอเจนต์สร้างรหัส Python ตามแบบสอบถามดำเนินการรหัสเพื่อจัดการข้อมูลและแสดงผลลัพธ์ในรูปแบบต่าง ๆ เช่นตารางพล็อตหรือสตริงหรือขูดข้อมูลที่เป็นประโยชน์สำหรับไฟล์ของคุณ

หนังสือพิมพ์

  • การแนะนำ
  • คุณสมบัติ
  • การติดตั้ง
  • การใช้งาน
  • โครงสร้างโครงการ
  • การจัดการข้อผิดพลาด
  • ใบอนุญาต

คุณสมบัติ

  • การเลือกแหล่งข้อมูล: เลือกระหว่างการอัปโหลดไฟล์ CSV หรือเชื่อมต่อแผ่น Google
  • แบบสอบถามภาษาธรรมชาติ: โต้ตอบกับข้อมูลโดยใช้แบบสอบถามภาษาธรรมชาติ (เช่น "ขอที่อยู่อีเมลของ {Company}")
  • การสร้างรหัสแบบไดนามิก: ระบบสร้างรหัส Python ตามแบบสอบถามซึ่งจะดำเนินการเพื่อจัดการข้อมูล
  • รูปแบบเอาท์พุท: ผลลัพธ์จะแสดงในรูปแบบที่แตกต่างกันเช่นตารางพล็อต (บาร์/พาย) หรือสตริงขึ้นอยู่กับการสืบค้น
  • การจัดการข้อผิดพลาด: การจัดการข้อผิดพลาดที่แข็งแกร่งทำให้มั่นใจได้ว่าการโต้ตอบของผู้ใช้จะราบรื่นแม้ในกรณีที่มีปัญหาเช่นรูปแบบไฟล์ที่ไม่ถูกต้องหรือข้อผิดพลาดในการจัดการข้อมูล

ลิงค์การปรับใช้

  • แอพ Cheatsheet บน Streamlit

การติดตั้ง

ในการเรียกใช้โครงการนี้คุณต้องมี Python 3.7 หรือใหม่กว่า โครงการใช้ไลบรารีของบุคคลที่สามหลายแห่งที่สามารถติดตั้งผ่าน PIP

  • โคลน repo 
    git clone https://github.com/UjjawalGusain/CheatSheet-Langchain-Project.git
    cd Langchain-Web-Agent
  • ติดตั้งการพึ่งพา: สร้างสภาพแวดล้อมเสมือนจริงและติดตั้งไลบรารีที่ต้องการ: 
    python3 -m venv venv
    source venv/bin/activate  # On Windows, use `venvScriptsactivate`
    pip install -r requirements.txt

  • ตั้งค่า Google Sheets API:

    • รับข้อมูลรับรอง Google API ของคุณโดยทำตามขั้นตอนในเอกสารของ Google Sheets API
    • ดาวน์โหลดไฟล์ credentials.json และวางไว้ในไดเรกทอรีรูทของโครงการ

  • เรียกใช้แอปพลิเคชัน: 

    streamlit run dashboard.py

หลังจากเรียกใช้คำสั่งนี้แอปพลิเคชันจะเริ่มต้นและคุณสามารถเข้าถึงได้ผ่านเบราว์เซอร์ของคุณ

API

โครงการนี้ใช้ API หลายรายการเพื่อจัดการการดำเนินงานที่แตกต่างกันรวมถึงการขูดข้อมูลและการโต้ตอบกับโมเดล APIs รวมกันคือ:

  • GROQ API:

    • แบบจำลอง: Llama-3.1-70b-versatile

    • วัตถุประสงค์: GROQ API ใช้ในการโต้ตอบกับแบบจำลองภาษาขนาดใหญ่สำหรับการสร้างการตอบสนองดำเนินการดำเนินการในชุดข้อมูลและการจัดการแบบสอบถามที่ซับซ้อน แบบจำลอง LLAMA-3.1-70B-Versatile ใช้เพื่อการทำความเข้าใจภาษาธรรมชาติที่มีประสิทธิภาพและการสร้างช่วยในการค้นหากระบวนการและสร้างผลลัพธ์ที่สามารถดำเนินการได้

    • การใช้งาน:

      • API ถูกเรียกให้ประมวลผลแบบสอบถามที่เกี่ยวข้องกับข้อมูลรวมถึงการดำเนินการเช่นการสกัดการกรองและการสร้างบทสรุป การตอบสนองจากโมเดลช่วยในการสร้างการดำเนินการที่ใช้กับชุดข้อมูล

      • พรอมต์ที่ใช้สำหรับโมเดลมีโครงสร้างในรูปแบบเฉพาะเพื่อให้แน่ใจว่าการตอบสนองที่ต้องการและหลีกเลี่ยงข้อผิดพลาดระหว่างการดำเนินการ

  • มีดโกน API:

    • วัตถุประสงค์: Scraper API ใช้เพื่อรวบรวมข้อมูลเพิ่มเติมจากแหล่งภายนอกและผนวกข้อมูลนี้เข้ากับชุดข้อมูล

    • การใช้งาน:

      • เมื่อมีการประมวลผลชุดข้อมูลและดำเนินการที่จำเป็นแล้ว API มีดโกนจะช่วยเพิ่มข้อมูลด้วยคอลัมน์เพิ่มเติมที่คัดลอกมาจากทรัพยากรภายนอก สิ่งนี้ทำได้โดยการเพิ่มคอลัมน์ "Scraped" ลงใน DataFrame

การใช้งาน

อัปโหลดข้อมูล:

  • เลือกแหล่งข้อมูลจากแถบด้านข้าง: อัปโหลด CSV หรือเชื่อมต่อ Google ชีต

    • หากอัปโหลด CSV ให้เลือกไฟล์เพื่ออัปโหลด หากเชื่อมต่อกับ Google Sheets ให้ URL ของแผ่นงาน

  • ป้อนแบบสอบถาม:

    • ในพื้นที่หลักของแอพให้ป้อนแบบสอบถามภาษาธรรมชาติในกล่องอินพุต ตัวอย่างเช่น "รับที่อยู่อีเมลของ {Company}"

  • ดูผลลัพธ์:

    • จากการสืบค้นเอเจนต์ AI จะสร้างรหัส Python นำไปใช้กับข้อมูลและส่งคืนผลลัพธ์ ผลลัพธ์สามารถแสดงเป็นตารางแปลงหรือสตริง

ความท้าทายที่พบ

  • การจัดรูปแบบที่รวดเร็วและความซับซ้อน: ความท้าทายที่สำคัญคือการทำให้มั่นใจว่าการแจ้งเตือนที่ส่งผ่านไปยังแบบจำลองนั้นถูกจัดรูปแบบและจัดการอย่างถูกต้องโดยระบบ แบบจำลองที่จำเป็นในการสร้างการตอบสนองที่ถูกต้องตามโครงสร้างและความซับซ้อนของการสืบค้น นอกจากนี้ยังเป็นสิ่งสำคัญในการรักษาความชัดเจนและความสอดคล้องในวิธีการสกัดข้อมูลและนำเสนอต่อผู้ใช้โดยเฉพาะอย่างยิ่งกับการสืบค้นที่ซับซ้อน

  • การจัดการความเสี่ยงด้านความปลอดภัยด้วย LLMS: การใช้ประโยชน์จากแบบจำลองภาษาขนาดใหญ่ (LLMS) แนะนำความเสี่ยงด้านความปลอดภัยที่อาจเกิดขึ้นโดยเฉพาะอย่างยิ่งเกี่ยวกับความเป็นส่วนตัวของข้อมูลและการจัดการข้อมูลที่ละเอียดอ่อน การตรวจสอบให้แน่ใจว่าไม่มีข้อมูลที่เป็นความลับหรือส่วนตัวถูกเปิดเผยโดยไม่ได้ตั้งใจในขณะที่การโต้ตอบกับแบบจำลองนั้นเป็นสิ่งสำคัญในกระบวนการพัฒนา เราต้องใช้การป้องกันเพื่อลดความเสี่ยงเหล่านี้ในขณะที่ใช้ LLMs สำหรับการสร้างรหัสและข้อมูลการประมวลผล

วิดีโอสาธิตของโครงการ:

recording_langchain.1.mp4
ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด