ALP

แอลป์

ภาพรวม

ALP เป็นระบบ AI การสนทนาแบบโอเพนซอร์ซที่มีความรู้ซึ่งสร้างขึ้นเพื่อสร้างคำตอบที่มีรากฐานมาจากข้อมูลที่เกี่ยวข้องจากแหล่งภายนอก -

ALP ช่วยให้คุณสร้างฐานความรู้ขนาดใหญ่ที่สามารถสอบถามได้ในขณะที่มีปฏิสัมพันธ์กับ chatbot การสร้างบริบทที่มีความคล้ายคลึงกันช่วยให้เกี่ยวข้องกับวัสดุที่สกัดจากฐานข้อมูลได้ดีขึ้น chatbot มีหน่วยความจำการสนทนาไม่ จำกัด และความสามารถในการส่งออกการสนทนาและการฝังแหล่งที่มาไปยังรูปแบบ JSON

ALP รักษาประวัติการสนทนาและการฝังตัวในฐานข้อมูล SQLite ท้องถิ่น? ️ เป็นผลให้ต้องใช้กระบวนการอัปโหลดและการฝังเอกสารเพียงครั้งเดียวเท่านั้นทำให้ผู้ใช้สามารถกลับมามีการสนทนาได้อย่างราบรื่น

ALP มีจุดประสงค์เพื่อเรียกใช้ผ่าน LocalHost สิ่งที่คุณต้องการคือ Python และคำสั่งไม่กี่คำสั่งสำหรับการตั้งค่าสภาพแวดล้อม อย่าลังเลที่จะแยกสำรวจรหัสและปรับความต้องการของคุณ?

สารบัญ

• แอลป์
  • สารบัญ
  • การเปลี่ยนแปลง
  • การแนะนำ
  • คุณสมบัติ
  • การติดตั้ง
  • การกำหนดค่า
  • การใช้งาน
  • การสาธิต
  • สิ่งที่ต้องทำ

การเปลี่ยนแปลง

• 20240815-รายการรุ่นอัปเดตเป็น: gpt-4o' , gpt-4o-mini
• 20231226- gpt-4-1106-preview เพิ่มเป็นรุ่นเริ่มต้น ผู้ใช้สามารถเปลี่ยนได้ใน ./lib/params.py ใน prod_model คอลเลกชันการสร้างหน้าการแก้ไขข้อผิดพลาด
• 20230911 - กำหนดพฤติกรรมตัวแทนที่กำหนดเองใน./static/data/simulacra.json และเลือกพวกเขาในเซสชันผู้จัดการจากเมนูแบบเลื่อนลง
• 20230406 - บั๊กแก้ไขที่ป้องกันไม่ให้โปรแกรมเริ่มต้นฐานข้อมูลภายใต้/คงที่/ข้อมูล/dbs/; ข้อกำหนดการแก้ไข txt
• 20230705 - รูปแบบข้อมูลใหม่, Embeddings จาก Sbert
• 20230411 - การอัพเกรดอินเทอร์เฟซการปรับปรุง UX, Bugfixes
• 20230405 - ร้านค้าโปรแกรมประวัติการเข้าร่วม

การแนะนำ

ALP ช่วยเพิ่มความแม่นยำของการตอบสนองของโมเดลที่ใช้ GPT เมื่อเทียบกับเอกสาร PDF ที่กำหนดโดยใช้วิธีการเสริมการดึงข้อมูล วิธีการนี้ทำให้มั่นใจได้ว่าบริบทที่เกี่ยวข้องมากที่สุดจะถูกส่งผ่านไปยังแบบจำลองเสมอ ความตั้งใจที่อยู่เบื้องหลัง ALP คือการช่วยสำรวจฐานความรู้ที่ท่วมท้นของงานวิจัยหนังสือและบันทึกย่อทำให้การเข้าถึงและย่อยเนื้อหาง่ายขึ้น

ขณะนี้ ALP ใช้รุ่นต่อไปนี้:

1. การฝังข้อความ: multi-qa-MiniLM-L6-cos-v1
2. Generation: gpt-4o' , gpt-4o-mini

คุณสมบัติ

• ผู้ช่วยวิจัยการสนทนา : โต้ตอบและรับข้อมูลจากคอลเลกชันของไฟล์ PDF
• หน่วยความจำการสนทนาไม่ จำกัด : เก็บข้อมูลจากการสนทนาก่อนหน้านี้สำหรับการตอบกลับบริบท
• กลับมาที่การสนทนาที่ผ่านมา : รับบทสนทนาของคุณที่คุณจากไป
• โมเดลข้อมูลที่ยืดหยุ่น : อนุญาตให้สนทนากับเอกสารมากกว่าหนึ่งฉบับในหนึ่งเซสชัน
• ใช้โมเดลโอเพ่นซอร์ส : ผู้เปลี่ยนประโยคอนุญาตให้ฝังข้อความที่ไม่มีค่าใช้จ่ายและเร็ว
• สนับสนุนเอกสารยาว : อัปโหลดหนังสือและ PDF ที่มีความยาวอื่น ๆ
• การเสริมการดึงข้อมูล : ใช้เทคนิคการเสริมการดึงเพื่อปรับปรุงความแม่นยำ อ่านเพิ่มเติมที่นี่
• กำหนดพฤติกรรมตัวแทนของคุณเอง : ตั้งข้อความระบบกำหนดตัวแทนของคุณใน./static/data/simulacra.json จากนั้นคุณสามารถปรับรูปแบบ HTML เพื่อเลือกชื่อจากเมนูแบบเลื่อนลงได้อย่างง่ายดาย
• การปรับใช้ในพื้นที่ : หมุน ALP ในเครื่องบนเครื่องของคุณ
• การส่งออก JSON : การสนทนาส่งออกเป็นไฟล์ JSON
• โอเพ่นซอร์ส : รหัสเป็นของคุณในการอ่านทดสอบและทำลายและสร้าง

การติดตั้ง

หากต้องการตั้งค่า ALP บนเครื่องในพื้นที่ของคุณให้ทำตามขั้นตอนเหล่านี้:

1. ติดตั้ง Python:

ตรวจสอบให้แน่ใจว่าคุณติดตั้ง Python บนเครื่องของคุณแล้ว ฉันแนะนำ Anaconda สำหรับการตั้งค่าที่ง่าย

Important: ALP runs on Python 3.10

2. ส้อมและโคลนที่เก็บ:

หลังจาก forking repo clone มันในบรรทัดคำสั่ง:

git clone https://github.com/yourusername/alp.git 
cd ALP

3. สร้างสภาพแวดล้อมเสมือนจริงและเปิดใช้งาน:

จากภายใน ALP/ ไดเรกทอรีท้องถิ่นเรียกใช้คำสั่งต่อไปนี้

สำหรับผู้ใช้ Linux ใน Bash:

python3 -m venv venv
source venv/bin/activate

สำหรับผู้ใช้ Windows ใน CMD:

 python -m venv venv
venvScriptsactivate.bat

สิ่งนี้ควรสร้าง ALP/ VENV/ DIRECTORY และเปิดใช้งานสภาพแวดล้อมเสมือนจริง โดยธรรมชาติคุณสามารถใช้โปรแกรมอื่น ๆ เพื่อจัดการ VirtualEnvs

4. ติดตั้งการพึ่งพาที่จำเป็นสำหรับสภาพแวดล้อมเสมือนจริง:

pip install -r requirements.txt

การกำหนดค่า

โดยค่าเริ่มต้น ALP ทำงานใน localhost ต้องใช้คีย์ API ในการเชื่อมต่อกับรุ่น GPT ผ่าน Open AI API ใน ALP/ Directory สร้าง api_key.txt และวางคีย์ API ของคุณที่นั่น ตรวจสอบให้แน่ใจว่า api_key.txt ถูกเพิ่มลงในไฟล์. gitignore ของคุณดังนั้นจึงไม่รั่วไหลไปยัง gitHub คุณสามารถรับคีย์ Open AI API ได้ที่นี่ https://platform.openai.com

การใช้งาน

5. เรียกใช้แอปพลิเคชัน ALP:

python alp.py

6. เข้าถึงแอปพลิเคชัน:

แอพควรเปิดในเว็บเบราว์เซอร์เริ่มต้นของคุณ หากไม่เป็นเช่นนั้นให้ไปที่ http: // localhost: 5000 การใช้งานครั้งแรกเกี่ยวข้องกับการสร้างไฟล์ app.db ภายใต้ ALP/Static/data/dbs/ นี่คือไฟล์ฐานข้อมูล SQLite ของคุณที่จะเก็บประวัติการสนทนาและการฝังตัว นอกจากนี้สคริปต์จะดาวน์โหลด 'Multi-Qa-Minilm-L6-COS-V1' (80 MB) ไปยังพีซีของคุณจากการกอดที่เก็บหน้า มันจะเกิดขึ้นโดยอัตโนมัติในการเปิดตัวครั้งแรก

7. เริ่มใช้ ALP:

ส่วนต่อประสานแอพ ALP ประกอบด้วยสองส่วน:

• ฮับช่วยให้คุณสร้างคอลเลกชันใหม่ภายใต้ 'คอลเลกชัน' หรือสร้าง/ดำเนินการสนทนาต่อภายใต้ 'เซสชัน'
• Collections Manager: สร้างคอลเลกชันใหม่โดยระบุชื่อและอัปโหลดไฟล์ PDF
• ผู้จัดการเซสชัน:
  • ดำเนินการต่อเซสชันที่มีอยู่โดยเลือกจากดรอปดาวน์และกด 'เริ่มต้น'
  • สร้างเซสชันใหม่ที่นั่นด้วยการกำหนดชื่อและเลือกคอลเลกชันที่เชื่อมโยงกับเซสชัน
  • เลือกบทบาทตัวแทนที่กำหนดไว้ล่วงหน้าสำหรับการสนทนา ใช้งานได้สำหรับการแชททางประวัติศาสตร์
• หน้าต่างเซสชัน: พูดคุยกับรุ่น GPT ผ่านคอลเลกชันที่เชื่อมโยงกับเซสชัน ทุกครั้งที่มีการคำนวณคะแนนความคล้ายคลึงกันระหว่างการสืบค้นของผู้ใช้และการฝังตัวของคอลเลกชันรายการข้อมูลที่คล้ายกันที่สุดจะถูกพิมพ์ในคอนโซลของโปรแกรม แหล่งข้อมูลเหล่านี้จะถูกส่งผ่านเป็นบริบทที่มีคำถามของผู้ใช้ไปยังโมเดล GPT

ภาพหน้าจอ

สิ่งที่ต้องทำ

• อนุญาตให้ผู้ใช้สนทนาต่อไปในเซสชันอื่นต่อไป
• บันทึกประวัติการแชทในตารางแยกต่างหาก
• อัปโหลดเอกสารลงในตารางบริบท
• อนุญาตให้ผู้ใช้เลือกบริบทสำหรับการสนทนาหรือดำเนินการต่อไปก่อนหน้านี้
• ใช้แบบจำลองการฝังทางเลือก (การเปลี่ยนประโยค)
• อนุญาตให้ผู้ใช้อัปโหลดเอกสารมากกว่าหนึ่งฉบับ
• แยกข้อมูลการสนทนาจากข้อมูลการรวบรวม
• ใช้การเปลี่ยนประโยคสำหรับการฝังข้อความ
• แสดงแหล่งข้อมูลที่ใช้โดยตัวแทนสำหรับคำตอบ
• แนะนำตัวแทนต่าง ๆ ใน Chatbot
• ผู้ใช้สามารถลบการประชุมที่ไม่ต้องการออกจากฐานข้อมูล
• เมนูการตั้งค่าส่วนกลาง (ปัจจุบันอยู่ใน params.py)
• ผู้ใช้สามารถอัปโหลดข้อความจากแหล่งอื่นนอกเหนือจาก PDF
• ปรับปรุงการออกแบบ GUI
• เพิ่ม Whisper สำหรับข้อความเสียง