หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>ซอร์สโค้ดอื่น ๆ
ดาวน์โหลด

- daisy.py?

Daisy เป็นแพลตฟอร์ม Python ที่ออกแบบมาเพื่อทำงานกับ API แบบจำลองภาษาเช่น GPT-3 และ GPT-4 ของ OpenAI มันมีชุดคลาสและวิธีการที่สามารถใช้ในการพัฒนาโมดูลที่สามารถเพิ่มแบบไดนามิกเพื่อขยายและเพิ่มความสามารถในการใช้เหตุผลของแบบจำลองภาษาขนาดใหญ่ โดยเฉพาะอย่างยิ่งเดซี่รวม "รูปแบบเครื่องมือ" ที่ทำให้เดซี่ใช้ทรัพยากรเพิ่มเติมเช่นการค้นหาเว็บการประมวลผลบริบทการตรวจสอบหน่วยความจำ/การสนทนาการคำนวณและอื่น ๆ

- เริ่มต้น

ติดตั้งแพ็คเกจที่จำเป็น 

 pip install  -r  requirements.txt

อัปเดต config.py ด้วยข้อมูลที่จำเป็นและเปิดใช้งานโมดูลที่ต้องการที่จะโหลด

นอกจากนี้ลองดูที่ไฟล์โมดูลแต่ละไฟล์เพื่อทำความเข้าใจว่าโหลดอย่างไร คุณสามารถทำเองได้! 

 #Modules are loaded in the order they are listed here.
enabled_modules:
- modules.DanPrompt 
#Insert a DAN-like prompt to enable Daisy to "Do Anything Now"

- modules.DaisyPrompt 
#Give Daisy a few extra rules for behaving as a voice assistant

- modules.Daisy 
#Daisy voice assistant front-end

- modules.WebConfigDjango.WebConfigDjango
#Daisy web config tool based on Django

- modules.Dashboard_WebConfigDjango.Dashboard_WebConfigDjango
#Dynamically loaded route (new routes can be loaded through hooks as well)

#TTS Modules (Only the first one is loaded)
- modules.TtsElevenLabs
#TTS from ElevenLabs
- modules.GoogleCloudTTS
#TTS from ElevenLabs
- modules.GoogleTTS
#TTS from Google Translate TTS endpoint

- modules.GoogleScraper
#SerpAPI Google search result scraping tool

- modules.Calculator
#Python eval() to solve solvable expression strings

- modules.WeatherNoaaNl.WeatherNoaaNl
#Natural language to lat/lon weather forecast from NOAA.gov

- Memories
#Retrieve name/summary of all conversations in the sqlite DB

...See configs.yaml  or more configurations...

เรียกใช้เดซี่ (แพลตฟอร์ม) 

 py main.py

- ความสามารถ

เดซี่ยอมรับ "โมดูล" ที่ผู้ใช้พัฒนาขึ้นหลากหลายประเภท โมดูลผู้ช่วยเสียงมาพร้อมกับโครงการเป็น "หลักฐานการพิสูจน์" การกำหนดค่าที่เป็นไปได้และแอพที่สร้างขึ้นโดยใช้เดซี่อาจรวมถึง:

  • เว็บแอพ
  • API การประมวลผลการสนทนา
  • การตีความการมองเห็นคอมพิวเตอร์
  • การเริ่มต้นอิสระ (ด้วยการรับรู้เวลาเดซี่สามารถส่งข้อความหรือรูปแบบเครื่องมือโดยไม่ต้องป้อนข้อมูลผู้ใช้)
  • บริการลูกค้า IVR (ซึ่งอาจมีประสิทธิภาพด้วยรูปแบบเครื่องมือ API ในส่วนหลัง)
  • ความเป็นไปได้ไม่มีที่สิ้นสุดคุณต้องสร้างสิ่งที่คุณต้องการเห็นในโลก แพลตฟอร์มนี้ทำให้ง่ายขึ้น

โปรดจำไว้ว่า: เดซี่ยังอยู่ในระหว่างการพัฒนา มันมีและจะวิวัฒนาการอย่างมีนัยสำคัญในอีกไม่กี่เดือนข้างหน้าในขณะที่ผู้มีส่วนร่วมปรับปรุง functinality โดยการปรับปรุงรหัสแพลตฟอร์ม, โมดูลโมดูลและการพัฒนาโมดูลของตนเอง

? ️บริการ

Daisy ใช้ APIs ต่อไปนี้สำหรับการประมวลผลการสนทนา:

  • รูปแบบภาษา: Openai chatgpt
  • คำพูดเป็นข้อความ (STT): Assemblyai
  • Text-to-Speech (TTS): Elevenlabs (คุณภาพ), Google Cloud TTS (ราคาถูก), Google แปล TTS (ฟรี!)
  • Wake Word (ท้องถิ่น): picovice morcupine
  • API ในท้องถิ่นทางเลือกมีให้บริการและควรใช้แทนกันได้อย่างง่ายดายหากคุณเลือกที่จะใช้ ในบางกรณีพวกเขาสามารถเปลี่ยนเป็นโมดูล ในทุกกรณีอื่น ๆ สามารถเพิ่มเบ็ดโค้ดเพื่อให้สามารถใช้แทนกันได้

- พื้นหลัง

ฉันกระตือรือร้นที่จะสนทนากับ CHATGPT โดยใช้เสียงของฉัน ฉันเคยค้นหาโปรแกรมทุกวันที่สามารถแลกเปลี่ยนระหว่างการจดจำคำพูดและ TTS สำหรับการสนทนาที่เหมือนมนุษย์จริง แต่มันก็ไม่ได้จนกว่าเมื่อเร็ว ๆ นี้ที่ฉันค้นพบ

แน่นอนว่าฉันเริ่มทำสิ่งที่ฉันต้องการในโลก ฉันเริ่มทำงานกับสคริปต์การจดจำเสียงสำหรับ CHATGPT มันเริ่มต้นด้วยคำของ่าย ๆ เช่นการรวมคำขอไปยัง OpenAI API และกำหนดเส้นทางเอาต์พุตการรู้จำเสียงพูด ตั้งแต่นั้นมาโครงการพัฒนาเป็นแพลตฟอร์มสำหรับการสร้างแอพพลิเคชั่นเปิดประตูสำหรับศักยภาพที่ไม่มีที่สิ้นสุด

บางคนยืนยันว่าโมเดลข้อความและ AI ไม่ได้คิด แต่แค่ใช้ฮิวริสติก อย่างไรก็ตามเมื่อเราตรวจสอบตัวเองเราก็เป็นเพียงการรวบรวมพฤติกรรมและการตอบสนองที่เรียนรู้ แม้ว่า GPT อาจไม่สมบูรณ์แบบ แต่ก็เป็นสิ่งสำคัญที่จะต้องไตร่ตรองตัวเองและกำหนดว่าเราดีกว่ามากแค่ไหน

- ความเข้ากันได้

ซอฟต์แวร์นี้ออกแบบมาเพื่อทำงานบน Windows และ Linux

✅ to-do

  • LLMS (API หรือท้องถิ่น) เป็นโมดูล
  • บันทึกและอีเมลบริบท
  • จัดการบริบทการโหลดหรือส่งออกจาก WebConfig
  • ทำความรู้จักกับผู้ใช้ ตัวอย่างเช่นติดตามโปรไฟล์ความมีชีวิตชีวาเพื่อให้คุณสามารถเริ่มถามคำถามเช่น "ภรรยาของฉันจะชอบวันเกิดของเธออย่างไร"
    • ใช้ pyannote.audio เพื่อ diarize ลำโพงและระบุพวกเขาในข้อความ "ผู้ใช้" แต่ละข้อความ
    • ขอให้ AI เปรียบเทียบแต่ละข้อความจากผู้ใช้เฉพาะกับโปรไฟล์บุคลิกภาพของพวกเขาและเพิ่มบิตใหม่หากได้ยินสิ่งใหม่ ๆ
  • สรุปและรีเซ็ตบริบทเมื่อการสนทนาถึงค่าสูงสุดโทเค็น
ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด