หน้าแรก>การเขียนโปรแกรมที่เกี่ยวข้อง>ซอร์สโค้ดอื่น ๆ
ดาวน์โหลด


โลโก้
โครงการวันเสาร์

กล่องเครื่องมือสำหรับการคำนวณเสียงที่สร้างขึ้นด้วย pion, whisper.cpp และ coqui tts สร้างจาร์วิสที่เป็นโฮสต์ส่วนตัวของคุณเองขับเคลื่อนโดย WebRTC

ดูการสาธิต•การเริ่มต้นใช้งาน•คุณสมบัติการร้องขอ•

สารบัญ

  1. เกี่ยวกับโครงการ
    • มันทำงานอย่างไร
    • แผนผัง
  2. เริ่มต้น
    • ข้อกำหนดเบื้องต้น
  3. แผนงาน
  4. ความไม่ลงรอยกัน
  5. สร้างขึ้นด้วย
  6. ข้อบกพร่อง
  7. การบริจาค
  8. ใบอนุญาต
  9. สนับสนุนฉัน
  10. ติดต่อฉัน

เกี่ยวกับโครงการ

Project Saturday เป็นกล่องเครื่องมือสำหรับการคำนวณแกนนำ มันมีเครื่องมือในการสร้างอินเทอร์เฟซเสียงร้องที่สง่างามไปยัง LLM ที่ทันสมัย เป้าหมายของโครงการนี้คือการส่งเสริมชุมชนของบุคคลที่มีใจเดียวกันที่ต้องการนำเทคโนโลยีที่เราได้รับการสัญญาไว้ในภาพยนตร์ไซไฟมานานหลายทศวรรษ มันมีจุดมุ่งหมายที่จะเป็นโมดูลสูงและยืดหยุ่นในขณะที่ยังคงแยกจากรุ่น AI ที่เฉพาะเจาะจง สิ่งนี้ช่วยให้การอัพเกรดอย่างราบรื่นเมื่อเปิดตัวเทคโนโลยี AI ใหม่

มันทำงานอย่างไร

โครงการวันเสาร์ประกอบด้วยเครื่องมือ เครื่องมือเป็นสิ่งที่เป็นนามธรรมที่ห่อหุ้มส่วนที่เฉพาะเจาะจงของสแต็กการคำนวณเสียง มี 2 ​​โครงสร้างหลักที่ประกอบด้วยเครื่องมือ:

  • เครื่องยนต์ - เครื่องยนต์ห่อหุ้มฟังก์ชั่นเฉพาะของโดเมนของเครื่องมือ ตรรกะนี้ควรยังคงเหมือนเดิมโดยไม่คำนึงถึงแบ็กเอนด์การอนุมานที่ใช้ ตัวอย่างเช่นในกรณีของเครื่องมือ STT เครื่องยนต์มีอัลกอริทึมการตรวจจับกิจกรรมเสียงพร้อมกับตรรกะบัฟเฟอร์ที่กำหนดเอง สิ่งนี้ช่วยให้แบ็คเอนด์สามารถเปลี่ยนแปลงได้อย่างง่ายดายโดยไม่จำเป็นต้องเขียนโค้ดอีกครั้ง

  • แบ็กเอนด์ - แบ็กเอนด์คือสิ่งที่ใช้จริงในการอนุมาน AI โดยปกติจะเป็นเสื้อคลุมบาง ๆ แต่ช่วยให้มีความยืดหยุ่นและง่ายขึ้นในการอัพเกรด แบ็กเอนด์สามารถเขียนไปยังอินเทอร์เฟซกับเซิร์ฟเวอร์ HTTP เพื่ออนุญาตให้ใช้ภาษาที่ง่าย

โครงการนี้มีเครื่องมือหลัก 3 ชนิด เครื่องมือหลัก 3 ตัวคือ STT, TTT และ TTS

STT (คำพูดเป็นข้อความ)

เครื่องมือ STT เป็นหูของระบบและทำการอนุมานการพูดกับข้อความเกี่ยวกับเสียงที่เข้ามา

TTT (ข้อความเป็นข้อความ)

เครื่องมือ TTT เป็นสมองของระบบและทำการอนุมานข้อความเป็นข้อความเมื่อเสียงถูกแปลงเป็นข้อความ

TTS (ข้อความเป็นคำพูด)

เครื่องมือ TTS เป็นปากของระบบและทำการอนุมานการพูดข้อความบนข้อความที่พิสูจน์โดยเครื่องมือ TTT

แผนผัง

นี่คือแผนภาพของวิธีการสาธิตหลักในปัจจุบัน

แผนภาพการสาธิตวันเสาร์

เริ่มต้น

การสาธิตที่มาใน repo นี้เป็นจาร์วิสที่เป็นส่วนตัวของคุณเองเหมือนผู้ช่วย

ข้อจำกัดความรับผิดชอบ : ฉันได้ทดสอบสิ่งนี้ในโปรเซสเซอร์ M1 Pro และ Max เท่านั้น เรากำลังทำการอนุมานในท้องถิ่นเป็นจำนวนมากดังนั้นการสาธิตต้องใช้กำลังการประมวลผลค่อนข้างน้อย ไมล์สะสมของคุณอาจใช้ระบบปฏิบัติการและฮาร์ดแวร์ที่แตกต่างกัน หากคุณพบปัญหาโปรดเปิดปัญหา

เพื่อที่จะเรียกใช้การสาธิตมีข้อกำหนดล่วงหน้าบางอย่าง

ข้อกำหนดเบื้องต้น

เพื่อที่จะเรียกใช้การสาธิต, Golang, Python, Make และผู้ป่วย C เป็นสิ่งจำเป็น

มี 3 กระบวนการที่ต้องใช้สำหรับการสาธิต:

  • RTC - เซิร์ฟเวอร์ RTC โฮสต์หน้าเว็บและเซิร์ฟเวอร์ WEBRTC เซิร์ฟเวอร์ WebRTC คือสิ่งที่คุณเชื่อมต่อเมื่อคุณโหลดหน้าเว็บและเป็นสิ่งที่ไคลเอนต์เชื่อมต่อเพื่อเริ่มฟังเสียงของคุณ
  • ไคลเอนต์ - ลูกค้าเป็นที่ที่เวทมนตร์ทั้งหมดเกิดขึ้น เมื่อเริ่มต้นจะเข้าร่วมเซิร์ฟเวอร์ RTC และเริ่มฟังเสียงของคุณ เมื่อคุณเริ่มพูดมันจะบัฟเฟอร์เสียงที่เข้ามาจนกว่าคุณจะหยุด เมื่อคุณหยุดพูดมันจะเรียกใช้การอนุมาน STT ในเสียงนั้นให้ส่งผ่านไปยังเครื่องมือ TTT เพื่อสร้างการตอบสนองต่อข้อความของคุณจากนั้นส่งผลออกไปยังเครื่องมือ TTS เพื่อเปลี่ยนการตอบกลับเป็นคำพูด มี 2 ​​ห้องสมุดระบบที่จำเป็นในการใช้ไคลเอนต์ pkg-config และ opus บน macOS เหล่านี้สามารถติดตั้งด้วย Brew: 
brew install opus pkg-config
  • TTS - เซิร์ฟเวอร์ TTS เป็นที่ที่ข้อความจากเครื่องมือ TTT ถูกเปลี่ยนเป็นคำพูด ในการสาธิตสิ่งนี้ใช้ coqui tts มีไลบรารีระบบ 2 ห้องที่จำเป็นสำหรับเครื่องมือนี้ mecab และ espeak บน MacOS พวกเขาสามารถติดตั้งด้วย Brew: 
brew install mecab espeak

หมายเหตุ : สำหรับตอนนี้คำสั่งที่คุณเริ่มต้นกระบวนการสำคัญ คุณ ต้อง เริ่มเซิร์ฟเวอร์ RTC และเซิร์ฟเวอร์ TTS ก่อนที่ จะเริ่มไคลเอนต์

1. RTC

จากรูทของโครงการ Run make rtc 

make rtc

2. TTS

การตั้งค่าครั้งแรก : เมื่อคุณเรียกใช้เซิร์ฟเวอร์ TTS เป็นครั้งแรกคุณจะต้องติดตั้งการอ้างอิง พิจารณาใช้สภาพแวดล้อมเสมือนจริงสำหรับสิ่งนี้ 

 cd tts/servers/coqui-tts
pip install -r requirements.txt

จากรูทของโครงการ Run make tts

3. ลูกค้า

ลูกค้าต้องการ whisper.cpp และการใช้ cgo อย่างไรก็ตามสคริปต์ทำควรดูแลสิ่งนี้ให้คุณ

จากรูทของโครงการที่รัน make client 

make client

แผนงาน

การอนุมานในท้องถิ่น

สิ่งสำคัญบนแผนงานตอนนี้คือการอนุมาน TTT เพื่อทำงานในท้องถิ่นด้วยบางสิ่งเช่น llama.cpp ในช่วงเวลาของการเผยแพร่สิ่งนี้ฉันไม่มีอินเทอร์เน็ตที่ยอดเยี่ยมและไม่สามารถดาวน์โหลดน้ำหนักรุ่นที่จำเป็นเพื่อให้ทำงานนี้ได้

ใช้งานง่าย

รายการที่ใหญ่เป็นอันดับสองในแผนงานของฉันยังคงปรับปรุงกระบวนการตั้งค่าและการกำหนดค่าอย่างต่อเนื่อง

อาคารกับวันเสาร์

สิ่งสุดท้ายในแผนงานของฉันคือการสร้างแอปพลิเคชันต่อไปด้วยวันเสาร์ฉันหวังว่าผู้คนจำนวนมากจะสร้างขึ้นพร้อมกับฉันเพราะนี่เป็นวิธีอันดับ 1 ในการปรับปรุงโครงการและเปิดเผยคุณสมบัติใหม่ที่ต้องเพิ่ม

ความไม่ลงรอยกัน

เข้าร่วม Discord เพื่อติดตามข่าวสารล่าสุด!

สร้างขึ้นด้วย

โครงการนี้สร้างขึ้นด้วยแพ็คเกจโอเพนซอร์สต่อไปนี้:

  • การศึกษา
  • Whisper.cpp
  • coqui tts

ข้อบกพร่อง

ฉันมาจากความสมบูรณ์แบบมากและมีข้อบกพร่องที่จะมีข้อบกพร่องและสิ่งที่ฉันมองข้ามในกระบวนการติดตั้ง โปรดเพิ่มปัญหาและอย่าลังเลที่จะเข้าถึงหากมีอะไรไม่ชัดเจน นอกจากนี้เรายังมีความไม่ลงรอยกัน

การบริจาค

การมีส่วนร่วมคือสิ่งที่ทำให้ชุมชนโอเพ่นซอร์สเป็นสถานที่ที่น่าทึ่งในการเรียนรู้สร้างแรงบันดาลใจและสร้าง การมีส่วนร่วมใด ๆ ที่คุณทำ จะได้รับการชื่นชมอย่างมาก

  1. แยกโครงการ
  2. สร้างสาขาคุณสมบัติของคุณ: git checkout -b feature/AmazingFeature
  3. กระทำการเปลี่ยนแปลงของคุณ: git commit -m 'Add some AmazingFeature'
  4. Push to the Branch: git push origin feature/AmazingFeature
  5. เปิดคำขอดึง

ใบอนุญาต

มิกซ์

สนับสนุนฉัน

ถ้าคุณชอบโครงการและต้องการสนับสนุนทางการเงินคุณสามารถซื้อกาแฟให้ฉันได้

ติดต่อฉัน

github @grvydev · twitter @grvydev ·อีเมล [email protected]

ขยาย
ข้อมูลเพิ่มเติม
แอปที่เกี่ยวข้อง
แนะนำสำหรับคุณ
ข้อมูลที่เกี่ยวข้อง ทั้งหมด