rsllm

Rust AI Stream Analyzer Twitch Bot

RSLLM เป็นท่อ AI 100% ในการเกิดสนิมสำหรับรหัสหม้อแปลง/เทนเซอร์ที่ใช้ประโยชน์จากกรอบเทียนจาก HuggingFace มันแสดงถึงวิธีการเขียนโปรแกรมการเขียนโปรแกรมระบบเพื่อการโต้ตอบแบบจำลอง AI และการวิเคราะห์สตรีม มันสามารถทำงานได้ในพื้นที่บน GPUs มันมุ่งเน้นไปที่การสนับสนุนอุปกรณ์ MacOS ที่ติดตั้ง GPU แขน M1/M2/M3 ไปป์ไลน์ AI นี้ได้รับการออกแบบมาสำหรับนักพัฒนาและนักวิจัยที่มีเป้าหมายที่จะรวมโมเดลภาษาขนาดใหญ่ในท้องถิ่น (LLMs) เข้ากับสนิมข้ามความต้องการการพึ่งพาภายนอกและรหัส Python สำหรับแชทบอทและโปรแกรม AI อื่น ๆ ที่สำคัญของมัน RSLLM เน้นการใช้ประโยชน์จาก LLM ในท้องถิ่นสำหรับการสร้างข้อความรูปภาพและการพูดภายในสภาพแวดล้อมที่เป็นสนิมซึ่งนำเสนอชุดคุณสมบัติที่แข็งแกร่งสำหรับการวิเคราะห์สตรีมข้อมูลแบบเรียลไทม์และการสร้างเนื้อหาที่ขับเคลื่อนด้วย AI RSLLM สามารถเรียกใช้บอตแชท Twitch Channell และ NDI Video/Audio พร้อมภาพการแพร่กระจายที่เสถียรและเอาต์พุตคำพูด TTS ผ่านซอฟต์แวร์ที่เข้ากันได้กับ NDI คุณสามารถตั้งค่า OBS เพื่อใช้ฟีด NDI และตั้งค่าช่อง Twitch ของคุณจากนั้นมีการแชทเต็มรูปแบบและการพูด/การสร้างช่องสัญญาณ Twitch ที่ปรับแต่งได้ AI ขับเคลื่อนอย่างเต็มที่คุณสามารถทำให้ลำแสง Twitch ค่อนข้างอัตโนมัติ นอกจากนี้คุณสามารถวิเคราะห์ MPEGTS สตรีมหรือสถิติระบบระบบปฏิบัติการได้เช่นกันหากต้องการคุณสามารถรวมทั้งสองและให้ผู้ใช้แชทแสดงความคิดเห็นและสอบถามสตรีมที่วิเคราะห์ได้อย่างมีประสิทธิภาพ

คุณสมบัติที่สำคัญ

• LLM ท้องถิ่น : ใช้ LLM ที่ใช้สนิมของเทียน, Mistral และ Gemma สำหรับการโต้ตอบ AI โดยตรงและมีประสิทธิภาพจัดลำดับความสำคัญการดำเนินการในท้องถิ่นเพื่อควบคุมพลังเต็มรูปแบบของ MacOS Metal GPU
• เครื่องวิเคราะห์ AI ที่ครอบคลุม : ฝังเครื่องวิเคราะห์ AI ที่มีความซับซ้อนซึ่งสามารถประมวลผลอินพุตและสร้างเอาต์พุตผ่านข้อความเสียงพูดและรูปภาพอำนวยความสะดวกในการไหลของเนื้อหา Ai-Generated อย่างราบรื่น (ทำงานอยู่ระหว่างดำเนินการ)
• การรวมเสียงและคำพูด : วางแผนที่จะรวมกระซิบสำหรับการโต้ตอบที่ขับเคลื่อนด้วยเสียงคล้ายกับ Alexa ช่วยให้ผู้ใช้สามารถสื่อสารกับชุดเครื่องมือโดยใช้คำสั่งเสียงและรับอินพุตข้อความสตรีมมิ่งในการตอบสนอง (คุณสมบัติที่วางแผนไว้)
• การสร้างภาพและเอาต์พุต NDI : รองรับการสร้างภาพจากคำอธิบายข้อความและการส่งออกผ่าน NDI สำหรับแอพพลิเคชั่นที่หลากหลายรวมถึงการสร้างเนื้อหาแบบเรียลไทม์และการออกอากาศ (ในการทดสอบเบต้า)
• การสนับสนุน TTS : Candle ใช้ TTS โดยใช้ metavoice (ค่าเริ่มต้น, WIP), OpenAI TTS API (คุณภาพสูง, เรียลไทม์) และ MIMIC3 TTS API (ท้องถิ่นฟรี) Metavoice ได้รับการปรับให้เหมาะสมสำหรับ GPU โลหะในขณะที่ Openai TTS API สร้างคำพูดพรีเมี่ยมในราคา MIMIC3 TTS API ต้องการการใช้งาน MIMIC3-Server แต่เสนอทางเลือกที่ดีสำหรับ Openai TTS API Mimic3 GitHub
• Twitch Chat Interactive AI : การแชท Twitch แบบรวมสำหรับการโต้ตอบ AI แบบเรียลไทม์ทำให้ผู้ใช้สามารถมีส่วนร่วมกับชุดเครื่องมือผ่านคำสั่งแชทและรับการตอบกลับแบบ AI-Generated
• การสร้างภาพการแพร่กระจายที่เสถียร : รองรับการแพร่กระจายของเทียนหรือเซิร์ฟเวอร์ Automatic111111 API https://github.com/automatic1111/stable-diffusion-webui/

ส่วนประกอบหลัก

การรวมกรอบเทียน

Candle โครงการโดย HuggingFace นำเสนอ LLM ที่เป็นสนิมเช่น Mistral และ Gemma ซึ่งได้รับการปรับให้เหมาะสมสำหรับ GPU โลหะบน MacOS การรวมนี้ช่วยอำนวยความสะดวกในการดำเนินการ LLM ในท้องถิ่นเพื่อให้มั่นใจว่ามีประสิทธิภาพสูงและเวลาแฝงต่ำในการโต้ตอบแบบจำลอง AI

การสนับสนุน OpenAI API สำหรับแบ็กเอนด์เซิร์ฟเวอร์ LLAMA.CPP LLM

ในขณะที่การมุ่งเน้นหลักของ RSLLM คือการใช้งาน LLM ในท้องถิ่น แต่ยังให้การสนับสนุน OpenAI API ทำให้ผู้ใช้สามารถใช้ประโยชน์จากโมเดล AI ภายนอกเมื่อจำเป็น คุณลักษณะนี้ช่วยให้มั่นใจได้ว่าจะมีความหลากหลายและการบังคับใช้ในวงกว้างในโครงการที่ขับเคลื่อนด้วย AI ต่างๆโดยใช้โมเดลที่กำหนดเอง

การวิเคราะห์ AI แบบเรียลไทม์และการสร้างเนื้อหา

RSLLM เก่งในการวิเคราะห์สตรีมข้อมูลแบบเรียลไทม์และสร้างเนื้อหาที่ขับเคลื่อนด้วย AI รวมถึงข้อความรูปภาพและคำพูด มันมีจุดมุ่งหมายเพื่อสร้างแบบจำลองการโต้ตอบแบบไดนามิกที่สามารถแปลงเสียงด้วยเสียงเป็นคำสั่งข้อความสำหรับ LLM และเอาต์พุตที่สร้างขึ้นสามารถสตรีมกลับเป็นเนื้อหาเสียงหรือเนื้อหาภาพ

การติดตั้งและการกำหนดค่า

ข้อกำหนดเบื้องต้น

• ตรวจสอบให้แน่ใจว่ามีการติดตั้งสนิมและสินค้า คู่มือการติดตั้งสนิม
• เป็นการดีที่ระบบ MacOS ที่มีแขน M1/M2/M3 GPU Nvidia อาจใช้งานได้ต้องการใครสักคนที่จะแก้ไขเพราะฉันไม่มี Nvidia GPU
• ไลบรารี NDI สำหรับ OBS NDI การสตรีมการสตรีม นี่เป็นทางเลือก

คู่มือการตั้งค่า

1. โคลนที่เก็บ :

   git clone https://github.com/groovybits/rsllm.git

2. นำทางไปยังไดเรกทอรีโครงการ :

    cd rsllm

3. รวบรวมด้วยการสนับสนุน Metal GPU และการสนับสนุน NDI SDK :

   ./scripts/compile.sh # Script handles NDI SDK dependency and DYLD_LIBRARY_PATH

การกำหนดค่า

• คัดลอก .env.example เป็น .env และปรับแต่งการตั้งค่ารวมถึงคีย์ OpenAI API หากตั้งใจจะใช้โมเดล AI ภายนอก

การใช้งาน

RSLLM ได้รับการออกแบบมาเพื่ออำนวยความสะดวกในการดำเนินงานที่ขับเคลื่อนด้วย AI ที่หลากหลายตั้งแต่การสร้างเนื้อหาที่ใช้ข้อความไปจนถึงการวิเคราะห์สตรีมเครือข่ายและการประมวลผลอินพุตภาพและเสียง คุณสมบัติขั้นสูงเช่นเอาท์พุทเสียง NDI และการประมวลผลอินพุตด้วยเสียงด้วยเสียงอยู่ในการพัฒนาโดยมีวัตถุประสงค์เพื่อเพิ่มความสามารถในการโต้ตอบของชุดเครื่องมือ

คำสั่งตัวอย่าง

• ใช้สคริปต์ในไดเรกทอรี./scripts

  ./scripts/compile.sh # Build RsLLM
  ./scripts/broadcast_personality.sh  # Full command line shown for most features (use personalities in ./personalities dir as an arg)
  ./scripts/mpeg_analyzer.sh # Experimental MpegTS Analyzer mode (WIP)
  ./scripts/mpeg_poetry.sh   # Fun poetry about MpegTS Broadcasting with stream input prompt injection
  ./scripts/system_health.sh # System health status from OS Stats prompt injection 

• ออกอากาศไปยัง OBS ด้วย NDI พร้อมท่อเต็ม :

  ./scripts/broadcast_personality.sh buddha

• การทำงานด้วยสถิติเทียนและระบบปฏิบัติการสำหรับการวิเคราะห์ระบบ AI :

  cargo run --release --features fonts,ndi,mps,metavoice,audioplayer -- 
    --candle_llm gemma 
    --model-id " 2b-it " 
    --max-tokens 800 
    --temperature 0.8 
    --ai-os-stats 
    --sd-image 
    --ndi-images 
    --ndi-audio 
    --system-prompt " You create image prompts from OS system stats health state. " 
    --query " How is my system doing? Create a report on the system health as visual image descriptions. " 

ความสามารถในการส่งออกที่เพิ่มขึ้นและคุณสมบัติที่กำลังจะมาถึง

NDI เอาท์พุทสำหรับภาพและเสียงพูด TTS

RSLLM กำลังเพิ่มขีดความสามารถในการส่งออกเพื่อรวมการรองรับ NDI (อุปกรณ์เชื่อมต่ออุปกรณ์เครือข่าย) สำหรับภาพและเสียง TTS (ข้อความเป็นคำพูด) ซึ่งอำนวยความสะดวกในการสตรีมวิดีโอคุณภาพสูงและความล่าช้าผ่านเครือข่าย IP

• (ไม่บังคับ) การติดตั้ง NDI SDK : สคริปต์ Compile.sh จะดาวน์โหลด libndi.dylib สำหรับคุณ หากต้องการคุณสามารถดาวน์โหลดและติดตั้ง NDI SDK ได้จากที่นี่ SDK นี้มีประโยชน์สำหรับการดูเอาต์พุต NDI และสำรวจเครื่องมืออื่น ๆ
• ขั้นตอนการกำหนดค่า :
  1. เพิ่ม --features ndi ไปยังคำสั่ง Build Cargo เพื่อรวมการสนับสนุน NDI ในงานสร้างของคุณ
  2. เรียกใช้ scripts/compile.sh ซึ่งจะดึง libndi.dylib ที่ทำงานได้ดีที่สุดสำหรับ macOS
  3. เพื่อให้แน่ใจว่าห้องสมุดได้รับการยอมรับอย่างถูกต้องเมื่อสร้างด้วย cargo --features=ndi ตั้งค่าตัวแปรสภาพแวดล้อม DYLD_LIBRARY_PATH :

   export DYLD_LIBRARY_PATH= ` pwd ` : $DYLD_LIBRARY_PATH

• การกำหนดค่าเพิ่มเติม : การเข้าสู่ฮับ HuggingFace ผ่าน CLI สามารถแก้ไขคำเตือนที่มีศักยภาพได้ ดำเนินการ huggingface-cli login เพื่อตรวจสอบสิทธิ์

Metavoice TTS Text to Speech (WIP)

เทียน, กรอบการเกิดสนิมหลักของเราสำหรับการโต้ตอบ LLM ตอนนี้รวมถึง Metavoice, เทคโนโลยีการพูดแบบข้อความเป็นคำพูดที่ก้าวล้ำ (TTS) เมื่อคุณลักษณะนี้ดีขึ้นมันจะช่วยให้ LLM ที่ใช้สนิมบริสุทธิ์, TTI (ข้อความต่อภาพ) และฟังก์ชัน TTS รวมเข้ากับการเพิ่มประสิทธิภาพ GPU โลหะสำหรับ MacOS อย่างราบรื่น

• สถานะการพัฒนา : การรวม metavoice เสร็จสิ้นและได้รับการปรับให้เหมาะสมในเทียนเพื่อให้ตรงกับคุณภาพของการใช้งานอ้างอิง
• ผลประโยชน์ที่คาดการณ์ไว้ : เมื่อได้รับการปรับปรุงอย่างเต็มที่แล้ว Metavoice จะช่วยเพิ่มความสามารถของ Toolkit อย่างมีนัยสำคัญในการสร้างคำพูดที่เหมือนจริงจากข้อความโดยไม่มีค่าใช้จ่ายและมีเวลาแฝงต่ำใน LLM ท้องถิ่น นอกจากนี้ยังจะให้ความสามารถในการยิงหนึ่งครั้งเรียนรู้เสียงจากคลิปเล็ก ๆ และสร้างคำพูดจากมัน สำหรับตอนนี้คุณอาจต้องการใช้ OpenAI สำหรับการสร้างเสียงพูดที่มีคุณภาพ/แบบเรียลไทม์

ภารกิจของ RSLLM คือการวิจัยและสำรวจการใช้งานชุดเครื่องมือที่มีประสิทธิภาพสูงและมีประสิทธิภาพสูงสำหรับการสร้างเนื้อหาและการวิเคราะห์ที่ขับเคลื่อนด้วย AI บน MacOS ใช้ประโยชน์จากศักยภาพของ GPU โลหะและประสิทธิภาพของ Rust

แผนงาน

ลำดับความสำคัญ:

• รักษาประวัติโดยใช้ฐานข้อมูลท้องถิ่น (เช่น SQLite หรือ MongoDB) และป้อนลงใน chroma db สำหรับ RAG
• MPEGTS แชทสำหรับการวิเคราะห์แบบอิสระผ่านข้อมูลสตรีม MPEG-TS ปัจจุบันและประวัติศาสตร์
• ปรับปรุงความล่าช้าของรูปภาพ/TTS และการประสานงานแบบ async ใช้ NDI Pre-Queue สำหรับรูปภาพและเสียงเพื่อให้แน่ใจว่าซิงโครไนซ์และลดเวลาแฝงให้น้อยที่สุด
• ใช้ RAG (Generation Augmented Retrieval) โดยใช้โครเมียมสำหรับการแคชเอกสารและการฝังตัวซึ่งให้บริบท LLM ตามเอกสารเพิ่มเติม
• ผสานการแก้ไข metavoice จากเทียนเมื่อมีให้บริการ (WIP)
• ใช้การรับรู้แฮช (อิง DCT64) สำหรับการพิมพ์ลายนิ้วมือเพื่อตรวจจับการเปลี่ยนแปลงในเฟรมวิดีโอรับรู้และเรียนรู้ลำดับเนื้อหาซ้ำตรวจสอบการหยุดพักเชิงพาณิชย์และตรวจจับการแทรกโฆษณา รวม SCTE-35 และรักษาฐานข้อมูลของเนื้อหาที่พิมพ์ลายนิ้วมือสำหรับการตรวจสอบคุณภาพต่างๆการยืนยันความเที่ยงตรงของการแบ่ง/โลโก้และการตรวจจับการแสดงตน
• เปิดใช้งานโหมด Daemon เพื่อเรียกใช้และฟังคำขอผ่านอินพุต Zeromq และส่งผ่านไปยังเอาต์พุต
• ขยายตัวเลือกสำหรับ LLMS และ OpenAI API

การปรับปรุงในอนาคต:

• ใช้ FFMPEG-NEXT-SYS เพื่อประมวลผลวิดีโอและเสียงแบบเรียลไทม์สำหรับการสร้างเฟรมเสียงและข้อความผ่านวิดีโอรวมถึงการเปลี่ยนวิดีโอและการสร้างวิดีโออารมณ์หรือเรื่องราวที่มีธีม สำรวจความเป็นไปได้ของการรวม LLM กับ FFMPEG
• เพิ่มประสิทธิภาพ MPEGTS Analyzer สำหรับการวิเคราะห์แบบเรียลไทม์ของสตรีม MPEG-TS การรายงานและการตรวจจับปัญหาที่ขับเคลื่อนด้วย AI
• ปรับปรุงการวิเคราะห์เครือข่ายและระบบ
• ใช้ chroma db สำหรับ RAG พร้อมเอกสารเพื่อเพิ่มพรอมต์ด้วยข้อมูลที่เกี่ยวข้อง
• ใช้ Cap'n proto สำหรับการทำให้เป็นอนุกรม, deserialization และการสื่อสารโปรโตคอล Zeromq แบบแยกส่วน
• รวม metamusic สำหรับการสร้างเพลงตามอารมณ์ตามผลลัพธ์
• พัฒนาการสร้างวิดีโอหัวพูดด้วยบริบทเฟรมที่สอดคล้องกันเพื่อให้มั่นใจว่าวัตถุยังคงเหมือนเดิมภายในเฟรม
• ใช้คำพูดเป็นข้อความโดยใช้เทียนกระซิบสำหรับอินพุตเสียงการบริโภค LLM และคำบรรยายวิดีโอ
• อนุญาตให้ตัวเลือกอินพุต Freeform สำหรับ LLM เพื่อตีความความตั้งใจของผู้ใช้
• สำรวจการสร้างรหัสแบบไดนามิกใน Python สำหรับงานใหม่เช่นการประมวลผลวิดีโอ (พิจารณาความเสี่ยง)
• ใช้เอาต์พุตซ้ำและหลายรุ่นพร้อมโครงร่างที่นำไปสู่การผ่านหลายครั้งจนกว่าจะถึงผลลัพธ์สุดท้าย
• ใช้คำพูดกับข้อความด้วยเทียนกระซิบสำหรับอินพุตเสียงทำให้สามารถใช้คำสั่งเสียงไปยัง LLM สำหรับ AI การสนทนา

การบริจาค

การบริจาคได้รับการต้อนรับอย่างอบอุ่นโดยเฉพาะอย่างยิ่งในด้านต่าง ๆ เช่นการพัฒนาคุณลักษณะการเพิ่มประสิทธิภาพประสิทธิภาพและเอกสาร ความเชี่ยวชาญของคุณสามารถเพิ่มขีดความสามารถและประสบการณ์ของผู้ใช้อย่างมีนัยสำคัญ

ใบอนุญาต

โครงการนี้ได้รับใบอนุญาตภายใต้ใบอนุญาต MIT ดูไฟล์ใบอนุญาตสำหรับข้อมูลโดยละเอียด

กิตติกรรมประกาศ

• Tandle Rust Transformers/Tensors โดย Huggingface: Candle
• openai สำหรับข้อกำหนด API: openai
• Openai สำหรับการรวม TTS: openai
• Metavoice สำหรับการรวม TTS: Metavoice
• MIMIC3 สำหรับการรวม TTS: MIMIC3
• กระซิบสำหรับการพูดถึงข้อความ: กระซิบ
• Google Gemini LLM: Gemini
• mistral llm: mistral

ผู้เขียน

Chris Kennedy นำการพัฒนาโซลูชั่น AI ที่เป็นนวัตกรรมด้วยชุดเครื่องมือ MacOS Metal GPU Rust LLM กุมภาพันธ์ 2567

เรามุ่งมั่นที่จะผลักดันขอบเขตของการรวม AI ด้วยเทคโนโลยีวิดีโอและอินพุต/เอาต์พุตหลายรูปแบบบนซีพียู MacOS ARM ใน Pure Rust ทำให้มั่นใจได้ว่านักพัฒนาสื่อและนักวิจัยสามารถเข้าถึงเครื่องมือที่มีประสิทธิภาพมีประสิทธิภาพและหลากหลายสำหรับโครงการ AI ที่ขับเคลื่อนด้วย