UniChat
Version 0.0.9-alpha
中文 | ภาษาอังกฤษ
ไปป์ไลน์สำหรับการสร้างบ็อตแชทออนไลน์และออฟไลน์ใน Unity
ด้วยการเปิดตัว Unity.Sentis เราสามารถใช้โมเดลเครือข่ายประสาทบางส่วนที่รันไทม์รวมถึงรูปแบบการฝังข้อความสำหรับการประมวลผลภาษาธรรมชาติ
แม้ว่าการแชทกับ AI นั้นไม่มีอะไรใหม่ในเกมวิธีการออกแบบการสนทนาที่ไม่เบี่ยงเบนจากความคิดของนักพัฒนา แต่มีความยืดหยุ่นมากขึ้นเป็นจุดที่ยาก
UniChat ใช้เทคโนโลยีการฝัง Unity.Sentis และข้อความเวกเตอร์ข้อความซึ่งช่วยให้ โหมดออฟไลน์ ค้นหาเนื้อหาข้อความตามฐานข้อมูลเวกเตอร์
แน่นอนถ้าคุณใช้โหมดออนไลน์ UniChat ยังมีชุดเครื่องมือโซ่ตาม Langchain เพื่อฝัง LLM และตัวแทนในเกมอย่างรวดเร็ว
ต่อไปนี้เป็นแผนภูมิการไหลของ Unichat ในกล่อง Local Inference เป็นฟังก์ชั่นที่สามารถใช้ออฟไลน์ได้:
manifest.json : {
"dependencies" : {
"com.cysharp.unitask" : " https://github.com/Cysharp/UniTask.git?path=src/UniTask/Assets/Plugins/UniTask " ,
"com.huggingface.sharp-transformers" : " https://github.com/huggingface/sharp-transformers.git " ,
"com.unity.addressables" : " 1.21.20 " ,
"com.unity.burst" : " 1.8.13 " ,
"com.unity.collections" : " 2.2.1 " ,
"com.unity.nuget.newtonsoft-json" : " 3.2.1 " ,
"com.unity.sentis" : " 1.3.0-pre.3 " ,
"com.whisper.unity" : " https://github.com/Macoron/whisper.unity.git?path=Packages/com.whisper.unity "
}
}Unity Package Manager โดยใช้ git url https://github.com/AkiKurisu/UniChat.git public void CreatePipelineCtrl ( )
{
//1. New chat model file (embedding database + text table + config)
ChatPipelineCtrl PipelineCtrl = new ( new ChatModelFile ( ) { fileName = $ "ChatModel_ { Guid . NewGuid ( ) . ToString ( ) [ 0 .. 6 ] } " } ) ;
//2. Load from filePath
PipelineCtrl = new ( JsonConvert . DeserializeObject < ChatModelFile > ( File . ReadAllText ( filePath ) ) )
} public bool RunPipeline ( )
{
string input = "Hello!" ;
var context = await PipelineCtrl . RunPipeline ( "Hello!" ) ;
if ( ( context . flag & ( 1 << 1 ) ) != 0 )
{
//Get pipeline output
string output = context . CastStringValue ( ) ;
//Update history
PipelineCtrl . History . AppendUserMessage ( input ) ;
PipelineCtrl . History . AppendBotMessage ( output ) ;
return true ;
}
} pubic void Save ( )
{
//PC save to {ApplicationPath}//UserData//{ModelName}
//Android save to {Application.persistentDataPath}//UserData//{ModelName}
PipelineCtrl . SaveModel ( ) ;
} รูปแบบการฝังใช้ BAAI/bge-small-zh-v1.5 โดยค่าเริ่มต้นและใช้หน่วยความจำวิดีโอน้อยที่สุด สามารถดาวน์โหลดได้ในรุ่น แต่รองรับภาษาจีนเท่านั้น คุณสามารถดาวน์โหลดรุ่นเดียวกันจาก HuggingFaceHub และแปลงเป็นรูปแบบ ONNX
โหมดการโหลดเป็นตัวเลือก UserDataProvider , StreamingAssetsProvider และ ResourcesProvider หากติดตั้ง Unity.Addressables , AddressableProvider เป็นตัวเลือก
เส้นทางไฟล์ UserDataProvider มีดังนี้:
ResourcesProvider วางไฟล์ในโฟลเดอร์โมเดลในโฟลเดอร์ทรัพยากร
StreamingAssetsProvider วางไฟล์ในโฟลเดอร์โมเดลในโฟลเดอร์ StreamingAssets
ที่อยู่ AddressablesProvider ของคือดังนี้:
Unichat ขึ้นอยู่กับ Langchain C# โดยใช้โครงสร้างโซ่เพื่อเชื่อมต่อส่วนประกอบในซีรีส์
คุณสามารถดูตัวอย่างในตัวอย่างของ Repo
การใช้งานง่าย ๆ มีดังนี้:
public class LLM_Chain_Example : MonoBehaviour
{
public LLMSettingsAsset settingsAsset ;
public AudioSource audioSource ;
public async void Start ( )
{
var chatPrompt = @"
You are an AI assistant that greets the world.
User: Hello!
Assistant:" ;
var llm = LLMFactory . Create ( LLMType . ChatGPT , settingsAsset ) ;
//Create chain
var chain =
Chain . Set ( chatPrompt , outputKey : "prompt" )
| Chain . LLM ( llm , inputKey : "prompt" , outputKey : "chatResponse" ) ;
//Run chain
string result = await chain . Run < string > ( "chatResponse" ) ;
Debug . Log ( result ) ;
}
} ตัวอย่างข้างต้นใช้ Chain เพื่อเรียก LLM โดยตรง แต่เพื่อให้การค้นหาฐานข้อมูลง่ายขึ้นและอำนวยความสะดวกด้านวิศวกรรมขอแนะนำให้ใช้ ChatPipelineCtrl เป็นจุดเริ่มต้นของห่วงโซ่
หากคุณเรียกใช้ตัวอย่างต่อไปนี้ครั้งแรกที่คุณเรียก LLM และครั้งที่สองที่คุณตอบกลับโดยตรงจากฐานข้อมูล
public async void Start ( )
{
//Create new chat model file with empty memory and embedding db
var chatModelFile = new ChatModelFile ( ) { fileName = "NewChatFile" , modelProvider = ModelProvider . AddressableProvider } ;
//Create an pipeline ctrl to run it
var pipelineCtrl = new ChatPipelineCtrl ( chatModelFile , settingsAsset ) ;
pipelineCtrl . SwitchGenerator ( ChatGeneratorIds . ChatGPT ) ;
//Init pipeline, set verbose to log status
await pipelineCtrl . InitializePipeline ( new PipelineConfig { verbose = true } ) ;
//Add system prompt
pipelineCtrl . Memory . Context = "You are my personal assistant, you should answer my questions." ;
//Create chain
var chain = pipelineCtrl . ToChain ( ) . Input ( "Hello assistant!" ) . CastStringValue ( outputKey : "text" ) ;
//Run chain
string result = await chain . Run < string > ( "text" ) ;
//Save chat model
pipelineCtrl . SaveModel ( ) ;
} คุณสามารถติดตามโซ่โดยใช้วิธี Trace() หรือเพิ่มสัญลักษณ์สคริปต์ UNICHAT_ALWAYS_TRACE_CHAIN ในการตั้งค่าโครงการ
| ชื่อวิธี | ประเภทกลับ | คำอธิบาย |
|---|---|---|
Trace(stackTrace, applyToContext) | void | ห่วงโซ่ร่องรอย |
stackTrace: bool | เปิดใช้งานการติดตามสแต็ก | |
applyToContext: bool | ใช้กับเชนย่อยทั้งหมด |
หากคุณมีโซลูชันการสังเคราะห์คำพูดคุณสามารถอ้างอิงถึงการใช้งานส่วนประกอบ TTS ได้หรือไม่
คุณสามารถใช้ AudioCache เพื่อเก็บคำพูดเพื่อให้สามารถเล่นได้เมื่อคุณรับคำตอบจากฐานข้อมูลในโหมดออฟไลน์
public class LLM_TTS_Chain_Example : MonoBehaviour
{
public LLMSettingsAsset settingsAsset ;
public AudioSource audioSource ;
public async void Start ( )
{
//Create new chat model file with empty memory and embedding db
var chatModelFile = new ChatModelFile ( ) { fileName = "NewChatFile" , modelProvider = ModelProvider . AddressableProvider } ;
//Create an pipeline ctrl to run it
var pipelineCtrl = new ChatPipelineCtrl ( chatModelFile , settingsAsset ) ;
pipelineCtrl . SwitchGenerator ( ChatGeneratorIds . ChatGPT , true ) ;
//Init pipeline, set verbose to log status
await pipelineCtrl . InitializePipeline ( new PipelineConfig { verbose = true } ) ;
var vits = new VITSModel ( lang : "ja" ) ;
//Add system prompt
pipelineCtrl . Memory . Context = "You are my personal assistant, you should answer my questions." ;
//Create cache to cache audioClips and translated texts
var audioCache = AudioCache . CreateCache ( chatModelFile . DirectoryPath ) ;
var textCache = TextMemoryCache . CreateCache ( chatModelFile . DirectoryPath ) ;
//Create chain
var chain = pipelineCtrl . ToChain ( ) . Input ( "Hello assistant!" ) . CastStringValue ( outputKey : "text" )
//Translate to japanese
| Chain . Translate ( new GoogleTranslator ( "en" , "ja" ) ) . UseCache ( textCache )
//Split them
| Chain . Split ( new RegexSplitter ( @"(?<=[。！？! ?])" ) , inputKey : "translated_text" )
//Auto batched
| Chain . TTS ( vits , inputKey : "splitted_text" ) . UseCache ( audioCache ) . Verbose ( true ) ;
//Run chain
( IReadOnlyList < string > segments , IReadOnlyList < AudioClip > audioClips )
= await chain . Run < IReadOnlyList < string > , IReadOnlyList < AudioClip > > ( "splitted_text" , "audio" ) ;
//Play audios
for ( int i = 0 ; i < audioClips . Count ; ++ i )
{
Debug . Log ( segments [ i ] ) ;
audioSource . clip = audioClips [ i ] ;
audioSource . Play ( ) ;
await UniTask . WaitUntil ( ( ) => ! audioSource . isPlaying ) ;
}
}
}คุณสามารถใช้บริการคำพูดเป็นข้อความเช่น Whisper.Unity สำหรับการอนุมานในท้องถิ่น?
public void RunSTTChain ( AudioClip audioClip )
{
WhisperModel whisperModel = await WhisperModel . FromPath ( modelPath ) ;
var chain = Chain . Set ( audioClip , "audio" )
| Chain . STT ( whisperModel , new WhisperSettings ( ) {
language = "en" ,
initialPrompt = "The following is a paragraph in English."
} ) ;
Debug . Log ( await chain . Run ( "text" ) ) ;
}คุณสามารถลดการพึ่งพา LLM ได้โดยการฝึกอบรมตัวจําแนกดาวน์สตรีมบนพื้นฐานของโมเดลฝังตัวเพื่อให้งานการจดจำบางอย่างเสร็จสมบูรณ์ในเกม (เช่นตัวจําแนกนิพจน์?)
สังเกต
1. คุณต้องสร้างส่วนประกอบในสภาพแวดล้อม Python
2. ปัจจุบัน Sentis ยังคงต้องการให้คุณส่งออกไปยังรูปแบบ onnx ด้วยตนเอง
แนวปฏิบัติที่ดีที่สุด: ใช้แบบจำลองฝังตัวเพื่อสร้างลักษณะจากข้อมูลการฝึกอบรมของคุณก่อนการฝึกอบรม เฉพาะโมเดลดาวน์สตรีมจะต้องถูกส่งออกหลังจากนั้น
ต่อไปนี้เป็นตัวอย่าง shape=(512,768,20) ของตัวจําแนก Perceptron หลายชั้นที่มีขนาดการส่งออกเพียง 1.5MB:
class SubClassifier ( nn . Module ):
#input_dim is the output dim of your embedding model
def __init__ ( self , input_dim , hidden_dim , output_dim ):
super ( CustomClassifier , self ). __init__ ()
self . fc1 = nn . Linear ( input_dim , hidden_dim )
self . relu = nn . ReLU ()
self . dropout = nn . Dropout ( p = 0.1 )
self . fc2 = nn . Linear ( hidden_dim , output_dim )
def forward ( self , x ):
x = self . fc1 ( x )
x = self . relu ( x )
x = self . dropout ( x )
x = self . fc2 ( x )
return x ส่วนประกอบของเกมเป็นเครื่องมือต่าง ๆ ที่รวมกับฟังก์ชั่นการสนทนาตามกลไกเกมเฉพาะ
statemachine ที่สลับระบุระบุตามเนื้อหาการแชท ปัจจุบันการทำรังนก (substateMachine) ไม่ได้รับการสนับสนุนในปัจจุบัน ขึ้นอยู่กับการสนทนาคุณสามารถข้ามไปยังสถานะที่แตกต่างกันและดำเนินการชุดพฤติกรรมที่สอดคล้องกันคล้ายกับเครื่องสถานะแอนิเมชั่นของ Unity
public void BuildStateMachine ( )
{
chatStateMachine = new ChatStateMachine ( dim : 512 ) ;
chatStateMachineCtrl = new ChatStateMachineCtrl (
TextEncoder : encoder ,
//Input a host Unity.Object
hostObject : gameObject ,
layer : 1
) ;
chatStateMachine . AddState ( "Stand" ) ;
chatStateMachine . AddState ( "Sit" ) ;
chatStateMachine . states [ 0 ] . AddBehavior < StandBehavior > ( ) ;
chatStateMachine . states [ 0 ] . AddTransition ( new LazyStateReference ( "Sit" ) ) ;
// Add a conversion directive and set scoring thresholds and conditions
chatStateMachine . states [ 0 ] . transitions [ 0 ] . AddCondition ( ChatConditionMode . Greater , 0.6f , "I sit down" ) ;
chatStateMachine . states [ 0 ] . transitions [ 0 ] . AddCondition ( ChatConditionMode . Greater , 0.6f , "I want to have a rest on chair" ) ;
chatStateMachine . states [ 1 ] . AddBehavior < SitBehavior > ( ) ;
chatStateMachine . states [ 1 ] . AddTransition ( new LazyStateReference ( "Stand" ) ) ;
chatStateMachine . states [ 1 ] . transitions [ 0 ] . AddCondition ( ChatConditionMode . Greater , 0.6f , "I'm well rested" ) ;
chatStateMachineCtrl . SetStateMachine ( 0 , chatStateMachine ) ;
}
public void LoadFromBytes ( string bytesFilePath )
{
chatStateMachineCtrl . Load ( bytesFilePath ) ;
} public class CustomChatBehavior : ChatStateMachineBehavior
{
private GameObject hostGameObject ;
public override void OnStateMachineEnter ( UnityEngine . Object hostObject )
{
//Get host Unity.Object
hostGameObject = hostObject as GameObject ;
}
public override void OnStateEnter ( )
{
//Do something
}
public override void OnStateUpdate ( )
{
//Do something
}
public override void OnStateExit ( )
{
//Do something
}
} private void RunStateMachineAfterPipeline ( )
{
var chain = PipelineCtrl . ToChain ( ) . Input ( "Your question." ) . CastStringValue ( "stringValue" )
| new StateMachineChain ( chatStateMachineCtrl , "stringValue" ) ;
await chain . Run ( ) ;
}เรียกใช้เครื่องมือตามเวิร์กโฟลว์ที่ทำปฏิกิริยา
นี่คือตัวอย่าง:
var userCommand = @"I want to watch a dance video." ;
var llm = LLMFactory . Create ( LLMType . ChatGPT , settingsAsset ) as OpenAIClient ;
llm . StopWords = new ( ) { " n Observation:" , " n t Observation:" } ;
//Create agent with muti-tools
var chain =
Chain . Set ( userCommand )
| Chain . ReActAgentExecutor ( llm )
. UseTool ( new AgentLambdaTool (
"Play random dance video" ,
@"A wrapper to select random dance video and play it. Input should be 'None'." ,
( e ) =>
{
PlayRandomDanceVideo ( ) ;
//Notice agent it finished its work
return UniTask . FromResult ( "Dance video 'Queencard' is playing now." ) ;
} ) )
. UseTool ( new AgentLambdaTool (
"Sleep" ,
@"A wrapper to sleep." ,
( e ) =>
{
return UniTask . FromResult ( "You are now sleeping." ) ;
} ) )
. Verbose ( true ) ;
//Run chain
Debug . Log ( await chain . Run ( "text" ) ) ; นี่คือแอพบางตัวที่ฉันทำ เนื่องจากมีปลั๊กอินเชิงพาณิชย์บางรุ่นมีเพียงรุ่นสร้างเท่านั้น
ดูหน้าเผยแพร่
ขึ้นอยู่กับ UNICHAT เพื่อสร้างแอปพลิเคชันที่คล้ายกันใน Unity
เวอร์ชันที่เก็บที่ซิงโครไนซ์คือ
V0.0.1-alphaการสาธิตกำลังรอการอัปเดต
ดูหน้าเผยแพร่
มันมีส่วนประกอบพฤติกรรมและเสียงและยังไม่สามารถใช้ได้
Demo ใช้ TavernAI โครงสร้างข้อมูลตัวละครและเราสามารถเขียนบุคลิกของตัวละครการสนทนาตัวอย่างและสถานการณ์การแชทลงในรูปภาพ
หากคุณใช้การ์ดตัวละคร TavernAI คำคิวด้านบนจะถูกเขียนทับ
https://www.akikurisu.com/blog/posts/create-chatbox-in-unity-2024-03-19/
https://www.akikurisu.com/blog/posts/use-nlp-in-unity-2024-04-03/
