Real Agents
v1.0.0
中文 | 영어
실제 에이전트는 전통적인 인공 지능 방법과 LLM (Largin Language Model) (LLM)을 결합하고 생성 AI 에이전트에 적합한 계획 프레임 워크입니다. Unity 플러그인 및 데모 프로젝트가 포함되어 있습니다.
이 프로젝트의 개발 이유는 학부 논문 (디자인)과 게임 AI에 대한 개인적인 관심을 완성하기 때문입니다.
대형 언어 모델은 추론, 의사 결정 및 계획 문제를 수행 할 수 있습니다. 우리는 이미 사용자가 문서 검색 및 웹 페이지 만들기와 같은 일부 도구를 운영하는 데 도움이되는 많은 성숙한 에이전트 프레임 워크를 가지고 있습니다.
그러나 게임에서 구현할 때 몇 가지 문제가 있다고 생각합니다.
디버그하기 어렵다 : 동작 실행이 LLM에 의존하는 경우, 에이전트 사용이 어려워지고 에이전트 예외를 처리하는 방법을 가져옵니다.
느린 응답 : 예를 들어 게임의 상태가 변경되면 신속한 단어와 컨텍스트를 재구성해야 할 수도 있습니다. NPC가 생성 AI와 같은 계획을 생성하도록하면 LLM이 생성 될 때까지 기다리는 데 많은 시간이 걸리며 실시간 게임에는 적용 할 수 없습니다.
따라서 전통적인 AI 방법을 기반으로 LLM을 만들려고 노력했으며, 상태 수량과 동작 간의 관계를 이해함으로써 에이전트가 계획 할 수있게하는 반면, 행동 실행 및 상태 모니터링은 프로그램에 의해 완료되며 에이전트는 상태가 변경 될 때만 계획 조치를 유발할 것입니다. .
{
"dependencies" : {
"com.cysharp.unitask" : " https://github.com/Cysharp/UniTask.git?path=src/UniTask/Assets/Plugins/UniTask " ,
"com.huggingface.sharp-transformers" : " https://github.com/AkiKurisu/sharp-transformers.git " ,
"com.kurisu.akiai" : " https://github.com/AkiKurisu/AkiAI.git " ,
"com.kurisu.akibt" : " https://github.com/AkiKurisu/AkiBT.git " ,
"com.kurisu.akiframework" : " https://github.com/AkiKurisu/AkiFramework.git " ,
"com.kurisu.akigoap" : " https://github.com/AkiKurisu/AkiGOAP.git " ,
"com.kurisu.unichat" : " https://github.com/AkiKurisu/UniChat.git "
}
}릴리스 페이지에서 Windows 빌드 버전을 다운로드하십시오
먼저 LLM을 사용하여 GOAP 데이터를 기반으로 작업 및 목표를 레이블을 지정하십시오.
에이전트와 플래너가 런타임 동안 World States (Worldstates)를 기반으로 계획을 생성하고 검색 할 수 있도록하십시오.
계획을 비교하십시오. LLM은 메모리를 반영하고 반복합니다.
그런 다음 플래너를 닫고 에이전트가 계획을 생성하도록 할 수 있습니다.
먼저 개발자는 실행 가능한 조치 세트 ( ActionSet )와 Goal Set ( GoalSet )을 정의합니다.
각 행동은 GOAP 규칙을 기반으로하며 전제 조건 Precondition 과 효과 Effect 가 있습니다.
public class Eat : DescriptiveTask
{
protected sealed override void SetupDerived ( )
{
Preconditions [ States . HasFood ] = true ;
Preconditions [ States . IsHungry ] = true ;
}
protected sealed override void SetupEffects ( )
{
Effects [ States . IsHungry ] = false ;
}
} 둘째, 대형 언어 모델에 대한 입력 Action 에이전트의 행동에 대한 초기 인상 ( InitialImpression ) 및 장기 메모리 ( Summary )로 자연어로 요약하고 단기 기억 ( Comments )을 비워 두십시오.
"Name" : " Cook " ,
"InitialImpression" : " To Cook, you need to have energy and ingredients, and as a result, you will have food. " ,
"Summary" : " Latest summary " ,
"Comments" : [
" " ,
" " ,
" " ,
" " ,
" "
] 대형 언어 모델에 대한 입력 Goal 와 LLM이 목표 사용에 대한 설명 ( Explanation )으로 자연 언어를 생성하도록합니다. 그것들을 결합하여 세트 G의 해석을 얻습니다.
Real Agents에서는 RealAgentSet 편집기에서 Self Description 직접 클릭하여 위의 데이터를 생성 할 수 있습니다.
에이전트 모드 ( AgentMode )를 조정하고 Training 으로 설정하십시오.
이 시점에서 실행되는 Plan 플래너가 검색하고 에이전트는 동시에 Plan 생성합니다. 행동에 차이가있는 경우 LLM은 그 이유를 반영하고 단기 기억으로 Comment 생성합니다.
단기 메모리가 임계 값에 도달하면 에이전트는 초기 인상, 주석 및 현재 장기 메모리를 기반으로 요약하고 장기 메모리를 덮어 쓰고 반복합니다.
외부의 목표 입력에 따라 에이전트 이유는 가상 공간에서 실시간으로 이유를 실시간으로합니다.
LLM은 각 행동에 대한 자체 기억에 따라 적절한 Plan 찾습니다. 플래너 비교가 없기 때문에 Plan 실현 가능한지 여부 만 결정합니다. 그렇지 않은 경우 LLM은 ( Comment )를 생성하여 메모리에 주입합니다.
실험은 OpenAI의 ChatGpt3.5를 추론 모델로 사용합니다. 게임 설정 인터페이스에서 자신의 API 키를 작성해야합니다.
MIT
VRM 모델은 개인 저자의 라이센스 명세서를 참조하십시오.
다각형 판타지 왕국은 유료 자산입니다.
https://assetstore.unity.com/packages/3d/environments/fantasy/polygon-fantasy-kingdom-low-poly-3d-art-synty-164532
예제 장면은 절차 세계에서 생성 된 장면 최적화에 의해 최적화됩니다.
LowPoly 환경은 AssetStore에서 무료로 다운로드 할 수 있습니다.
https://assetstore.unity.com/packages/3d/environments/lowpoly-environment-nature-medieval-fantasy-series-187052
열 - 완전한 현대 UI는 유료 자산입니다.
https://assetstore.unity.com/packages/2d/gui/heat-complete-modern-ui-264857
Gui-Casualfantasy는 유급 자산입니다.
https://assetstore.unity.com/packages/2d/gui/gui-casual-fantasy-265651
Unity Chan Animation은 Unity Technology Japan과 UC2 라이센스에 따라 소유됩니다.
중세 애니메이션 메가 팩은 유료 자산입니다.
https://assetstore.unity.com/packages/3d/animations/medieval-animations-mega-pack-12141
Unity Starter Asset은 Unity Companion 라이센스 아래에 있으며 AssetStore에서 무료로 다운로드 할 수 있습니다.
https://assetstore.unity.com/packages/essentials/starter-assets-thirdperson-updates-in-new-charactercontroller-pa-196526
UnivRM은 MIT 라이센스에 있습니다.
https://github.com/vrm-c/univrm
Akiframework는 MIT 라이센스 아래에 있습니다.
https://github.com/akikurisu/akiframework
데모에 사용되는 다른 애니메이션, 음악, UI 및 글꼴 리소스는 네트워크 리소스이며 상업적 목적으로 사용해서는 안됩니다.
@misc{realagents,
author = {YiFei Feng},
title = {Real Agents: An planning framework for generative artificial intelligence agents},
year = {2024},
publisher = {GitHub},
journal = {https://github.com/AkiKurisu/Real-Agents},
school = {East China University of Political Science and Law},
location = {Shanghai, China}
}
Steve Rabin, Game AI Pro 3 : Game AI Professionals, International Standard Book의 수집 된 지혜 .
[Orkin 06] Orkin, J. 2006. 3 주와 계획 : AI의 AI , Game Developers Conference, 샌프란시스코, 캘리포니아.
Joon Sung Park, Joseph C. O'Brien, Carrie J. Cai, Meredith Ringel Morris, Percy Liang 및 Michael S. Bernstein. 2023. 생성제 : 인간 행동의 대화식 시뮬 라 크라.
Wang, Zihao et al. "설명, 설명, 계획 및 선택 : 대형 언어 모델을 갖춘 대화식 계획을 통해 오픈 월드 멀티 태스킹 에이전트를 가능하게합니다." ARXIV ABS/2302.01560 (2023) : n. Pag.
Lin J, Zhao H, Zhang A 등 에이전트 : 대형 언어 모델 평가를위한 오픈 소스 샌드 박스 [J]. Arxiv preprint arxiv : 2308.04026, 2023.
Xi, Z., Chen, W., Guo, X., He, W., W., Ding, Y., Hong, B., Zhang, M., Wang, J., Jin, S., Zhou, E., Zheng, R., Fan, X., Wang, Xiong, L., Liu, Q., Zhou, Y., Wang, W. Yin, Z., Dou, S., Weng, R., Cheng, W., Zhang, Q., Qin, W., Zheng, Y., Qiu, X., Huan, X., & Gui, T. (2023). 대형 언어 모델 기반 에이전트의 상승과 잠재력 : 설문 조사. ARXIV, ABS/2309.07864.
