인공 지능 분야 (AI)에서는 대형 언어 모델 (LLMS)이 자연어 처리에서 잘 작동하지만 복잡한 추론 작업에 직면 할 때 종종 부도덕 한 것처럼 보입니다. 이러한 작업에는 종종 다단계 추론, 도메인 별 지식 또는 외부 도구의 효과적인 통합이 포함됩니다. 이러한 한계를 극복하기 위해 연구원들은 외부 도구를 사용하여 LLM의 기능을 향상시키는 방법을 모색 해 왔습니다.
전통적인 향상 방법은 종종 모델의 미세 조정 또는 추가 교육이 필요하며, 이는 작업 적응성 및 유연성의 한계로 이어집니다. 기존 프레임 워크는 정적, 사전 정의 된 도구 세트에 의존하고 효율적인 도구 선택 및 계획 메커니즘이 부족하여 작업을 수행 할 때 쉽게 오류를 유발하고 계산 비용을 늘리고 새로운 분야에 적용 할 때 성능이 저조 할 수 있습니다.
이 문제를 해결하기 위해 Stanford University의 연구팀은 역동적이고 구조화 된 외부 도구를 통해 AI의 추론 기능을 향상 시키도록 설계된 새로운 프레임 워크 인 Octotools를 시작했습니다. Octotools는 AI 모델이 외부 도구와 상호 작용하는 방식을 표준화하는 모듈 식, 교육이없고 확장 가능한 프레임 워크입니다. 사전 정의 된 도구 구성이 필요한 이전 프레임 워크와 달리 Octotools는 도구의 기능과 메타 데이터를 캡슐화하는 "도구 카드"를 도입하여 AI 모델이 도구를보다 효율적으로 통합하고 사용할 수 있도록했습니다.
Octotools의 작동 프로세스는 계획, 실행 및 확인의 세 가지 주요 단계로 나뉩니다. 먼저 플래너는 사용자 쿼리를 분석하고 도구 카드의 메타 데이터를 기반으로 필요한 도구를 결정합니다. 그런 다음 집행자는 높은 수준의 결정을 실행 가능한 명령으로 전환하고 중간 결과가 올바르게 처리되도록 순차적으로 실행합니다. 마지막으로, 유효성 검사기는 출력의 일관성을 평가하여 원래 쿼리와 일치하는지 확인하여 오류가 줄어 듭니다.
연구팀은 비전, 수학적 추론, 과학 분석 및 의료 응용 프로그램을 포함하여 여러 분야에서 Octotools에 대한 광범위한 평가를 수행했습니다. 결과는 Octotools가 성능의 기존 AI 프레임 워크, 특히 수학적 추론 작업에서 정확도가 22.5%증가한 것으로 나타났습니다. 의료 응용 분야에서 Octotools는 20.7%의 정확도 증가를 달성하여 실제 AI 지원 진단에서의 효과를 보여줍니다.
Octotools는 추가 교육이 필요하지 않으므로 AI 추론의 정확도를 크게 향상시켜 평균 9.3%증가했습니다. 이 프레임 워크는 시각적 분석, 수학 운영, 의료 추론 등을 포함하여 최대 16 개의 추론 작업을 지원합니다. Octotools의 도구 카드 시스템은 도구 통합을 단순화하고 의사 결정 프로세스를 최적화하며 실행 효율성을 향상시킵니다.
github : https://github.com/octotools/octotools