생성 AI, 특히 GPT 시리즈 모델의 급속한 발전은 많은 분야에 새로운 가능성을 가져왔습니다. 변호사 시험 점수의 대폭 향상부터 비즈니스 분야 적용까지 GPT-4는 강력한 역량을 입증했습니다. 그러나 일부 업계 전문가들은 현재의 생성 AI의 추론 능력과 세상에 대한 이해가 여전히 부족하고, 향후 개발에도 여전히 많은 어려움에 직면해 있다고 믿고, 현재 생성 AI의 이해 능력과 신뢰성에 의문을 제기해 왔습니다. Downcodes의 편집자는 생성적 AI의 미래 개발 방향뿐만 아니라 국내 생성적 AI 산업이 직면한 기회와 과제에 대해 깊이 탐구하도록 안내합니다.
제너레이티브 AI의 향후 발전 방향은 어디인가?
현재 GPT-4가 많은 기능에서 크게 향상되었다는 것은 부인할 수 없습니다. GPT-3.5에 비해 복잡한 전문 분야에서의 GPT-4의 성능이 크게 향상되었으며, 미국 변호사 자격 시험에서는 GPT-4의 점수가 상위 10%에 도달할 수 있지만 GPT-4의 논리적 추론 능력도 더욱 강력해졌습니다. 3.5는 하위 10% 수준까지만 도달할 수 있다.
이미지 출처: 오픈 AI
또한 기능이 크게 향상되어 Chat GPT가 더 많은 사용 시나리오를 열 수 있게 되었습니다. 현재 Open AI는 사용자의 언어 학습을 가속화하기 위해 매일 사용자와 채팅하기 위해 Duolingo에 AI를 추가하는 등 몇 가지 주요 애플리케이션 시나리오를 공식적으로 제공합니다. Morgan Stanley는 GPT-4를 사용하여 직원이 지식 기반에 빠르게 액세스할 수 있도록 지원합니다. 원하는 콘텐츠.
그러나 많은 유명 기업은 GPT의 현재 기능에 대해 의구심을 갖고 있습니다. Stuart Russell은 연설에서 Chat GPT와 GPT-4가 세상을 이해하지 못하며 질문에 "대답"하지도 않는다고 지적했습니다. 현재의 대규모 언어 모델은 현재 이 퍼즐에서 누락된 것과 무엇이 무엇인지에 불과합니다. 결국에는 다음과 같이 보일 것입니다. 이는 불확실합니다. 또한 성능상의 많은 단점으로 인해 일반 인공지능을 개발하려면 아직 갈 길이 멀다고 판단됩니다. GPT-4의 성능에 대한 다양한 의구심으로 인해 Stuart Russell은 Sam Altman의 연설 중에 PPT도 수정하고 있었습니다.
이미지 출처: 지혜 회의
또한 Stuart Russell과 같은 견해를 갖고 있는 Yang Likun은 Turing Award를 수상했으며 "딥 러닝 빅 3" 중 하나이며 Meta의 수석 인공 지능 과학자입니다. 그는 현재 GPT의 자동 회귀 모델에 계획이 부족하여 다음과 같은 결과가 발생한다고 믿습니다. 추론 능력 현재로서는 불가능합니다. 확률 기반의 대규모 언어 모델이 생성되면 오류 문제를 해결하는 것은 본질적으로 불가능합니다. 입력 텍스트가 증가하면 오류 확률도 기하급수적으로 증가합니다.
사실 두 거물이 GPT를 비난하는 것은 무리가 아니다. Chat GPT 자체에서 사용하는 RLHF 알고리즘은 인간의 인식에 의존하기 때문에 모델이 자체 답변의 품질을 판단하고 점차적으로 더 높은 품질의 답변을 제공하도록 스스로 훈련할 수 있습니다. 모델의 추론 능력을 향상시키려면 데이터베이스에 있는 수많은 매개변수를 보완하고 알고리즘을 지속적으로 반복해야 합니다.
출처: 사우스웨스트증권
그러나 다양한 위험의 존재는 많은 생성 AI 기업이 쉽게 시도하는 것을 방해하기도 합니다. 생성 AI가 소설 작가와 동일한 스토리 추론 능력과 캐릭터 감정 생성 능력을 달성할 수 있다면, 생성 AI가 인간의 통제에서 완전히 벗어날 수 있을까요? 이것이 전 세계적으로 패닉을 일으키고 있는 반면, 지방정부의 강력한 감독을 받게 되어 이전의 생성 AI에 대한 투자가 헛수고가 되는 것은 아닐까?
생성 AI의 향후 발전 방향에 대해 양리쿤(Yang Likun)의 대답은 월드 모델이다. 이 세계 모델은 신경 수준에서 인간의 뇌를 모방한 모델일 뿐만 아니라, 인지 모듈 측면에서 인간의 뇌 분할에 완벽하게 들어맞는 세계 모델이다. 계획 및 예측 기능(월드 모델)과 비용 계산 기능(비용 모듈)이 있습니다.
세계 모델의 도움으로 우리는 세계를 더 잘 이해하고 미래를 예측하고 계획할 수 있습니다. 원가 계산 모듈을 통해 단순한 요구 사항(미래는 가장 많은 행동 비용을 절약하는 논리에 따라 계획되어야 함)을 통해 모든 잠재적인 위험과 불필요한 결과를 제거할 수 있습니다.
이미지 출처: 지혜 회의
하지만 문제는 학습 중에 세계 모델의 매개변수, 알고리즘, 비용 등이 있다는 것입니다. Yang Likun은 단순히 몇 가지 전략적 아이디어를 제공했습니다. 예를 들어, 자기 지도 모델을 사용하여 다단계 사고 모델을 훈련하고 구축하는 등의 작업을 수행했지만 Yang Likun은 이를 구현하는 방법에 대한 완전한 계획을 제시할 수 없었습니다.
다른 참가자들은 생성 AI의 향후 개발 방향에 대한 견해를 공유하지 않았습니다. 따라서 후속 제너레이티브 AI는 여전히 각 기업이 '자기 일을 하는' 상황을 유지할 것이며, 전 세계적으로 통합된 제너레이티브 AI는 실험실 단계에만 머물 수 있을 것이다.
03. 국내 생성 AI 예측
Zhiyuan 연구소 소장 Huang Tiejun 교수는 회의 후 언론과의 인터뷰에서 현재 국내 생성 AI 대형 모델의 문제점은 업계가 과열되었지만 훈련 데이터가 너무 적고 수백억 달러에 달하는 문제라고 말했습니다. 의 모델이 이제 막 등장하고 있습니다. 비록 그들 사이에 일부 기술적 역량이 있지만 반복적인 노력으로 인해 산업 자원이 더욱 분산되고 있는 반면, 그들의 지능 수준과 대규모 외국 생성 AI 모델 사이에는 여전히 일정한 격차가 있습니다.
Huang Tiejun 교수가 말했듯이 Alibaba가 소유한 "Tongyi Qianwen" 대형 모델을 예로 들어 보겠습니다. 이 대형 모델을 훈련하는 데 사용되는 데이터는 Alibaba의 Taobao, Alipay, Tmall 및 기타 산업에서 추출한 수많은 중국어 대화 및 대화이기 때문입니다. 텍스트 데이터와 기타 소스의 텍스트 데이터에 대한 사전 학습 데이터의 양은 약 2,000억 단어로, 이는 텍스트 데이터 14TB에 해당합니다.
Chat GPT의 학습 데이터 양은 약 45억 단어로, 이는 텍스트 데이터 300GB에 해당합니다. 훈련 데이터가 상대적으로 작기 때문에 Alibaba의 "Tongyi Qianwen"도 다중 모드 기능이 부족합니다. 텍스트 측면에서는 둘 다 GPT-4에 훨씬 뒤처집니다.
인포큐연구소가 발표한 '2023년 대형언어모델 종합역량평가보고서' 자료에 따르면, 챗GPT는 현재 종합점수 77.13%로 국내 다른 대형모델 제조사를 앞서고 있다.
출처 : "2023년 대언어모델 종합능력평가 보고서"
동시에, 황티쥔 교수는 오늘날의 대형 모델은 기술 반복의 중간 산물이라고 지적했습니다. 이후 국내 대형 모델 산업이 발전함에 따라 미래에 살아남을 수 있는 합리적인 대형 모델 생태계의 수는 약 3개 정도입니다. .
Huang Tiejun 교수가 말했듯이 Ma Huateng은 Tencent 내 고위급 회의에서 향후 10년 안에 C-end 시장의 배당금이 사라질 것이라고 지적했습니다. 모든 희망은 ToB-end 시장에 있으며 하반기는 그렇습니다. 인터넷의 인터넷은 산업 인터넷에 속합니다. 알리 비즈니스 연구소(Ali Business Research Institute)는 향후 10년이 전통 기업의 변혁을 위한 절호의 기회가 될 것이라고 이전에 지적했습니다.
그러나 ToB 시장의 관점에서 보면 다년간 발전해 온 SaaS 시장을 참고로 대형 모델이 진정한 ToB 시장을 개척하고자 한다면 그 핵심은 '비용 절감과 특히 불확실성이 높은 현 시대에 고객에게 "효율성 증가"를 제공합니다. 이는 일부 산업이 여전히 대형 모델에 대해 방관하고 있는 경우 특히 그렇습니다. 주로 전통 제조 산업을 기반으로 하는 현재 중소 전통 제조 산업이 직면하고 있는 일반적인 문제는 주문 감소, 업계는 가격 전쟁을 벌이고 있으며 하류 지불 징수 주기가 길어지고 있다는 것입니다. 현재 업계는 스스로를 지원하기 위해 고군분투하고 있습니다. 많은 시행착오 비용을 피하기 위해 많은 중소 제조업체에서는 당연히 대형 모델의 사용을 감히 쉽게 시도하지 않습니다.
그리고 SaaS 산업 발전의 역사를 살펴보면, 국내 SaaS 산업은 2004년 초부터 10년간의 침체기를 거쳐 2015년에 최고 성장을 기록했다. 2020년 전염병이 발생한 이후 전염병은 기업의 디지털 전환을 가속화했으며 국내 SaaS 시장은 중요한 성장기에 접어들었습니다. 그러나 그럼에도 불구하고 현재 국내 SaaS 산업 생태계는 아직 완성되지 않았고 시장도 아직 성숙되지 않은 상황이다.
이미지 출처: 플래시 클라우드
분명히 대형 모델의 TOB 시장 개방은 하루아침에 이루어지는 것이 아니라 매우 느린 과정입니다. 또한, 후속 다양한 기능 출시를 포함하여 모델 반복 과정에서 알고리즘, 컴퓨팅 성능, 데이터에 발생하는 비용으로 인해 대형 모델 회사는 지속적으로 많은 자금을 투자해야 합니다.
상용화에는 오랜 시간이 걸리고, 자본 투자도 높으며, 단기적으로 수익을 내기 어렵다. 앞으로 현금 흐름이 부족한 기업은 자금 압박에 직면해 자체 대형 모델을 폐쇄할 수밖에 없을 것이다. , 그리고 업계 자원은 대형 헤드 모델 제조업체에 집중하기가 더욱 어려워질 것입니다.
온라인 차량 호출, 음식 배달 등 여러 산업의 경험으로 볼 때, 신흥 산업에서 수년간의 혼란을 겪은 후 실제로 미래에 발전할 수 있는 회사는 약 3개이며, 다른 많은 회사도 역사 속에 잠겨 있습니다. 긴 강.
전체적으로 생성 AI는 기회와 도전이 공존하는 급속한 발전 단계에 있습니다. 미래에는 월드 모델이 중요한 개발 방향이 될 수 있지만, 그 구현은 여전히 많은 기술적, 상업적 문제에 직면해 있습니다. 국내 생성AI 업계도 치열한 경쟁에서 앞서기 위해서는 데이터 규모, 상용화 등의 문제를 해결해야 한다. Downcodes의 편집자는 계속해서 이 분야의 동향에 주의를 기울이고 독자들에게 더욱 흥미로운 콘텐츠를 제공할 것입니다.