O rápido desenvolvimento da IA generativa, especialmente a série de modelos GPT, trouxe novas possibilidades para muitos campos. Desde a melhoria significativa nas notas dos exames da ordem até sua aplicação na área de negócios, o GPT-4 demonstrou seus poderosos recursos. No entanto, alguns especialistas da indústria questionaram a capacidade de compreensão e fiabilidade da IA generativa actual, acreditando que a sua capacidade de raciocínio e compreensão do mundo ainda são insuficientes e que o desenvolvimento futuro ainda enfrenta muitos desafios. O editor de Downcodes irá levá-lo a explorar profundamente a direção futura do desenvolvimento da IA generativa, bem como as oportunidades e desafios enfrentados pela indústria doméstica de IA generativa.
Onde está a direção futura do desenvolvimento da IA generativa?
É inegável que o atual GPT-4 foi bastante aprimorado em muitas capacidades. Comparado com o GPT-3.5, o desempenho do GPT-4 em campos profissionais complexos foi muito melhorado e sua capacidade de raciocínio lógico também é mais forte. No Exame de Qualificação da Ordem dos EUA, a pontuação do GPT-4 pode atingir os 10% melhores, mas o GPT-4. 3,5 só pode atingir o nível inferior de 10%.
Fonte da imagem: Open AI
A melhoria substancial nos recursos também permite que o Chat GPT abra mais cenários de uso. Atualmente, o Open AI fornece oficialmente vários cenários de aplicativos importantes, como adicionar IA ao Duolingo para conversar com os usuários diariamente para acelerar o aprendizado de idiomas dos usuários. O Morgan Stanley usa GPT-4 para gerenciar sua base de conhecimento para ajudar os funcionários a acessar rapidamente o; conteúdo que você deseja.
No entanto, muitos grandes nomes têm dúvidas sobre as capacidades atuais do GPT. Stuart Russell destacou em seu discurso que Chat GPT e GPT-4 não entendem o mundo, nem estão "respondendo" a perguntas. O atual modelo de linguagem grande é apenas uma peça do quebra-cabeça. eventualmente parecerá, estes são incertos. Muitas deficiências nas capacidades também determinam que ainda há um longo caminho a percorrer para desenvolver a inteligência artificial geral. Devido a diversas dúvidas sobre as capacidades do GPT-4, Stuart Russell também modificou o PPT durante o discurso de Sam Altman.
Fonte da imagem: Conferência de Sabedoria
Também defendendo a mesma opinião de Stuart Russell está Yang Likun, vencedor do Prêmio Turing, um dos "Três Grandes do Aprendizado Profundo" e cientista-chefe de inteligência artificial da Meta. Ele acredita que o atual modelo autorregressivo de GPT carece de planejamento, resultando em. sua capacidade de raciocínio Atualmente não é possível. Se um grande modelo de linguagem baseado em probabilidade for gerado, é essencialmente impossível resolver o problema de erros. Quando o texto de entrada aumenta, a probabilidade de erros também aumenta exponencialmente.
Na verdade, as acusações dos dois grandes nomes contra a GPT não são irracionais. Como o próprio algoritmo RLHF usado pelo Chat GPT depende da percepção humana, ele permite que o modelo julgue a qualidade de suas próprias respostas e se treine para fornecer gradualmente respostas de maior qualidade. Se você quiser melhorar a capacidade de raciocínio do modelo, precisará complementar um grande número de parâmetros no banco de dados e iterar continuamente o algoritmo.
Fonte: Southwest Securities
No entanto, a existência de vários riscos também impede que muitas empresas de IA generativa tentem com facilidade. Se a IA generativa puder alcançar a mesma capacidade de raciocínio de história e capacidade de criação de emoções de personagem que um escritor de romance, isso tornará a IA generativa completamente fora do controle humano? Embora isto esteja a causar pânico global, será que também encontrará uma forte supervisão dos governos locais, fazendo com que os investimentos anteriores em IA generativa sejam em vão?
Em relação à direção futura do desenvolvimento da IA generativa, a resposta de Yang Likun é o modelo mundial. Este modelo de mundo não é apenas um modelo que imita o cérebro humano no nível neural, mas também um modelo de mundo que se ajusta completamente às partições do cérebro humano em termos de módulos cognitivos. A maior diferença entre ele e o grande modelo de linguagem é que pode. possuem capacidades de planejamento e previsão (modelo mundial) e capacidades de custeio (módulo de custo).
Com a ajuda do modelo mundial, podemos compreender melhor o mundo e prever e planejar o futuro através do módulo de contabilidade de custos, aliado a uma demanda simples (o futuro deve ser planejado de acordo com a lógica que mais economiza custos de ação). pode eliminar todos os venenos potenciais e consequências desnecessárias.
Fonte da imagem: Conferência de Sabedoria
Mas o problema são os parâmetros, algoritmos, custos, etc. do modelo mundial durante o treinamento. Yang Likun simplesmente deu algumas ideias estratégicas. Por exemplo, usando modelos auto-supervisionados para treinar e estabelecer modelos de pensamento multinível, etc., mas Yang Likun não foi capaz de fornecer um plano completo sobre como implementá-los.
Outros participantes não partilharam as suas opiniões sobre a direção futura do desenvolvimento da IA generativa. Portanto, a IA generativa subsequente ainda manterá uma situação em que cada empresa "faz a sua própria coisa", e a IA generativa globalmente unificada só poderá permanecer na fase de laboratório.
03. Previsão de IA generativa doméstica
O professor Huang Tiejun, presidente do Instituto de Pesquisa Zhiyuan, disse em uma entrevista à mídia após a reunião que o problema atual com os grandes modelos domésticos de IA generativa é que a indústria está superaquecida, mas os dados de treinamento são muito pequenos e as dezenas de bilhões de modelos estão apenas surgindo. Embora existam algumas capacidades técnicas entre eles, devido a esforços repetitivos, enquanto os recursos da indústria estão a tornar-se mais dispersos, ainda existe uma certa lacuna entre o seu nível de inteligência e os grandes modelos estrangeiros de IA generativa.
Como disse o professor Huang Tiejun, tome como exemplo o grande modelo "Tongyi Qianwen" de propriedade do Alibaba, porque os dados usados para treinar esse grande modelo são um grande número de conversas chinesas e conversas extraídas do Taobao, Alipay, Tmall e outras indústrias do Alibaba A quantidade de dados de pré-treinamento para dados de texto, bem como dados de texto de algumas outras fontes, é de cerca de 200 bilhões de palavras, equivalente a 14 TB de dados de texto.
O volume de dados de treinamento do Chat GPT é de cerca de 4,5 bilhões de palavras, o que equivale a 300 GB de dados de texto. Os dados de treinamento são relativamente pequenos, então o "Tongyi Qianwen" do Alibaba também carece de recursos multimodais. Em termos de texto, ambos estão muito atrás do GPT-4.
De acordo com dados do "Relatório de avaliação de capacidade abrangente de modelos de linguagem grande 2023" divulgado pelo InfoQ Research Center, o Chat GPT atualmente lidera outros grandes fabricantes nacionais de modelos com uma pontuação abrangente de 77,13%.
Fonte: "Relatório de avaliação abrangente de habilidades de modelos de linguagem grande 2023"
Ao mesmo tempo, o professor Huang Tiejun também apontou que os grandes modelos de hoje são um produto intermediário da iteração tecnológica. Com o desenvolvimento subsequente da grande indústria nacional de modelos, o número razoável de grandes ecossistemas de modelos que podem sobreviver no futuro é de cerca de três. .
Como disse o professor Huang Tiejun, Ma Huateng apontou em uma reunião de alto nível dentro da Tencent que os dividendos do mercado C-end desaparecerão nos próximos dez anos. Toda a esperança está no mercado ToB-end e no segundo semestre. da Internet pertence à Internet industrial. O Ali Business Research Institute já havia apontado que os próximos dez anos serão uma oportunidade de ouro para a transformação das empresas tradicionais.
Porém, do ponto de vista do mercado ToB, tomando como referência o mercado SaaS que vem se desenvolvendo há muitos anos, se um grande modelo deseja realmente abrir o mercado ToB, seu núcleo deve ser trazer o valor da "redução de custos e aumento de eficiência" para os clientes, especialmente na atual era de incerteza. Isto é especialmente verdadeiro quando algumas indústrias ainda permanecem à margem em modelos grandes. Baseados principalmente nas indústrias transformadoras tradicionais, os actuais problemas comuns encontrados pelas indústrias transformadoras tradicionais de pequena e média dimensão são a redução das encomendas, a indústria tem lutado em guerras de preços e os ciclos de cobrança de pagamentos a jusante tornaram-se mais longos. as indústrias estão atualmente lutando para se sustentar. Para evitar altos custos de tentativa e erro, muitas empresas de manufatura de pequeno e médio porte naturalmente não se atrevem a tentar facilmente o uso de modelos grandes.
E a julgar pela história de desenvolvimento da indústria de SaaS, a indústria doméstica de SaaS deu início a um pico de crescimento em 2015, depois de experimentar 10 anos de calma desde o início de 2004. Desde o início da epidemia em 2020, a epidemia acelerou a transformação digital das empresas e o mercado interno de SaaS entrou num período crítico de crescimento. Mas mesmo assim, o atual ecossistema da indústria doméstica de SaaS ainda não está completo e o mercado ainda não está maduro.
Fonte da imagem: Flash Cloud
Obviamente, a abertura do mercado TOB para modelos de grande porte não acontece da noite para o dia, mas é um processo extremamente lento. Além disso, os custos incorridos por algoritmos, poder de computação e dados durante a iteração do modelo, incluindo o subsequente lançamento de várias funções, exigem que grandes empresas modelo invistam continuamente grandes quantidades de fundos.
A comercialização leva muito tempo, o investimento de capital é elevado e é difícil obter lucros a curto prazo. No futuro, as empresas que não têm fluxo de caixa não terão outra escolha senão encerrar os seus próprios grandes modelos face à pressão financeira. , e os recursos da indústria se tornarão ainda mais difíceis. Concentrar-se em fabricantes de modelos de cabeçote grande.
A julgar pela experiência de muitas indústrias, como o transporte online e a entrega de alimentos, após muitos anos de turbulência numa indústria emergente, apenas cerca de três empresas podem realmente desenvolver-se no futuro, e muitas outras empresas ficaram submersas na história. longo rio.
Em suma, a IA generativa está numa fase de rápido desenvolvimento, com oportunidades e desafios. No futuro, os modelos mundiais poderão tornar-se uma importante direção de desenvolvimento, mas a sua implementação ainda enfrenta muitos problemas técnicos e comerciais. A indústria nacional de IA generativa também precisa resolver problemas como escala de dados e comercialização para se destacar na competição acirrada. O editor do Downcodes continuará atento às tendências da área e trazendo conteúdos mais interessantes aos leitores.