OpenAI und DeepMind, die beiden Giganten der künstlichen Intelligenz, weisen erhebliche Unterschiede in ihrer Forschung zu Skalierungsgesetzen (Scaling Laws) großer Sprachmodelle (LLM) auf. Scaling Laws zielt darauf ab, die Auswirkungen von Änderungen der Modellparameter, des Datenvolumens und des Berechnungsvolumens auf die Modellleistung vorherzusagen. Die Forschungsergebnisse werden die zukünftige Entwicklungsrichtung der künstlichen Intelligenz tiefgreifend beeinflussen und einen tiefgreifenden Einfluss auf die Zukunft des Zusammenlebens von Mensch und Maschine haben. In diesem Artikel werden die unterschiedlichen Perspektiven, Methoden und jeweiligen Beiträge der beiden Unternehmen in der Scaling Laws-Forschung eingehend untersucht und die relevanten inländischen Forschungsfortschritte kurz vorgestellt.
OpenAI und DeepMind haben unterschiedliche Ansichten und Methoden in der Forschung zu Skalierungsgesetzen. Skalierungsgesetze können die Verluständerungen großer Modelle vorhersagen, wenn sich die Menge an Parametern, Daten und Berechnungen ändert. Ihr Wettbewerb wird die Entwicklung künstlicher Intelligenz vorantreiben und die Zukunft des Zusammenlebens von Mensch und Maschine beeinflussen. Im Vortrainingsprozess großer Sprachmodelle gibt es einen Kompromiss zwischen Modellgröße, Datenvolumen und Trainingskosten. Skalierungsgesetze können dabei helfen, Designentscheidungen zu optimieren. DeepMind schlägt vor, dass Modellgröße und Datenvolumen im gleichen Verhältnis skalieren sollten, während OpenAI größere Modelle bevorzugt. DeepMind entwickelte AlphaGo und AlphaFold und demonstrierte damit das Potenzial von Deep Reinforcement Learning und neuronalen Netzen, während OpenAI die GPT-Modellreihe entwickelte und außergewöhnliche Fähigkeiten in generativen Modellen demonstrierte. Die Forschungsergebnisse zeigen, dass die drei Faktoren, die die Modellleistung beeinflussen, miteinander interagieren und das Chinchilla-Modell von DeepMind eine hervorragende Leistung erbringt. Domestic Baichuan Intelligence und Mingde Large Model haben ebenfalls zur Forschung zu Skalierungsgesetzen beigetragen. DeepMind schlug die Klassifizierungsmethode „Levels of AGI“ vor, die die verschiedenen Entwicklungsstadien der künstlichen Intelligenz aufzeigt.Der Wettbewerb zwischen OpenAI und DeepMind in der Scaling Laws-Forschung fördert nicht nur die Entwicklung der Technologie der künstlichen Intelligenz, sondern liefert auch wertvolle Erfahrungen für den Entwurf und die Optimierung zukünftiger großer Modelle. Die unterschiedlichen Forschungswege und Ergebnisse beider Parteien haben gemeinsam ein reichhaltigeres und umfassenderes Wissenssystem im Bereich der künstlichen Intelligenz aufgebaut, von dem letztendlich die gesamte Branche und die Gesellschaft profitieren werden.