Das Forschungsteam von Google hat kürzlich ein Breakthrough -Modell veröffentlicht - Transnar, das die Transformer -Architektur mit NAR -Technologie (Neural Algorithmus Argumenting) geschickt kombiniert und die Leistung bei komplexen Algorithmusaufgaben erheblich verbessert. Diese Innovation löst nicht nur die Einschränkungen traditioneller Transformatoren im algorithmischen Denken, sondern liefert auch eine völlig neue Lösung für die Verarbeitung strukturierter Daten.
Traditionelle Transformatoren stehen häufig vor der Herausforderung, bei der Bewältigung von Algorithmusproblemen nicht in der Lage zu sein, strukturierte Daten effektiv zu erfassen, während die NAR -Technologie diesbezüglich gut abschneidet, insbesondere in der Generalisierungsfunktionen. Transnar integriert erfolgreich die Textverarbeitungsfunktionen des Transformators in die Graph-Repräsentationsfunktionen von NAR, indem sie einen Querverantwortungsmechanismus einführen. Mit dieser Kombination kann das Modell die Textbeschreibung und die Grafikstrukturdaten gleichzeitig verarbeiten, wodurch beispiellose Vorteile bei algorithmischen Inferenzaufgaben angezeigt werden.
Die Trainingsstrategie von Transnar ist ebenfalls einzigartig. Während der Vorausbildungsphase wird das NAR-Modul unabhängig trainiert und lernt die inhärenten Logik- und Berechnungsschritte durch Ausführung mehrerer algorithmischer Aufgaben. Dieser Prozess legt eine solide algorithmische Grundlage für das Modell. In der Feinabstimmung erhält Transnar Doppeleingänge aus der Textbeschreibung und der Graphendarstellung und verwendet die vom vorgeborenen NAR-Modul bereitgestellten Knoteneinbettungsinformationen, um seine eigene Markierung dynamisch durch Kreuzungsmechanismen einzubetten. Diese mehrstufige Trainingsmethode ermöglicht es dem Modell, sich besser an komplexe algorithmische Aufgaben anzupassen.
Bei der tatsächlichen Prüfung übersteigt die Leistung von Transnar die des traditionellen Transformatormodells weit, insbesondere in der Generalisierungsfähigkeit außerhalb der Verteilung, was eine Leistungsverbesserung von mehr als 20%zeigt. Diese Leistung überprüft nicht nur die leistungsstarken Fähigkeiten des Modells, sondern bietet auch eine starke Unterstützung für zukünftige Anwendungen in einer breiteren Palette von Algorithmusaufgaben.
Schlüsselpunkte:
⭐ Google startete das Transnar -Modell und kombinierte Transformator mit der NAR -Technologie und verbesserte den Algorithmus -Argumentationsfunktionen erheblich.
⭐ Transnar nimmt einen Kreuzbewegungsmechanismus an, integriert die Funktionen für die Textverarbeitung und die Grafikdarstellung und führt hervorragend in komplexen Algorithmusaufgaben aus.
⭐ Die Multi-Level-Trainingsstrategie macht Transnar bei algorithmischen Aufgaben, insbesondere in Generalisierungsfunktionen, wesentlich besser als herkömmliche Transformatoren.