Des chercheurs de l'Université du Michigan ont développé un outil logiciel appelé Perseus qui réduit considérablement la consommation d'énergie de la formation de modèles de gros langues. Cette étude révolutionnaire montre qu'en optimisant l'allocation des ressources pendant la formation, la consommation d'énergie peut être réduite de 30% sans affecter la vitesse de formation. Cette technologie a non seulement des avantages économiques importants, mais peut également apporter de grandes contributions à la cause de la protection de l'environnement.
Une nouvelle étude de l'Université du Michigan a révélé qu'une méthode d'économie de main-d'œuvre pour la formation de modèles de langue importante peut être achevée dans le même temps, mais la consommation d'énergie peut être réduite de 30%. Cette approche peut économiser suffisamment d'énergie pour alimenter 1,1 million de maisons américaines d'ici 2026.
Les chercheurs ont développé un outil logiciel appelé Perseus qui identifie les chemins critiques, une série de sous-tâches qui prennent le plus de temps. Persée ralentit ensuite les vitesses du processeur sur les chemins non critiques afin qu'ils fassent tous le travail en même temps, éliminant la consommation d'énergie inutile.
L'équipe a testé Perseus en entraînant GPT-3, trois autres modèles de grande langue et un modèle de vision par ordinateur. Les résultats montrent que Perseus peut réduire la consommation d'énergie de l'entraînement en IA tout en maintenant la même vitesse de formation.
Les chercheurs disent que cette approche d'économie de travail est d'une grande importance pour l'utilisation équitable de l'intelligence artificielle. Si un pays n'a pas suffisamment de puissance pour exécuter de grands modèles, il peut avoir besoin d'utiliser des services distants ou ne peut exécuter que des modèles plus petits et moins précis. Cet écart peut encore exacerber l'écart entre les différentes communautés.
Cette étude montre qu'en optimisant les méthodes d'entraînement de l'IA, la consommation d'énergie peut être réduite tout en maintenant la même vitesse de formation. Ceci est d'une grande importance pour économiser de l'énergie et réduire l'empreinte carbone.
Cette étude fournit une solution efficace au problème de l'efficacité énergétique dans le domaine de l'intelligence artificielle, ouvre la voie à un développement plus durable de l'intelligence artificielle et offre des garanties importantes pour l'équité et l'inclusivité de l'intelligence artificielle à l'avenir. Perseus possède de larges perspectives d'application et devrait promouvoir l'avancement de la technologie de l'intelligence artificielle et des applications plus larges.