La révolution exponentielle de l'intelligence artificielle : le cœur de l'innovation

Une heure de marche, c'est une distance ; deux heures, c'est deux fois plus loin. Cet instinct servait bien dans la savane, mais il échoue face à l'intelligence artificielle, affirme Mustafa Suleyman dans un article pour le MIT Technology Review. D'une manière aussi directe, il laisse clairement comprendre que si nous parlons d'intelligence artificielle, les règles de l'évolution ne s'appliquent pas. Cela avance exponentiellement.

La puissance de calcul explosif de l'ia

Depuis qu'il travaille sur l'IA en 2010, le changement a été immense. Le processeur utilisé dans les modèles les plus performants a augmenté d'une trillième de fois. « De 10¹⁴ FLOPS dans les premiers systèmes à plus de 10²⁶ FLOPS dans les modèles les plus grands d'aujourd'hui. C'est pas un développement, c'est une explosion », commente-t-il.

Pour comprendre tout ce boom, Suleyman compare l'entraînement de l'IA à « une salle pleine de gens faisant des calculs avec des calculatrices ». Jusqu'à récemment, ajouter de la puissance à l'IA signifiait simplement mettre plus de monde avec des calculatrices. Mais beaucoup de cette personne attendait, avec le temps mort, tandis que les données arrivaient en retard.

« Aujourd'hui, la révolution, ce n'est pas juste avoir des calculatrices plus rapides. C'est réussir à faire en sorte que toutes ces calculatrices soient toujours en train de travailler, et qu'elles fonctionnent comme une seule grande tête », explique-t-il.

Cette transformation s'est réalisée grâce à trois avancées qui convergent en même temps :

1. Les propres 'calculatrices' sont beaucoup plus rapides. Les puces de Nvidia ont passé de 312 teraflops en 2020 à 2 250 teraflops aujourd'hui, et le processeur de Microsoft, le Maia 200, compte avec 30% plus de performance pour chaque euro que d'autres puces de la même catégorie.

2. Les données arrivent beaucoup plus rapidement grâce à la mémoire HBM (High Bandwidth Memory), qui empile les puces comme de petits immeubles. La version la plus nouvelle, HBM3, triple le bande passante de la précédente, maintenant les GPU toujours alimentées et sans temps mort.

3. La salle de calcul a pris la forme d'une ville. Les technologies comme NVLink e InfiniBand connectent des centaines de milliers de GPU dans les superordinateurs du taille de navires industriels, qui fonctionnent comme un seul pièce de traitement.

Comme résultat de tout cela, nous avons une vraie bête : ce qui prenait 167 minutes sur huit GPU en 2020 se fait maintenant en moins de quatre minutes avec un matériel actuel, une amélioration de 50 fois, bien au-delà des 5 fois que l'on aurait pu prévoir simplement la Loi de Moore.

Considérant ce rythme exponentiel, les prévisions sont monstroses. Suleyman affirme que les grands laboratoires grandissent leur capacité de calcul à un rythme quasi quadruplé annuellement. Entre 2020 et aujourd'hui, le calcul a augmenté de 5 fois chaque année. Et l'on s'attend à ce que, d'ici 2027, le calcul mondial de l'IA atteigne l'équivalent de 100 millions de puces H100, c'est-à-dire un saut de 10 fois en seulement trois ans.

Microsoft, nvidia et la course à la superintelligence artificielle

Moyen de tout ce délire presque inconcevable pour la plupart des mortels, des noms comme Microsoft et Nvidia sont au cœur de tout ce boom.

Suleyman, qui est maintenant à la tête de la division IA de Microsoft, laisse clairement comprendre que nous ne parlons plus de prototypes, mais d'infrastructures réelles gigantesques : clusters de 100 000 GPU, rack de taille de réfrigérateur qui consomment 120 kilovatios et centres de données qui se nourrissent d'énergie équivalente à celle du Royaume-Uni, de la France, de l'Allemagne et de l'Italie réunies en leur pic de consommation annuelle.

« Les 100 milliards de dollars dans les clusters d'IA, les 10 gigavatios de consommation, les supercalculateurs de navire. ce n'est plus de la science-fiction. Ce sont des projets en cours aux États-Unis et dans le monde », affirme-t-il.

Et tout cela vise un objectif à un horizon encore inconnu : la superintelligence.

Après l'ère des chatbots, selon Suleyman, vient l'ère des « agents IA presque humains » : des systèmes semi-autonomes qui peuvent écrire du code pendant des jours, mener des projets de semaines ou de mois, faire des appels, négocier des contrats et gérer la logistique. Cependant, tout a une face B, et dans ce cas, c'est précisément l'énergie.

Un seul rack d'IA peut consommer 120 kilovatios, soit l'équivalent de 100 maisons. Mais ici entre en jeu un autre aspect qui grandit également de manière exponentielle : la chute des coûts des énergies renouvelables.

« Les coûts de l'énergie solaire ont baissé presque 100 fois en 50 ans ; ceux des batteries, un 97% en trois décennies », affirme Suleyman. Avec tout cela sur la table et ce qui est encore à venir, le propre Suleyman affirme que « ils continueront à s'étonner. Le 'boom' du calcul est l'histoire technologique de notre temps, et il n'a même pas commencé ».