Ilya Sutskever, co-fondateur d’OpenAI, annonce la fin de l’ère du pré-entraînement des modèles d’IA

Lors d’une rare apparition publique à Vancouver ce vendredi, Ilya Sutskever, ancien scientifique en chef d’OpenAI et désormais à la tête de Safe Superintelligence Inc, a fait une déclaration fracassante sur l’avenir de l’intelligence artificielle. Selon lui, nous assistons à la fin d’une époque dans le développement des modèles d’IA.

« Le pré-entraînement tel que nous le connaissons va incontestablement prendre fin. Nous avons atteint le pic des données et il n’y en aura plus »

Cette affirmation choc fait référence à la méthode actuelle d’entraînement des grands modèles de langage, qui consiste à les nourrir avec d’immenses quantités de données non étiquetées provenant d’Internet, de livres et d’autres sources. Sutskever compare ces données au pétrole : une ressource limitée qui finira par s’épuiser.

L’analogie est parlante : tout comme nous avons atteint le « peak oil », nous atteignons aujourd’hui le « peak data ». Internet, malgré sa vastitude, contient une quantité finie de contenu généré par l’humain. Cette limitation forcera l’industrie à repenser fondamentalement sa façon d’entraîner les modèles d’IA.

Pour l’avenir, Sutskever prédit l’émergence d’une nouvelle génération de modèles qu’il qualifie d' »agentiques ». Ces systèmes seront capables de :

• Prendre des décisions autonomes
• Interagir avec des logiciels sans intervention humaine
• Raisonner de manière plus proche de la pensée humaine
• Comprendre les choses à partir de données limitées
• Ne pas se laisser dérouter par des situations complexes

Le scientifique établit un parallèle fascinant avec l’évolution biologique. Il s’appuie sur des recherches montrant la relation entre la masse cérébrale et la masse corporelle à travers les espèces. Les hominidés (nos ancêtres) ont développé un schéma d’évolution distinct des autres mammifères. De la même manière, l’IA pourrait découvrir de nouvelles approches pour évoluer au-delà des méthodes actuelles de pré-entraînement.

Cette évolution n’est pas sans risques. Sutskever souligne que plus un système est capable de raisonner, plus il devient imprévisible. Il compare cette imprévisibilité à celle des IA de jeu d’échecs, dont les coups surprennent même les meilleurs joueurs humains.

Interrogé sur la possibilité de doter ces futures IA de libertés similaires aux nôtres, Sutskever s’est montré prudent. Il évoque la nécessité potentielle d’une structure gouvernementale, tout en admettant que la coexistence entre humains et IA disposant de droits pourrait être une issue acceptable.

Cette intervention marque un tournant dans la vision du développement de l’IA. Alors que l’industrie continue sa course effrénée vers des modèles toujours plus puissants, la question des ressources disponibles pour leur entraînement devient cruciale. Cette limitation pourrait paradoxalement conduire à des innovations majeures dans la façon dont nous concevons et développons l’intelligence artificielle.