IA : Small is beautiful

Fini le temps où « plus c’est gros, mieux c’est ». Alors qu’OpenAI touche ses limites et que ses modèles montrent des signes de fatigue, une nouvelle philosophie fait son entrée sur scène. Son prochain modèle, Orion, promet des avancées timides par rapport à GPT-4, surtout dans des domaines comme le codage. 

Face à ce constat, la licorne américaine de l'IA explore des pistes inédites : données synthétiques, optimisation post-formation, et une équipe qui repense tout depuis les bases. 

Pendant que la Silicon Valley multiplie la puissance de calcul pour entraîner ses LLMs, les résultats ne justifient plus les milliards investis. 

Le grand rêve des modèles géants est derrière nous : l’avenir se trouve dans les SLMs, ces petits modèles ultra-spécialisés, formés à partir des LLMs open source et taillés sur mesure pour des missions précises. 

En d’autres termes, Small is beautiful, pour une IA plus agile et un monde plus durable.

«The paradox of AI is like crafting haute couture with invisible thread. You are either starting a revolution or updating an app ! »  Bonjour et bienvenue dans Mes Flashs de la semaine #16. Rejoins les 3400+ leaders qui font confiance à ma veille pour comprendre et anticiper les nouvelles tendances tech.

💡Je lance cette semaine la rubrique FlashExpert, et c’est Nicolas Diacono qui l’inaugure. Tout juste de retour de Lisbonne, il nous livre ses insights sur le Web Summit 2024. 

Face aux défis de l'expansion des modèles de langage, OpenAI et d'autres acteurs explorent de nouvelles approches comme le « calcul au moment du test », qui permet à un modèle d'optimiser ses réponses en temps réel, réduisant les besoins en données et en énergie. 

Cette méthode, illustrée par le modèle o1 d’OpenAI, imite le raisonnement humain et utilise des données et des retours d'experts pour améliorer ses performances sur des tâches complexes. Ce virage pourrait bouleverser l'économie du secteur, réduisant la dépendance aux puces coûteuses de Nvidia pour l'entraînement au profit de serveurs d'inférence cloud distribués. 

Anthropic et Google DeepMind adoptent des techniques similaires, intensifiant la compétition dans le domaine. 

C’est aussi ce que défend Thomas Wolff d’Hugging Face qui a expliqué lors du Web Summit que l’avenir de l’IA n’était pas dans la course aux LLMs (lire plus bas le focus de Nicolas Diacono, Retail Tech Futuriste).

Il faut dire que former les grands modèles d'IA ressemble à une expédition coûteuse et incertaine. Chaque essai d’entraînement, mobilisant des centaines de puces simultanément, peut engloutir des dizaines de millions de dollars, tout en restant à la merci de pannes matérielles dues à la complexité des systèmes. Pire encore, les chercheurs doivent patienter des mois avant de découvrir si le modèle atteint les performances espérées.

Pour rappel, le coût d’entraînement de GPT-4 est estimé à plus de 100 millions de dollars, quand celui de Gemini 1 aurait demandé à Google de débourser près de 191 millions de dollars, selon Epoch AI et Statista.

David Cahn de Sequoia Capital alerte sur une bulle financière de l'IA : il faudrait 600 milliards $ de revenus annuels pour rentabiliser les investissements, laissant un écart de 500 milliards même avec 10 milliards $ générés par Google, Microsoft, Apple, et Meta. 

Un autre défi de taille : ces modèles consomment des montagnes de données, au point d’avoir épuisé presque toutes les ressources facilement accessibles sur la planète. Ajoutez à cela des coupures d’électricité, causées par les besoins énergétiques et hydriques colossaux du processus, - l’entraînement des modèles pourrait consommer 6,5 milliards m³ d’eau douce d’ici 2027-, et vous obtenez une course technologique où chaque avancée ressemble à une lutte acharnée, qui met en péril la planète.

Une régulation reste cruciale pour garantir que l’IA bénéficie à la société sans la mettre en danger.

« Cette fois, c'est différent des autres évolutions technologiques », a déclaré Eric Yuan, patron de Zoom, lors d’un débat sur le futur de l’IA. « Nous ne pouvons pas imaginer ce qui va se passer. Par rapport à l'internet ou au téléphone portable, c'est essentiellement incontrôlable. Cela dépasse notre imagination ». 

Aaron Levie, le patron de Box, est plus serein. « Nous avons déjà eu notre moment Netscape. Nous avons déjà eu notre moment iPhone. Il y a eu ChatGPT, et maintenant nous sommes juste dans la phase de déploiement de ces technologies qui commencent à entrer de plus en plus dans notre vie ».

Un jour, selon Eric Yuan, fondateur de Zoom, nos réunions en ligne ne nécessiteront plus notre présence. Imaginez : des "jumeaux numériques" pilotés par l'IA discuteront, argumenteront, et même plaisanteront à notre place. Une vision futuriste qui frôle le vertige.

Pourtant, Yuan l’admet sans détour : il ignore si le monde tel que nous le connaissons survivra à l’émergence d’une IA sans limites — à part celles imposées par l’énergie disponible pour alimenter les centres de données.

Voilà l’enjeu : lorsque l’innovation rencontre la finitude des ressources, qui l’emportera ? Une question qui pourrait redessiner les contours de l’innovation... ou son arrêt brutal.

En attendant que la planète manque d’énergie ou d’électricité, Sam Altman, lui, ne manque pas d’ambition. Il persiste et signe : l’intelligence artificielle générale (AGI) sera une réalité dès 2025, l’année où il deviendra père. Coïncidence ? Ou bien Altman rêve-t-il de décrocher un "doublé gagnant" : une paternité et la création d’une IA à l’intelligence humaine ?

Mais ne vous emballez pas trop vite — ou inquiétez-vous, c’est selon —, car il tempère aussitôt son annonce en affirmant que l’AGI n’aurait qu’un « impact étonnamment faible » sur la société dans un premier temps.

Vraiment ? Cette déclaration laisse sceptiques bon nombre d’experts, qui estiment l’échéance bien plus lointaine, vers 2050. Leur raisonnement : les limites actuelles de l’apprentissage statistique et des environnements virtuels complexes rendent le pari d’Altman aussi audacieux qu’incertain. Reste à voir si son intuition ou la science lui donnera raison.

Mais au fait, de quelle AGI Sam Altman parle-t-il vraiment ? C’est peut-être ça, la vraie question. À force de multiplier les déclarations audacieuses, Altman commence à rappeler un certain Adam Neumann, l’ex-patron visionnaire — et déchu — de WeWork, emporté par ses propres rêves de grandeur. L’histoire se répétera-t-elle ?

Entre ambition démesurée et réalité technique, la frontière semble aussi fine qu’une ligne de code.

Laissons la parole à David Deutsch, pionnier de l'informatique quantique, qui affirmait dans son essai que l'IA n'était pas si transformatrice que cela : 

« Le terme même d'« AGI » est un exemple d'une telle rationalisation, car le domaine s'appelait autrefois « AI » - intelligence artificielle. Mais l'IA a été progressivement utilisée pour décrire toutes sortes de programmes informatiques sans rapport les uns avec les autres, tels que les joueurs de jeux, les moteurs de recherche et les chatbots, jusqu'à ce que le G de « général » soit ajouté pour qu'il soit à nouveau possible de se référer à la réalité, mais désormais avec l'implication qu'une IAG n'est qu'une espèce plus intelligente de chabot ». 

C’était il y a 12 ans ! 

Et comme si cela ne suffisait pas, voilà qu’Altman emboîte le pas à Claude d’Anthropic, qui a fait sensation, dont j’avais parlé dans Mes Flashs de la semaine #13. 

Vous avez demandé un opérateur, ne quittez pas ! OpenAI prépare « Operator », un outil capable de piloter votre ordinateur : écrire du code, réserver des voyages ou gérer des tâches dans un navigateur. Prévu pour janvier, il affrontera Jarvis de Google, attendu dès décembre. 

La course est lancée entre Google, Microsoft, Anthropic et OpenAI pour façonner cette révolution.

Small is beautiful mais Google continue à grandir, dans tous les sens du terme. Google DeepMind met AlphaFold 3 en open-source pour un usage académique, ouvrant une nouvelle ère pour la découverte de médicaments et la biologie moléculaire. 

Cette version va plus loin en modélisant les interactions complexes protéines-ADN, ARN et petites molécules, un bond pour la recherche et la médecine. 

Ce geste marque une percée de l’open source en IA, tout en soulevant des questions sur l’équilibre entre science ouverte et intérêts commerciaux : il faut demander l’autorisation à Google pour avoir accès aux pondérations cruciales du modèle. 

Dans le même temps, la firme de Montain View a lancé son application d'intelligence artificielle Gemini dédiée aux utilisateurs d'iPhone. Un vrai booster d'accélaration pour Gemini !

Elle leur permet d'interagir avec l'IA de Google via des requêtes textuelles ou vocales et prend en charge les extensions Gemini. L'une de ses fonctionnalités clés est Gemini Live, accessible sur l'écran de verrouillage et le dynamique island. 

Small is beautiful dans la robotique aussi ! Des chercheurs sud-coréens du KIMM ont développé une roue "morphing" capable de s'adapter aux terrains difficiles, comme les trottoirs, les escaliers ou les bosses. 

Inspirée de la tension de surface des gouttes d’eau, cette roue passe d’un état solide à fluide pour surmonter des obstacles jusqu’à 1,3 fois la hauteur de son rayon. L’objectif est d’atteindre une vitesse de 100 km/h, surpassant les limites des pneus sans air actuels.

Testée sur un fauteuil roulant et un appareil roulant à 30 km/h, elle pourrait révolutionner les robots industriels, les véhicules autonomes et les robots militaires.

Twelve a tout d’une grande. La startup, qui a fait sensation au Web Summit, se lance dans la production de e-fuel pour décarboner les transports et accélérer la transition énergétique.

Avec son carburant E-Jet®, Twelve marque un tournant dans la décarbonation des transports, en particulier dans l’aviation. L’enjeu est colossal : l’industrie aéronautique consomme chaque année 100 milliards de gallons de kérosène et génère 1,2 milliard de tonnes de CO₂.

La solution de Twelve ? Transformer le CO₂ recyclé en carburant durable, capable de réduire jusqu’à 90 % les émissions de cycle de vie par rapport au kérosène classique. Déjà certifié et compatible avec les avions actuels, ce e-fuel offre une alternative clé en main pour atteindre les objectifs climatiques sans révolutionner les infrastructures.

Avec une capacité d’éliminer 2 à 3 gigatonnes de CO₂ par an, soit près de 10 % des émissions mondiales, E-Jet® surpasse les alternatives comme les carburants à base de biomasse ou d’hydrogène, en évitant leurs limites logistiques et environnementales. Grâce à des partenariats stratégiques et une production scalable, Twelve pourrait bien devenir le moteur de la transition énergétique mondiale.

 Et c’est le coup de flash de la semaine ! 

Cerise sur le gâteau, Twelve  vient de remporter  le GREEN AWARDS Los Angeles dans la catégorie Start-up, reconnu pour ses contributions innovantes en matière de technologie durable. 

Et enfin la version réseaux sociaux de Small is beautiful, c’est Bluesky qui enregistre plus d'un million d'inscriptions en 24 heures, atteignant 16 millions d'utilisateurs.

Un succès boosté par un effet domino : la victoire de Trump soutenu par le DOGE fou, qui a mis 200 millions $ sur la table pour devenir l’homme d’affaire le plus influent des Etats-Unis, avec à la clé le plus conflit d’intérêt de tous les temps, et transformé X en champ de bataille politique, poussant 1 million de twittos à prendre la porte.

Résultat ? Bluesky trône désormais en tête de l’App Store aux États-Unis et surpasse X en engagement, avec 30 % d’utilisateurs actifs publiant régulièrement. Un chiffre qui fait réfléchir et qui signe peut-être la naissance des nouveaux migrants numériques, désertant les plateformes jugées toxiques pour des espaces plus sains.

Et c’est le chiffre de la semaine !

Et vous, prêts à migrer aussi ? Si je passe sur Bluesky, vous me suivez ? 😉

Pour terminer mes Flashs de la semaine, avant de laisser la parole à Nicolas Diacono, vous vous souvenez sans doute que la semaine dernière, je terminais mes Flashs de la semaine en lançant « À quand une IA écrivant des poèmes sur Turing ? » Eh bien, figurez-vous qu'une équipe de chercheurs de l'université de Pittsburgh a jugé que l'IA ne se contente pas de réfléchir à cette question, elle a déjà trouvé la réponse ! 

Une étude récente montre que l'IA écrivant des poèmes surpasse les classiques humains lors d'un test à l'aveugle. Oui, vous avez bien lu, cette IA peut désormais composer des vers qui laissent les lecteurs perplexes : "Est-ce un poème humain ou une œuvre d'un autre monde ?"

Mieux encore, ces créations ont été préférées à celles de poètes légendaires tels que Shakespeare ou Emily Dickinson. Qui aurait cru qu'un algorithme deviendrait le nouveau champion des vers ? Les poèmes générés par l’IA ne se contentent pas de rivaliser ; ils sont notés plus haut que les créations humaines sur 13 critères qualitatifs, allant du rythme à l'impact émotionnel.

Cela soulève une question majeure : quand l'IA commence à surpasser l'humain dans des domaines aussi sacrés que la poésie, jusqu'où peut-elle aller ? Et puis, soyons honnêtes, si l'IA nous vole nos jobs créatifs, il ne restera plus qu'une seule question : qui écrira le prochain poème pour Turing, alors ?

💡FlashExpert : L’Intelligence Artificielle a pris le contrôle du Web Summit 2024 par Nicolas Diacono 

Le Web Summit vient de se terminer après 3 jours denses en contenus, grâce à ses 16 espaces de conférences et plus de 2700 startups présentes. Bien évidemment, l’IA a dominé les débats que ce soit lors des conférences dédiées au marketing, aux fintechs, à la santé, à l’énergie, aux industries créatives ou encore au commerce.

Une intelligence artificielle en perpétuelle mutation et qui s’immisce au plus profond de notre intimité, que ce soit pour évaluer nos capacités cognitives, analyser nos données de santé, lutter contre l’isolement social, trouver l’âme sœur ou un emploi, prendre soin de nos animaux de compagnie, nous protéger des menaces du monde numérique ou plus simplement pour nous accompagner dans nos achats au quotidien.

C’est bien là l’un des messages les plus importants de ces trois jours pour le monde du commerce : nous entrons dans l’ère du commerce « omnimodal », alors que certaines enseignes de distribution n’ont pas encore terminé la révolution du commerce omnicanal. Avec l’avènement de l’IA, la démultiplication des outils de recherche en ligne comme Perplexity ou encore ChatGPT Search, les cartes du référencement en ligne sont en train d’être redistribuées. Il faut donc que les marques puissent être visibles auprès de ces outils mais également de nos futurs agents IA. 

En ce sens, Alibaba est venu montrer son nouvel outil d’IA générative, Accio, à destination des vendeurs de sa marketplace. Cet outil va faire des recommandations de produits à vendre, faire le sourcing des fournisseurs puis les mettre en compétition, gérer la logistique, rédiger la fiche produit et définir le meilleur tarif. Dès aujourd’hui à partir d’un prompt il est possible de vendre des produits sur Alibaba.com. Alibaba vient donc de créer le concept de « prompt to consumer ».

Si l’on en croit la société Terminus Group et le concept d’IAAS (Intelligence As A Service), ce sont tous nos objets connectés qui, demain, seront pourvus d’agents IA pour mieux nous servir. Des agents IA pourraient nous accompagner à l’image d’un Jarvis dans Iron Man. Pour cette société chinoise, un équivalent de ChatGPT nous accompagnera dans toute notre vie quotidienne pour analyser ce que nous faisons et nous faire des recommandations, que nous soyons derrière votre smartphone, votre PC, en voiture, dans votre maison en train de cuisiner ou à la salle de sport. Terminus Group a d’ailleurs annoncé un partenariat avec la société Buttons qui fabrique des écouteurs pour intégrer ses services d’intelligence as a service.

Toujours autour de l’IA, il y a eu de nombreux débats autour des risques liés à une intelligence artificielle générale (AGI) qui selon Max Tegmark, du MIT, signerait la fin de l’humanité. Il milite donc pour que nous nous limitions à des « IA outils » au service de la vie humaine sur terre. Des IA qui selon lui offrent des perspectives positives pour adresser les problèmes que nous rencontrons autour de la santé, du changement climatique ou encore de l’éducation. 

Ce fut d’ailleurs l’occasion pour Thomas Wolff, d’Hugging Face, de lui emboiter le pas en expliquant que l’avenir de l’IA n’était pas dans la course aux LLMs mais bien aux SLMs (Small Language Models). Des SMLs qui sont construits à partir des LLMs open source et entraînés sur des tâches bien spécifiques afin d’être plus efficaces. Si vous deviez choisir votre camp seriez-vous team AGI ou SML ?

Les dernières avancées en IA permettent la montée en puissance de la robotique servicielle humanoïde à l’image du robot Digit. Un robot d’1m75 et 70 kg qui a pour objectif de réaliser des tâches rébarbatives et à faible valeur ajoutée comme déplacer des caisses, des cartons, trier des produits,... Digit est déjà en test dans les entrepôts d’Amazon aux Etats-Unis afin de répondre au manque de main d’œuvre. Mais les robots humanoïdes apparaissent également pour lutter contre la solitude, c’est ce que proposait la startup Navel robotics.

Si l’on fusionne l’ensemble de ces tendances autour de l’IA, il se pourrait que demain un robot humanoïde nous accompagne dans toutes nos tâches quotidiennes comme le shopping, le ménage, l’éducation de nos enfants ou encore pour nous soigner. 

A ce rythme il se pourrait que la réalité rattrape plus vite que jamais la science-fiction. 

Alors Team AGI ou team Small is beautiful ?

🧡 Voilà c'est fini ! J'espère que 𝕄𝕖𝕤 𝔽𝕝𝕒𝕤𝕙𝕤 𝕕𝕖 𝕝𝕒 𝕤𝕖𝕞𝕒𝕚𝕟𝕖 vous ont plu. Et je vous dis à la semaine prochaine 👋🏻

🔥Si vous voulez doper l'acculturation de vos équipes sur les sujets IA et innovation, contactez moi pour un Flash interne ou un Flash Debrief. On en parle ?

☕️ N'hésitez pas à vous abonner pour être sûr de déguster le numéro de la semaine avec votre café. 

🎁 Et n'oubliez pas de partager avec votre réseau en republiant ce wrap-up de l'actualité IA et innovation en 10 minutes !

⚡️ Rendez-vous du lundi au vendredi pour le FlashTweet sur X pour avoir un temps d'avance sur les transformations en cours.

💌 Retrouvez les newsletters précédentes.

🔥 Bon week-end à toutes et tous, 

Emmanuelle 

🔸J'accompagne les entreprises dans leurs stratégies d'influence et de notoriété avec des formats éditoriaux et événementiels dédiés. Et je vous guide dans l'acculturation à l'IA de vos équipes avec des newsletters sur-mesure. Je suis aussi conférencière, modératrice de débats et MC. Discutons-en !

#IA #AI #GENERATIVEAI #IAGENERATIVE #INTELLIGENCEARTIFICIELLE #DISRUPTION #INNOVATION #WOMENINTECH #STARTUP #SPEAKER