Que penser de Google Gemini?

Mercredi, Google a annoncé son produit d’IA tant attendu, Gemini.

Notre Lab consacré à l’IA, VUCA AI, a cherché à savoir si Gemini est à la hauteur de potentielles attentes, ce qu’il implique pour OpenAI et Microsoft, et ce que vous pouvez en faire dès aujourd’hui.

Un petit spoiler pour ceux qui sont déjà en week-end:

Jusqu’à présent, Google Gemini est plus un rattrapage par rapport à OpenAI et Microsoft qu’une innovation révolutionnaire, avec un puissante machine marketing à son service. Le plus grand avantage de Gemini sera sa diffusionvia Gmail, Google Docs, etc., mais nos tests de cette intégration ont montré des résultats médiocres jusqu’à présent. Il y a beaucoup de promesses ici, mais faites attention à ne pas vous laisser séduire par un battage médiatique excessif et assurez-vous de vérifier les résultats (au moins) à deux reprises.

Ce que vous trouverez ci-dessous 👇

• Ce qui a été publié cette semaine
• Notre avis sur Gemini jusqu’à présent
• 5 tests sur les capacités de Bard soutenu par Gemini
• Nos conclusions et ce qu’il faut apprendre maintenant

Qu’est-ce qui a été publié cette semaine?

Google a annoncé un nouveau modèle multimodal qui se décline en trois tailles différentes : Gemini Ultra, Gemini Pro et Gemini Nano.

Cela ne signifie pas pour autant que vous pouvez l’utiliser dès maintenant. La disponibilité est prévue pour la fin de l’année et courant 2024, de sorte que le premier aperçu des capacités du modèle est donné par Google Bard (un chatbot à peu près équivalent à ChatGPT, Claude ou Poe).

Depuis le 6 décembre, Bard a été mis à jour pour utiliser le modèle Gemini Pro et semble être disponible pour la plupart des utilisateurs personnels.

Qu’est-ce qui sera publié plus tard cette année / en 2024 ?

Pour les développeurs, Gemini Pro sera disponible via l’API Gemini à partir du 13 décembre 2023.

Gemini Ultra, le modèle le plus performant, devrait sortir début 2024 après sa phase actuelle de test. Ce modèle a été conçu pour les tâches complexes et est prêt à affronter le GPT-4 d’OpenAI. Gemini Nano, le modèle conçu pour des tâches spécifiques et des appareils mobiles, sera intégré au Google Pixel 8.

NOTRE POINT DE VUE SUR GEMINI

• Gemini est un grand pas en avant pour Google (et un cas pour ses concurrents), mais ne change pas la donne pour l’IA.

Google est clairement en train de rattraper son retard dans une course à l’IA dominée par des géants comme OpenAI et Microsoft.

Il s’agit d’un mouvement défensif, et non d’une percée innovante – bien que cela puisse changer si Gemini Ultra dépasse les capacités de GPT-4 dans le monde réel.

Google possède deux avantages importants : l’accès aux données et son écosystème composé de Gmail, Sheets, Docs, Calendar et Meets. Les intégrations de Google avec ces produits pourraient constituer une menace pour l’intégration de Copilot de Microsoft avec Windows et pour le partenariat plus large entre OpenAI et Microsoft. Nous reviendrons plus en détail sur l’état des intégrations par la suite.

• Les premières démonstrations faites par Google sont impressionnantes – mais s’agit-il d’une technologie réelle ou d’un excellent marketing ?

Google a publié une démonstration impressionnante de Gemini sur YouTube et sur son blog de développeurs.

Le blog donne un aperçu des capacités multimodales complètes de Gemini et de son raisonnement avancé sur différentes entrées telles que le texte, l’image, la vidéo et l’audio. Regardez cette vidéo à 4:28, où un utilisateur présente trois images du soleil, de Saturne et de la Terre, et demande : “Est-ce le bon ordre ?”.

Gemini répond : “Non, l’ordre correct est Soleil, Terre, Saturne”.

Plutôt impressionnant, mais il s’agit d’une démo marketing, et elle a été légèrement modifiée pour faire paraître Gemini plus puissant qu’il ne l’est. Dans l’article de blog qui l’accompagne, l’invite est en fait la suivante : “Est-ce le bon ordre ? Prenez en compte la distance par rapport au soleil et expliquez votre raisonnement.”

Il n’y a rien de mal à ce que l’invite soit excellente (chaque LLM en a besoin), mais il est important de faire la part des choses entre le battage médiatique et la réalité. Lorsque nous avons testé l’intégration de Gemini avec Google Suite ci-dessous, elle a souvent échoué en l’absence d’invites très spécifiques.

• La toile d’araignée de Google (Google Docs, Gmail…) pourrait éclipser la technologie actuelle …. mais leur intégration est pour l’instant poussive.

Les intégrations de Google avec Docs, Sheets, Gmail et la recherche seront le moyen de concurrencer Microsoft. Mais cela fonctionne-t-il vraiment ? Nous avons testé l’intégration avec Gmail et Google Drive, et nous avons trouvé que les résultats réels étaient pour le moins…moyens.

Nous avons constaté de nombreuses hallucinations, des erreurs et l’impossibilité d’accéder à certains fichiers. Les cas d’utilisation de Google Suite sont infinis, et nous supposons qu’ils vont bientôt trouver une solution – mais pour l’instant, soyez conscients des limites et vérifiez les résultats.

5 TESTS SUR LES CAPACITÉS DE BARD AVEC L’APPUI DE GEMINI

• Bard peut-il me dire combien j’ai dépensé en achats en ligne au cours des 30 derniers jours ?

J’ai demandé à Bard de passer en revue toutes les confirmations de commande de mes achats en ligne des 30 derniers jours et de me dire combien j’ai dépensé.

Note: 18/20

Les données étaient exactes et Bard les a fournies très rapidement. L’aspect le plus intéressant : Il a été en mesure de fournir une liste de chaque confirmation de commande et de faire le total, ce qui m’aurait pris un certain temps et aurait impliqué de nombreuses recherches booléennes différentes.

• Bard peut-il me dire combien j’ai payé à la garderie au cours des trois dernières années ?

J’ai demandé à Bard de calculer le montant que j’ai payé à la garderie de ma fille via les factures que j’ai reçues par e-mail au cours des trois dernières années.

Note: 10/20

Bien qu’il ait été capable de trouver les bons e-mails, il n’a calculé que les factures à partir de juillet 2023, alors que les mêmes factures sont disponibles dans les e-mails à partir de 2021.

• Bard peut-il me dire quelles sont les cinq personnes qui m’ont le plus envoyé d’e-mails et vice versa ?

J’ai demandé à Bard de m’indiquer les cinq premières personnes qui m’ont envoyé des e-mails et vice versa.

Note : 10/20

Carole ne m’a envoyé qu’un seul courriel, il s’agit donc certainement d’une hallucination. Les autres semblent avoir une direction correcte, mais l’erreur avec Carole me rend dubitatif sur la qualité résultats.

• Bard peut-il me dire ce qui était à l’ordre du jour d’une réunion en début de semaine ?

J’ai demandé à Bard de regarder l’ordre du jour de la réunion de mon association de quartier et d’en résumer le contenu.

Note : 0/20

Il n’a pas pu le faire (peut-être parce que l’ordre du jour était joint dans un document Word / PDF). Bard a également semblé halluciner et a rapporté des informations qui ne figuraient pas dans l’e-mail.

• Bard peut-il calculer le nombre de personnes invitées à mon mariage en consultant une feuille de calcul ?

J’ai demandé à Bard de trouver une feuille de calcul connue – la liste des invités à mon mariage – dans Google Drive et de me dire combien de personnes y figuraient.

Note : 0/20

Il n’a pas pu trouver la feuille de calcul, probablement parce que Bard ne s’intègre pas encore à Google Sheets.

NOTRE CONCLUSION ET CE QU’IL FAUT FAIRE DES AUJOURD’HUI

Il y a beaucoup de promesses. Imaginez un monde où Gemini fonctionnerait comme votre assistant/thérapeute personnel, avec une mémoire parfaite de vos e-mails et de votre Google Drive des 10 dernières années, et la capacité d’analyser les émotions et les idées à partir de toutes ces données. J’adorerais avoir cet “esprit” au bout des doigts.

Ne rejetez donc pas cette technologie simplement parce qu’elle n’est pas encore parfaite. Continuez à l’essayer pour différents cas d’utilisation et restez à l’affût des mises à jour.

Mais sachez qu’en termes de stratégie commerciale de Google, il s’agit moins de “la technologie d’IA qui va changer le monde” que de la puissance des données et de la toile d’araignée d’applications de Google. Pour l’instant, cette technologie semble à peine meilleure que celle d’OpenAI, mais cela n’aura peut-être pas d’importance si Gemini est présent dans tous les outils que vous utilisez pour votre organisation professionnelle et personnelle.