Une époque propre aux hallucinations?

⬇️ English version just below french.

À moins d’être cachés sous un caillou, nous avons tous remarqué ces derniers mois que les IA génératives sont en train de secouer notre monde. Après un certain nombre « d’hivers », l’IA vient de faire un retour fulgurant. Aucun produit ou proposition de service qui se veut un peu tendance ne peut faire l’impasse. Les big Tech se font une guerre sans merci et nous mettent de l’IA partout. En tant que dirigeants, nous sommes constamment à la recherche de moyens pour propulser nos sociétés vers de nouveaux sommets tout en étant rappelés à la réalité chaque jour par des réunions pour préciser la stratégie, valider les budgets, les projets, le développement des contrats clients, etc.

J’ai donc choisi ces derniers mois d’explorer l’univers fascinant des IA génératives. Voyez cela comme de l’exercice pour mes anciens muscles Tech. Pour ce faire, j’ai choisi la pratique, de commencer modestement, mais avec des contraintes fortes : 

OBJECTIF : produire l’image d’une rencontre fictive avec personnalité publique.

• Utiliser un PC grand public à environ 1,5 k€ (GPU de gamer, sous Linux pour me rapprocher malgré tout d’un environnement déployable en salle machine).
• Sans le soutien des outils SAAS des géants de la Tech en utilisant Stable Diffusion.

Pourquoi une image ? Car il est plus facile de se représenter le fonctionnement de quelque chose en le voyant et surtout que n’ayant aucun talent artistique, je suis bien incapable d’aider la machine. Donc ma capacité à créer un deepfake est naturellement proche du 0 absolu. J’ai choisi de m’intégrer dans l’image, car je suis certain de ne pas être assez connu pour être « taggé » dans le modèle original (aucun égo mal placé 🙃).

• La première phase de mon projet impliquait la création d’un modèle IA personnalisé. Pour ce faire, j’ai combiné 24 images de moi avec des fichiers textes descriptifs, chacun contenant un mot-clé spécifique, « ben0a », qui était absent du modèle initial. Après 5 heures d’entrainement intensif, j’ai réussi à générer un ensemble de vecteurs, connus sous le nom de LORA, pesant seulement 9 Mo. Ce processus a ensuite été reproduit avec des images d’une figure publique, utilisant un mot-clé distinct, pour créer un second modèle de même taille.
• En utilisant l’outil Automatic1111 avec des prompts spécifiques, le modèle générique et mes 2 mini modèles personnalisés, j’ai généré de nombreuses images jusqu’à obtenir une représentation convaincante et réaliste de moi-même et de la célébrité. Celle qui illustre mon post n’est pas la meilleure générée, mais ses défauts permettent aussi d’illustrer la différence entre fake et réalité.

J’en retiens les 3 points suivants :

1. L’accessibilité de l’IA générative: j’ai pu entrainer une IA sur un ordinateur perso, loin des services des géants de la Tech. C’est un exploit rendu possible grâce à une communauté incroyablement créative et engagée de développeurs qui partagent leurs connaissances et leurs outils. C’est une démocratisation technologique que l’ère crypto n’a pu qu’imaginer, surement car elle est particulièrement visuelle (voire textuelle) et utilisable instantanément.
2. La qualité des images générées: malgré les défauts liés à la résolution, aux couleurs ou à l’âge des personnages, la complexité générale de la mise en œuvre… La qualité générale des images produites est impressionnante. Et je suis convaincu que ces limites seront dépassées rapidement, vu la vitesse à laquelle la technologie évolue.
3. L’immense potentiel des IA génératives: même si aujourd’hui les images générées ont encore des limites, je suis convaincu que nous sommes à l’aube d’une nouvelle ère, ou la manipulation de l’image deviendra triviale et à échelle multiple. Nous allons tous devoir être de plus en plus vigilants avec ce que nous voyons.

Mes prochaines étapes de ce voyage ? Étudier les moteurs génératifs de textes puis les multimodaux et leurs intégrations business.

➡️ Avez-vous trouvé ceci intéressant ?

➡️ Trop long ? Trop court ?

➡️ J’ai évité, à dessein de m’appesantir sur la partie Tech/Geek (genre : taille des images dans les modèles, les couches, époques, embeddings, bruit, etc.). Cela vous va ?

Unless hiding under a rock, we’ve all noticed over the past few months that generative AIs are shaking up our world. After several "winters", AI has made a powerful comeback. No product or service (visionary or not) proposal that wants to be trendy can avoid it. Big Tech is waging a merciless war and throwing AI at us from all directions. As leaders, we are constantly searching for ways to propel our companies to new heights while being reminded of reality each day through strategy meetings, budget approval, project validations, customer contracts development, etc.

So, in the past few months, I’ve chosen to delve into the fascinating universe of generative AIs. As an exercise for my long time gone Tech muscles. To do this, I chose to start modestly but with strong constraints:

GOAL: to produce the image of a fictitious encounter between a public figure and me.

• Using a consumer PC around €1.5k. But with a gamer’s GPU and running on Linux to still resemble a deployable server-room environment).
• Without the support of the SaaS tools of tech giants, using Stable Diffusion.

Why an image? Because it’s easier to understand how something works by seeing it, especially since I have no artistic talent and am incapable of assisting the machine. Thus, my ability to create a deepfake is naturally close to absolute zero. I chose to integrate myself into the image because I’m certain I’m not well known enough to be recognized by the model.

• The first phase of my project involved creating personalized AI sub-models. To do this, I used 24 images of me with descriptive text files, each containing a specific keyword, ‘ben0a’, which for sure was absent from the main model. After 5 hours of intense training, I managed to generate a LORA, set of vectors, weighing only 9 MB. This process was then repeated with images of a public figure, using a distinct keyword, to create a second model of the same size.
• Using the Automatic1111 tool with specific prompts, the generic model, and my two personalized mini-models, I generated numerous images until I obtained a convincing and realistic representation of myself and the ‘celebrity’. The image illustrating my post isn’t the best generated, but its flaws also help illustrate the difference between fake and reality.

I take away the following 3 points:

1. The accessibility of generative AI: I was able to train an AI on a local computer, far from the services of the tech giants. This is an achievement made possible thanks to an incredibly creative and committed community of developers who share their knowledge and tools. It’s a technological democratization that the crypto era could only imagine, likely because it is particularly visual (or textual) and instantly usable.
2. The quality of the images generated: Despite flaws related to resolution, colours, or the age of the characters, the overall quality of the images produced is impressive. And I am convinced that these limitations will be overcome quickly, given the speed at which the technology is evolving.
3. The immense potential of generative AIs: Even if today’s generated images still have limitations, I am convinced that we are on the brink of a new era, where image manipulation will become trivial and multi-scale. Be cautious with what you may think is reality.

My next steps on this journey? Studying text generative engines and then the multimodal ones and their business integration.

➡️ Did you find this interesting?

➡️ Too long? Too short?

➡️ I intentionally avoided going into the Tech/Geek part (like: image sizes in models, epochs, layers, embeddings, or noise, etc.). Is that okay with you?