Autoformation à l'IA

Cela faisait longtemps que je voulais en apprendre plus sur les réseaux de neurone et l'intelligence artificielle. Une opportunité s'est présentée : mon fils suit un cours sur l'IA dans le cadre sa licence Informatique mathématiques et applications (IMA) à UGA. Il a eu la bonté de me transmettre ses cours que je me suis empressé d'avaler.

Et là surprise, je me retrouve avec un excellent cours. Donc un grand merci à Romain Couillet, son professeur pour la clarté et la profondeur de son enseignement. J'ai eu envie de mettre en lumière ce qui m'a marqué. Grace à lui, je vais pouvoir placer le modèle perceptron multi-couches dans les discussion de salon.

Le retour des mathématiques en informatique

J'ai vécu la pratique de l'informatique dans ma carrière comme une discipline assez séparée des maths. Conception objet et diagrammes de classes, modèles conceptuels, cas d'usage, design pattern. L'informatique me semblait être un domaine essentiellement d'ingénierie et sa base mathématique assez lointaine mis à part les opérateurs binaires et quelques algorithmes issues de la recherche opérationnelle.

En IA, rien de tel. Pour comprendre la base, le cours nous confronte à des énoncés qui me rappellent mes années de prépa :

Dans le cadre de l'algorithme SVM, on parle aussi d'hyperplans et d'optimisation sous contrainte.

Le formalisme utilisé pour les réseaux de neurones utilise largement et les matrices et les vecteurs avec toutes les transformations possibles.

Mais surtout le fonctionnement des réseaux de neurones est solidement fondé sur un théorème mathématique : l'approximation universelle.

L'intuition biomimétique

Cette construction informatique s'inspire clairement du vivant. Que ce soit le modèle du neurone de base ou celui des réseaux multi-couches :

On sait que ça fonctionne mais pas vraiment comment

Je cite le cours :

le perceptron permet de réaliser des classifications potentiellement dures! et c'est mathématiquement prouvé ! (magnifique preuve!)

mais. . . le théorème n'est pas constructif: il ne dit pas comment construire le réseau

Et plus loin :

paradoxalement, on est toujours bloqué en 1950! (théorème d'approximation universelle): combien de couches? de neurones? que fait le réseau? toujours aucune réponse. . . conséquence: l'IA est devenu un art plus qu'une science ! . . .

Le problème de la consommation d'énergie

Même si les problèmes et les fonctions apportées par les réseaux neuronaux sont de plus en plus impressionnant, cela a un coût énergétique :

Entraîner un modèle de langage est l'équivalent carbone de trois SUV fabrication et consommation comprise

• Vision pour l'homme possible en mangeant une pomme
• Vision pour la machine qui avale des barils de pétrole

Le problèmes des biais

Toujours issu du court :

Utilisés dans la société, cela pose des questions éthiques graves:

• biais et discriminations : l'algorithme favorise la majorité, et peut défavoriser les minorités
• renforcement des discriminations : l'algorithme auto-apprend ou se sert des décisions humaines basées sur ses propres règles précédentes (cercle vicieux!)

Une forme encodée dans une seule fonction mathématique ?

Le système des réseaux antagonistes qui permet la génération d'images faussement réaliste est aussi fascinant :

Je cite le cours : le DNN générateur a recréé la variété qui plonge [transforme] n'importe quel vecteur aléatoire en une image : ex., il sait construire la variété "chien" dans le monde des "tas de pixels possibles".

En gros, la fonction phi(x) encode la forme chien ! Je me demande si on est capable de trouver une fonction inverse à phi() auquel cas on aurait un algo de compression d'image de chien terriblement efficace. Cela me plonge dans des abimes de réflexion en terme de théorie de l'information.

Conclusion

Voilà, je vais faire les TP maintenant.