Les avancées du traitement du langage naturel

Traitement du langage naturel (Natural Language Processing) : les avancées grâce à une architecture originale de réseaux de neurones : Les "Transformers"

Je ne sais pas si vous suivez les avancées dans ce domaine, moi si et cela va très vite ! Il y a encore 10 ans les méthodes d'analyses de texte étaient basées sur les connaissances d'expert en linguistique. 5 ans plus tard les réseaux de neurones (réseaux de neurones récurrents - RNN, GRU, .. et le Word Embedding) ont commencé à donner de très bons résultats notamment pour les tâches de traduction automatique. Fin 2018, une petite révolution, Google AI a sorti BERT, une architecture de Deep Learning basée sur les Transformers. Ces Transformers sont des réseaux de neurones classiques (Feed Forward) associés à des mécanismes d'attention, mécanisme très en vogue dans le traitement de la vision.

BERT affichait des performances bien au-delà de toutes les autres modèles et architectures sur tous les thèmes du NLP : classification, traduction et Questions/Réponses sur la compréhension de texte. Il s'est payé même le luxe d'obtenir de meilleurs résultats que les humains aux tests SQUAD de Stanford.

Mais je viens d'apprendre que Google AI BERT vient de se faire battre à plat de couture par XLNet (basé sur des Transformers XL). Nous allons sous peu obtenir des machines qui vont mieux comprendre les textes que nous les humains. Une révolution se profile !

PS : J'ai réalisé différents POC avec FastText (Word Embedding de FaceBook) et BERT. Je vous les publierai plus tard dans un autre post.