ChatGPT est partout. Voici d’où il vient
Cet article est la retranscription condensée générée par 🤖 ChatGPT à partir de l'article original : "ChatGPT is everywhere. Here’s where it came from" de Will Douglas Heaven, publié le 8 février 2023 dans MIT Technology Review.
Le succès fulgurant de ChatGPT d’OpenAI repose sur des années de recherche en modèles de langage
ChatGPT est un chatbot d'OpenAI qui a atteint 100 millions d'utilisateurs en seulement deux mois et est devenu l'un des services internet à la croissance la plus rapide de tous les temps. Maintenant intégré aux logiciels Office et au moteur de recherche Bing grâce au partenariat avec Microsoft, il est le produit le plus abouti d'une série de modèles de langage de grande envergure remontant à plusieurs années.
ChatGPT s'appuie sur un modèle de langage qui n'est pas apparu par magie, tel un lapin sortant d'un chapeau.
Le modèle de langage utilisé par ChatGPT est fondé sur GPT-3. Ce modèle de langage utilise des réseaux de neurones artificiels entraînés à comprendre des séquences de lettres et de mots. Ces modèles ont été créés dans les années 80, mais les réseaux LSTM (Long Short-Term Memory), développés en 1997, étaient limités.
Les avancées des "transformers"
Les transformers sont une avancée de Google en 2017, qui a permis de suivre l'emplacement de chaque mot ou phrase dans une séquence. GPT-3 a combiné cette technologie avec l'apprentissage non supervisé, qui permet d'entraîner un modèle sans lui donner d'information à l'avance. Il peut ainsi répondre à des questions, générer des histoires dans différents styles, traduire entre plusieurs langues, etc.
Recommandé par LinkedIn
Les débats éthiques autour de GPT-3
GPT-3 a été entraîné sur plus de données que son prédécesseur, ce qui l'a rendu meilleur, mais a aussi absorbé de nombreux préjugés et fausses informations sur internet. En effet, les grands modèles de langage peuvent produire de fausses informations ou des propos haineux. Le licenciement de la chercheuse Timnit Gebru de chez Google, qui avait coécrit un document sur les dommages potentiels associés aux grands modèles de langage, a déclenché un vif débat sur l'éthique de l'IA.
Les alternatives à coût réduit
OpenAI a créé InstructGPT pour réduire la quantité de désinformation et de langage offensant produit par GPT-3. D'autres projets collaboratifs tels que OPT et BLOOM ont également développé des modèles de langage accessibles.
Ce qu'il faut retenir
Le dernier produit d'OpenAI, ChatGPT, est devenu l'un des services internet à la croissance la plus rapide de tous les temps. Bien qu'il semble surgir de nulle part, il est en réalité le produit le plus abouti d'une série de modèles de langage de grande envergure remontant à plusieurs années.
Lire l'article original de Will Douglas Heaven :