🤖 Plongée dans le NLP : Tokenisation, Bigrammes et Trigrammes

Dans mon dernier post, nous avons exploré les bases du NLP (Natural Language Processing) et ses applications. Aujourd’hui, voyons comment les machines apprennent à analyser et générer du texte grâce aux langage models, une technologie au cœur du NLP.

📌 Étape 1 : La Tokenisation

C’est une étape clé du traitement du langage naturel (NLP), consistant à fragmenter un texte en éléments unitaires appelés tokens. Ces tokens peuvent être des mots, des phrases ou même des caractères. Ces tokens représentent les éléments de base que les machines peuvent analyser.

Exemple :

Phrase d’origine : "Pastef remporte les élections législatives"

Tokens obtenus : ["Pastef", "remporte", "les", "élections", "législatives"]

Cette étape est essentielle pour permettre l’analyse contextuelle et linguistique.

Cas Pratique 1:

Une fois les tokens créés, on peut analyser les séquences de mots consécutifs dans le texte

📌 Étape 2 : Comprendre les Bigrammes et Trigrammes

Les bigrammes (séquences de deux mots) et les trigrammes (séquences de trois mots) permettent d’analyser les relations entre mots dans un texte. Ils sont utiles pour comprendre le contexte et prédire les mots suivants.

Exemple avec une phrase :

"Pastef remporte les élections législatives"

Bigrammes :

• "Pastef remporte"
• "remporte les"
• "les élections"
• "élections législatives"

Trigrammes :

• "Pastef remporte les"
• "remporte les élections"
• "les élections législatives"

Cas Pratique 2:

Ces séquences permettent de comprendre les relations entre les mots et de prédire ceux qui suivent.

💻 Cas pratique 3 : Apprendre les relations entre les mots et générer une phrase cohérente

Voici un exemple d’analyse des relations entre mots dans un corpus et une tentative de génération de phrase cohérente :

🎯 Pourquoi ces relations sont-elles importantes ?

1️⃣ Compréhension du contexte : Identifier les relations entre mots pour des tâches comme l’analyse de texte ou la recherche d’information.

2️⃣ Prédiction : Construire des systèmes capables de suggérer ou compléter des phrases, comme les claviers prédictifs.

3️⃣ Génération de contenu : Poser les bases des modèles avancés comme GPT, qui génèrent des textes cohérents.

🔥 Dans mon prochain post, nous plongerons dans les word embeddings (Word2Vec, GloVe) pour dépasser les limites des bigrammes/trigrammes. Restez connectés !