Roadmap pour apprendre l’IA en 2024

Vous voulez apprendre l'IA ?

Alors , tu veux apprendre l’IA ? Mais vous ne savez pas comment ni par où commencer ?

Il y'a des tonnes de MOOC gratuits sur la science des données, le ML et l'IA sur Internet. Mais j'ai réalisé que suivre de nombreux cours n'est pas la solution.

Pour échapper à l'enfer des tutoriels et vraiment apprendre, vous devez vous mettre en pratique, écrire des algorithmes à partir de zéro, mettre en œuvre des articles et réaliser des projets parallèles amusants en utilisant l'IA pour résoudre des problèmes.

Cet article tente d'élaborer un programme gratuit qui suit cette philosophie.

Contactez-nous sur Twitter ou Linkedin si vous souhaitez y travailler ensemble !

Aussi, laissez un commentaire si vous pensez qu’il manque quelque chose !

Mais d’abord, quelques notes sur le programme et quelques conseils pour l’apprentissage.

Ce programme suit une approche descendante : le code d'abord, la théorie ensuite .

J'aime apprendre par nécessité . Ainsi, si je dois trouver quelque chose, un problème à résoudre ou un prototype à réaliser, je vais chercher partout les informations dont j'ai besoin, les étudier, leur donner un sens, puis agir en conséquence.

Par exemple, mon objectif est d'être un ingénieur en IA qui comprend les LLM (Large Language Model) à un niveau fondamental, ce qui implique d'avoir les compétences nécessaires pour coder des transformateurs à partir de zéro et affiner les LLM sur les GPU, etc. Je ne peux pas le faire maintenant car il y a des lacunes dans mes connaissances, et j'ai pour objectif de combler ces lacunes.

Il est également axé sur la PNL ; si vous recherchez d'autres spécialisations en IA comme la Computer Vision ou l'apprentissage par renforcement (Reinforcement Learning), commentez ci-dessous ou envoyez-moi un message privé sur Twitter ou Linkedin . Je vais vous transmettre quelques recommandations.

Avant de vous jeter un tas de liens, j'aurais aimé que quelqu'un me dise deux choses importantes avant de commencer à apprendre quoi que ce soit.

Il y a beaucoup à apprendre, et vous n’aurez jamais fini d’apprendre, surtout avec l’IA, lorsque de nouveaux articles et idées révolutionnaires sont publiés chaque semaine.

La plus grosse erreur que vous puissiez commettre est d’apprendre en privé. Vous ne vous créez aucune opportunité si vous faites cela. Vous n’avez rien à montrer à part pouvoir dire que vous avez terminé quelque chose. Ce qui compte le plus, c'est ce que vous avez fait de la #Data, comment vous l'avez transformée en connaissances à partager avec le public et quelles idées et solutions nouvelles sont issues de ces informations.

Donc, vous devriez apprendre en public .

Cela signifie avoir l' habitude de créer .

Cela peut signifier :

• rédiger des blogs et des tutoriels
• rejoignez des hackathons et collaborez avec d'autres
• poser et répondre à des questions dans les communautés Discord
• travaillez sur des projets parallèles qui vous passionnent
• tweeter à propos de quelque chose d'intéressant que vous avez découvert

Et en parlant de Twitter,

Si vous suivez les bonnes personnes et l’utilisez correctement, Twitter est la plateforme sociale la plus rentable sur laquelle on puisse accéder aujourd’hui.

Qui suivre ? Voir cette liste AI de Suhail .

Comment utiliser Twitter ? Lisez Near sur Comment Twitter avec succès .

DM aux gens sur Twitter. Soyez sincère, soyez bref et posez une demande précise. Ce guide sur Comment rédiger un e-mail froid de Sriram Krishnan peut également s'appliquer aux DM.

Comment tweeter ? Lisez Anatomy of a Tweet de Jason , créateur d' Instructor , qui est passé de 0 → 14 000 abonnés en quelques mois.

Si vous lisez ceci, suivez-moi sur Twitter !

DM-moi pour savoir ce que tu fais ! Je suis toujours prêt à collaborer sur des projets sympas.

Maintenant, allons-y.

Table des matières

Mathématiques

Outils

∘ Python

∘ PyTorch

Machine Learning

∘ Écrire à partir de zéro

∘ Rivaliser

∘ Réaliser des projets parallèles

∘ Déployer

∘ Supplémentaire

Deep Learning

∘ Fast.ai

∘ Faire plus de compétitions

∘ Mettre en œuvre des articles

∘ Computer Vision

∘ PNL

Grands modèles de langage

∘ Regardez Neural Networks: Zero to Hero

∘ Camp d'entraînement LLM gratuit

∘ Construisez avec des LLM

∘ Participez à des hackathons

∘ Lisez des articles

∘ Écrivez des Transformers à partir de zéro.

∘ Quelques bons blogs

∘ Regardez Umar Jamil

∘ Apprenez à exécuter des modèles open source.

∘ Ingénierie rapide

∘ Mise au point des LLM

∘ RAG

Comment rester à jour

Autres programmes/listicules qui pourraient vous être utiles

Mathématiques

Machine Learning ou apprentissage automatique s'appuie fortement sur trois piliers des mathématiques : l'algèbre linéaire, le calcul (calculus), les probabilités et les statistiques. Chacun joue un rôle unique dans le fonctionnement efficace des algorithmes.

• Algèbre linéaire : la boîte à outils mathématique pour la représentation et la manipulation des données, où les matrices et les vecteurs forment le langage permettant aux algorithmes d'interpréter et de traiter les informations.
• Calcul : le moteur d'optimisation de l'apprentissage automatique, permettant aux algorithmes d'apprendre et de s'améliorer en comprenant les gradients et les taux de changement.
• Probabilités et statistiques : fondement de la prise de décision dans des conditions d'incertitude, permettant aux algorithmes de prédire les résultats et d'apprendre des données grâce à des modèles de caractère aléatoire et de variabilité.

Voici une excellente série sur les mathématiques pour le ML du point de vue d'un programmeur : Les mathématiques pour l'apprentissage automatique par poids et biais ( code )

Si vous souhaitez une approche de l'algèbre linéaire axée d'abord sur le code, faites l'algèbre linéaire computationnelle ( vidéo , code ) par les créateurs de fast.ai.

Lisez Introduction à l'algèbre linéaire pour l'apprentissage automatique appliqué avec Python en parallèle du cours.

Si vous voulez quelque chose de plus traditionnel, consultez les cours de l'Imperial College de Londres — Algèbre linéaire et calcul multivarié .

Regardez l'Essence de l'algèbre linéaire et l'Essence du calcul de 3Blue1Brown .

Regardez les principes fondamentaux des statistiques par StatQuest pour les statistiques

Supplémentaire

• Livre : Mathématiques pour l'apprentissage automatique
• Article : Le calcul matriciel dont vous avez besoin pour l'apprentissage en profondeur

Outils

Python

Les débutants commencent ici : Programmation Python pratique .

Si vous êtes déjà à l'aise avec Python, faites cette maîtrise avancée de Python

Ce sont deux excellents cours de David Beazley, auteur de Python Cookbook.

Après cela, regardez quelques-unes des conférences de James Powell

Lisez les modèles de conception Python .

Supplémentaire

• Livre : Fluent Python, 2e édition ( code )
• Podcasts : Vrai Python et Parlez Python

PyTorch

Vidéos

• Tutoriels PyTorch par Aladdin Persson

Officiel

• Exemples PyTorch
• Tutoriels officiels PyTorch

Pratique

• srush/Tensor-Puzzles : résolvez des énigmes. Améliorez votre PyTorch

Supplémentaire

• Livre : Programmation PyTorch pour le Deep Learning

Machine Learning

Lisez le livre ML de 100 pages .

Écrire à partir de zéro

Pendant que vous lisez, écrivez les algorithmes from scratch ; C'est le seul moyen de comprendre réellement.

Regardez les référentiels ci-dessous

• eriklindernoren/ML-From-Scratch
• JeremyNixon/oracle
• trekhleb/apprentissage automatique fait maison

Si vous voulez relever un défi, écrivez PyTorch à partir de zéro en suivant ce cours.

• MiniTorch : un cours DIY sur l'ingénierie de l'apprentissage automatique ( vidéos , code )

Rivaliser

Appliquez ce que vous apprenez lors des compétitions.

• Rejoignez des compétitions ML sur des plateformes comme bitgrit et Kaggle ; en savoir plus dans cet article .
• Examinez les solutions gagnantes du passé et étudiez-les

Faire des projets parallèles (Side projects)

Lire Passer l'apprentissage automatique à la production par Vicki Boykis

Elle a également écrit sur ce qu'elle a appris en créant Viberary , une recherche sémantique de livres.

Obtenez un ensemble de données et créez un modèle (ex, utilisez earthaccess pour obtenir des données NASA Earth).

Créez une interface utilisateur avec Streamlit et partagez-la sur Twitter.

Déployez-les

Mettres vos modèles en production. Apprenez à surveiller les modèles. Vivre l’expérience directe de la dérive des données et des modèles (data and model drift).

Voici quelques excellentes ressources

• Made With ML
• DataTalksClub/mlops-zoomcamp: Free MLOps course
• chiphuyen/machine-learning-systems-design
• Evidently AI — ML system design: 300 case studies
• stas00/ml-engineering: Machine Learning Engineering Online Book

Supplémentaire

• Machine Learning with PyTorch and Scikit-Learn (code)
• [1811.12808] Model Evaluation, Model Selection, and Algorithm Selection in Machine Learning
• Introduction to Machine Learning Interviews Book · MLIB

Deep Learning

Si vous voulez une approche descendante (top-down), commencez par fast.ai.

Fast.ai

• fast.ai ( part1 , part2 ) + Groupe d'étude W&B

Vous avez aimé fast.ai ? Découvrez Full Stack Deep Learning .

Si vous souhaitez un cours plus complet et traditionnel, consultez UNIGE 14x050 — Deep Learning de François Fleuret .

Si vous avez besoin d’aborder la théorie à un moment donné, voici d’excellents livres.

• Plongez dans le Deep Learning (contient des exemples de code dans PyTorch, NumPy/MXNet, JAX et TensorFlow)
• Apprentissage profond par Ian Goodfellow, Yoshua Bengio et Aaron Courville
• Réseaux de neurones et apprentissage profond
• Comprendre le Deep Learning (avec des cahiers pratiques )

Lisez Le Petit Livre du Deep Learning sur votre téléphone au lieu de faire défiler Twitter.

Lisez-les pendant que vos réseaux de neurones convergent :-)

• A Recipe for Training Neural Networks
• Deep Neural Nets: 33 years ago and 33 years from now

Faire plus de compétitions

• PlantTraits2024 — FGVC11 | Kaggle (computer vision)

Implémenter des papers

Découvrez labml.ai Annotated PyTorch Paper Implementations

Papers with Code est une excellente ressource ; voici BERT expliqué sur leur site Web.

Vous trouverez ci-dessous quelques ressources pour les spécialisations du Deep Learning

Computer Vision

Beaucoup de gens recommandent CS231n : Deep Learning for Computer Vision . C'est un défi mais cela en vaut la peine si vous y parvenez.

Reinforcement Learning

Pour le RL, ces deux ressources sont top:

• Spinning Up in Deep RL by OpenAI
• 🤗 Deep Reinforcement Learning Course — Hugging Face

PNL

Un autre excellent cours de Stanford, CS 224N | Traitement du langage naturel avec apprentissage profond

Learn Hugging Face: Hugging Face NLP Course

Bons articles et pannes

• Recherche BERT — Ép. 1 — Concepts et sources clés · Chris McCormick
• Le Word2vec illustré — Jay Alammar
• Le BERT illustré, ELMo et co. (Comment la PNL a piraté l'apprentissage par transfert
• Comprendre les réseaux LSTM — le blog de Colah
• PyTorch RNN à partir de zéro — Jake Tae

Supplémentaire

• Livre sur le traitement du langage naturel avec Transformers

Large Language Models (LLMs)

Tout d’abord, regardez [ 1 heure de discussion] Intro to Large Language Models par Andrej.

Puis Large Language Models in Five Formulas, par Alexander Rush — Cornell Tech

Regarder Réseaux de neurones : Zero to Hero

Cela commence par expliquer et coder la rétropropagation à partir de zéro et se termine par l'écriture du modèle GPT à partir de zéro.

Réseaux de neurones : Zero To Hero par Andrej Karpathy

Vous pouvez également consulter GPT dans 60 lignes de NumPy | Jay Mody pendant que vous y êtes.

LLM boot camp gratuit

Un Bootcamp LLM payant publié gratuitement par Full Stack Deep Learning.

Il enseigne l'ingénierie rapide, le LLMOps, l'UX pour les LLM et comment lancer une application LLM en une heure.

Maintenant que vous avez hâte de construire après ce camp d'entraînement,

Build avec les LLM

Vous souhaitez créer des applications avec des LLM ?

Regardez le développement d'applications à l'aide de grands modèles de langage par Andrew Ng

Lire Création d'applications LLM pour la production par Huyen Chip

Reportez-vous au livre de recettes OpenAI pour les recettes.

Utilisez les modèles Vercel AI pour commencer.

Participer à des hackathons

lablab.ai organise de nouveaux hackathons IA chaque semaine.

Si vous souhaitez approfondir la théorie et comprendre comment tout fonctionne :

Lire des articles

Un excellent article de Sebastian Raschka sur Understanding Large Language Models , où il répertorie quelques articles que vous devriez lire.

Il a également récemment publié un autre article contenant des articles que vous devriez lire en 2024 , concernant les modèles mistral.

Suivez son sous-stack En avance sur l'IA .

Écrivez des Transformers from scratch

Lire la famille Transformer version 2.0 | Lil'Log pour un aperçu.

Choisissez le format qui vous convient le mieux et implémentez-le à partir de zéro.

Papers

• Attention Is All You Need
• The Illustrated Transformer
• The Annotated Transformer by Harvard
• Thinking like Transformer

Blogs

• Creating a Transformer From Scratch — Part One: The Attention Mechanism (part 2) (code)
• Understanding and Coding the Self-Attention Mechanism of Large Language Models From Scratch by Sebastian Raschka, PhD
• Transformers from scratch

Vidéos

• Coding a Transformer from scratch on PyTorch, with full explanation, training and inference
• NLP: Implementing BERT and Transformers from Scratch

Quelques bons blogs

• Gradient Descent into Madness — Building an LLM from scratch
• The Illustrated Transformer — Jay Alammar
• Some Intuition on Attention and the Transformer by Eugene Yan
• Speeding up the GPT — KV cache | Becoming The Unbeatable
• Beyond Self-Attention: How a Small Language Model Predicts the Next Token
• Llama from scratch (or how to implement a paper without crying) | Brian Kitano
• Improving LoRA: Implementing Weight-Decomposed Low-Rank Adaptation (DoRA) from Scratch

Regarder Umar Jamil

Il propose de fantastiques vidéos détaillées expliquant les articles. Il vous montre également le code.

• LoRA: Low-Rank Adaptation of Large Language Models — Explained visually + PyTorch code from scratch
• Mistral / Mixtral Explained: Sliding Window Attention, Sparse Mixture of Experts, Rolling Buffer
• Attention is all you need (Transformer) — Model explanation (including math), Inference and Training
• LLaMA explained: KV-Cache, Rotary Positional Embedding, RMS Norm, Grouped Query Attention, SwiGLU
• Retrieval Augmented Generation (RAG) Explained: Embedding, Sentence BERT, Vector Database (HNSW)

Découvrez comment exécuter des modèles open source.

Utilisez ollama : soyez opérationnel avec Llama 2, Mistral et d'autres grands modèles linguistiques localement

Ils ont récemment publié des bibliothèques Python et JavaScript

Prompt Engineering

Lire l'ingénierie d'invite | Lil'Log

Ingénierie d'invite ChatGPT pour les développeurs par Ise Fulford (OpenAI) et Andrew Ng

DeepLearning.ai propose également d'autres cours de courte durée auxquels vous pouvez vous inscrire gratuitement.

Fine tune les LLM

Lisez le guide de réglage fin de Hugging Face .

Un bon guide : Fine-Tuning — Le guide GenAI

Découvrez l'axolotl .

C'est un bon article : Affiner un modèle Mistral-7b avec l'optimisation des préférences directes | par Maxime Labonne

RAG (Retreival Augmented Generation)

Un excellent article d'Anyscale : Création d'applications LLM basées sur RAG pour la production

Un aperçu complet du Retrieval Augmented Generation par Aman Chadha

Comment rester à jour

Combinaison de newsletters + podcasts + Twitter

Pour les articles, vous pouvez suivre AK (@_akhaliq)

Pour les podcasts, le meilleur que j'ai trouvé est Latent Space de Swyx & Alessio

Rejoignez leur Discord .

Ils ont également cette newsletter, Smol Talk , qui résume tous les gros désaccords sur l'IA.

Voici d’autres newsletters que j’aime :

• The Batch | DeepLearning.AI | AI News & Insights
• Deep Learning Weekly
• Interconnects | Nathan Lambert
• AI Tidbits | Sahar Mor

Autres programmes/listicules qui pourraient vous être utiles.

Ma liste ne se voulait pas exhaustive, mais si vous souhaitez quand même en savoir plus, en voici quelques-unes.

• openai/syllabus.md
• AI Canon | Andreessen Horowitz
• AI Learning Curation — LLM Utils
• Threshold to the AI Multiverse | Open DeepLearning
• louisfb01/start-llms: A complete guide to start and improve your LLM skills in 2023

J'espère que cela vous aidera dans votre voyage vers l'IA !

Si vous avez lu jusqu'ici, n'oubliez pas de me contacter ou de laisser un commentaire :-)