🔴 DeepSeek-R1 : Un récap Tech et Business

Partie 1 DeepSeek-R1 : les enjeux techniques

Introduction

2025 marque le virage de l’IA vers l’optimisation et la distillation, plutôt que l’expansion brute des modèles. DeepSeek-R1 privilégie l’efficacité et une architecture ciblée, à l’opposé de la tendance américaine des modèles gigantesques nécessitant des centaines de milliards de dollars. Leur pari ? Une IA plus intelligente, plus optimisée, et surtout plus économe en ressources.

Hacker mindset : exploiter des ressources limitées

Face aux sanctions américaines, DeepSeek a dû optimiser ses GPU NVIDIA H800, malgré une bande passante limitée :

• 20 des 132 unités de traitement sont spécifiquement dédiées à la communication inter-puce.
• Optimisation au niveau PTX (assembleur bas niveau), au lieu de CUDA. Une approche rappelant les développeurs 8 bits qui optimisaient leurs jeux en assembleur.
• D’habitude réservée aux systèmes embarqués basse consommation, cette optimisation extrême s’infiltre désormais dans les LLM énergivores.

Des modèles plus petits, mais plus intelligents

Alors que d’autres laboratoires entraînent des modèles toujours plus vastes, DeepSeek adopte une stratégie de distillation avec des IA 7B et 14B, ultra-optimisées pour des tâches précises.

• Fini les IA “polymath” cherchant à tout comprendre. L’efficacité passe par la spécialisation.
• La fameuse law of scale n’est pas morte, mais elle se rapproche du matériel au lieu d’être purement théorique.

Fin des perroquets stochastiques ?

Les LLM classiques prédisent le token suivant, générant des réponses probabilistes parfois floues. DeepSeek innove en introduisant un apprentissage par renforcement pur, inspiré du raisonnement humain :

• Prenons cette multiplication 144 × 768 : un humain ne devine pas la réponse, il la décompose étape par étape.
• DeepSeek-R1 apprend seul à structurer son raisonnement, sans supervision explicite.
• Résultat : moins d’approximation, plus de précision dans ses calculs et raisonnements progressifs.

Chain-of-Thought, CoT

DeepSeek adopte une approche implicite du CoT, en structurant les données pour forcer une logique étape par étape.

• Contrairement à OpenAI, qui présente le raisonnement comme une boîte noire, DeepSeek documente et expose son approche.
• Une transparence qui sera copiée par OpenAI, car elle renforce la confiance des chercheurs et des utilisateurs.

Mixture of Experts (MoE)

Une différence clé entre DeepSeeker et ChatGPT réside dans leur architecture :

• ChatGPT (modèle Transformer standard) : tous les paramètres sont activés à chaque requête.
• DeepSeek (Mixture of Experts, MoE) : seuls les experts pertinents sont activés à chaque requête.

Pourquoi c’est plus efficace ?

• Imaginez une salle avec 100 experts.
• ChatGPT interroge tout le monde, même ceux hors sujet.
• MoE (DeepSeek) n’active que les plus compétents, optimisant la charge de calcul et les performances.

Résultat : moins de ressources utilisées, tout en conservant une qualité équivalente, voire supérieure.

Explications techniques pour les non-experts

1. Distillation de modèle

📌 Définition : Un modèle plus petit imite un modèle plus grand tout en conservant une haute performance.

📌 Exemple : Transformer une encyclopédie en un livre compact, sans perte d’information essentielle.

2. Optimisation en assembleur (PTX vs CUDA)

📌 Définition : Programmation ultra-bas niveau permettant de contrôler directement le matériel.

📌 Exemple : Un mécanicien de course qui ajuste manuellement un moteur pour maximiser ses performances.

3. Contraintes de bande passante mémoire

📌 Définition : Limitation de la vitesse d’échange des données dans le système.

📌 Exemple : Essayer de remplir des bouteilles avec un robinet trop étroit. DeepSeek a trouvé une solution pour accélérer le flux.

4. Pourquoi descendre au niveau PTX ?

📌 Définition : PTX offre un contrôle maximal du GPU, contrairement à CUDA, plus abstrait.

📌 Exemple : Donner des instructions détaillées à un robot au lieu de lui laisser interpréter des ordres généraux.

Conclusion de la première partie

DeepSeek-R1 prouve que l’avenir de l’IA n’est pas seulement dans la taille des modèles, mais dans l’optimisation intelligente et ciblée.

Partie 2 :  Un séisme économique pour les gros, une opportunité pour les petits ?