
Résumé
Voici un résumé complet de la présentation en français, structuré avec Markdown :
Synthèse de la Présentation : Naviguer dans la Distribution de l’IA avec le Lean
La présentation de Marek Kalnik, psychologue et leader chez Théodor, se concentre sur l’intégration de l’intelligence artificielle dans le processus de développement logiciel, un domaine qu’il explore depuis trois ans. Il partage son expérience et les méthodes développées pour accompagner ses équipes face aux profonds changements induits par l’IA.
Thèmes Principaux
1. Le Potentiel Transformateur de l’IA et le Défi Humain
- Accélération Drastique : L’expérience initiale avec GitHub Copilot a montré une division par 7 du temps nécessaire pour certaines tâches de codage standardisées, révélant le potentiel immense de l’IA.
- Gestion des Tâches Longues : Des études (ex: Matter study) indiquent que des agents IA peuvent désormais accomplir des tâches de plusieurs jours avec un taux de succès supérieur à 50% (depuis Claude Opus 4.5), ouvrant de nouvelles opportunités pour la création logicielle.
- Désorientation des Équipes : Malgré ce potentiel, l’intégration de l’IA génère de l’anxiété et un sentiment de perte de valeur chez les développeurs. Ils se demandent quel est leur rôle face à une machine qu’ils ne comprennent pas et qui semble prendre en charge une partie de leur travail.
2. L’Approche “Monozukuri” pour Comprendre l’IA
- Inspiration Toyota : S’inspirant du concept japonais “Monozukuri” (respect profond pour la matière et l’outil), l’orateur prône une approche basée non pas sur la méfiance, mais sur la curiosité et la compréhension de l’IA.
- Observer, non Expliquer : Contrairement aux logiciels déterministes, l’IA est probabiliste et son fonctionnement interne est souvent inexplicable. Il faut donc l’observer en action pour en comprendre les comportements, les avantages, les inconvénients et les modes d’échec.
- Déconstruire les Faux-Semblants : L’interface conversationnelle de ChatGPT crée une illusion d’humanité ou de logiciel parfait, alors que l’IA est une machine probabiliste (ex: échec de multiplication de grands nombres). Notre intuition n’est pas adaptée, d’où la nécessité de développer une nouvelle compréhension.
3. Développer l’Intuition et la Compétence avec l’IA
L’acquisition de compétences avec l’IA repose sur trois piliers :
- 1. L’Expérimentation Personnelle (“Do”) : Coder personnellement avec l’IA pour en comprendre les limites et les réussites. Cela a ramené de nombreux architectes et leaders techniques au code.
- 2. L’Observation sur le Terrain (“Gemba”) : Les managers doivent observer leurs équipes en action pour comprendre les difficultés, les réussites et les réactions émotionnelles face à l’IA.
- 3. La Recherche Systématique : Face à l’incapacité d’analyser le comportement de l’IA, la recherche passe par l’expérimentation (tester plusieurs prompts, plusieurs modèles) pour valider des hypothèses et comprendre ce qui fonctionne et ce qui ne fonctionne pas.
4. La Standardisation et l’Élimination du Gaspillage (Lean)
- L’IA comme Compétence : L’utilisation de l’IA est une compétence qui s’apprend, mais la formation générique est insuffisante. Il faut une formation sur le tas, adaptée aux tâches spécifiques.
- Le “Gaspillage” dans l’Usage de l’IA : L’analyse des échecs (via captures d’écran puis vidéos) révèle des “gaspillages” (inspirés du Lean) :
- Transport : Copier-coller de prompts, de tickets.
- Sur-traitement (Overprocessing) : Prompts trop longs ou inefficaces, revue excessive de code généré.
- Défauts : L’IA génère des erreurs, nécessitant des corrections.
- Attente : Temps d’attente de l’IA, entraînant l’inactivité du développeur. Ce gaspillage est souvent sous-estimé.
- Objectif : Non pas seulement d’optimiser le temps, mais de comprendre la connaissance profonde qui se cache derrière chaque gaspillage pour améliorer les compétences.
5. Le “Produit” du Développeur à l’Ère de l’IA
- De Code à Conversation : Le développeur ne produit plus seulement du code, mais une “conversation avec l’IA” qui, elle, produit le code. L’analyse de ces conversations (exportées via des scripts) devient cruciale.
- Modes d’Interaction (Monolith) :
- Mode Centaure : L’humain pense, l’IA exécute (pour des tâches claires et connues).
- Mode Cyborg : Échange continu et dynamique entre humain et IA (pour le brainstorming, l’exploration d’idées).
- Qualité du Prompt : Un bon prompt est clair, minimal, non ambigu, et fournit le contexte nécessaire à l’IA pour réussir la tâche.
- Choix de l’Outil : Utiliser le bon modèle, le bon agent, le bon flux de travail est essentiel.
6. L’Impact de la Qualité du Projet et les Standards Réutilisables
- L’IA Reflète la Qualité : La qualité du code existant (codebase) impacte directement la qualité du code généré par l’IA. Un projet mal structuré ou incohérent entraînera des résultats médiocres de l’IA.
- Standardisation des Prompts : Créer des standards de prompts (intention, erreurs types, prompt clair, mode opératoire) sert de support à la formation et assure une meilleure cohérence.
- “Skills” Partagés : Développer et partager des “skills” (prompts ou scripts réutilisables) au niveau de l’entreprise permet de capitaliser sur les bonnes pratiques et d’éviter la répétition. Le défi est d’évaluer la qualité de ces “skills” (frontière de la recherche actuelle).
Conclusions et Impacts
- Réinvention du Développement : L’IA pousse à réinventer le travail de développement, en se concentrant sur de nouvelles “pièces” (prompts, workflows, spécifications adaptées à l’IA). C’est “la bonne informatique poussée à l’extrême”.
- Veille Technologique Essentielle : La rapidité d’évolution de l’IA exige une veille technique constante pour intégrer les nouvelles connaissances.
- Fréquence d’Itération : L’amélioration des standards et des compétences passe par des itérations fréquentes et continues, non par des validations ponctuelles.
- Impacts Business Concrets :
- Nouveaux types de business : Des équipes de migration utilisent l’IA pour accélérer les refactorings de code legacy (4x plus vite).
- Tâches Disparues : La documentation d’API, par exemple, est désormais générée par l’IA.
- Progression Individuelle : Les développeurs améliorent significativement leur usage de l’IA en quelques mois.
- Défi de la Mise à l’Échelle : L’approche très itérative et personnalisée est difficile à déployer à grande échelle (ex: 600 personnes) et nécessite des moyens conséquents.
Principes Lean Réaffirmés
- Monozukuri : Convertir l’anxiété en curiosité face à la technologie.
- Résolution de Problèmes : Engager les équipes dans la compréhension de leurs propres difficultés.
- Gemba : Les managers observent et accompagnent techniquement les équipes sur le terrain, renforçant la confiance.
En somme, l’intégration réussie de l’IA dans le développement logiciel ne se fait pas sans heurts. Elle exige une compréhension profonde de l’outil, une adaptation des méthodes de travail inspirée du Lean, une formation continue et une capacité à itérer rapidement face à un environnement technologique en constante évolution.
Infographie de la Conférence
🚀 Naviguer la disruption de l’IA avec le Lean dans le développement logiciel
🎯 Double impact de l’IA : Potentiel et défis
✨ Potentiel
- Codage accéléré : 7x plus rapide pour les tâches simples et standardisées (ex: convertisseur d’espace colorimétrique).
- Projets complexes : L’IA peut gérer des tâches dépassant une journée avec une grande confiance (ex: Claude Opus 4.5).
- Nouvelles opportunités commerciales : Ex: migration de systèmes hérités 4x plus rapide, ouvrant de nouveaux domaines de services.
😟 Défis pour les développeurs
- Anxiété et perte de valeur : Les développeurs s’interrogent sur leur rôle (“Quelle est ma valeur ?”), se sentant réduits à “regarder une barre de progression”.
- Sentiment de perte : Face à une “machine que nous ne comprenons pas”.
- Manque d’intuition : Notre intuition existante n’est pas préparée à la nature probabiliste de l’IA.
🧠 Comprendre l’IA : Un nouveau paradigme
🆚 IA vs. Logiciel traditionnel
- Logiciel traditionnel : Déterministe, son fonctionnement est explicable (ex: un compilateur).
- IA (LLMs) : Probabiliste, ses comportements échappent à une explication analytique complète. Nous l’avons créée, mais ne comprenons pas entièrement comment elle fonctionne.
- Exemple : L’IA a du mal avec les mathématiques de base (ex: 97% de précision pour une multiplication à 5 chiffres par 1 chiffre).
- Interaction : Pas un collègue humain (ressemble à un humain mais n’en est pas un), pas un logiciel déterministe.
💡 La solution : Compréhension intuitive (Monozukuri)
- Inspiré par le Monozukuri de Toyota : Respect profond et compréhension de l’outil/matériau.
- Comment l’atteindre :
- Codage personnel : Expérimentation pratique pour comprendre les limites, les succès et les nuances de l’IA.
- Gemba : Les managers observent les développeurs directement dans leur flux de travail pour voir les défis, les réactions et les opportunités d’aide en temps réel.
- Recherche et expérimentation : Formuler des hypothèses, tester plusieurs prompts/modèles en parallèle et vérifier les résultats. Le comportement de l’IA s’apprend par l’observation, pas seulement par l’analyse.
🗑️ Principes Lean pour l’utilisation de l’IA : Éliminer le gaspillage
🔍 Identifier le “gaspillage” (Muda) dans les interactions avec l’IA
- Cadre : Appliquer les Sept Gaspillages du Lean aux flux de travail développeur-IA.
- Exemples de gaspillage observés :
- Transport : Copier des tickets, des prompts entre différents outils.
- Mouvement : Mouvements de souris inutiles, ouverture de fichiers, recherche de contexte.
- Attente : Pour la génération de l’IA (souvent sous-estimée, mais significative dans l’analyse vidéo).
- Sur-traitement : Mots excessifs dans les prompts, re-vérification de code déjà traité généré par l’IA.
- Défauts : Échecs de l’IA, retouches, arrêt de l’IA en cours de génération en raison d’une sortie incorrecte.
- Objectif : Découvrir les lacunes profondes en connaissances et les déficiences en compétences qui mènent à ces gaspillages, plutôt que de simplement optimiser des secondes.
💬 Le nouveau “produit” : La conversation avec l’IA
🔄 La production du développeur a changé
- Ancien produit : Code, design, documentation.
- Nouveau produit : La conversation avec l’IA (qui produit ensuite le code).
- Question clé : Qu’est-ce qui définit une bonne conversation avec l’IA ?
👥 Modes d’interaction (Cadre d’Antony)
- Mode Centaure : L’humain pense, l’IA exécute.
- Objectif : Déléguer des tâches, réussir du premier coup.
- Conversation : Simple, directe, axée sur une délégation claire.
- Mode Cyborg : Échange continu et dynamique.
- Objectif : Brainstorming, inspiration, test d’idées, itération rapide, génération d’une “abondance d’idées”.
- Conversation : Nombreux tests, itérations, boucle de rétroaction dynamique.
✅ Critères pour une “bonne” conversation avec l’IA
- Intention claire : Énoncer explicitement l’objectif et le mode d’interaction souhaité.
- Expression minimale et non ambiguë : Éviter les mots superflus ; langage précis.
- Fourniture de contexte : Donner à l’IA les informations spécifiques au projet nécessaires (ex: comment exécuter les tests, fonctions spécifiques au projet, historique du code).
- Sélection correcte de l’outil/modèle : Utiliser la bonne IA pour la tâche spécifique (ex: modèle, agent, mode).
📚 Standardisation et compétences réutilisables
- Standards de prompt : Documenter les meilleures pratiques (intention, erreurs typiques, prompt clair, mode de fonctionnement) comme support de formation.
- Impact de la qualité de la base de code : Une mauvaise qualité de la base de code (ex: nommage incohérent, langages mélangés) conduit directement à une mauvaise sortie de l’IA. Les projets doivent être “prêts pour l’IA”.
- Compétences réutilisables : Partager des prompts/recettes courants entre les équipes (ex: “comment déployer un projet”).
- Défi : Évaluer la qualité de ces “compétences” partagées (ex: cadre émergent Test L).
📈 Construire un cadre de formation adaptable
❌ Pourquoi la formation traditionnelle échoue
- La technologie de l’IA évolue trop rapidement.
- La formation générique ne répond pas aux problèmes spécifiques, dynamiques et sur le terrain.
🌱 L’approche de formation “vivante”
- Adaptation continue : Le contenu de la formation évolue en fonction des problèmes réels et des nouveaux modèles.
- Formation par l’instruction au poste : Se concentrer sur comment adapter l’IA à des tâches spécifiques (ex: prompts de migration Kubernetes).
- Apprentissage sur le tas : Définir le travail, créer des standards, observer et améliorer continuellement grâce aux boucles de rétroaction.
- Mentalité de recherche : Encourager l’expérimentation (hypothèse, test, vérification) plutôt que le déploiement aveugle.
- Connaissances externes : Intégrer une veille technologique continue pour rester à jour avec les avancées rapides.
- Itération à haute fréquence : Les standards et les analyses doivent évoluer constamment, pas seulement périodiquement (ex: analyse hebdomadaire de vidéos de développeurs).
🤝 Engager les développeurs et gérer la résistance
- Moins convaincus : Nécessite du temps en tête-à-tête, une attention sincère et la démonstration d’histoires de succès personnelles.
- Fermement opposés : Très difficile à engager ; peut nécessiter des changements organisationnels plus larges en matière de recrutement, de promotion et d’évaluation des performances pour inclure la compétence en IA.
- Résultat : Favorise le progrès et la croissance des développeurs, mais reconnaît que certains individus peuvent choisir de partir.
📊 Impact commercial et mise à l’échelle
- Impacts positifs : Accélération significative dans des domaines spécifiques (ex: migration de systèmes hérités), nouvelles opportunités commerciales, croissance et engagement individuels des développeurs.
- Défi de mise à l’échelle : L’approche itérative, en petits groupes, projet par projet, est gourmande en ressources et difficile à mettre à l’échelle dans de grandes organisations (ex: 600 personnes). Elle exige un effort continu et des moyens importants.
Principales Questions Abordées
Principales Questions Abordées dans la Conférence
- Comment les organisations peuvent-elles exploiter efficacement le potentiel de l’IA dans le développement logiciel tout en relevant les défis qu’elle introduit pour les développeurs ?
- La conférence souligne le potentiel significatif de l’IA pour accélérer les tâches de codage et gérer des projets complexes, mais reconnaît également l’anxiété des développeurs qui en résulte, la perte de perception de leur valeur et la difficulté à comprendre la nature probabiliste de l’IA.
- Quelles sont les différences fondamentales entre les logiciels traditionnels et l’IA, et comment ces différences nécessitent-elles une nouvelle approche pour comprendre et interagir avec les outils d’IA ?
- Le conférencier souligne que l’IA est une “machine que nous ne comprenons pas”, contrastant son comportement probabiliste avec celui des logiciels déterministes. Cela exige un passage de la compréhension analytique à une compréhension intuitive par l’expérimentation et l’observation, car notre intuition existante n’est pas préparée à ce nouveau paradigme.
- Comment les principes Lean, tels que l’identification et l’élimination du “gaspillage” et la promotion d’une compréhension approfondie (Monozukuri), peuvent-ils être appliqués pour optimiser l’utilisation de l’IA dans les flux de travail de développement ?
- La conférence préconise une approche Lean, inspirée du Monozukuri de Toyota, pour comprendre en profondeur le fonctionnement, les avantages et les modes de défaillance de l’IA. Elle détaille l’utilisation du cadre des “sept gaspillages” pour analyser les interactions des développeurs avec l’IA, identifier les inefficacités (par exemple, l’attente, le sur-traitement, les défauts) et révéler les lacunes de connaissances sous-jacentes.
- Qu’est-ce qui définit une “bonne” conversation ou interaction avec l’IA, et comment ces meilleures pratiques peuvent-elles être standardisées, enseignées et continuellement améliorées au sein des équipes de développement ?
- Le conférencier postule que le nouveau “produit” du développeur est la conversation avec l’IA. La conférence explore comment définir et analyser les “bonnes” conversations basées sur les modes d’interaction (Centaure vs. Cyborg), la clarté de l’intention, la fourniture de contexte et la sélection des outils. Elle décrit ensuite la création de standards réutilisables et de “compétences” pour guider une interaction efficace avec l’IA.
- Comment les organisations peuvent-elles construire un cadre de formation évolutif et adaptable pour l’utilisation de l’IA qui tienne compte de l’évolution technologique rapide et des différents niveaux d’engagement des développeurs ?
- La conférence aborde les défis des modèles de formation traditionnels pour l’IA, proposant une approche de formation “vivante” qui s’adapte continuellement aux nouveaux modèles et aux problèmes des développeurs. Elle évoque également des stratégies pour engager les développeurs, gérer la résistance et intégrer la compétence en IA dans les processus de recrutement et d’évaluation des performances.
Texte Brut de la Transcription
Euh, il se passe après le talk de Pierre. En fait, en l’écoutant, je me suis dit, en fait, il m’a déjà fait mon talk, il a répondu tout ce que je vais aborder dans mon talk. Ça va être compliqué, mais je vais essayer d’apporter peut-être un peu plus des éléments concrets, euh lié à l’informatique, lié à l’IT, lié au code. Euh, je ne sais pas si je vous montre du code, si je montre du code aussi. Euh, donc on va faire un deep dive sur comment naviguer à la distribution euh IA avec Line. Euh, je vais commencer par un petit exercice pour vous. Ah, ce que vous voyez ici, c’est une c’est un export d’une discussion avec Claude. Claude, un des outils de codage générique. Qui l’a déjà utilisé ?
Parfait, quasiment tout le monde. Très bien. Donc, nous ce qu’on fait, c’est qu’on a des petits scripts qui nous permettent d’exporter le log de Claude pour avoir ça sur une manière lisible euh pour quelqu’un pour travailler avec, pour analyser. Et on va faire un petit exercice de GK. Répondez pas tous euh, répondez pas, on verra après. Mais est-ce que vous êtes capable de dire si c’est une bonne ou mauvaise discussion avec Claude ? Est-ce que c’est une bonne pièce ?
Et on va voir, pendant mon talk, je vais essayer de vous passer quelques idées, quelques quelques réflexions, quelques manières de réfléchir qui vont vous aider de répondre à cette discussion. Euh, pourquoi c’est moi qui vous en parle ? Euh, moi je m’appelle Marek Kalnik, je suis psychologue de une des entités du groupe Théodor, une entité mobile. Mais ça fait surtout 3 ans que je travaille sur tous les sujets de future of software, comment intégrer l’IA dans le processus de développement, parce que c’est le métier de Théodore, développer des applications, c’est le métier de ma boîte. Et je me suis dit, il y a quelques années, en fait, notre métier est en train de changer, il est en train de changer profondément et en tant que leader de mon équipe, je dois trouver la réponse à comment les accompagner à ce stade-là. Et euh, bon, je ne sais pas pour vous, mais une des premières choses que j’ai découvert dans ce domaine-là, c’était GitHub Copilot. Euh, et on a fait des petits tests avec mes collègues. Donc là, vous voyez, quelqu’un code en train de coder. Je vais pas vous faire toute la vidéo. Euh, quelqu’un en train de coder un convertisseur de d’espace couleur entre Oklab, RGB, et cetera. C’est pas mal pour de graviron, euh, et on va voir. On voit dans la vidéo que Copilot est grosso modo en train de compléter toutes les fonctions. Certes, c’est hyper simple, c’est très standardisé, c’est des formules mathématiques qui sont déjà établies, étudiées et cetera. Il y a rien à inventer, il y a rien à créer, il faut juste restituer pour créer les bons algorithmes. Euh, donc c’est pas une tâche très difficile pour l’IA. La donnée est là. Mais on voit, vous voyez un peu le passage entre les gris et la couleur, c’est le moment où le développeur appelle appuie sur un tab et en fait ça complète plusieurs lignes à la fois. Je mesurais en vitesse pure d’écriture, juste pour écrire ça, sans chercher les formules, sans réfléchir à la structure et cetera, on a divisé le temps pour faire cette tâche là, cette petite tâche là par 7. Et quand j’ai vu ça, je me suis dit, wow.
En fait, ça va vraiment, vraiment, vraiment bouger. Je ne sais pas encore comment, je ne sais pas sur quelle tâche et cetera, mais il se passe des choses, il se passe des choses qui font que notre job est en train de changer. Donc il y a quelque part une valeur à chercher à chercher et en fait ça c’est là on a fait il y a 3 ans. Or, si vous avez suivi la dernière actualité, vous l’avez sûrement suivie. Ça c’est une un article que j’aime bien, c’est la Matter study sur des long running tasks. Donc, est-ce qu’on peut confier à des agents des tâches de longue durée ? Euh, et ils évaluent euh la durée maximale de la tâche qui peut être. OK, donc il y a des tâches humaines sur certaines durées, de 14 secondes, de 3 heures, de quelques jours, qu’il demande à l’IA de réaliser. Et ici on voit, sur le euh sur les ratios de succès supérieurs à 50 %. Donc 50 % de tâches, l’IA a réussi. Si on cherche 40 % de réussite, les résultats sont beaucoup moins intéressants. On passe sur quelques heures, on passe pas sur plusieurs jours. Ce que je vous ai mis en bouche, c’est euh, à peu près ce qui est supérieur à une journée de travail. On peut déjà confier avec un taux de confiance assez élevé, des tâches qui dépassent une journée, pour que l’IA puisse les réussir en autonomie. Et c’est depuis Claude Opus 4.5 qui a été publié fin novembre de l’année dernière.
Donc, il y a un potentiel de l’IA d’apporter beaucoup, beaucoup, beaucoup de valeur euh dans la création du logiciel. Donc en tant qu’entreprise, en tant que quelqu’un qui a des systèmes IT, c’est super intéressant. Mais il se passe aussi autre chose.
C’est une vidéo qui a circulé beaucoup sur Reddit.
Je pensais avoir préchargé.
Il se passe ça.
On voit des gens, on voit des développeurs qui sont devant leurs ordi. Je lance un truc. Ça génère, ça génère, ça génère. Le reste de la vidéo. Au plus plus on la regarde, au plus c’est la perturbe parce qu’on voit que le gars il il il scroll du TikTok, j’imagine avec des images de guerre en Iran ou en Ukraine. Euh c’est c’est extrêmement perturbant comme image. Nos équipes sont perdues.
Le gens qui travaillent avec l’IA se posent en permanence la question, quelle est ma valeur ? Qu’est-ce que moi j’apporte ? Qu’est-ce que je dois faire ? Est-ce que mon job aujourd’hui, c’est de regarder une barre d’avancement d’un agent et cliquer OK à la fin ? Et peut-être encore 10 fois OK pendant le le le le cours des générations, ou est-ce que j’ai une autre valeur à apporter ? Et ça c’est très très très perturbant parce que il y a certaines personnes qui arrivent à s’y retrouver, il y a certaines personnes qui changent de workflow, qui avance plusieurs jobs en parallèle, euh qui creusent ce sujet extrêmement profond. Mais la plupart des gens, moi, je formais plus de 400 personnes et je les vue bosser, c’est ça. Je lance un truc, j’attends et je ne sais pas quoi faire. Et je ne sais pas où est-ce que j’ai ma place en tant que développeur.
Et bon, ce n’est pas nouveau, on a déjà vu ça avec le fameux XSLT compiling. Mais cette fois-ci c’est un peu différent parce que cette fois-ci, on est face à une machine qu’on ne comprend pas. Avant, un compilateur, on sait comment ça marche. Aujourd’hui, l’IA, on sait pas comment ça marche. Donc nos équipes sont perdues dans ce monde IA. Et il y a une question, je pense que tout le monde se pose cette question. Comment est-ce qu’on réagit en tant que entreprise ? Mais aussi en tant que leader, comment est-ce que je dois réagir dans cette situation là ?
Il y a une une histoire qui m’inspire beaucoup. Je reviens souvent euh avec mes pensées à ce moment-là. Euh, comme père, j’avais le plaisir de euh visiter le musée de Toyota à Nagoya. On a aussi vu quelques usines chez à l’affaire, un voyage line en 2017. Euh, c’est drôle, il y a du tourisme Lean au Japon, il y a des organisations de voyage spécifique pour ça. Euh, et euh, Regis Medina, qui est un coaching que je respecte énormément, euh m’a arrêté à un endroit dans ce musée-là, c’était une toute petite pièce. Pas vraiment indicative, on était à côté des énormes machines, de belles voitures, de tout tout développement des métiers, il y avait une pièce où il y avait pas grand-chose, il y avait quelques graphes. Et c’était la pièce qui était consacrée à la recherche que Toyota a fait dans les années 30 autour du de de l’acier.
Ce qui est du coup acier est devenu devenu la matière première pour construire les voitures. En fait, les anges de Toyota qui se sont posé la question, comment fonctionne l’acier ? C’est quoi cette matière ? Comment elle se comporte ? Donc ici on voit, c’est des graphes euh qui mesurent, je crois, la dureté et la flexibilité d’acier en fonction des composition et de la température. Qui a eu vraiment cette démarche là, ou une compréhension profonde de la matière que je façonne. Il y a un terme qu’on a déjà abordé aujourd’hui, Monozukuri qui qui que je relie beaucoup à ça parce que Monozukuri, ça veut dire fabriquer des choses dans sa traduction littérale. Mais dans la culture Lean, ça veut dire un respect profond pour la matière qu’on façonne, pour la machine qu’on utilise, pour comprendre comment bien réaliser son travail. Donc j’apporte la question de l’IA, pas avec une méfiance, pas avec euh peut-être en rigolant un peu en voyant encore une fois comment ChatGPT se trompait euh sur sur une tâche simple, mais avec une envie de comprendre. OK, moi développeur, qu’est-ce que c’est cette machine bizarre que je peux aujourd’hui utiliser dans le travail ? Comment elle fonctionne ? C’est quoi ses avantages ? C’est quoi ses inconvénients ? C’est quoi ces modes de fonctionnement ? C’est quoi ces modes de échec ? Et comment est-ce que je peux utiliser tout ça bien pour réussir ? Et c’est le Monozukuri est d’autant plus important que aujourd’hui on est face à un outil qu’on ne connaît pas parce que pour la plupart des gens c’est une chose complètement bizarre.
Donc je me suis dit, je dois apprendre ce que c’est l’IA. Déjà, moi personnellement, en tant que siture, ainsi j’ai envie que mes équipes apprennent.
Donc, il y en a qui disent c’est simple, il suffit de suivre André Karpaty, un super chercheur, très bonne chaîne YouTube, en moins de 30 vous savez faire votre propre Lama. Petit problème dans avec l’LLM, c’est que aujourd’hui, pour la première fois dans l’histoire, on est face à quelque chose que qu’on a créé, qu’on ne sait pas expliquer par la manière dont c’est créé. Les comportements des IA échappent à toute analyse euh à toute analyse qu’on est capable de faire. Donc on est plutôt sur une observation de comment ça se comporte. On doit se faire un avis, plus un avis intuitif, plus un avis d’usage que juste une compréhension, OK, il y a 10 couches et en fait comment ce Kindle fonctionne. Et au final, c’est juste une matrice mathématique. Ça n’aide pas. Surtout que on avait euh la malchance peut-être de faire notre première rencontre avec le LLM à travers ce type d’interface. Donc ChatGPT euh a fait son carton. Euh, on s’est habitué à une IA qui parle comme une personne, qui essaie de se présenter comme une personne, euh qui a souvent un très très bon niveau d’expression. Donc déjà, on a une certaine relation, plutôt comme avec un collègue. De plus, ce terme intelligence artificielle, il nous renvoie toujours dans dans dans un imaginaire collectif de plein de de robots intelligents, de relations, il y a plein de films là-dessus. Donc on se dit, tiens, c’est un humain. J’ai beaucoup de personnes qui parlent à l’IA comme si c’était un collègue. Euh, et et en même temps elle nous déçoit sur cet angle là, on lui demande de faire une blague, la blague elle est complètement nulle. On lui donne une tâche qui est impossible à faire, mais elle son bord, elle essaie, elle essaie, elle essaie, elle commence à mentir. Final, c’est peut-être un comportement humain qu’elle nous présente. Euh, mais donc cette machine qui se présente comme une personne qui n’est pas une personne. Et en même temps, on sait que c’est une machine. Donc on s’attend à un logiciel qui fait son job et qui fait son job bien. Sauf qu’on est habitué à des logiciels déterministes. Il y a c’est un logiciel probabiliste. Ce graphe, je l’adore, c’est un graphe qui mesure la le taux des réponses correctes lorsqu’on demande à l’IA de multiplier deux chiffres. Vous voyez les deux axes, c’est la longueur du chiffre qu’on multiplie. Et déjà, euh, si on multiplie un chiffre un un nombre à 5 chiffres en nombre à un chiffre, on a que 97 % de réponses correctes. Une calculatrice c’est faire mieux. Plus ça agrandit, plus ça fail, plus c’est étonnant, et on confie souvent des tâches à l’IA en ne sachant pas que c’est une machine qui en fait n’est pas une machine. Donc c’est un logiciel qui n’est pas un logiciel, c’est un humain qui n’est pas un humain, c’est bizarre. Notre intuition n’est pas prête pour ce travail-là, donc on doit se référer à une intuition.
Comment est-ce qu’on se réfère à une intuition, comment on commence à travailler avec d’abord ?
On ne peut pas échapper à ça. Euh, ici vous voyez ma technical review de Copilot était en 2021, j’étais hyper content, je lance Copilot. C’était nul. Ça marchait pas, la syntaxe n’était pas bonne. Donc, compilation était lente. Suite ça a commencé à s’améliorer. Et au fur et à mesure, euh à travers des projets perso, je commence à comprendre les limites, les réussites, je re-sais, je re-teste et cetera. Et je constate aujourd’hui aussi, en discutant avec avec des amis, avec des situres, avec des leaders tech, qu’il y a jamais eu autant de tech senior qui code. On voit des gens revenir, mettre dans le code, mettre dans le code du. au code et euh et on fait il y a 2 jours, j’ai eu une discussion avec les speaker. On me dit en fait ça fait 10 ans que je sais pas coder. Donc je code. C’est génial. Je découvre. Je peux le faire maintenant. Euh, parce que aussi il y a beaucoup d’afrains que l’IA enlève. Je parle des problèmes de syntaxe, je connais pas le langage, c’est moi qui le nouveau rend, mon équipe a changé en train pour la troisième fois, c’est pas grave mais maintenant, je peux appliquer mes compétences pour comprendre ça. Et ça nous permet aussi de comprendre bien l’IA elle-même.
On n’est pas juste pour coder, on est là pour utiliser l’outil et comprendre comment il va réagir.
Le deuxième outil pour se référer à une se faire une compréhension intuitive, c’est le Gemba. Donc là le Gemba, c’est une pratique Lean qui consiste, en tant que manager, à se poser à côté d’un membre d’équipe et observer ce que la personne fait. Le geste est un peu plus plus complexe que ça, mais déjà on peut commencer avec ça. Et on va voir, je vois des leaders tech qui refusent de le faire. Non non, je ne vais pas le faire, je ne vais pas perturber l’équilibre, ce qu’on ne pas, je ne comprends pas et cetera. C’est un geste qui est pas toujours simple. Euh, mais ça permet de voir plusieurs choses. Ça permet de voir en fait qu’est-ce que les gens arrivent à faire, qu’est-ce qu’ils arrivent pas à faire, comment ils réagissent. Est-ce qu’ils sont contents, est-ce qu’ils sont pas contents ? Est-ce qu’il y a des problèmes dans lesquels je peux leur aider ? Mais vous êtes. Vous me voyez à côté de lui qui était en train de coder une bibliothèque. Regarde comment est-ce que Copilot aide, est-ce qu’il t’aide, est-ce qu’il t’aide pas ? Euh, qu’est-ce qui est difficile ? Une dernière chose, et ça il faut pas l’ignorer, c’est la recherche.
Ce qui est un peu bizarre dans l’IA justement, c’est cette incapacité aujourd’hui de de de de ces créateurs d’expliquer les comportements à travers l’analyse. Donc ce qu’on fait, c’est qu’on fait plein d’expérimentation. OK, si je teste un prompt, je vais tester 10 prompts en parallèle, je vais voir lesquels fonctionnent. Si je si je veux générer un composant, je vais générer avec trois modèles en parallèle, je vais voir comment il fonctionne. C’est comme ça que j’arrive à comprendre qu’est-ce qui marche, qu’est-ce qui marche pas. Parce que si j’ai réussi à avoir un résultat une seule fois, potentiellement il n’est pas réplicable. Donc on doit vraiment être dans une démarche de recherche. J’ai une hypothèse, je teste, je vérifie le résultat, plutôt que dans une euh dans une démarche de déploiement. Pour tout ça, en ayant fait tout ça avec mes équipes pendant un certain moment, je me suis dit, en fait, l’usage de l’IA, c’est une compétence, c’est une compétence qui s’apprend. il y a une dernière chose, et ça il faut pas l’ignorer, c’est la recherche. Ce qui est un peu bizarre dans l’IA justement, c’est cette cette incapacité aujourd’hui de de de de ce créateur d’expliquer les comportements à travers l’analyse. Donc ce qu’on fait, c’est qu’on fait plein d’expérimentation. OK, si je teste un prompte, je vais tester 10 promptes en parallèle, je vais voir lesquels fonctionnent. Si je je si je veux générer un composant, je vais générer avec trois modèles en parallèle, je vais voir comment il fonctionne. C’est comme ça que j’arrive à comprendre qu’est-ce qui marche et qu’est-ce qui marche pas. Parce que si j’ai réussi à avoir un résultat une seule fois, potentiellement, il n’est pas réplicable. Donc on doit vraiment être dans une démarche de recherche, j’ai une hypothèse, je teste, je vérifie les résultats. plutôt que dans une euh dans une démarche de publication. Pour tout ça, en ayant fait tout ça avec mes équipes pendant un certain moment, je me suis dit en fait, l’usage de l’IA, c’est une compétence, c’est une compétence qui s’apprend. Donc je vais essayer de les former.
Bon, c’est pas mal génial parce que on apprend des gens, on apprend aux gens à faire des choses, ensuite, ils sont compétents, ils réussissent, la vie est belle.
Donc, il suffit d’engager un consultant dans l’usage d’IA, qui va nous faire une planète de deux jours, il va donner tout à nos équipes et voilà le monde est beau.
Je n’ai pas cette image avec Geminai. Euh, on voit qu’il a pris conscience, c’est un peu off. Euh, bien évidemment, ça marche pas. Alors, ça marche pas, pourquoi ? Parce qu’il nous manque quelques éléments dans ce graphe. La première, c’est job instruction training. Les assistants formulent, on doit les former dans leur job. Qu’est-ce que tu fais, qu’est-ce que tu fais continuer, c’est quoi tes tâches ? Euh, comment est-ce que j’adapte cette formation, tous ces concepts, bon, qu’est-ce qui est en prompte ? Limite, on peut faire une plenière. Ensuite, ton prompte pour ta tâche, pour ce que tu veux faire aujourd’hui, tu fais une migration de cluster Kubernetes, comment tu fais ton prompte, c’est pas la même question. Euh. Deuxième chose, si on veut faire une formation sur le sur du coup sur sur le job. Il faut savoir comment le faire. Il faut avoir une méthode. Il faut définir ce travail-là.
Et comment est-ce qu’on définit ce travail-là ? On essaie de partir dans un standard, alors un standard, c’est un c’est un mot assez lourd, assez porteur de sens. On a l’habitude de le définir comme la meilleure façon de faire à date.
C’est de la meilleure façon de faire à date. Je crois que vous avez défini ça, en fait, vous passez voir une personne dans votre équipe qui est à forme et elle a le standard. On observe, on enregistre. On demande à la personne, explique-nous, on a un standard, c’est pas très compliqué, il faut pas en faire un truc compliqué. Et ensuite, on met toute une boucle qui est composé d’analyse et d’élimination du gaspillage dont je parlais. Mais comment est-ce que j’ai fait ça ? La première chose, déjà, on va pas savoir vos équipes, et la première chose qu’ils vont vous dire, en fait, l’IA n’a pas réussi à faire ce que je voulais. Je demande à un truc, ça marche pas, je suis déçu.
Euh, j’ai eu un client qui m’a dit une fois, en fait, on a déployé Copilot partout, 6 mois plus tard, personne ne l’utilise. C’est normal. Les gens sont déçus. Quelques fois d’affilée, ensuite, il arrête de l’utiliser. Et donc, la première chose qu’on regarde, la première chose que j’ai demandé à mes équipes, c’est de m’envoyer des screenshots au moment où ils sont déçus par l’IA. Donc là, on arrive sur ce genre de situations, donc ici vous voyez une requête flotteur, quelqu’un s’attendait à une complétion. Je sais pas si c’est visible sur l’écran, mais en fait, il y a une partie override, et dans la partie override, vous voyez en bas, là, en fait, il voulait avoir le provider de sa liste de stations avec récupérer la liste des stations. Déception, il y a la pâte deviner.
Alors, la question qu’on va se poser, c’est en fait, comment il y a pourrait deviner ça ? Je sais pas si c’est le bon mot d’ailleurs.
Euh, bah il y a une chaîne causale qui fait que l’IA n’a pas deviné ça. C’est que c’est une fonction qui est, appartient au projet, c’est pas quelque chose de standard, donc déjà, c’est pas dans les données d’entraînement. Ensuite, si c’est pas dans les données d’entraînement, ça veut dire qu’il faut injecter le contact du projet à l’IA. Copilot à l’époque où on a fait la pièce, ne ne récupérait pas le contexte automatiquement au-delà du fichier, en dehors du fichier qui était ouvert. Donc si toi, développeur, tu t’attends à ce qu’il y ait un complète quelque chose alors que tu as pas ouvert le fichier, ben détrompe-toi, ça va pas marcher. Aujourd’hui, les outils fonctionnent un peu différemment. Mais on voit, on commence à voir qu’il y a un lien entre la performance de ce que j’obtiens, la connaissance de l’outil et les savoir-faire des personnes qui savent appeler l’outil au bon moment et qui savent l’utiliser de la bonne façon. Donc en effet, on a une formation en deuxième mode de formation, c’est la construction de libérer du contexte. Tu veux que ça complète bien, bah il faut taper un peu avant. C’est pas aussi magique que ce qu’on aurait espéré. Mais ça marche très bien aussi. Ensuite, quand on commence à regarder des screenshots, on se rend compte que en fait, il y a tout un un workflow qui manque, le développement, c’est pas un moment statique, c’est dynamique, on code, on revient en arrière, on modifie des choses, on attend et cetera.
Donc je remplace l’analyse de screenshot par une analyse de vidéo avec mon équipe. Euh, donc je demandais à tout le monde en faisant une formation à Bendeberg, je demanderais à à tout le monde dans le dans le groupe, petit groupe, euh, 6 à 10 personnes. De m’envoyer une vidéo, 5 minutes. Pas très longue. En amont de la session, j’analysais la vidéo pour comprendre ce qui se passe.
En fait là, on se heurte au problème que vous avez eu en début de la session, en fait, j’ai une vidéo. Je regarde les choses qui se passent. Qu’est-ce que je vais faire avec ? Comment est-ce que je saii d’où comprendre la vidéo ? Lean nous aide beaucoup. Il nous aide beaucoup, pourquoi ? Parce qu’il y a un framework qui est extrêmement simple, extrêmement puissant, c’est les sept gaspillages. Ces sept gaspillages, euh, le mouvement. C’est transporter des choses d’un endroit à l’autre. Tout ce qui est en inventaire, donc, je fais des choses, et on attend, il se passe rien. Je donne par exemple les projets qui font une centaine de tickets dans le backlog. Il se balade dans les backlog pendant de des mois.
Tout mouvement inutile. Besoin de bouger la souris, de déplacer, d’ouvrir des fichiers et cetera. Euh, l’attente. Bon, s’explique. Overproduction, c’est assez intéressant, c’est peu présent dans l’usage d’IA, mais c’est très présent dans le développement. Produire des choses dans le genre, on n’a pas besoin. Notamment les utilisateurs finaux, on n’est pas un texte, on a imaginé l’utilisateur final va jamais jamais prendre ça. Overprocessing, faire des choses beaucoup plus compliquées que ce qui est nécessaire. Et les défauts, bien évidemment, tout ce que je dois corriger, reprendre, améliorer, que ce soit des bugs ou autre chose. Donc ces waste, vous vous vous voyez que en fait, il y en a qui sont parfois très minimes. Euh, tout à l’heure, Pierre parlait de on peut être améliorer une minute dans un process qui dure deux jours, là ça vaut pas le coup, mais si on produit quelque chose, ça va le coup. Euh, mais c’est un framework qui est assez intéressant parce que c’est un framework qui commande, qui nous permet de spotter des choses.
Dans les images, dans les vidéos des gens qui utilisent l’IA, on voit beaucoup de transportation. On voit des gens copier des tickets pour le mettre dans un dans une IA. On copier les promptes qui sont quelque part. Je commençais avec des gens qui avaient des fichiers dans un fichier appel note ou en fait, ils avaient des promptes qu’ils venaient d’utiliser et cetera. Euh, tout ce qui est overprocessing. Je mets beaucoup de mots, je tape beaucoup de mots, prompt thing c’est écrire. Euh, et en fait des mots qui sont pas souvent utiles, qui parfois influencent les résultats d’une manière négative. Tout ce qui est lié à la review du code généré par l’IA, c’est un gros sujet. Mais en fait, je re-processe quelque chose qui était déjà processé, est-ce que tout ça c’est c’est nécessaire ? Et bien évidemment, le défaut. Je fais, ça marche pas, je fais, ça marche pas, l’IA commence à faire quelque chose, je l’arrête, ça marche pas, et cetera. Ça, c’est assez facile à spotter dans la vidéo. Parce que quand je regarde une vidéo, en fait, je peux très rapidement comprendre, OK, là, tu as corrigé quelque chose, là, tu as dû réagir, comment ça se passe, et cetera.
Et bien évidemment, dans une vidéo, on voit énormément d’attente. Parce que si moi, en tant que c’est dur, je dois me taper euh une heure de vidéo, on jeudi après-midi pour préparer la formation, et 90% de ces vidéos, c’est attends que les que l’IA génère les résultats.
Je me dis en fait, c’est pas possible, mes équipes, ils disent ça, en fait, ils disent ça, parce que quand tu es en train de travailler, tu te rends pas compte. Tu te rends pas compte, alors que en regardant la vidéo, on dit tous, ouais. OK, là, ça peut être beaucoup.
Euh, on n’est pas les seuls à le constater. Donc ça, c’est encore une étude de metteur qui a qui a comparé la performance de développeur avec l’IA et sans l’IA. Notamment l’a juste sur l’écran, et il y a tout de suite deux postes qui augmentent. Il y a des nouveaux postes, il y a un poste d’atteinte. Que ça soit idle, overhead, en fait, je sais pas trop quoi faire, et du coup, je je je il se passe pas grand-chose. Ou alors, j’attends clairement l’IA. Euh, on a des temps d’attente qui augmentent, et je pense que c’est sous-estimé. Par rapport à ce que je vois, c’est sous-estimé.
Euh. Donc. La vidéo loom, super plateforme, on peut taguer tout ce qui se passe dans une vidéo avec des émoticons et cetera. On voit que même avec 8 minutes de vidéo, on a déjà six commentaires à faire pour une session où il y a six vidéos, il y a du contenu à discuter, il y a des choses à améliorer, et on commence à trouver vraiment juste avec ce simple framework de Boudha, OK, il se passe des choses qui sont pas vraiment super dans la manière dont on code.
Et je reviens sur ce côté, on parle peut-être de quelque chose qui dans cette vidéo m’a pris 3 secondes, 10 secondes, une minute, c’est pas grave, une minute du temps gaspillé d’un développeur, c’est vraiment pas significatif.
Sauf que cette minute, elle peut euh être issue de deux choses. Soit, c’est pas possible de faire mieux. Mais honnêtement, c’est rare. Soit, je ne sais pas faire mieux. Et si je ne sais pas faire mieux, mon manque de compétences, mon manque de connaissances va m’empêcher de faire mieux dans toutes les autres instances où j’ai besoin de cette compétence là et de cette compétence là. Donc, c’est pour ça qu’on prend parfois des sujets qui sont vraiment très minuscules. Parce que ce qui m’intéresse. C’est pas l’optimisation, on n’est pas en train de chercher comment gagner une seconde sur le travail du développeur dans la journée. Ce qui m’intéresse, c’est toute la connaissance profonde qui se cache derrière ce petit gaspillage que quelqu’un a fait dans la journée. Est-ce que tu sais comment ça marche ? Est-ce que tu sais comment réagir ? Tu as peut-être pas envie, c’est pas grave. On n’est pas obligé de réagir, mais juste est-ce que tu as la compétence nécessaire ?
Donc une fois qu’on a commencé à découvrir ces étapes-là. On s’est dit bon, maintenant euh, on a une bonne base de connaissance de qu’est-ce qui ne fonctionne pas dans l’usage d’IA. Il faut construire par-dessus, il faut construire la meilleure méthode et ensuite la standardiser. Euh, c’est génial. Mais la première question qu’on doit se poser, c’est déjà qu’est-ce qu’on produit ?
Donc avant, en tant que développeur, on produit beaucoup de choses, il y a la conception, il y a des schémas, il y a la doc et cetera, mais il y a un moment euh pour la plupart des équipes, le gros de leur travail, on produit du code. Euh, on écrit du code, on tape, et à la fin, ce code là, il donne une fonctionnalité pour l’utilisateur, ça passe par un compilateur, ça passe par une plateforme, on a une fonction.
Aujourd’hui, ce qu’un développeur produit, il travaille avec l’IA, il produit une conversation avec l’IA.
Et c’est cette conversation qui produit le code.
On peut les corriger, on peut les fixer, on peut avoir des modes qui sont un peu moins automatisés avec tout ce qui est autocomplétion et cetera, je sais qu’il y en a qui préfèrent encore. Mais la pièce a changé. Et donc, la question de qu’est-ce que qu’est-ce qui est une bonne pièce, elle va être aussi importante pour le code, mais elle va être surtout importante pour ma conversation avec l’IA.
Est-ce que cette conversation, c’est une bonne conversation? Donc la première chose que je me pose, la première question que je me pose, que j’essaie de de de standardiser dans mes équipes, c’est ça.
Comme je vous ai dit, euh, Claude, il y a un super dossier qui est caché dans votre ordinateur, qui s’appelle Project. qui contient toutes tes discussions que la personne a eu avec Claude sur sa machine. Euh, les autres solutions ont l’air leur solution à ça, euh, il y a le pad log dans VS code sur GitHub, euh, open code il a aussi des des solutions, donc à priori, on est capable d’extraire la donnée. Et du coup de récupérer la discussion que quelqu’un a eu avec l’IA. C’est plus facile de le faire à postériori que pendant la discussion parce que pendant la discussion, on a des modes de réflexion qui sont un peu différents, réfléchir à comment réagir dans la tâche. C’est pas est-ce que je le suis en train de la faire bien ? Donc une fois qu’on a fait ça, qu’on a vu ça. On a créé chez nous un petit script qui permet de d’exporter les prompts et l’avoir sous la forme que vous avez vu.
Donc ça n’importe qui peut le lire. Toute la discussion, je me suis même codé une petite interface par-dessus qui permet de bien voir l’enchaînement et cetera pour bien coacher les gens. Et on va notamment toute une partie qui est le résumé de la discussion, la, les nombres de champs et cetera, et ensuite on peut dire comment les différents appels sont enchaînés.
Donc le développeur, il a produit cette pièce. Et on peut l’analyser ensemble.
Et la première partie d’analyse qu’on va utiliser, c’est déjà de comprendre quel est le mode de discussion qu’on a avec l’IA. Et là mon lit qui est un chercheur le plus intéressant dans le prompting, euh qui a à la World Business School qui qui guide le labo de recherche sur la Generative AI, a écrit beaucoup de choses notamment sur l’IA génératif dans le business. Il a distingué deux modes de travail avec l’IA, le mode centaure. Donc, il y a une tête qui pense, il y a un corps qui exécute. Moi, je pense et ensuite j’ai une machine qui fait le job. La discussion, elle doit être très simple. Et il y a un mode Cyborg. Je suis mi-homme, mi-machine, il y a un échange continu qui permet de d’obtenir des résultats qui sont plus riches que ce que chacun serait capable de faire séparément.
Donc ça. Je vais le chercher ici, quel est le mode que la personne a appliqué, déjà. Donc ici, on a une heure 30, on a cinq messages de l’utilisateur, on a 11 réponses d’assistant, on est ni dans le premier, ni dans le deuxième. Je vois, OK, il y a un problème peut-être d’application du mode de la de la co-créativité de l’usage d’IA entre ce qui se passe et euh, et l’FS qu’on t’a dit. Parce qu’il y a deux grosses tâches, il y a une tâche de génération et une tâche de de production, et une tâche de brainstorming, de debugging, peu importe, et il y a deux définitions de qu’est-ce qui est bien qui sont séparées. Dans le premier type, je cherche à obtenir un bon résultat du premier coup. Je sais comment faire la tâche, je sais comment la valider. Euh, je devrais être en capacité de déléguer la tâche entièrement à l’IA. Je peux avoir une heure de génération avec l’IA si je une demande de la personne. Si il y a plus, ça veut dire qu’il y a eu besoin de corriger ce qui était en train de se passer. Donc on peut voir pourquoi la correction est nécessaire. Et de l’autre côté, si je suis dans le mode Cyborg, j’ai envie d’avoir un maximum d’échange entre la personne et l’IA. Je veux que ça soit très dynamique parce que la personne, elle est en train de chercher à s’inspirer, de chercher à conscient avoir, de chercher à à à éprouver ses idées. Donc il faut beaucoup de tests, il faut beaucoup d’itérations. Et notamment quelque chose aussi qu’on appelle l’abondance d’interférences, c’est un concept encore intéressant d’Antermony. qui dit en fait, vous avez quelque chose qui est capable de vous donner une centaine d’idées avec un seul prompt. Si je demande à un collègue de me donner une centaine d’idées, il va me regarder comme un fou, il va m’en donner trois. L’IA, elle peut vous donner une centaine d’idées.
Donc les deux modes sont différents, et du coup, la première partie de qu’est-ce qui est un bon prompte, déjà, je sais quelle est l’intention et quel est le mode d’interaction. Ensuite, on a beaucoup de demandes qui sont en fait pas très claires. Qui en fait, il se passe ça. parce que la personne, elle est en train de chercher à s’inspirer, de chercher à prendre conscience à voir, de chercher à à à éprouver ses idées. Donc il faut beaucoup de tests, il faut beaucoup d’interation. Et notamment quelque chose que l’on appelle l’abondance d’intelligence. Ça c’est un concept important, un concept d’état Monique, qui dit, en fait, vous avez quelque chose qui est capable de vous donner une centaine d’idées avec un seul prompt. Si je demande à un collègue de me donner une centaine d’idées, il va me regarder comme un fou, il va me donner trois. IA, elle peut vous donner une centaine d’idées. Donc les deux modes sont différents et du coup la première partie de qu’est-ce qu’un bon prompt, déjà, je sais quelle est l’intention et quel est le mode d’interaction. Ensuite, on a beaucoup de demandes qui sont en fait pas très claires. Quel en fait, il se passe ça. OK. Euh, ou alors beaucoup de demandes où on a des mots qui sont superflues, inutiles et cetera. J’adore les gens qui l’utilisent, IA. C’est une technique de prompting d’ailleurs, il y a plein de papiers là-dessus. Elle fonctionne aléatoirement. Euh, donc, est-ce que je réussi à exprimer cette intention de manière minimale et non ambigue? Est-ce que je transmets bien cette information?
Ensuite, Est-ce que je constate dans la discussion, c’est qu’il y a beaucoup de tout usage. Sur une 30, il y a 36 outils qui ont été implémentés. une qui a résulté en erreur, et notamment, je vois de, bon ça c’est mon interface d’analyse que j’utilise pour faire analyser la pièce. Vous voyez ça. Donc ça c’est l’IA qui essaie de comprendre comment lancer les tests sur le projet. Elle se trompe régulièrement, il y a 5 user, il a des appels de LLM avec des dizaines de milliers de token de contexte.
C’est pas beau. Pourquoi? Parce qu’on a oublié de spécifier comment lancer les tests sur ce projet-là, quelles sont les bonnes commandes pour ma tâche. C’est peut-être 30 secondes du travail de développeur qui aurait permis de de faire tous ces allers et retours. Donc il y a une question de comment est-ce que je donne à l’IA le contexte nécessaire pour lui réussir à la tâche sans trop chercher, sans faire des erreurs.
Et en devenir à la main, je vais pas passer là-dessus.
Non, vous avez jamais vu ça, personne fait ça. Euh, et euh, c’est une question d’outil en fait. Parfois j’utilise le mauvais modèle, parfois j’utilise le mauvais agent, parfois euh, je me trompe entre les modes ASP, plan et cetera. Ce qui fait que, au final, même avec toutes ces bonnes techniques, l’IA ne réussit pas parce que je juste utiliser le mauvais outil. Donc c’est le bon flux et les bons outils. Donc ça c’est le standard du prompt qu’on a écrit. Ce que vous voyez ici c’est que en donnant ça à quelqu’un, cette personne-là, elle peut pas réussir son doc. Il y a rien ici qui m’explique en fait, ça veut dire quoi minimum, ça veut dire quoi l’intention, et cetera. Un standard n’est pas là pour remplacer la formation, il est là pour que la personne puisse revenir sur OK, c’est quoi les quatre points clés, ah oui, je viens de les vérifier, tout est bon, je suis, euh, je peux vraiment maintenant lancer les prompts. Donc c’est un support, c’est un des éléments de formation. Et ça c’est le standard du prompt qu’on a créé aujourd’hui.
Ensuite, l’IA, elle dépend du prompt.
Elle produit le prompt, mais elle dépend aussi énormément du projet. Tous les sujets de poka-yoke et cetera qui ont été abordés tout à l’heure, on va les retrouver ici. J’ai deux exemples que j’adore. Celui-là, il est super, c’est donc c’est une personne qui demande à l’IA de donner un arrêt des clés de traduction. Et si vous voyez là, en fait, la traduction, elle a l’année Nicolette. Euh, c’est du snake case avec camel case mélangé, il y a un mélange de français, anglais, en fait c’est extrêmement bizarre comme ça du truc.
Regarde, mais avec l’IA, elle m’a fait ça, c’est nul ton truc. Dans ce cas, regarde le fichier de traduction, qu’est-ce qu’il a? Il a un mélange de français anglais, il a un mélange de snake case, camel case, il a exactement le même pattern qu’on a vu dans la génération. Si je donne ce fichier à un développeur, pour ne dire un junior qui arrive dans le projet, c’est quoi la convention du projet, il sera perdu.
Donc, la qualité du code, la qualité de code base, la qualité de tout ce qu’on fait, elle va avoir un impact énorme sur ce que l’IA génère. Et s’il y en a une mauvaise base, les résultats seront mauvais. Et un deuxième exemple qui est ce type de prompt, il est déjà assez efficace. Mais en fait on voit qu’il y a plein de de répétitions. La personne elle a sûrement fait ce prompt là une dizaine de fois, il est potentiellement d’ailleurs copier-coller quelque part. Je génère une API, j’ai des centaines d’API dans un projet, potentiellement. Donc pourquoi pas faire ça? Pourquoi pas faire un fichier dans lequel je dis, OK, voici comment j’ai fait mon API pour que l’API. J’ai pas besoin d’expliquer à l’IA à chaque fois.
Il y a un très bon talk de NRES de factory AI qui a fait droid. qui explique comment petite friction pour une personne dans un projet peuvent faire dérailler les agents. et eux, ils ont fait un super agent de d’évaluation de d’environnement. Moi j’en ai un aussi chez moi qui est un peu moins puissant. qui dit en fait où est-ce qu’on en est en terme de testing, en terme de qualité et cetera. Euh, et je me suis amusé à faire une petite matrice de validation de projet, euh, comme vous voyez, très complexe. En fait, il y a une quinzaine de critères qu’il faut remplir pour qu’un projet soit ready. Donc ça c’est la deuxième condition, on a des standards de comment faire des choses. On a des standards à quoi doivent correspondre, quels sont les critères pour que mon projet fonctionne bien pour une IA.
Euh, et une dernière chose, qui est aussi lié à tout ce qu’on voit dans la dans la vidéo, qui est ce moment où en fait je commence à répéter des choses. Et tu sais, mon projet, il est fois sur Railway, donc en fait, vas-y pour déployer, fais la, fais la, utilise la CLI et cetera. Ça, c’est des choses qu’on répète et répète et répète et répète à l’IA en permanence. Et quand je regarde plusieurs vidéos d’affilée, je vois non seulement qu’il une personne répète ça en permanence, mais en plus, plusieurs équipes répètent la même chose en permanence. Parce que, au final, le standard de codage, elles vont être assez proches. dans une techno, dans une équipe par rapport à un certain outil, et tout ça, ça se partage. J’ai pas besoin de réinventer la roue à chaque fois. Et surtout si je fais ça à chaque fois moi-même personnellement, je vais avoir cette envie, cette incitative d’aller un peu plus vite, mon prompt, il va être moins qualitatif, je vais passer moins de temps là-dessus. Si j’ai un prompt que je partage avec tous mes collègues, j’ai envie de le soigner un peu.
Donc, une des choses qu’on a fait, c’est des standards réutilisables.
sous forme aujourd’hui de skills, ça avant c’était autre chose. Euh, sous forme de certains scripts, donc ici vous voyez notamment Export Code History dont je parlais. Mais il y a toute une partie skills qui est le fichier plus haut au niveau de l’entreprise, on partage les recettes que l’IA peut appliquer comme si on disait un collègue, vas-y comment tu déploies un projet.
Et en un moment qu’on fait ça, il y a une chose qui est assez drôle qui se passe, c’est que les gens commencent à faire des pull requests, ils commencent à ajouter leurs leurs standards à eux et cetera.
Et on va se poser la question, comment revoir le truc? J’ai envie d’apporter la même qualité, je reviens sur mon journal. J’ai envie de faire bien mon travail d’une personne qui accepte cette pull request. Soit j’accepte, soit j’accepte pas. Et en fait, si j’accepte, j’accepte sur quelle base? Je sais comment si le prompt il est bon. Et là, on arrive vraiment à la frontière de ce qui se fait aujourd’hui. Les frameworks d’évaluation de qualité des skills, il y en a pour le moment un qui est émergent qui est L qui commence à avoir un truc un peu solide, en fait, il n’existait pas. Donc on est à la frontière de ce qui est ce qui est faisable aujourd’hui, review un prompt pour savoir si il est une amélioration significative par rapport à la version précédente. Très bien.
Tout ça, petit à petit, on met toutes ces briques en place et en fait, on commence à réinventer. le job, on commence à réinventer le développement.
Il y a trois briques qui apparaissent, ils sont tous les inputs dont je vous ai parlé. Le prompt, le workflow, le skill, et cetera. Je les injecte, qui définissent comment exécuter des tâches, qu’est-ce que, quels sont mes attentes par rapport à la qualité.
Il y a des nouvelles pièces sur lesquelles on doit se concentrer, non seulement juste le prompt, mais en fait, c’est quoi une spécification? d’une fonctionnalité, c’est quoi une spécification d’une fonctionnalité compatible avec l’IA? Euh, si je génère un plan de solution technique et je veux le revoir revoir avec l’IA parce que en fait c’est une fonctionnalité qui est assez complexe qui va prendre peut-être plusieurs heures à escoder, c’est pas un bon plan pour que l’IA l’exécute sans déraille. Donc on commence à se poser des questions qui vont de plus en plus loin, plus avec ce le march là, cette petite itération, OK, j’amériore une chose, j’amériore une chose, j’amériore une chose.
Donc ici vous voyez, ça c’est une screenshot de notre base de données, un standard du prompt, le standard il a toujours la même forme d’ailleurs. Euh, c’est l’intention, les erreurs types, le prompt clair et il y a un mode opérateur qui est en dessous.
Euh, il y a une partie visuelle, donc ça c’est la partie visuelle du standard de spécification qui explique qu’est-ce qu’une bonne spécification. Il y a rien d’extrêmement innovant dans tout ça.
C’est la bonne informatique poussée à l’extrême. C’est ça qui fonctionne avec l’IA. Je fais tout ce que je j’avais envie de faire depuis des années. Maintenant, j’ai une bonne raison pour la faire. Euh, et euh, avant de terminer en talk, ma mon talk, il faut que je mentionne deux choses. Tout ça, aujourd’hui, ne peut pas fonctionner sans une bonne dose de connaissance extérieure. Parce que c’est hyper intéressant de faire sa propre recherche, de se faire ses propres itérations, mais on est dans un domaine qui bouge énormément, qui bouge très vite. Les outils changent, mais aussi il y a des gens qui apprennent des choses super intéressantes. Donc on injecte aussi dans cette méthode là, une bonne veille technique. Il y a tout un tas de processus, de méthodes, de de de d’habitude pour ça.
Et c’est pas une méthode qui est complètement autocentrée, elle peut pas être complètement autocentrée parce que on va on va se freiner. Et un deuxième élément qu’on ne voit pas dans ce toute cette discussion là, et je pense que si c’est mon simplement par rapport à l’acte précédent, c’est que ce qui est important, c’est la quantité, la fréquence d’itération. Les itérations sur le standard, il y en a des dizaines qui ont été faites. C’est pas quelque chose qu’on fait valider par un comité tous les 6 mois, donc on fait évoluer le standard d’une manière réglementaire. Les pièces qui sont analysées, on j’ai fait il y a encore de 10 participants toutes les semaines pendant 3 ans.
Moi, ça fait plus d’une d’une centaine de pièces qui analysait très rapidement. Et euh, celle-là, on peut tirer tous ces standards. Donc c’est pas une question de euh, du geste, je pense que là, tout le monde est capable de les faire. C’est une question plutôt de de de de d’apporter la routine et euh et la fréquence nécessaire pour que ça construise vraiment quelque chose d’utilisable.
Alors, est-ce que ça a marché, comment ça a marché pour nous? Donc, ce qui a marché pour nous, c’est qu’il y a des impacts business vraiment intéressants. Alors, on a par exemple aujourd’hui chez Teodo, il y a une équipe de migration qui utilise l’IA pour aider à faire de la legacy. Elle fait ça quatre fois plus vite que ce qu’on était capable de faire à la main. Donc il y a tout un nouveau type de business qui s’ouvre pour nous, et de nouvelles opportunités pour nos clients. Sur le build, on a moins les impacts sont moins intéressants parce que euh, il y a beaucoup de dépendances sur le fait de faire une bonne spec. Et faire une bonne spec aujourd’hui, c’est encore un travail qui est très manuel, très itératif. Et au final, euh, on s’est rendu compte que euh que l’IA euh,
quand on a besoin, quand on a besoin de de faire beaucoup plus d’itérations et beaucoup plus de recherches sur sur cette partie-là, comment vraiment le build le produit avec. Je vous dis pas derrière si c’est si c’est complètement fait là. Il y a des tâches qui sont complètement disparues, donc le contenu de travail de mes équipes aujourd’hui quand je l’observe, documentation d’API, ce genre de choses, on oublie. Maintenant c’est un ça ça ça ça pas faire. Et euh, je vois au bout de quelques sessions, en fait, vraiment personnellement qu’on comment les gens sont par-dessus le.s Quelqu’un qui utilise très mal l’IA, trois mois plus tard en disant, tiens regarde, j’ai fait, il est génial, je suis super content et cetera. Donc, il y a cette toute cette démarche là, très, très personnelle.
Elle elle fait progresser les gens.
Ce qui est beaucoup plus dur, c’est de scaler ça. Parce que du coup, on a fait un processus qui est vraiment très euh sur des très petites groupes, des très petites équipes, équipe par équipe, projet par projet, on met en place toutes ces mécaniques là, donc en fait, déployer ce dans une organisation de 600 personnes, c’est un nécessite des moyens qui sont conséquents. C’est pas quelque chose où je vais pouvoir faire une formation, je dis à tout le monde, écoutez, c’est bon, tout le monde va réussir. Non. C’est très, très, très itératif.
Quelques concepts Lean pour le rappeler, Monozukuri, qui permet de convertir cette anxiété en face et un technologie en curiosité. Tu écoutes, comment ça marche ce truc en fait, essaie de comprendre. Le problem solving qui remplace les approches top down en engageant les équipes dans la compréhension, qu’est-ce qui marche pas dans leur travail, dans leur pièce, dans leur quotidien. Et le Gemba qui fait que en tant qu’émateur, on se pose à côté des équipes et on a une discussion technique difficile sur des détails qui permet de créer une bonne confiance. OK, mais en fait cette personne mon manager, il elle sait.
Bah non, pas ça. Il est de m’avoir coûté.
Je sais pas si. Si tu as pas de questions.
Des questions?
Merci beaucoup pour votre présentation. Est-ce que vous utilisez des agents de code comme Copilot, par exemple?
Non, non, non, la question elle est pas ça.
Ah, je suis désolé, je l’ai oublié. La question c’est plutôt euh euh, tu parles de 700 personnes euh et on voit une matrice de maturité de ce que tu as présenté tout à l’heure. J’imagine euh que il y a des personnes qui doivent être hyper-promoteurs, qui l’utilisent bien. Je j’imagine des gens qui doivent suivre. Et ma question pour toi, c’est comment tu agis, comment tu travailles avec les personnes qui ne suivent pas? qui ont pas encore embarqué, ou qui ont pas compris ou pas ce que tu as présenté. Merci.
Alors, en fait, on a des gens qui sont hyper-promoteurs et en fait, ceux-là, il y a des groupes de travail et cetera, le travail avec les personnes qui sont moins convaincues, c’est vraiment un travail personne par personne. C’est pour ça que cela, euh, on se retrouve dans le projet, on fait une formation pour un projet spécifique.
Et en fait, là, il y a des gens qui ont jamais pris le temps, qui se sont jamais vraiment intéressés, à qui on a donné au muti, l’usage il est un peu moins. Et en fait, in fine, si on arrive à à à dédier ce temps avec eux pour la formation, si on s’il voit qu’il s’adresse à eux, ça va, c’est des vraies connaissances et cetera, ces personnes-là, on arrive j’arrive à les engager parce que en fait,
elle elle commence à comprendre ce qui est une importance, elle commence à comprendre ce qui est important pour leur réussite, elle est personnelle, pour le job. Et et en fait, ça c’est pas une population qui est qui est qui est difficile à engager, c’est une population qui nécessite du temps et de l’attention. La population qui est difficile à engager, c’est une formation de de de gens qui sont euh fermement opposants. C’est-à-dire, il y a des personnes de nos équipes pour pour des raisons idéologiques en sens très large. Euh, et en fait, ça c’est des personnes que je n’ai pas réussi à engager, je ne sais pas les engager. Euh, et euh, aujourd’hui, euh, j’interdis la participation de ce type de personnes dans mes formations. Parce que sont capables de flinguer une formation complètement avec des remarques qui perturbent tout le monde, je pense. Donc, je peux débattre une heure de l’utilité de quelque chose, mais en fait, on a des choses à à expliquer. Donc, euh, la formation n’est pas en outil du change.
Ça ça peut venir en soutien du change, mais non.
Il y a il y a un outil du change et on a d’autres manières de gérer le change chez nous déjà. On a changé les processus de recrutement pour évaluer la l’appétence et la compétence d’IA pendant les processus de recrutement. pour le ensuite aussi rendre un peu robuste. Euh, assez explicitement, on a changé nos frameworks de de management, de promotion, d’évaluation de personne pour inclure les les critères de de l’IA là-dedans. Et on parle de compétenire, je pense pas de problème, il y a des réserves très bien. Déjà, il y a des formations qui peuvent qui sont disponibles, en attente de modèle de tout compétent. Euh, et euh, ça ça fait son chemin. Euh, je cache pas qu’il y a eu des départs aussi à cause de ça parce que franchement, il y a des gens qui s’y fâchent.
Une dernière question?
Euh oui, merci pour le présentation. Moi, j’ai une question par rapport à la vitesse d’évolution. En fait, euh, est-ce que le temps de se former, on n’est pas déjà à ZB? Par exemple, là tu montres les les les prompts de qualité, mais à la sortie du prochain modèle dans deux trois mois, est-ce que c’est standard, il vont toujours être d’actualité ou pas? Par exemple, euh définir, demander un plan, et cetera. Maintenant, je pense que c’est quasiment de base dans les modèles finition. C’est des choses que j’ai l’impression qu’on a plus besoin de faire, avec une phrase, il arrive tout de suite dépend du modèle. L’énorme il arrive à générer des choses de très bonne qualité. Du coup, ma question, c’est est-ce que le training, il a vraiment du sens dans le temps?
Oui, euh, super question.
De l’avant de réponse, on doit à la vite. Le premier c’est que comme c’est un training qui est vivant, qui est basé sur le en fait ce qui se passe sur le terrain, en permanence on regarde le training. Tu as utilisé l’IA, tu as utilisé le dernier Claude, c’est Claude 4.5, mais il a toujours généré super bien et cetera. Euh, on c’est un training qui s’adapte. Parce que en fait, on réagit en permanence au problème que les personnes rencontrent. S’il y a des problèmes qu’elles rencontrent pas, en fait, on arrête d’en parler. Euh, j’ai eu une très grande difficulté en fin de novembre 2025 parce que Claude 4.5 est arrivé et il était tellement bon que en fait, tout le monde est devenu tout de suite un très bon utilisateur d’IA. Juste, voilà, je fais n’importe quoi comprendre, ça marche et tout, c’est tout correct. Euh, et en fait, là, je me suis dit, il faut élever la barre. Donc j’ai relevé la barre en terme d’attente euh, et ce que j’ai donné comme cible à mes équipes, c’est qu’il faut travailler être capable aujourd’hui de travailler d’une manière euh, agencé qu’à son prompte. Si je suis pas capable de lancer plusieurs agents en parallèle et réussir d’une manière efficace, je je suis pas en bon d’IA. Donc on relève la barre et comme ça, on a toujours des choses à apprendre.
Merci.