Un RAG qui progresse à chaque commit : évaluations automatiques, CI, dashboards
RAG; Évaluation des LLMs; TDD; Open source; ANSSI; IA Générative
Thématique : Récupération des données, Intelligence Artificielle, Data Ops / ML Ops
Type de talk : Retour d’expérience, cas d’usage client ou métier
Public : Public intermédiaire, avancé ou expert
Résumé du talk :
Développer un RAG (Retrieval Augmented Generation) sans évaluation, c’est comme jouer au loto, parfois (rarement) ça fonctionne.. Je présente un retour d’expérience sur un chatbot RAG open source pour interroger les recommandations de l’ANSSI à partir de 130+ guides PDF, avec citations (PDF + page).
J’applique une démarche RAG Score-Driven : je crée d’abord un dataset de référence avec vérité terrain, puis un pipeline d’évaluation reproductible (retrieval et génération), automatique en CI et avec suivi dans des dashboards. Ensuite, j’introduis les fonctionnalités une par une en les évaluant systématiquement et en ne conservant que les combinaisons gagnantes.
Au final : une méthode outillée pour éviter “l’over-engineering”, détecter les régressions, et maîtriser qualité, latence et coûts.
Pierre LEROY
Data Scientist – ippon
Je suis docteur en informatique et ingénieur Data/IA spécialisé dans la mise en production de solutions d’IA qui résolvent des problèmes concrets. Mon fi l conducteur : privilégier des systèmes simples, robustes et bien intégrés plutôt que des modèles “massifs” mal maîtrisés. Ces dernières années, j’ai travaillé sur des sujets à la frontière entre vision par ordinateur, robotique embarquée et GenAI : navigation autonome de drones en environnements forestiers (SLAM, segmentation, planifi cation, optimisation temps réel sur Jetson avec TensorRT/Triton), détection/segmentation en 2D-3D pour l’industrie, analyse vidéo temps réel, et plus récemment des architectures RAG et multi-agents pour automatiser des tâches de développement (ex. génération de tests unitaires). J’accorde une place centrale à l’évaluation et à l’industrialisation : reproductibilité, métriques, outillage, qualité de données, et pipelines déployables (Docker, API, etc.). En parallèle, je suis très investi dans la transmission : conception et animation de formations Data Science & IA (école et entreprise). Je co-anime également un meetup sur le machine learning proposant chaque année une dizaine d’évènements. Si vous souhaitez en savoir plus : https://www.meetup.com/fr-FR/Bordeaux-Machine-Learning-Meetup
Ippon est un cabinet de conseil en transformation digitale et tech de 600 passionnés, animé par une forte culture du challenge et de l’excellence collective. Nous accompagnons plus d’une centaine de clients par an sur leurs enjeux de transformation et d’innovation, avec une approche orientée impact et delivery.
En France, Ippon Technologies s’appuie sur 8 agences (dont Bordeaux) pour rester au plus près des équipes et des projets, aux côtés de Paris, Lyon, Marseille, Toulouse, Nantes, Lille et Tours.
Notre expertise Data est un pilier : construction de data platforms modernes (robustes, scalables, gouvernées), unification des sources, industrialisation des cas d’usage data/IA, avec un accent sur la sécurité, la traçabilité et la conformité.
Sur le cloud, nous accompagnons particulièrement les projets data & AI sur Amazon Web Services, avec des équipes dédiées (data architects/engineers/scientists) et une approche structurée “Discovery to Delivery”.
Enfin, nous aidons les organisations à transformer l’IA générative en valeur : identification des cas d’usage, construction du socle data, intégration sécurisée et passage à l’échelle.
L’Agence Nationale de la Sécurité des Systèmes d’Information (ANSSI) est, en France, l’autorité de surveillance chargée d’octroyer et de retirer le statut qualifié aux prestataires de services de confiance, et est responsable de l’établissement, de la mise à jour et de la publication de la liste des prestataires de confiance.