Extraire l’information des schémas de documents industriels : fine-tuning d'un Vision Language Model.
Industrie 4.0, IA frugale, VLM, fine-tuning, structuration de données, Méthodologie
Thématique : Structuration des données | Intelligence Artificielle
Type de talk : Retour d’expérience, cas d’usage client ou métier
Public : Public intermédiaire
Résumé du talk :
Les équipes produit Thales maintiennent un catalogue de composants électroniques pour contrôler l’approvisionnement des lignes de production, anticiper l’obsolescence de composants et préparer leurs stocks.
L’extraction automatique des caractéristiques techniques des composants électroniques depuis leurs datasheets au format PDF permet d’augmenter sensiblement la quantité de composants catalogués.
Réaliser une telle tâche d’extraction soulève de nombreux défis : la complexité visuelle des diagrammes de datasheets reste difficile à traiter, même pour les modèles multimodaux récents, et la forte consommation en ressources de ceux-ci soulève des questions écologiques et économiques dès lors qu’on souhaite industrialiser un tel procédé.
Outre ces défis, nous expliquerons au cours de cette présentation les résultats obtenus via une approche de type “prompt engineering” ainsi que les raisons qui nous ont conduits à privilégier le fine-tuning d’un Vision Language Model (VLM) en insistant sur la méthodologie employée : constitution du jeu de données, comparaison de tailles VLM , méthode de fine-tuning utilisée, métrique créée pour évaluer le modèle fine-tuné.
Julien MEYNARD
Data scientist – Thales
Ingénieur en intelligence artificielle chez Thales
Fort d’une expérience de 7 ans en IA et en data science, il accompagne les clients dans la résolution de problématiques complexes axées autour du machine learning, du traitement du langage naturel et plus récemment de l’IA générative, et cela dans des domaines aussi variés que l’industrie, la santé ou la défense. A ce titre, il supervise depuis plus de 4 ans des projets de recherche innovants au sein de Thales afin de transformer les dernières avancées en IA en solutions opérationnelles à forte valeur ajoutée.
Meo DESBOIS-RENAUDIN
Ingénieur en intelligence artificielle – Thales
Il intervient en R&D sur le développement de solutions de machine learning pour des cas d’usage industriels.
Curieux et orienté recherche appliquée, il se spécialise dans les approches de transfer learning, avec un intérêt marqué pour la valorisation de données en environnement opérationnel.
Thales est un groupe multinational français spécialisé dans l’électronique et la défense, opérant dans les domaines de l’aérospatiale, de la sécurité et des transports.