Thèse CIFRE - doctorant(e) en vision/IA - Détection de défauts visuels par modèles de fondation dans un contexte industriel (F/H)

Thèse CIFRE - doctorant(e) en vision/IA - Détection de défauts visuels par modèles de fondation dans un contexte industriel (F/H)

- - - - - - - - - - - -

Contexte :

Les très bonnes performances des modèles par apprentissage profond (réseaux de neurones convolutifs, transformeurs) favorisent leur adoption dans le monde industriel. Un cas d’utilisation fréquemment rencontré est celui de la détection visuelle de défauts. Classiquement, une approche supervisée est choisie. Ainsi, une base d’apprentissage est constituée pour entrainer un modèle qui est ensuite déployé sur un site de production industrielle.

La philosophie actuelle consiste à entrainer un modèle pour chaque tâche de détection (1 modèle A pour la tâche A, 1 modèle B pour la tâche B, …). La phase de mise au point de chaque modèle est généralement très chronophage car il faut récupérer une grande quantité de données annotées et il faut ensuite identifier le meilleur modèle associé à la tâche traitée. De plus, une fois les modèles déployés sur les sites de production, se pose le problème de la maintenance et évolution de dizaines, voire de centaines, de modèles différents.

Dernièrement, une nouvelle philosophie émerge. Elle consiste à n’utiliser qu’un seul modèle, appelé « modèle de fondation », et à ensuite le spécialiser pour effecteur différentes tâches.

Ces modèles de fondation peuvent être obtenus via des méthodes supervisées (Segment Anything) ou auto-supervisés (DinoV2). De plus, ces modèles peuvent coupler des données textuelles et visuelles (CLIP). L’objectif de ces modèles est d’apprendre des caractéristiques suffisamment robustes pour être utilisables dans différentes tâches de vision. Cela est rendu possible par l’utilisation de centaines de millions d’images d’apprentissage disponible sur internet.  Différents modèles de fondation existent et ont démontré des performances remarquables dans des domaines connexes aux images d’apprentissage (navigation autonome par exemple). Leurs performances sur des domaines éloignés du domaine d’apprentissage restent à explorer. Les images rencontrées dans l’industrie constituent un exemple typique de données éloignées du domaine d’apprentissage de ces modèles de fondation.

Objectif :

Dans cette thèse, nous proposons d’étudier l’utilisation des modèles de fondation dans un contexte industriel. Nous considérerons différentes tâches de détection de défaut et l’objectif sera de trouver un moyen d’effectuer ces tâches différentes en ne considérant qu’un modèle de fondation que l’on spécialisera aux différentes tâches. La spécialisation sur une tâche donnée nécessitera probablement d’interagir avec un expert métier. L’optimisation de ces interactions sera également abordée lors de cette thèse.

Cette thèse permettra de répondre à différentes questions : comment adapter un modèle de fondation existant sur un domaine éloigné de son apprentissage ? si besoin, comment intégrer des images de défauts industriels à l’apprentissage en sachant que leur nombre sera bien moindre par rapport aux images de l’apprentissage initial ? comment spécialiser ce modèle de fondation en prenant en compte des interactions dans un environnement industriel ?

Cette thèse sera aussi l’occasion d’identifier les limites à l’utilisation de ces modèles de fondation dans un contexte industriel. 

Profil :

Vous êtes diplômé d'une école d'ingénieur ou master2  en informatique et/ou mathématiques appliquées. Vous avez des connaissances en développement informatique (python, programmation objet), en traitement d’images et en apprentissage automatique (machine learning, deep learning). La connaissance du framework PyTorch et du traitement du langage naturel est un plus. Vous êtes curieux, autonome, force de proposition avec un fort intérêt pour l'innovation (aussi bien académique qu’industrielle).

- - - - - - - - - - - -