Optimiser les essais par le machine learning

12019 / Pixabay

Lors de l’élaboration d’un produit, les essais sont la composante essentielle du développement. Ils permettent de détecter les dysfonctionnements, d’établir les limites, de lever des incertitudes. Le drame, c’est que les essais peuvent coûter cher. Si essayer de multiples configurations pour un logiciel est surtout consommateur de temps, essayer des équipements lourds (satellites, voitures, machines…) est évidemment très onéreux. Par conséquent les directeurs de programme sont tentés de limiter les essais, quitte à vivre des moments difficiles en production et en SAV.

Paleo machine learning

Lorsque l’on a pas les moyens de faire beaucoup d’essais, la solution communément admise est de choisir les expériences à mener au moyen d’un plan d’expériences (Experimental design ou DOE pour Design of Experiments). J’ai beaucoup utilisé cette technique et ai rédigé une large partie de l’article de Wikipedia qui les décrivent. L’idée est simple. L’objet à étudier est réglable par plusieurs paramètres (ou par plusieurs boutons). Il s’agit donc de calculer une loi représentant un mesure pour un certain nombre de combinaison de paramètres, en choisissant les expériences de manière à avoir le résultat le plus fiable possible. Par exemple, sur un moteur, on étudiera sa vitesse en fonction de la tension et de l’intensité de l’alimentation. Dans ce cas, le DOE proposera, en fonction de la matrice choisie, 4 expériences (Hadamard), 7 expériences (Doehlert), 13 expériences (Box-Behnken)… ce qui est beaucoup moins que de tester toutes les configurations possibles.

skeeze / Pixabay

En fait, le DOE est un exemple antique de Machine Learning. On aboutira, dans le cas du moteur, à une loi Vitesse=a. Tension + b.Intensité +c qui permettra (ou pas) de faire des prédictions.

Je discutais avec Elena, une chercheuse italienne en chimie, qui me disait qu’elle n’avait jamais pu en faire quelque chose. Pourquoi? Elena travaille sur la catalyse, pour laquelle les lois qui sous-tendent les phénomènes ne sont pas linéaires. Au lieu que les paramètres conduisent à ce que le phénomène soit plus ou moins proportionnel aux paramètres (par exemple la concentration), la catalyse marche ou ne marche pas. Il n’y a pas toujours de « formule » pour représenter le résultat.

En fait, selon l’adage « Tous les modèles sont faux mais certains sont utiles », le DOE fait plusieurs hypothèses:

  • Les paramètres sont indépendants les uns des autres, ce qui n’est jamais vrai ou presque
  • L’action de chacun des paramètres est reliée en proportion à la réaction de l’objet étudié, ce qui est souvent faux, ou pas toujours

Nous traitons souvent des situations d’incertitude, dans lesquelles nous ne connaissons pas les paramètres importants, ni leur relation à la performance de l’objet. Le DOE ne marche que dans les autres cas.

Pour des raisons de rareté dans la puissance de calcul, le DOE permettait de traiter quelques paramètres seulement (l’inversion de grosses matrices coutait cher en temps de calcul). Il était une solution maline correspondant à une époque.

Les réseaux de neurones

Pour traiter ces problèmes nous utilisons à R&D Médiation des réseaux de neurones profonds. Ils permettent de faire ce que font les DOE mais avec des avantages, et quelques inconvénients

Avantages des RN sur le DOE Inconvénients
Le domaine n’a pas à être linéaire, des discontinuités peuvent exister Ils nécessitent plus d’expériences
Les paramètres peuvent être dépendants Ils ne permettent pas d’expliquer le résultat par des relations de causes à effet
Ils peuvent intervenir sur un nombre de paramètres très élevés Ils nécessitent d’être prouvé par des expériences nouvelles
Ils peuvent traiter des expériences obtenues involontairement et donc absentes d’un DOE Ils ne peuvent pas se calculer avec un simple tableur mais nécessite un environnement de calcul
Ils peuvent prendre en compte les résultats anormaux et les erreurs expérimentales
Ils peuvent s’améliorer avec les expériences nouvelles

Au lieu d’une loi linéaire Y=a.X1+ b.X2 + c, nous obtenons un tenseur (réseaux de neurones) entrainé à se comporter comme l’objet étudié. En théorie, il faudrait disposer de l’ordre de 100 fois plus d’expériences que de paramètres. Toutefois, les RN fonctionnent parfois avec beaucoup moins d’expériences pour peu qu’ils soient bien entrainés, sur des paramètres bien choisis.

Que faire dans on est directeur de programme et qu’on a pas d’argent pour les essais?

Malheureusement, trop de directeurs de programme limitent le nombre d’essais pour des raisons financières. Ils comptent sur leur chance en espérant que tout se passe bien sur la base de quelques tests réussis. L’expérience montre que la plupart n’ont pas de chance. Les startups sont également de fréquentes victimes de la rareté des essais. Le tableau suivant peut vous aider.

Décision de management des essais
Budget Le produit a un comportement simple (peu de facteurs influençant le comportement, plutôt indépendants entre eux) Le produit est complexe et soumis à plusieurs paramètres dont l’influence est mal connue
Conséquent DOE pourquoi dépenser plus. Eventuellement avec des matrices plus volumineuses (Doehlert ou même Taguchi) Deep Learning multivariable (100 fois le nombre de paramètres)
Moyen DOE simple (Hadamard) puis étude des points d’intérêt Deep Learning multivariable avec réduction dimensionnelle
Réduit  DOE simple (Hadamard) puis étude des points d’intérêt DOE de type Taguchi
Nul Méthode agile si le produit ne présente pas de risques légaux Priez,provisionner des risques, prendre un avocat

ahmedgad / Pixabay

Dans tous les cas, les essais sont la clef d’un développement serein de produit et la stratégie pour les mener est centrale pour l’élaboration des systèmes innovants.

Pour résumer

  • Les modèles sont faux mais certains sont utiles
  • L’absence d’essais revient à parier
  • Des essais de systèmes complexes menés avec des approches trop simplificatrices ne servent à rien

 

 

 

Voir aussi:

Télécharger cet article au format PDF ou ePub

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.