12019 / Pixabay
Lors de l’élaboration d’un produit, les essais sont la composante essentielle du développement. Ils permettent de détecter les dysfonctionnements, d’établir les limites, de lever des incertitudes. Le drame, c’est que les essais peuvent coûter cher. Si essayer de multiples configurations pour un logiciel est surtout consommateur de temps, essayer des équipements lourds (satellites, voitures, machines…) est évidemment très onéreux. Par conséquent les directeurs de programme sont tentés de limiter les essais, quitte à vivre des moments difficiles en production et en SAV.
Paleo machine learning
Lorsque l’on a pas les moyens de faire beaucoup d’essais, la solution communément admise est de choisir les expériences à mener au moyen d’un plan d’expériences (Experimental design ou DOE pour Design of Experiments). J’ai beaucoup utilisé cette technique et ai rédigé une large partie de l’article de Wikipedia qui les décrivent. L’idée est simple. L’objet à étudier est réglable par plusieurs paramètres (ou par plusieurs boutons). Il s’agit donc de calculer une loi représentant un mesure pour un certain nombre de combinaison de paramètres, en choisissant les expériences de manière à avoir le résultat le plus fiable possible. Par exemple, sur un moteur, on étudiera sa vitesse en fonction de la tension et de l’intensité de l’alimentation. Dans ce cas, le DOE proposera, en fonction de la matrice choisie, 4 expériences (Hadamard), 7 expériences (Doehlert), 13 expériences (Box-Behnken)… ce qui est beaucoup moins que de tester toutes les configurations possibles.
skeeze / Pixabay
En fait, le DOE est un exemple antique de Machine Learning. On aboutira, dans le cas du moteur, à une loi Vitesse=a. Tension + b.Intensité +c qui permettra (ou pas) de faire des prédictions.
Je discutais avec Elena, une chercheuse italienne en chimie, qui me disait qu’elle n’avait jamais pu en faire quelque chose. Pourquoi? Elena travaille sur la catalyse, pour laquelle les lois qui sous-tendent les phénomènes ne sont pas linéaires. Au lieu que les paramètres conduisent à ce que le phénomène soit plus ou moins proportionnel aux paramètres (par exemple la concentration), la catalyse marche ou ne marche pas. Il n’y a pas toujours de « formule » pour représenter le résultat.
En fait, selon l’adage « Tous les modèles sont faux mais certains sont utiles », le DOE fait plusieurs hypothèses:
- Les paramètres sont indépendants les uns des autres, ce qui n’est jamais vrai ou presque
- L’action de chacun des paramètres est reliée en proportion à la réaction de l’objet étudié, ce qui est souvent faux, ou pas toujours
Nous traitons souvent des situations d’incertitude, dans lesquelles nous ne connaissons pas les paramètres importants, ni leur relation à la performance de l’objet. Le DOE ne marche que dans les autres cas.
Pour des raisons de rareté dans la puissance de calcul, le DOE permettait de traiter quelques paramètres seulement (l’inversion de grosses matrices coutait cher en temps de calcul). Il était une solution maline correspondant à une époque.
Les réseaux de neurones
Pour traiter ces problèmes nous utilisons à R&D Médiation des réseaux de neurones profonds. Ils permettent de faire ce que font les DOE mais avec des avantages, et quelques inconvénients
| Avantages des RN sur le DOE | Inconvénients |
|---|---|
| Le domaine n’a pas à être linéaire, des discontinuités peuvent exister | Ils nécessitent plus d’expériences |
| Les paramètres peuvent être dépendants | Ils ne permettent pas d’expliquer le résultat par des relations de causes à effet |
| Ils peuvent intervenir sur un nombre de paramètres très élevés | Ils nécessitent d’être prouvé par des expériences nouvelles |
| Ils peuvent traiter des expériences obtenues involontairement et donc absentes d’un DOE | Ils ne peuvent pas se calculer avec un simple tableur mais nécessite un environnement de calcul |
| Ils peuvent prendre en compte les résultats anormaux et les erreurs expérimentales | |
| Ils peuvent s’améliorer avec les expériences nouvelles |
Au lieu d’une loi linéaire Y=a.X1+ b.X2 + c, nous obtenons un tenseur (réseaux de neurones) entrainé à se comporter comme l’objet étudié. En théorie, il faudrait disposer de l’ordre de 100 fois plus d’expériences que de paramètres. Toutefois, les RN fonctionnent parfois avec beaucoup moins d’expériences pour peu qu’ils soient bien entrainés, sur des paramètres bien choisis.
Que faire dans on est directeur de programme et qu’on a pas d’argent pour les essais?
Malheureusement, trop de directeurs de programme limitent le nombre d’essais pour des raisons financières. Ils comptent sur leur chance en espérant que tout se passe bien sur la base de quelques tests réussis. L’expérience montre que la plupart n’ont pas de chance. Les startups sont également de fréquentes victimes de la rareté des essais. Le tableau suivant peut vous aider.
| Budget | Le produit a un comportement simple (peu de facteurs influençant le comportement, plutôt indépendants entre eux) | Le produit est complexe et soumis à plusieurs paramètres dont l’influence est mal connue | |
|---|---|---|---|
| Conséquent | DOE pourquoi dépenser plus. Eventuellement avec des matrices plus volumineuses (Doehlert ou même Taguchi) | Deep Learning multivariable (100 fois le nombre de paramètres) | |
| Moyen | DOE simple (Hadamard) puis étude des points d’intérêt | Deep Learning multivariable avec réduction dimensionnelle | |
| Réduit | DOE simple (Hadamard) puis étude des points d’intérêt | DOE de type Taguchi | |
| Nul | Méthode agile si le produit ne présente pas de risques légaux | Priez,provisionner des risques, prendre un avocat |
ahmedgad / Pixabay
Dans tous les cas, les essais sont la clef d’un développement serein de produit et la stratégie pour les mener est centrale pour l’élaboration des systèmes innovants.
Pour résumer
- Les modèles sont faux mais certains sont utiles
- L’absence d’essais revient à parier
- Des essais de systèmes complexes menés avec des approches trop simplificatrices ne servent à rien