Le transfer learning pour les données rares

Julius_Silver / Pixabay

L’industrie, contrairement aux géants des réseaux sociaux qui tirent les technologies d’intelligence artificielle aujourd’hui, dispose en général de moins de données. Plus chères et plus risquées à obtenir – lancer une fusée ou essayer une configuration machine est onéreux- ces données sont toutefois de bonne qualité. Dans cet article, nous allons vous présenter un exemple de transfer learning qui est une façon faire du smalldata quand le bigdata est inaccessible.

Le transfer learning consiste à entraîner un réseau de neurones profonds sur des données de faible qualité, par exemple celles issues d’une modélisation grossière, puis de terminer l’entraînement avec quelques données « fraîches » qui sont de qualité, mais rares.

Nous allons tenter l’expérience sur une équation d’état, qui relie la pression, le volume et la température d’un gaz à la quantité de matière contenue dans ce volume.

 

Étape 1: La culture

corrélation entre n prédit et n issu de l’équation

Nous allons d’abord cultiver le réseau de neurones sur une équation d’état simple, mais fausse dans la plupart des cas: l’équation des gaz parfaits PV=nRT.

  1. Nous générons aléatoirement des triplets P,V,T (100000 dans notre cas)
  2. Nous calculons n
  3. Nous entraînons un réseau de neurones de 4 couches (3/64/64/1)

Nous obtenons donc un réseau de neurones capables de prédire n avec une bonne précision (>99.99999%). Le calcul prend quelques minutes. Le réseau de neurones obtenu ne connaît pas le comportement d’un gaz réel, mais il est capable de connaître grossièrement des règles, que la pression augmente quand le volume diminue par exemple.

Étape 2 : Le transfert

Dans cette étape nous allons donner au réseau de neurones quelques données issues d’un gaz réel: le dioxyde de carbone. Pour cela, nous allons générer des valeurs issue de l’équation de van der Waals:

Pour le CO2, a=0.365 et b=4.28e-5 .

Nous allons réentrainer le réseau de neurones de l’étape 1 avec 2, 3,4,5,10 et 100 données P,V,T seulement. Puis nous allons utiliser le réseau de neurones réentrainé et le comparer aux données du dioxyde de carbone pour 1000 points tirés au hasard. Nous obtenons les corrélations suivantes


Dans ce graphique, on voit que seulement une dizaine de données expérimentales fraîches (à comparer aux 100000 de l’entraînement) sont suffisantes pour réentrainer le réseau dans ce cas simple (on aurait pu refiter cela à la main). Toutefois, la méthode est généralisable à des modèles plus complexes.

Conclusion

Les données rares ne sont pas toujours un facteur bloquant dans l’utilisation du deep learning. Le transfer learning, combinant données artificielles et naturelles, permet – avec d’autres techniques d’augmentation de données – de traiter ces cas. Il présente de nombreux avantages. L’entraînement sur des données artificielles peut être long et nécessiter des ressources, mais une fois le réseau de neurones cultivé obtenu, son réentraînement sur des données fraîches est très rapide. Par ailleurs, le réseau de neurones final est bien plus précis que des équations analytiques forcément simplificatrices de la richesse de la Nature.

 

Télécharger cet article au format PDF ou ePub

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *

Ce site utilise Akismet pour réduire les indésirables. En savoir plus sur comment les données de vos commentaires sont utilisées.