Apprentissage par transfert vs. Mise au point vs. Apprentissage multitâche vs. Apprentissage fédéré.
.
.
La plupart des modèles ML sont entraînés indépendamment sans aucune interaction avec d’autres modèles.
Mais
le ML dans le monde réel utilise de nombreuses techniques
d’apprentissage puissantes qui reposent sur des interactions de modèles.
L’animation suivante résume quatre de ces méthodologies de formation bien adoptées et incontournables :
--
👉 Vous trouverez une explication plus vivante avec des visuels ici :
https://bit.ly/ml-lrng.
--
1) Apprentissage par transfert
Utile dans les cas suivants :
- La tâche d’intérêt contient moins de données.
- Mais une tâche connexe dispose de données abondantes.
Voici comment cela fonctionne :
- Entraînez un modèle de réseau de neurones (modèle de base) sur la tâche associée.
- Remplacez les derniers calques du modèle de base par de nouveaux calques.
- Entraînez le réseau sur la tâche qui vous intéresse, mais ne mettez pas à jour les pondérations des couches non remplacées.
L’entraînement sur une tâche connexe permet d’abord au modèle de capturer les modèles de base de la tâche d’intérêt.
Ensuite, il peut adapter les dernières couches pour capturer le comportement spécifique à la tâche.
2) Mise au point
Mettez à jour les pondérations de certaines ou de toutes les couches du modèle pré-entraîné pour l’adapter à la nouvelle tâche.
L’idée
peut sembler similaire à celle de l’apprentissage par transfert. Mais
ici, l’ensemble du modèle pré-entraîné est généralement ajusté aux
nouvelles données.
3) Apprentissage multitâche (MTL)
Un modèle est entraîné à effectuer plusieurs tâches connexes simultanément.
Du point de vue de l’architecture, le modèle présente les caractéristiques suivantes :
- Un réseau partagé
- Et des branches spécifiques à une tâche
La raison d’être est de partager les connaissances entre les tâches afin d’améliorer la généralisation.
En fait, nous pouvons également économiser de la puissance de calcul avec MTL :
- Imaginez entraîner 2 modèles indépendants sur des tâches connexes.
- Maintenant, comparez-le à un réseau avec des couches partagées, puis des branches spécifiques à une tâche.
L’option 2 se traduira généralement par :
- Meilleure généralisation sur l’ensemble des tâches.
- Moins de mémoire pour stocker les poids des modèles.
- Moins d’utilisation des ressources pendant la formation.
4) Apprentissage fédéré
Il
s’agit d’une approche décentralisée de l’apprentissage automatique.
Ici, les données d’entraînement restent sur l’appareil de l’utilisateur.
Donc,
d’une certaine manière, c’est comme envoyer le modèle aux données au
lieu des données au modèle. Pour préserver la confidentialité, seules
les mises à jour des modèles sont collectées à partir des appareils et
envoyées au serveur.
Le clavier de notre smartphone en est un excellent exemple.
Il utilise FL pour apprendre les modèles de frappe. Cela se produit sans transmettre les frappes sensibles à un serveur central.
Remarque : Ici, le modèle est entraîné sur de petits appareils. Ainsi, il DOIT être léger mais utile.
Les
techniques de compression de modèle sont répandues dans de tels cas.
J’ai mis en lien un guide détaillé dans les commentaires.
--
👉
Obtenez un PDF gratuit sur la science des données (550+ pages) avec
320+ articles en vous inscrivant à ma newsletter quotidienne dès
aujourd’hui :
https://bit.ly/DailyDS.
--
👉 À vous de jouer : quelles sont les autres méthodologies de formation ML que j’ai manquées ici ?