20 août 2026 • Ibexcode
La diversité des modèles compte-t-elle vraiment dans un ensemble ML ?
Combiner plusieurs modèles est une pratique courante en Machine Learning. L’intuition est simple, si différents modèles ne commettent pas exactement les mêmes erreurs, leur combinaison peut permettre à l’un de compenser certaines faiblesses de l’autre.
Cette idée conduit facilement à une règle apparemment raisonnable : Pour améliorer un ensemble, il faut diversifier ses modèles.
Changer de famille d’algorithmes, de fonction objectif ou d’architecture devrait alors produire des comportements différents et enrichir l’ensemble. En pratique, la relation est beaucoup moins directe.
Deux architectures très différentes peuvent produire presque les mêmes erreurs. À l’inverse, un modèle fortement décorrélé des autres peut simplement être mauvais d’une manière différente, sans apporter de complémentarité réellement exploitable.
La question n’est donc pas seulement :
Les modèles sont-ils différents ?
mais plutôt :
Leurs différences permettent-elles à l’ensemble de mieux résoudre le problème ?
Les expériences présentées dans cet article sont volontairement simplifiées et anonymisées. Elles illustrent les phénomènes observés sans décrire la composition d’un système particulier.
1. Pourquoi chercher de la diversité ?
Supposons deux modèles produisant chacun une erreur sur 20 % des observations. Si leurs erreurs concernent exactement les mêmes exemples, leur combinaison dispose de peu de possibilités pour corriger ces échecs :
Modèle A ✓ ✓ ✗ ✓ ✗
Modèle B ✓ ✓ ✗ ✓ ✗Les deux systèmes échouent au même endroit.
Imaginons maintenant une situation différente :
Modèle A ✓ ✓ ✗ ✓ ✗
Modèle B ✓ ✗ ✓ ✓ ✓Les performances individuelles peuvent être proches, mais la situation est beaucoup plus intéressante. Lorsque A échoue, B réussit parfois. Si ces différences présentent une structure exploitable, leur combinaison peut alors produire une meilleure décision que chacun des modèles pris isolément.
C’est l’une des raisons fondamentales de l’intérêt des ensembles (stack) : les erreurs complémentaires de plusieurs modèles peuvent permettre à leur combinaison de mieux résoudre certains cas difficiles.
Mais cette propriété ne découle pas automatiquement du nombre de modèles présents dans l’ensemble. Elle dépend notamment de la structure de leurs erreurs.
2. Des modèles différents peuvent apprendre presque la même chose
Une première manière de chercher cette diversité consiste naturellement à modifier le modèle.
On peut changer :
- la fonction objectif
- la famille d’algorithmes
- l’architecture
- les contraintes d’apprentissage
L’hypothèse est qu’en apprenant différemment, les modèles produiront des comportements suffisamment différents pour devenir complémentaires. Nos expériences montrent que ce n’est pas automatique.
Deux variantes appartenant à une même famille, mais entraînées selon des objectifs différents, peuvent conserver des erreurs fortement corrélées.
Modifier davantage la manière dont l’une d’elles apprend ne garantit pas non plus une meilleure diversité. Certains candidats peuvent devenir moins performants tout en continuant à échouer essentiellement sur les mêmes observations.
Le changement existe alors dans la procédure d’apprentissage, beaucoup moins dans le comportement final.
Changer la manière d’optimiser un modèle ne garantit donc pas qu’il produira un comportement réellement différent.
3. Changer complètement d’architecture ne garantit pas davantage la diversité
On pourrait alors pousser le raisonnement plus loin. Si modifier une variante d’un modèle ne suffit pas, pourquoi ne pas utiliser une architecture radicalement différente ?
C’est une stratégie naturelle dans un ensemble. Des modèles reposant sur des mécanismes différents ne construisent pas leurs représentations de la même manière et ne possèdent pas nécessairement les mêmes biais inductifs. On pourrait donc s’attendre à des comportements nettement différents.
Pour tester cette hypothèse proprement, les modèles peuvent être entraînés à partir des mêmes informations afin que la comparaison porte principalement sur leur architecture.
Pourtant, lors de nos expériences, deux architectures neuronales conçues selon des principes très différents ont produit des erreurs fortement corrélées. Malgré des mécanismes d’apprentissage différents, leurs comportements restaient donc très similaires.
Une architecture différente peut traiter autrement la même information sans aboutir à un comportement suffisamment différent pour enrichir un ensemble.
La diversité architecturale n’est pas nécessairement une diversité comportementale.
4. La diversité se mesure dans les comportements
Si la famille ou l’architecture du modèle ne suffit pas à établir sa complémentarité, il faut observer directement ce qu’il produit. Plusieurs mesures deviennent alors intéressantes.
Corrélation des prédictions
Deux modèles peuvent produire des scores très proches observation par observation. Une forte corrélation indique qu’ils organisent globalement les observations de manière similaire.
Mais cette mesure ne suffit pas toujours. Deux modèles peuvent produire des scores numériques différents tout en prenant finalement les mêmes décisions.
Corrélation des erreurs
On peut donc regarder directement si les modèles réussissent et échouent sur les mêmes événements.
Pour deux modèles A et B, on peut par exemple construire :
A : 1 1 0 1 0 1
B : 1 0 0 1 1 1où 1 représente une réussite et 0 une erreur.
Deux modèles possédant une performance moyenne similaire peuvent ainsi révéler des comportements très différents.
Réussites complémentaires
Une autre approche consiste à compter directement les situations où un candidat réussit alors que les modèles de référence échouent.
Ces événements sont particulièrement intéressants pour un ensemble, ils indiquent que le candidat se comporte différemment sur certains cas et pourrait exploiter une partie du signal que les autres modèles exploitent moins bien.
Mais il faut également compter l’inverse, dans combien de situations le candidat échoue-t-il alors que les modèles existants réussissent ?
Un candidat qui apporte de nouvelles réussites mais introduit encore davantage de nouvelles erreurs n’est pas nécessairement une bonne source de diversité. La complémentarité ne se résume donc pas au nombre de désaccords. Il faut regarder ce que ces désaccords apportent réellement.
Corrélation des prédictions, corrélation des erreurs, désaccords ou réussites complémentaires décrivent ainsi différentes facettes du comportement des modèles.
Aucune de ces mesures ne définit à elle seule la « bonne » diversité d’un ensemble. Elles servent avant tout à identifier des différences susceptibles d’être intéressantes et qui devront ensuite être évaluées dans la combinaison réelle.
5. Être différent peut simplement signifier être moins bon
C’est probablement l’un des principaux pièges lorsqu’on cherche volontairement à décorréler des modèles. Dans nos expériences, un modèle volontairement beaucoup plus simple présentait des erreurs nettement moins corrélées avec celles des autres candidats.
À première vue, c’est exactement ce que l’on recherche. Son comportement était différent. Il pouvait donc sembler constituer un excellent candidat pour enrichir l’ensemble. Mais sa performance individuelle était également sensiblement plus faible. Une partie de cette décorrélation pouvait donc provenir d’un phénomène beaucoup moins intéressant : le modèle ne faisait pas seulement des erreurs différentes, il faisait simplement davantage d’erreurs.
Une faible corrélation ne permet pas à elle seule de distinguer une complémentarité exploitable du bruit ou d’un sous-apprentissage. Un modèle aléatoire serait extrêmement différent des modèles existants. Il n’en deviendrait pas pour autant utile.
La diversité n’a donc de valeur que si la différence de comportement conserve suffisamment de qualité prédictive pour être exploitable.
6. Il existe un compromis entre qualité et diversité
On peut représenter les candidats selon deux dimensions :
Le candidat idéal semble naturellement se situer en haut à droite :
- suffisamment performant individuellement
- suffisamment différent pour apporter des réussites complémentaires
Mais les expériences réelles occupent souvent les autres zones.
Un modèle peut être performant mais redondant, il reproduit essentiellement le comportement des modèles déjà présents.
Il peut être différent mais trop faible, sa décorrélation provient en partie d’erreurs supplémentaires.
Il peut également être à la fois faible et redondant, auquel cas son intérêt pour l’ensemble est limité.
La diversité n’est donc pas un objectif indépendant de la performance. Une différence de comportement devient intéressante lorsqu’elle reste associée à un signal suffisamment fiable pour contribuer à la décision finale.
7. Forcer la diversité ne garantit pas de créer de l’information
Cette difficulté conduit à une expérience tentante. Si plusieurs modèles convergent vers des comportements similaires, pourquoi ne pas contraindre volontairement un nouveau candidat à explorer autre chose ?
Une possibilité consiste par exemple à limiter volontairement l’information à laquelle le candidat a accès. Les modèles principaux conservent l’ensemble des informations disponibles, tandis que le nouveau candidat est contraint de travailler sur un sous-ensemble volontairement différent.
L’objectif est de l’empêcher de reconstruire trop facilement les mêmes relations que les modèles existants et de l’inciter à exploiter d’autres signaux.
Le candidat ne peut plus simplement reconstruire la même solution à partir de l’ensemble du signal disponible. Son comportement peut effectivement devenir plus différent. Mais une contrainte fondamentale demeure : retirer de l’information ne crée pas une information nouvelle.
Si ce qui reste contient un signal complémentaire exploitable, la stratégie peut devenir intéressante. Dans le cas contraire, le candidat devient simplement moins performant. Sa décorrélation augmente alors parce qu’il dispose de moins d’information pour résoudre correctement le problème. On obtient bien davantage de diversité statistique, mais pas nécessairement davantage de diversité utile.
Cette expérience met en évidence une distinction importante :
On peut forcer un modèle à produire quelque chose de différent. On ne peut pas forcer les données à contenir un signal complémentaire.
8. Les métriques de diversité restent des indicateurs
Corrélation des prédictions, corrélation des erreurs, réussites complémentaires ou désaccords permettent d’identifier des candidats intéressants.
Mais aucune de ces mesures ne démontre à elle seule qu’un modèle améliorera réellement l’ensemble. C’est une limite importante. Un candidat peut présenter une forte décorrélation et suffisamment de performances pour sembler prometteur.
La question reste pourtant ouverte :
Le reste du système saura-t-il exploiter cette différence ?
Dans nos expériences, certains candidats intéressants selon des métriques intermédiaires ont effectivement modifié le comportement du système une fois intégrés.
Mais cette modification ne s’est pas nécessairement transformée en amélioration globale. Certains objectifs progressaient légèrement tandis que d’autres restaient stables ou régressaient. La diversité détectée en amont était réelle, mais elle ne se transformait simplement pas en gain net pour l’ensemble.
Les métriques de diversité doivent donc rester ce qu’elles sont : des mesures descriptives du degré de similarité ou de désaccord entre les modèles. Elles permettent de constater qu’un candidat se comporte différemment, mais pas de conclure que cette différence sera utile une fois intégrée au système.
L’utilité de cette diversité doit être évaluée séparément sur le système complet.
9. Le système complet constitue le véritable test de complémentarité
Dans un ensemble composé de plusieurs niveaux, un modèle intermédiaire n’est pas utilisé uniquement pour sa performance individuelle. Ses sorties deviennent une information destinée aux composants suivants.
Un candidat légèrement inférieur lorsqu’il est évalué seul peut donc rester intéressant si ses prédictions permettent au système de corriger certaines erreurs des autres modèles.
Inversement, un excellent candidat peut devenir presque inutile si son comportement est trop proche de ce que les composants existants permettent déjà d’obtenir.
La vraie question devient alors :
Le système peut-il exploiter ce que ce modèle fait différemment ?
La validation doit donc suivre le chemin réel de l’information : nouveau candidat → intégration → réévaluation → sortie du système complet.
Plusieurs candidats peuvent présenter des comportements différents lorsqu’ils sont étudiés isolément, puis n’apporter aucune amélioration une fois replacés dans l’ensemble.
La complémentarité utile ne se déduit donc pas de la différence entre les modèles. Elle se constate par son effet sur le système complet.
10. Conclusion
La diversité joue bien un rôle important dans un ensemble Machine Learning. Mais la rechercher comme un objectif autonome conduit facilement à de mauvaises conclusions.
Changer d’algorithme ne garantit pas des erreurs différentes. Obtenir des erreurs différentes ne garantit pas qu’elles soient complémentaires. Et identifier une complémentarité apparente ne garantit pas que le système puisse réellement l’exploiter.
Un ensemble n’est donc pas amélioré simplement parce qu’il contient davantage de modèles ou parce que leurs architectures sont plus variées.
Un nouveau composant ne devient réellement intéressant pour l’ensemble que lorsque son intégration améliore le système complet.
La diversité est alors un moyen, pas une finalité. La question n’est finalement pas de savoir comment rendre les modèles plus différents.
Elle est de savoir si leurs différences permettent au système de mieux résoudre des situations que ses composants actuels traitent mal.