Apprentissage statistique et techniques de ré-échantillonnage
J.-M. Martinez * ¤ (CEA Saclay)
J3eA - Vol. 2, Hors-Série 1 - 5 (2003).
DOI : 10.1051/bib-j3ea:2003505
Mis en ligne le 24 juillet 2003.
Article (PDF) (502 Ko) 
Transparents (Powerpoint) (200 Ko)
Résumé
Les méthodes de ré-échantillonnage sont utilisées pour réaliser des estimations lorsqu'on ne connaît pas les lois de probabilité des variables à analyser. Dans les problèmes posés par la régression, notamment la régression par réseaux de neurones, elles permettent d'estimer l'erreur de généralisation, et d'évaluer, avec efficacité et robustesse, la variabilité du réseau par rapport aux données, élément clé du dilemme biais-variance qui conditionne l'élaboration de tout modèle statistique. Ces techniques très performantes sont gourmandes en temps de calcul, mais l'accroissement de la vitesse des calculateurs permet de plus en plus fréquemment leur mise en oeuvre. Une nouvelle méthode est présentée, associant le bootstrap et le « early stopping » pour automatiser et contrôler l'apprentissage des réseaux de neurones. Elle a été développée dans le logiciel NeMo construit à partir du simulateur SNNS.
Mots-clés : apprentissage statistique, réseaux de neurones, bootstrap.
© EDP Sciences, 2003.
|
Cet article fait partie d'un hors-série de la revue J3eA. Ce hors-série contient les articles issus des présentations faites lors de la journée « Automatique et Optimisation ». Cette journée a eu lieu le 20 mars 2003 à l'Université de Paris 12 Créteil et a été organisée par... Voir l'introduction
Plan de l'article
Le bootstrap et les réseaux de neurones
Principe du bootstrap
Algorithme du bootstrap pour calculer un écart-type
L'erreur de généralisation estimée par bootstrap
- Loi binomiale des bases bootstrapées
- Statistique de l'erreur de génération
La méthode NeMo
- Outil NeMo
- Modélisation des erreurs
- Percentile
- Quartile
- Tri-médian
Test de la méthode NeMo
Conclusion
Bibliographie
* Jean-Marc Martinez est ingénieur-chercheur au Département de Modélisation des Systèmes et Structures au Centre d'Études de Saclay, chargé d'affaires au CEA/DEN dans le domaine de la supervision, de l'analyse de sensibilité et des traitements des incertitudes en simulation numérique. Sa R&D porte sur les plans d'expériences numériques, les surfaces de réponse non linéaires, l'apprentissage statistique par réseaux de neurones et l'optimisation multicritère par algorithmes génétiques avec Michel Dumas (CEA).
¤ e-mail : [email protected]
Centre d'Études de Saclay, Département de Modélisation des Systèmes et Structures, F-91190 Gif-sur-Yvette, France.
Article (PDF) (502 Ko)
Transparents (Powerpoint) (200 Ko)
|
|
 |
|
