Combinaison de Classifieurs
Travaux Pratiques
Objectifs
Programmer quelques méthodes simples de combinaison de classifieurs, évaluer leur performance, comparer les méthodes, ...
Support de cours
Disponible sur http://www.univ-rouen.fr/psi/heutte/rdf
Evaluation
Rapport présentant l'implémentation algorithmique des opérateurs de combinaison, les résultats obtenus ainsi qu'une petite discussion autour des résultats...
Données de travail
On dispose des résultats de 5 classifieurs (cl1, ..., cl5) pour un problème de reconnaissance à 10 classes (notées 0..9). Pour chaque classifieur, on dispose des résultats sur une base d'apprentissage (notée cli.app) et sur une base de test (notée cli.test). Charger le zip ou le tgz...
Chaque fichier contient 10001 lignes (1000 éléments/classe):
- la première ligne indique le nombre de classe, le nombre maximum de solutions pour chaque élément à reconnaître et le nombre d'éléments à reconnaître par classe;
- les lignes suivantes sont les décisions du classifieur pour les éléments à reconnaître. Il y a au maximum 5 solutions proposées composées d'une classe et de la confiance associée entre crochets.
Travail préliminaire
Calculer les performances de reconnaissance en Top1 et en Top5 de chacun des classifieurs sur leur base d'apprentissage (les classifieurs ne rejettent pas!). Comparer et commenter...
Pour lire les fichiers, vous pourrez vous inspirer des fonctions de lecture...
Rappel:
RecoTop1 = nombre_d_elements_pour_lesquels_la_bonne_solution_apparait_en_1ere_proposition / nombre_total_d_elements
RecoTop5 = nombre_d_elements_pour_lesquels_la_bonne_solution_apparait_dans_les_5_premieres_propositions / nombre_total_d_elements
Méthodes de combinaison de type "Classe"
Dans cette partie, on va programmer quelques opérateurs de combinaison de type "classe" et les appliquer aux données fournies. On ne prendra donc en compte ici que la première solution fournie par le classifieur (celle dont la confiance est la pus forte)...
- Méthodes non paramétriques
Programmer les opérateurs "vote à la pluralité" et "vote à la majorité". Les appliquer à la combinaison des 5 classifieurs sur leur base d'apprentissage et sur leur base de test. Comparer les performances obtenues par les deux opérateurs en Top1 et en rejet. Conclusion.
- Méthodes paramétriques
Programmer l'opérateur "vote pondéré". Déterminer les poids des classifieurs sur leur base d'apprentissage respective et appliquer l'opérateur à la combinaison des 5 classifieurs sur la base de test. Calculer les performances en Top1. Conclusion.
Méthodes de combinaison de type "Rang"
Dans cette partie, on conserve l'ordre des classes fournies par les classifieurs mais on ne tient pas compte des confiances...
- Méthodes non paramétriques
Programmer les opérateurs "borda count moyenne" et "meilleur rang". Les appliquer à la combinaison des 5 classifieurs sur leur base d'apprentissage et sur leur base de test. Comparer les performances obtenues par les deux opérateurs en Top1 et en Top5. Conclusion.
- Méthodes paramétriques
Programmer l'opérateur "somme pondérée" qui est une généralisation du borda count. Déterminer les poids des classifieurs sur leur base d'apprentissage respective et appliquer l'opérateur à la combinaison des 5 classifieurs sur la base de test. Calculer les performances en Top1 et en Top5. Conclusion.
Méthodes de combinaison de type "Mesure"
Dans cette partie, on supposera que les confiances associées aux classes par des classifieurs différents sont comparables. Les opérateurs de combinaison ne nécessiteront donc pas ici de normalisation des confiances...
- Méthodes non paramétriques
Programmer les opérateurs "somme" et "produit". Les appliquer à la combinaison des 5 classifieurs sur leur base d'apprentissage et sur leur base de test. Comparer les performances obtenues par les deux opérateurs en Top1 et en Top5. Conclusion.
- Méthodes paramétriques
Programmer les opérateurs "somme pondérée" et "produit prondéré". Déterminer les poids des classifieurs sur leur base d'apprentissage respective et appliquer les opérateurs à la combinaison des 5 classifieurs sur la base de test. Calculer les performances en Top1 et en Top5. Conclusion.
Synthèse
Comparer les performances obtenues sur les 3 niveaux d'information traités (classe, rang, mesure). Conclusion.
Travail supplémentaire mais facultatif (!!!)
Comparer les performances de tous les ensembles possibles de 3 classifieurs pris parmi les 5 (10 ensembles possibles). Argumenter votre discussion autour des performances obtenues par combinaison en fonction des performances des classifieurs à combiner (meilleur classifieur dans l'ensemble, plus mauvais classifieur dans l'ensemble, différence entre le meilleur et le plus mauvais,...).
Return to my Home Page
Last updated: June 2006