3-5 Jul 2013 Villeneuve d'Ascq (Lille) (France)

By author > Bellet Aurélien

Thursday 4
Machine Learning

› 16:00 - 16:30 (30min)
Vote de majorité a priori contraint pour la classification binaire : spécification au cas des plus proches voisins
Aurélien Bellet  1, *@  , Amaury Habrard  2, *@  , Emilie Morvant  3@  , Marc Sebban  2, *@  
1 : University of Southern California  (USC)  -  Website
Los Angeles, CA, 90089-0484, USA -  États-Unis
2 : LAboratoire Hubert Curien  (LAHC)  -  Website
CNRS : UMR5516, Université Jean Monnet - Saint-Etienne
18 rue du Professeur LAuras 42000 SAINT-ETIENNE -  France
3 : Laboratoire d'informatique Fondamentale de Marseille  (LIF)  -  Website
CNRS : UMR7279, Université de la Méditerranée - Aix-Marseille II, Université de Provence - Aix-Marseille I
CMI 39, Rue Joliot Curie 13453 MARSEILLE CEDEX 13 -  France
* : Corresponding author

Pour combiner différents classifieurs/votants, une solution naturelle vise à construire un vote de majorité. Un algorithme récemment introduit, MinCq, apprend un tel vote en optimisant les poids associés aux votants. Son principe repose sur la minimisation du risque du vote de majorité (la C-borne), dans le cadre de la théorie PAC-Bayes. Une limite de MinCq vient du fait qu'il ne peut tirer avantage d'une connaissance a priori sur la performance des votants (comme cela peut être le cas des classifieurs de type plus proches voisins (PPV)). Dans cet article, nous introduisons P-MinCq, une extension de MinCq, afin de considérer une contrainte a priori sur la distribution des poids des votants. Cette contrainte pouvant dépendre des exemples d'apprentissage, nous généralisons les preuves de convergence aux schémas de compression. Appliqué à un vote de majorité sur un ensemble de classifieurs PPV et évalué sur vingt jeux de données, nous montrons que P-MinCq est significativement plus performant qu'un PPV classique, un PPV symétrique et MinCq lui-même. Nous montrons finalement que combiné avec LMNN, un algorithme d'apprentissage de métrique, P-MinCq permet d'obtenir des résultats encore meilleurs.



  • Other
Online user: 1