Séminaires signal - apprentissage
Signal processing - machine learning seminars

Past and future talks

Past talks before 2012


2012
Nov 29 2012
At IMT
Signal processing & Machine Learning
More information soon.
By Y. Boursier, CPPM.
More information soon.
Nov 22 2012
At IMT
Machine Learning
Online confusion learning and passive-aggressive scheme.
More information soon.
Nov 15 2012
At IMT
Machine Learning
More information soon.
More information soon.
Nov 8 2012
At IMT
Signal processing & Machine Learning
Full afternoon session for welcoming new members.
By many people including Mattias Gybels (LIF), Sebastiano Barbieri (LATP), Antoine Bonnefoy (LIF), Caroline Chaux (LATP), Hachem Kadri (LIF).
More information soon.
Oct 25 2012
Signal processing & Machine Learning
Workshop à la FRUMAM sur le thème du traitement du réglage des hyperparamètres. Plus d'information prochainement sur le site dédié.
By many speakers
Oct 18 2012
At IMT
Signal processing
More information soon.
By Nelly Pustelnik, ENS Lyon
More information soon.
Oct 11 2012
At CMI
Math & signal processing
Journée d'accueil des nouveaux entrants au LATP (à confirmer) / Welcome of new members of the lab LATP (to be confirmed)
By many speakers
Sep 27 2012
At IMT
Signal processing & Machine Learning
Learning from structured fMRI patterns using graph kernels
Classification of medical images in multi-subjects settings is a difficult challenge due to the variability that exists between individuals. Here we introduce a new graph-based framework specifically designed to deal with inter-subject functional variability present in functional MRI data. A graphical representation is built to encode the functional, geometric and structural properties of local activation patterns. The design of a specific graph kernel allows to conduct SVM classification directly in graph space. I will present results obtained on both simulated and real datasets, describe potential applications and discuss future directions for this work.
Sep 20 2012
At IMT
Signal processing & Machine Learning
Phase Reconstruction Problem: Recent Advances and Applications for Audio Signals
By Anaik Olivero, LIF/LATP.
"Tout est dans le titre."
Sep 13 2012
At IMT
Signal processing & Machine Learning
Matching pursuit with stochastic selection
By Thomas Peel, LIF.
We propose a Stochastic Selection strategy that ac- celerates the atom selection step of Matching Pursuit. This strategy consists of randomly selecting a subset of atoms and a subset of rows in the full dictionary at each step of the Matching Pursuit to obtain a suboptimal but fast atom selection. We study the performance of the proposed algorithm in terms of approximation accuracy (decrease of the residual norm), of exact-sparse recovery and of audio declipping of real data. Numerical experiments show the relevance of the approach. The proposed Stochastic Selection strategy is presented with Matching Pursuit but applies to any pursuit algorithms provided that their selection step is based on the computation of correlations.
Sep 06 2012
At IMT
Signal processing & Machine Learning
Debriefing of EUSIPCO 2012
Jul 12 2012
At IMT
Signal processing & Machine Learning
Vers l'apprentissage d'une intelligence socio-émotionnelle pour les personnages virtuels
By Magalie Ochs, LTCI, Telecom ParisTech.
Les interactions humain-machine sont aujourd'hui intrinsèquement sociales et émotionnelles, impliquant souvent une expérience affective dans un contexte social particulier. Doter une machine d'une intelligence socio-émotionnelle signifie lui donner la capacité de sociabiliser aisément avec l'utilisateur et de gérer ses propres émotions et celles de son interlocuteur. Dans cette présentation, nous nous intéresserons plus particulièrement à la place du sourire dans une interaction humain-machine. Le sourire peut transmettre différentes significations, tant émotionnelles que sociales, suivant des caractéristiques subtiles de l'expression faciale. De plus, un sourire peut influencer fortement la perception de l'interlocuteur suivant le moment où il est exprimé. La problématique traitée ici est la modélisation d'un personnage virtuel souriant ; une problématique impliquant à la fois l'identification des différents sourires d'un personnage virtuel et leurs impacts sur la perception des utilisateurs durant l'interaction. Pour répondre à cette problématique, nous proposons une approche centrée sur l'utilisateur consistant à collecter des informations sur des sourires directement créés par les utilisateurs. Ces informations sont ensuite utilisées pour construire, par apprentissage, des modèles du comportement de sourire d'un personnage virtuel. Enfin, ces modèles sont validés à travers des tests perceptifs auprès d'utilisateurs.
Jul 11 2012
At IMT
Signal processing & Machine Learning
Extraction automatique des temps et premiers temps sur un flux audio musical
By Laure Cornu, LTCI, Telecom ParisTech.
L'extraction automatique de la description du contenu d'un morceau de musique (content-based description) a fait l'objet d'un nombre important de recherches ces dernières années. Parmi les informations extraites, la structure rythmique est particulièrement informative et peut servir de pré-traitement à de nombreux autres algorithmes d'extraction automatique de contenu. On s'intéressera ici à l'estimation automatique de la position des temps et des premiers temps (beat/downbeat) d'un morceau du musique ainsi qu'à l'estimation sous-jacente du tempo. On s'intéressera en particulier à des modèles probabilistes du type HMM (Hidden Markov Model) et décodage de Viterbi permettant de relier les observations rythmiques et tonales extraites du signal à l'estimation de la position des temps et des premiers temps.
Jul 5 2012
At IMT
Signal processing & Machine Learning
Classification non supervisée dans les modèles mixtes fonctionnels
By Madison Giacofci, Laboratoire Jean Kuntzmann.
Un nombre croissant de domaines scientifiques collectent de grandes quantités de données comportant beaucoup de mesures répétées pour chaque individu. Ce type de données peut être vu comme une extension des données longitudinales en grande dimension et le cadre naturel de modélisation est alors l'analyse fonctionnelle pour laquelle les unités de base sont les courbes. Nous proposons une nouvelle procédure de classification de courbes non-supervisée en présence de variabilité inter-individuelle. Nous utilisons pour cela une décomposition en ondelettes des effets fixes et des effets aléatoires assurant que les effets fixes et aléatoires sont dans le même espace fonctionnel. Nous obtenons ainsi, dans le domaine des ondelettes, un modèle linéaire mixte sur lequel on peut appliquer une procédure de classification. Notre approche se décompose alors en deux étapes. La première est une étape de réduction de dimension basée sur les techniques de seuillage des ondelettes. La taille conséquente des données rend cette étape fondamentale et notre but est de sélectionner les coefficients les plus informatifs pour la classification. Ensuite, une procédure de classification est appliquée sur les coefficients sélectionnés : l'algorithme EM est utilisé pour avoir une estimation des paramètres par maximum de vraisemblance et prédire conjointement les classes des individus et les effets individuels. Les propriétés de notre procédure sont validées par une étude de simulation approfondie. Nous illustrons ensuite notre méthode sur des données issues de la biologie moléculaires (données omics) comme les données CGH ou les données de spectrométrie de masse. Notre procédure est disponible dans le package R "curvclust".
Jun 25 2012
At IMT
Signal processing & Machine Learning
New perspectives in EEG/fMRI analysis of spontaneous brain activity
By Fetsje Bijma, VU University, Amsterdam.
The combination of EEG and fMRI registration of brain activity is potentially fruitful, since it combines the high temporal resolution of EEG and the high spatial resolution of fMRI. Nevertheless, the analysis of the combined data is mathematically challenging. The common practice is to find a regressor of interest based on the EEG data, and use that regressor together with confounders in a linear model applied to the fMRI data. These regressors of interest are often based on a subset of the EEG data. Moreover, this approach yields large differences between healthy individuals, which are biologically hard to understand. We have studied the use of Kronecker products (KP) in order to take into account all EEG data. We propose a KP consisting of 3 matrices to model the EEG covariance over sensors, time samples and fMRI epochs. I will discuss the interpretation, benefits and some first results of this model. As a second alternative we have clustered the EEG data in the alpha band (8-13 Hz) to find the fMRI epochs where different alpha frequencies (low, middle, high) are dominant. In this way we can build regressors specific to the different alpha frequencies. I will compare the results of the classic approach and this new approach.
Jun 21 2012
At IMT
Signal processing & Machine Learning
No seminar (Journées du LIF on Jun 21-22).
By nobody
Jun 20 2012
At IMT
Signal processing
Approximations parcimonieuses et problèmes inverses en acoustique.
By Gilles Chardon, Institut Langevin.
Nous présenterons d'une part, la construction d'approximations parcimonieuses de champs acoustiques, d'autre part l'utilisation de ces approximations pour la résolution de problèmes inverses.
L'approximation de solutions de l'équation d'Helmholtz est étendue à des modèles de vibration de plaques, ce qui, entre autres, permet également de concevoir une méthode de calcul de modes propres alternative aux méthodes de référence (qui ne sera pas présentée ici).
Deux problèmes inverses acoustiques sont ensuite étudiés, en se basant sur ces résultats d'approximation. Le premier problème inverse est l'interpolation spatiale de réponses impulsionnelles de plaques, où nous montrons qu'en mesurant le champ vibratoire sur un ensemble d'échantillons bien choisi (justifié par une analyse théorique), les réponses impulsionnelles d'une plaque peuvent être obtenues avec moins de mesures que demandées par le théorème d'échantillonnage de Shannon. Le problème de la localisation de sources dans un espace clos réverbérant est ensuite étudié. Nous montrons qu'en utilisant des modèles parcimonieux d'ondes, la localisation est possible sans connaissances a priori sur les conditions aux limites du domaine de propagation des ondes.
Jun 14 2012
At IMT
Signal processing
Reconstruction d'images tomographiques par méthodes proximales
Nous traitons des problèmes de reconstruction d'images médicales en tomodensitométrie (TDM) à faisceau conique (CBCT) à bas niveau de photons (équivalent à la dose de rayonnements X ionisants) et en tomographie par émission de positons (TEP) à basse dose de radiotraceur. Nous montrons que des méthodes d'optimisation dites "proximales" récemment introduites permettent de résoudre efficacement les problèmes variationnels posés qui sont fortement contraints par la physique des acquisitions et le faible nombre de photons collectés.
Jun 7 2012
At IMT
Signal processing
Séries aléatoires fractales générées par des mosaïques de Poisson-Voronoi
By Yann Demichel, Université Paris Ouest.
L'étude de données réelles comme les signaux de la parole, les cours d'une action en bourse ou encore la surface d'une plaque de cuivre, conduit à analyser des graphes de fonctions extrêmement complexes et irréguliers. Outre leur analyse, la construction même de "bons" modèles mathématiques est une question fondamentale et difficile. Une manière simple d'obtenir de tels modèles consiste à construire des séries aléatoires à partir d'un signal de base qui est, à chaque étape, transformé par un changement d'échelle et de position. On trouve parmi ces modèles les séries d'ondelettes aléatoires, les processus shot-noises, ou encore les fonctions de type Weierstrass. Les tout premiers exemples de telles fonctions sont les séries de Takagi-Knopp. Ces fonctions, continues, nulle part dérivables et uniformément höldériennes, ont un graphe aléatoire fractal dont la dimension de boîte est, à l'instar des champs browniens, contrôlée par un exposant de Hurst. Etant de plus faciles à définir dans R^D et simples à simuler numériquement, ces fonctions peuvent donc être un bon modèle mathématique. Mais elles souffrent de plusieurs inconvénients dus notamment à la structure géométrique trop "rigide" du signal de base. En particulier, on ne connaît pas la dimension de Hausdorff de leurs graphes. En nous inspirant des fonctions de Takagi-Knopp, nous construirons dans cet exposé une nouvelle famille de séries aléatoires en utilisant les mosaïques de Poisson-Voronoi. Dans une première partie nous expliquerons précisément cette construction et énoncerons le résultat principal: le graphe aléatoire de ces séries est fractal, ses dimensions de boîte et de Hausdorff coïncident et sont explicites. La seconde partie sera consacrée à la preuve de ce résultat. Nous montrerons en particulier comment adapter des critères généraux (oscillations locales, lemme de Frostman) à l'étude de notre modèle. Les ingrédients principaux sont l'utilisation d'ensembles aléatoires ad hoc et différentes propriétés distributionnelles des mosaïques de Poisson-Voronoi. Il s'agit d'un travail commun avec Pierre Calka (LMRS, Univ. Rouen).
May 31 2012
At IMT
Signal processing
Modèles probabilistes de représentations temps-fréquences - Application au traitement des signaux de musique.
By Roland Badeau, Télécom ParisTech.
Les méthodes de décomposition de représentations temps-fréquence inspirées de la NMF (nonnegative matrix factorization) ont connu un grand succès ces dernières années dans le domaine du traitement des signaux de musique. Elles sont utilisées dans des applications aussi variées que la transcription automatique de musique, la séparation de sources audio, ou encore la restauration d'enregistrements. La méthodologie de plus en plus fréquemment adoptée consiste à formuler cette décomposition comme un problème d'estimation d'un modèle probabiliste de représentation temps-fréquence. Cette approche permet en effet d'incorporer aisément des connaissances sur les composantes à extraire (comme les propriétés d'harmonicité, de régularité des enveloppes spectrales ou des activations temporelles), et d'utiliser des méthodes d'apprentissage automatique connues (inférence bayésienne). Néanmoins les modèles généralement utilisés ne prennent en compte que l'information d'amplitude et non la phase, et supposent par ailleurs que tous les points temps-fréquence sont indépendants. Nous proposons donc un nouveau modèle baptisé HR-NMF (high resolution NMF), qui permet à la fois de modéliser des corrélations dans le plan temps-fréquence et d'exploiter l'information de phase. Nous montrerons qu'il permet également d'atteindre la haute résolution spectrale propre aux méthodes HR, et nous illustrerons son potentiel dans des applications de séparation de sources et de restauration audio.
May 16 2012
At IMT
Signal processing & Machine Learning
Discretization-invariant and sparsity-promoting Bayesian inversion using primal-dual interior-point methods
By Kati Niinimäki, University of Eastern Finland
We consider an ill-posed inverse problem where a physical quantity (such as the X-ray attenuation function) needs to be recovered from indirect measurements in the context of severely limited data. Such problems arise, for example from low-dose medical X-ray imaging and they are very sensitive to measurement and modelling errors. Here we use Bayesian inversion methods to incorporate a priori information into the inversion process. In particular we want to derive Bayesian inversion strategies which yield reconstructions that are discretization-invariant, edge-preserving and sparse. The presented reconstruction method is based on minimizing a data fitting term ($\ell^{2}$ norm) combined with another term comprising an $\ell^{1}$ norm of a wavelet coefficient vector. The method can be considered as computing the Bayesian MAP estimate under white noise assumption and using Besov $B_{11}^{1}$ space prior or as deterministic regularization with a Besov norm penalty. The minimization is performed using a tailored primal-dual interior-point method which uses different step-length for the primal and dual variables. Furthermore a novel parameter selection method is proposed which allows us to determine the parameters of our algorithm based on an a priori information about the sparsity of the unknown target. Numerical results are presented in the context of a one-dimensional deconvolution and two-dimensional tomographic tasks. With the 2D tomographic reconstruction problem we focus on sparsely sampled X-ray projection data and consider both the simulated and experimental projection data.
May 14 2012
At IMT
Signal processing
Estimating Deformations of Stationary Processes (M. Clerc and S. Mallat, 2003)
By Clothilde Melot, LATP
This paper studies classes of nonstationary processes, such as warped processes and frequency-modulated processes, that result from the deformation of stationary processes. Estimating deformations can often provide important information about an underlying physical phenomenon. A computational harmonic analysis viewpoint shows that the deformed autocovariance satisfies a transport equation at small scales, with a velocity proportional to a deformation gradient. We derive an estimator of the deformation from a single realization of the deformed process, with a proof of consistency under appropriate assumptions.
May 10 2012
At IMT
Signal processing & Machine Learning
No seminar? (I-TWIST12 at CIRM at the same time)
By nobody
May 03 2012
At IMT
Signal processing & Machine Learning
Combining local and global features in time-frequency
By Monika Dörfler, University of Vienna.
Apr 26 2012
At IMT
Signal processing & Machine Learning
Vacation
By nobody
Apr 20 2012
At IMT
Signal processing & Machine Learning
Méthodes Markoviennes pour le traitement de séquences
By Thierry Artières, LIP6, Paris.
Les méthodes Markoviennes et les modéles de Markov cachés (HMMs) en particulier sont au coeur du traitement de données séquentielles et de signaux, qu'il s'agisse de tâches de classification, de clustering, ou d'étiquetage. Ces modèles ont été proposés pour divers problèmes réels difficiles tels que la modélisation et la reconnaissance du signal de parole, de gestes, de l'écriture, pour la modélisation du comportement d'utilisateurs sur le web, ou encore en bioinformatique. Plusieurs directions de recherche ont été suivies, sur la nature des modèles tout d'abord, sur les algorithmes d'apprentissage des paramètres de ces modèles ensuite, et enfin sur l'apprentissage de la structure des modèles. Ces travaux ont donné naissance à de multiples variantes de modèles Markoviens répondant à divers besoins, à des algorithmes d'apprentissage discriminants pour les HMMs dépassant les limites de l'apprentissage par maximum de vraisemblance, à la popularisation de méthodes intrinsèquement discriminantes basées notamment sur les champs aléatoires conditionnels (ou CRFs), et enfin à des méthodes d'apprentissage, à partir des données, de la topologie même des modèles. Malgré l'ampleur et le nombre de ces travaux, le champ de recherches reste actif aujourd'hui. De nouvelles méthodes permettent régulièrement de dépasser l'état de l'art sur des tâches difficiles, et nous sommes loin de disposer d'un outil clé en main réellement automatique permettant d'attaquer un nouveau problème aisément. Je décrirai brièvement les travaux réalisés au LIP6 sur ces thèmes, couvrant la proposition de nouveaux modèles ainsi que des propositions d'algorithmes d'apprentissage des paramètres et de la structure des modèles. Je détaillerai certaines contributions récentes relatives notamment à l'apprentissage discriminant de modèles Markoviens par maximisation d'un critère de marge ainsi qu'à l'adaptation des champs aléatoires conditionnels pour l'étiquetage de séquences complexes.
Apr 19 2012
At IMT
Signal processing & Machine Learning
Séance de débriefing ICASSP 2012
Apr 12 2012
At IMT
Signal processing
Inégalités d'incertitude
Apr 5 2012
At IMT
Signal processing & Machine Learning
Boosting kNN Universal Nearest Neighbors, applications to classification of Naturals scenes and Biological cells
By Michel Barlaud, Université de Nice-Sophia Antipolis.
The k-nearest neighbors (k-NN) classification rule has proven extremely successful in countless many computer vision applications. For example, image categorization often relies on uniform voting among the nearest prototypes in the space of descriptors. In spite of its good generalization properties and its natural extension to multi-class problems, the classic k-NN rule suffers from high variance when dealing with sparse prototype datasets in high dimensions. we propose a novel boosting approach for generalizing the k-NN rule, by providing a new k-NN boosting algorithm, called UNN (Universal Nearest Neighbors), for the induction of leveraged k-NN. We emphasize that UNN is a formal boosting algorithm in the original boosting terminology. Our approach consists in redefining the voting rule as a strong classifier that linearly combines predictions from the k closest prototypes. Therefore, the k nearest neighbors examples act as weak classifiers and their weights, called leveraging coefficients, are learned by UNN so as to minimize a surrogate risk, which upper bounds the empirical misclassification rate over training data. These leveraging coefficients allows us to distinguish the most relevant prototypes for a given class. Indeed, UNN does not affect the k-nearest neighborhood relationship, but rather acts on top of k-NN search. We carried out experiments comparing UNN to k-NN, support vector machines (SVM) and AdaBoost on categorization of natural scenes.
Apr 5 2012
At IMT
Signal processing & Machine Learning
Reading group (3): Graphical Models, Exponential Families and Variational Inference (Wainwright and Jordan, 2008)
This is the third session of the reading group on the book "Graphical Models, Exponential Families and Variational Inference" by Martin Wainwright and Michael Jordan, available here.
Mar 29 2012
At IMT
Signal processing
Moyennes non-locales en présence de bruit non-Gaussien et patchs adaptatifs
By Charles Deledalle, CEREMADE, Université Paris-Dauphine.
Les méthodes récentes de réduction du bruit dans les images sont basées sur le principe de non-localité introduit par Buades et al (2005). Alors que les méthodes locales dégradent la résolution des images, les approches non-locales préservent mieux contours et textures. Au lieu de prendre en compte uniquement les pixels voisins, le filtrage s'effectue en comparant les ``patchs'' de l'image. Ces petites imagettes, généralement carrées, renseignent sur l'information contextuelle des structures de l'image. Les choix de la géométrie des patchs et de la mesure de similarité utilisée sont deux points clés de ces méthodes. Nous montrerons que des outils statistiques permettent d'adapter la géométrie des patchs à l'information locale du signal. Nous verrons ensuite comment étendre la notion de similarité entre patchs dans le cas des bruits non gaussiens. La méthodologie proposée sera illustrée sur des images tests standards, des données astronomiques obtenues en imagerie à rayons X et en imagerie radar à synthèse d'ouverture pour la télédétection. Je présenterai finalement quelques perspectives.
Mar 27 2012
Signal processing & Machine Learning
Sélection de caractéristiques dans les champs aléatoires conditionnels par pénalisation "elastic net" : application au traitement des langues naturelles.
By Nataliya Sokolovska, Department of Computing, Macquarie University, Sydney, Australia.
Les modèles probabilistes discriminants permettent de manipuler des représentations linguistiques riches, sous la forme de vecteurs de caractéristiques de très grande taille. Travailler en grande dimension pose des problèmes, en particulier computationnels, qui sont exacerbés dans le cadre de modèles de séquences tels que les champs aléatoires conditionnels (conditional random fields - CRF). Sélectionner automatiquement les caractéristiques pertinentes s'avère alors intéressant et donne lieu à des modèles plus compacts et plus faciles à utiliser.
Je présente un algorithme d'estimation pour les CRF qui réalise une telle sélection, par le truchement d'une pénalisation L1. Je présente également les résultats d'expériences menées sur des tâches de traitement des langues (le chunking et la détection des entités nommées), en analysant les performances en généralisation et les caractéristiques sélectionnées.
Mar 22 2012
At IMT
Machine Learning
Apprentissage statistique pour l'adaptation de modèles de prédiction.
By Rémi Flamary, LITIS, Université de Rouen
Je présenterai deux approches d'apprentissage statistique visant à adapter des modèles de prédiction aux données d apprentissage. Le filtrage vaste marge est une méthode d'apprentissage de noyaux visant à apprendre un pré-traitement sous forme de filtre FIR des signaux. Un filtrage maximisant la marge entre les échantillons est appris et permet de s'adapter automatiquement aux caractéristiques des signaux tout en restant interprétable. Une application ICM et une extension 2D du filtrage a été réalisée. Ensuite je présenterai une approche d'apprentissage multitâche permettant de déterminer les relations entre différentes tâches de classification. Nous proposons un cadre d'optimisation bi-niveaux permettant de déterminer la similarité inter-tâche, qui maximise une mesure de généralisation. Des applications en régression et classification ont montré l'intérêt de l'approche en terme de performance et d'interprétabilité.
Mar 15 2012
At IMT
Signal processing & Machine Learning
Le LASSO pour des matrices de design non necessairement incoherentes
By Stéphane Chrétien, Université de Besançon.
In this paper, we present a new index for characterizing design matrices for which the LASSO will provide an estimator with adaptive prediction bounds. This index is defined as $$\gamma_{s,\rho_-}(X) = \sup_{v \in B(0,1)} \inf_{I \subset \mathcal S_{s,\rho_-}} \|X_I^t v\|_{\infty},$$ where $\mathcal S_{s,\rho_-}(X)$) is the family of all index subsets $S$ of $\{1,\ldots,p\}$ with cardinal $|S|=s$, such that $\sigma_{\min}(X_S)\ge \rho_-$. One major advantage of this new parameter is that imposing the condition that $\gamma_{s,\rho_-}$ is small is much less stringent than previous criteria required in the litterature. In particular, many submatrices of $X$ may be very badly conditioned or even singular without altering the smallness of $\gamma_{s,_rho_-}$. We prove that for Gaussian matrices, our index $\gamma_{s,\rho_-}(X)$ is sufficiently small for obtaining standard prediction bounds without assuming incoherence.
Mar 13 2012
At IMT
Signal processing & Machine Learning
Learning from functions: reproducing operator-valued kernel theory and audio signal processing applications
By Hachem Kadri, INRIA Lille - Nord Europe.
In this talk I will describe how the reproducing kernel Hilbert space (RKHS) theory gives a useful framework for learning from functional data. Basics concepts and properties of kernel-based learning are extended to the domain of functional data analysis. In this setting, I will present a set of rigorously defined operator-valued kernels that can be valuably applied to learn infinite-dimensional operators in reproducing kernel Hilbert spaces of function-valued functions. I will describe some audio signal applications where the proposed framework can be of practical interest.
Mar 9 2012
At IMT
Machine Learning
Introduction de statistiques en Optimisation
By Fabien Teytaud, Université Paris-Dauphine, Paris.
Ces travaux se situent dans le contexte de l'optimisation. Trois grandes parties s'en dégagent ; la première concerne l'utilisation d'algorithmes évolutionnaires pour résoudre des problèmes d'optimisation continue et sans dérivées. La seconde partie concerne l'optimisation de séquences de décisions dans un environnement discret et à horizon fini en utilisant des méthodes de type Monte-Carlo Tree Search. La troisième partie concerne l'utilisation d'algorithmes de recherche arborescente pour la résolution de problème combinatoire avec contraintes. Dans le cadre de l'optimisation évolutionnaire, nous nous intéressons particulièrement au cadre parallèle à grand nombre d'unités de calcul. Après avoir présenté les algorithmes de référence du domaine, nous montrons que ces algorithmes, sous leur forme classique, ne sont pas adaptés à ce cadre parallèle et sont loin d'atteindre les vitesses de convergence théoriques. Nous proposons donc ensuite différentes règles (comme la modification du taux de sélection, la réduction du biais, et différentes méthodes de réduction de variance) afin de corriger et améliorer ces algorithmes. Nous faisons un comparatif empirique de ces règles appliquées à certains algorithmes. Dans le cadre de l'optimisation de séquences de décisions, nous nous intéressons aux algorithmes de type Monte-carlo Tree Search et Nested Monte-Carlo. Ces algorithmes sont aujourd'hui très utilisés pour la prise de décisions dans l'incertain, en particulier lorsque la dimension est grande. Nous proposons de faire un apprentissage de la politique Monte-Carlo de ces algorithmes. Nous montrons à travers ces expériences que les résultats sont positifs. Dans le cadre de l'optimisation combinatoire, nous étudions particulièrement les algorithmes de type Nested Monte-Carlo et Nested Rollout Policy Adaptation. Ces algorithmes sont connus pour être efficaces lorsque les décisions lointaines sont aussi importantes que les premières. Nous montrons que ces algorithmes permettent de résoudre efficacement des problèmes d'optimisation combinatoire, et qu'il est possible de guider les simulations en utilisant des connaissances expertes.
Mar 8 2012
At IMT
Signal processing & Machine Learning
Cosparse Analysis Modeling
By Sangnam Nam, INRIA, Rennes.
After a decade of extensive study of the sparse representation synthesis model, we can safely say that this is a mature and stable field, with clear theoretical foundations, and appealing applications. Alongside this approach, there is an analysis counterpart model, which, despite its similarity to the synthesis alternative, is markedly different. Surprisingly, the analysis model did not get a similar attention, and its understanding today is shallow and partial.
In this talk we take a closer look at the analysis approach and contrast it with the synthesis one. We propose an effective pursuit method that aims to solve inverse problems regularized with the analysis-model prior, accompanied by a preliminary theoretical study of their performance. Experimental results are provided to demonstrate the potential of the analysis modeling approach.
Feb 23 2012
At IMT
Signal processing & Machine Learning
Incremental Learning of Evolving Classification Systems
By Abdullah Almaksour , IRISA, Rennes.
The purpose of the research work presented in this talk is to go beyond the traditional classification systems in which the set of recognizable categories is predefined at the conception phase and keeps unchanged during its operation. Motivated by the increasing needs of flexible classifiers that can be continuously adapted to cope with its dynamic working environment, we propose an evolving classification system and different incremental learning algorithms. The most important characteristic of this system is the ability of learning new classes from few data during the operation phase. Contrary to the traditional batch ones, the lifecycle of evolving classifiers does not comprise independent conception (learning) and operation phases. The learning process of these evolving approaches is performed in an incremental and lifelong manner. It continuously profits from any available data to adjust the knowledge base, and more importantly, to learn new unseen classes.
Our classification approach is based on Takagi-Sugeno (TS) fuzzy rule-based architecture. A TS model consists of two parts: non-linear antecedents and linear consequent functions. We have placed a special focus in the learning algorithms on the stability of consequent learning in spite of the evolving antecedent structure. We proposed a novel learning paradigm in which the antecedent learning is controlled (and minimized) based on a feedback signal from the system output. More precisely, the antecedent modifications are reinforced for the data samples that show a high risk of misclassification, and considerably reduced for the other samples. Based on this concept, we propose Evolve++: a confusion-driven incremental learning algorithm for evolving TS classification systems.
Feb 16 2012
At IMT
Signal processing & Machine Learning
Itakura-Saito nonnegative matrix factorization and friends for music signal decomposition
By Cédric Févotte, LTCI, Telecom Paristech.
Other the last 10 years nonnegative matrix factorization (NMF) has become a popular unsupervised dictionary learning/adaptive data decomposition technique with applications in many fields. In particular, much research about this topic has been driven by applications in audio, where NMF has been applied with success to automatic music transcription and single channel source source separation. In this setting the nonnegative data is formed by the magnitude or power spectrogram of the sound signal and is decomposed as the product of a dictionary matrix containing elementary spectra representative of the data times an activation matrix which contains the expansion coefficients of the data frames in the dictionary.
The first part of the talk will offer a tutorial about NMF with a focus on majorization-minimization (MM) algorithms for NMF. Then the presentation will discuss model selection issues in the audio setting, pertaining to 1) the choice of time-frequency representation (essentially, magnitude or power spectrogram), and 2) the measure of fit used for the computation of the factorization. We will give arguments in support of factorizing of the power spectrogram with the Itakura-Saito (IS) divergence. In particular, IS-NMF is shown to be connected to maximum likelihood estimation of variance parameters in a well-defined statistical model of superimposed Gaussian components and this model is in turn shown to be well suited to audio.
Then the presentation will briefly address variants of IS-NMF, namely IS-NMF with regularization of the activation coefficients (Markov model, group sparsity), online IS-NMF, automatic relevance determination for model order selection and multichannel IS-NMF. Audio source separation demos will be played.
Speaker bio:
Cédric Févotte obtained the State Engineering degree and the MSc degree in Control and Computer Science from École Centrale de Nantes (France) in 2000, and then the PhD degree in 2003. As a PhD student he was with the Signal Processing Group at Institut de Recherche en Communication et Cybernétique de Nantes (IRCCyN) where he worked on time-frequency approaches to blind source separation. From 2003 to 2006 he was a research associate with the Signal Processing Laboratory at University of Cambridge (Engineering Dept) where he developed Bayesian approaches to sparse component analysis with applications to audio source separation. He was then a research engineer with the start-up company Mist-Technologies (now Audionamix) in Paris, designing mono/stereo to 5.1 surround sound upmix solutions. In Mar. 2007, he joined Télécom ParisTech, first as a research associate and then as a CNRS tenured research scientist in Nov. 2007. His research interests generally concern statistical signal processing and unsupervised machine learning and in particular applications to blind source separation and music signal processing. He is the scientific leader of project TANGERINE (Theory and applications of nonnegative matrix factorization) funded by the French research funding agency ANR.
Feb 9 2012
At IMT
Signal processing
A Compressed Sensing Approach to 3D Weak Lensing
Weak gravitational lensing is an ideal probe of the dark universe. In recent years, several linear methods have been developed to reconstruct the density distribution in the Universe in three dimensions, making use of photometric redshift information to determine the radial distribution of lensed sources. In this paper, we aim to address three key issues seen in these methods; namely, the bias in the redshifts of detected objects, the line of sight smearing seen in reconstructions, and the damping of the amplitude of the reconstruction relative to the underlying density. We consider the problem under the framework of compressed sensing (CS). Under the assumption that the data are sparse in an appropriate dictionary, we construct a robust estimator and employ state-of-the-art convex optimisation methods to reconstruct the density contrast. For simplicity in implementation, and as a proof of concept of our method, we reduce the problem to one-dimension, considering the reconstruction along each line of sight independently. Despite the loss of information this implies, we demonstrate that our method is able to accurately reproduce cluster haloes up to a redshift of z=1, deeper than state-of-the-art linear methods. We directly compare our method with these linear methods, and demonstrate minimal radial smearing and redshift bias in our reconstructions, as well as a reduced damping of the reconstruction amplitude as compared to the linear methods. In addition, the CS framework allows us to consider an underdetermined inverse problem, thereby allowing us to reconstruct the density contrast at finer resolution than the input data. (paper on arxiv)
Feb 9 2012
At IMT
Machine Learning
Stability and Generalization (Bousquet and Elisseef, 2001)
We define notions of stability for learning algorithms and show how to use these notions to derive generalization error bounds based on the empirical error and the leave-one-out error. The methods we use can be applied in the regression framework as well as in the classification one when the classifier is obtained by thresholding a real-valued function. We study the stability properties of large classes of learning algorithms such as regularization based algorithms. In particular we focus on Hilbert space regularization and Kullback-Leibler regularization. We demonstrate how to apply the results to SVM for regression and classification. Download pdf
Feb 2 2012
At IMT
Signal processing
Synthèse sonore interactive pour la réalité virtuelle
By Charles Verron, INRIA, Sophia-Antipolis.
Nous présenterons des travaux relatifs à la synthèse de sons environnementaux (pluie, vent, feu,...) dans un cadre audio/visuel interactif.
Un modèle de synthèse basé sur une accumulation d'atomes sonores sera présenté. Ce modèle permet de reproduire des sources sonores variées (solides en vibration, liquides et sons aérodynamiques) à partir de cinq classes d'atomes physiquement informées.
Nous décrirons des travaux sur le couplage du modèle de synthèse avec des systèmes de particules graphiques, pour simuler des scènes environnementales audio/visuelles. Une démonstration illustrera le résultat de cette approche, par une scène interactive implantée dans un moteur de jeux vidéo.
Une limitation du modèle de synthèse sonore utilisé est l'absence d'une méthode d'analyse automatique, pour extraire les paramètres de synthèse de sons enregistrés. La complexité des sons d'environnement (sons fortement bruités, non-stationnaires,...) fait de cette tâche un défi encore non résolu aujourd'hui. Des pistes d'adaptation des méthodes d'analyse classiques type sinusoides plus bruit ou matching pursuit seront évoquées lors de cette présentation.
Jan 26 2012
At IMT
Signal Processing & Machine Learning
Online Occam Prediction with a Reservoir
Jan 19 2012
At IMT
Signal processing & Machine Learning
Reading group (2): Graphical Models, Exponential Families and Variational Inference (Wainwright and Jordan, 2008)
This is the second session of the reading group on the book "Graphical Models, Exponential Families and Variational Inference" by Martin Wainwright and Michael Jordan, available here.
Jan 12 2012
At IMT
Signal Processing
Inverse methods for estimating polluant sources.
By Adrien Ichowicz, Univ. Lille.
Estimating the parameters of a pollutant source (e.g. strength, position, time and duration of release) is a real challenge in order to make decision for protecting the environnement, the people... Therefore, a quick and accurate estimation is needed with sometimes not so much observations. Given the complexity of the model, inverse estimation seems is the most appropriate. The talk will be first on the accuracy of the Bayesian framework through a consistency result. Then, we present a practical solution (AMIS algorithm) providing the estimation of the source parameters in a quick and quite accuracy way.
Jan 5 2012
At IMT
Signal processing
Autour des inégalités de déviation non-commutatives et leurs applications au LASSO et problème des mesures de Fourier partielles.
On étudiera principalement un modèle linéaire gaussien où l'on dispose de beaucoup plus de covariables que d'observations. Plus précisément il s'agira du "generic sparse model" de Candes et Plan. L'estimation des paramètres inconnus est intimement liée aux bornes des valeurs singulières de matrices extraites de la matrice de design X. On obtiendra un résultat de concentration pour des sous-matrices extraites aléatoirement de X. On développera des stratégies pour retrouver le support du vecteur de régression dans le cas général de la variance inconnue. On évoquera également le problème des mesures de Fourier partielles.

2011
Dec 1 2011
At IMT
Signal processing & Machine Learning
Reading group (1): Graphical Models, Exponential Families and Variational Inference (Wainwright and Jordan, 2008)
François Denis fera une introduction aux modèles graphiques et présentera quelques résultats de base: caractérisation en terme d'indépendance conditionnelle; les algorithmes sum-product et max-product sur les modèles à structure d'arbres, qui permettent de calculer les distributions marginales et les modes (équivalent des chemins de Viterbi); le junction tree algorithm qui permet de calculer les distributions marginales sur une structure de graphe quelconque. Ce séminaire constitue la première séance d'un groupe de lecture du livre "Graphical Models, Exponential Families and Variational Inference" de Martin Wainwright et Michael Jordan, disponible ici.
Nov 24 2011
Image Processing
Workshop à la FRUMAM sur le thème du traitement d'image le 24 et 25 novembre. Plus d'info sur le site dédié.
By many speakers
Nov 17 2011
At IMT
Signal Processing
Mini lecture on graph and wavelets.
By Pierre Vandergeynst and David Shuman, EPFL, Suisse.
Nov 16 2011
At IMT
Signal Processing
Robust 1-Bit Compressive Sensing: How the Sign of Random Projections Distinguishes Sparse Vectors
By Laurent Jacques, U.C. Louvain, Belgique.
The Compressive Sensing (CS) framework aims to ease the burden on analog-to-digital converters (ADCs) by reducing the sampling rate required to acquire and stably recover sparse signals. Practical ADCs not only sample but also quantize each measurement to a finite number of bits; moreover, there is an inverse relationship between the achievable sampling rate and the bit depth. In this talk, an alternative CS approach that shifts the emphasis from the sampling rate to the number of bits per measurement is presented. In particular, we explore the extreme case of 1-bit CS measurements, which capture just their sign. Our results come in two flavors. First, we consider ideal reconstruction from noiseless 1-bit measurements and provide a lower bound on the best achievable reconstruction error. We also demonstrate that a large class of measurement mappings achieve this optimal bound. Second, we consider reconstruction robustness to measurement errors and noise and introduce the Binary {\epsilon}-Stable Embedding (B{\epsilon}SE) property, which characterizes the robustness measurement process to sign changes. We show the same class of matrices that provide optimal noiseless performance also enable such a robust mapping. On the practical side, we introduce the Binary Iterative Hard Thresholding (BIHT) algorithm for signal reconstruction from 1-bit measurements that offers state-of-the-art performance. Joint work with J. Laska (Rice Univ., USA), P. Boufounos (MERL, USA) and R. Baraniuk (Rice Univ., USA).
Nov 3 2011
At IMT
Maths, Signal Processing, Graphs
Mini-cours: opérateur Laplacien sur les graphes
By Alexandre Gaudillère
1ère heure: introduction, définition. 2eme heure: Approfondissement avec quelques propriétés mathématiques importantes.
Référence: A. Gaudilliere, Condenser physics applied to Markov chains - A brief introduction to potential theory, http://arxiv.org/abs/0901.3053, 2009.
Oct 20 2011
At IMT
Machine learning
Apprentissage de grammaires et estimation de densité non-paramétrique.
Nous parlerons d'apprentissage de grammaires probabilistes, ou comment, à partir d'un échantillon de mots générés par une distribution, déterminer la structure d'un modèle de grammaire probabiliste, et comment estimer les paramètres du modèle. Nos derniers travaux ont porté sur les automates pondérés quadratiques (QWA), pour lesquels il est possible d'adapter un algorithme spectral d'inférence. Ces modèles peuvent également être utilisés dans une tâche d'estimation de densité. L'une des questions que nous poserons est la suivante: est-il possible d'utiliser de manière fructueuse le résultat d'une inférence grammaticale dans une tâche d'estimation de densité?
Oct 17 2011
At IMT
Image processing
Petite introduction aux curvelets.
By C. Melot and B. Ricaud.
Les curvelettes sont utiles pour détecter et extraire des formes allongées et des contours dans les images. Nous présenterons les grandes lignes théoriques de la méthode et une démonstration pratique à l'aide de la toolbox Matlab 'Curvelab'. Durée: environ une heure.
Oct 13 2011
At IMT
Image processing
Méthodes proximales et ondelettes pour la résolution de problèmes inverses .
De nombreuses techniques en restauration d'images proposent de minimiser un critère composé de la somme de deux termes : un terme de fidélité aux données (par exemple, une énergie résiduelle) et un terme de régularisation (pénalisation) opérant, par exemple, sur des coefficients de représentation et exploitant leur parcimonie. De nombreuses fonctions de pénalisation peuvent être utilisées introduisant ainsi des fonctions de seuillage. Néanmoins, il est aussi possible de considérer des régularisations "hybrides" associant, par exemple, un terme ondelettes et un terme de variation totale, atténuant ainsi les effets de "ringing" et "marches d'escalier". Il peut également être intéressant de contraindre la solution si l'on possède quelques informations a priori sur la solution recherchée. Afin de mener à bien cette minimisation, les algorithmes itératifs proximaux (forward-backward, algorithme parallèle proximal, approches primales-duales, ...) sont utilisés. Plusieurs exemples d'applications (déconvolution, restauration (images dégradées par un opérateur linéaire et un bruit non nécessairement additif), ...) viendront illustrer les applications de ces méthodes proximales à des problématiques concrètes.
Oct 6 2011
Signal and image processing
Signal processing group's day. Journée de l'équipe traitement du signal avec présentations des différents axes de recherche et collaborations. Présentation des nouveaux arrivés dans l'équipe. Une dizaine d'exposés de 20 à 30 min sur la matinée et l'après-midi. Programme.
By many people...
Sep 29 2011
At IMT
Image processing
Théorie de l'information pour la segmentation d'images: principe et résultats récents
La segmentation est une étape clé dans beaucoup d'algorithmes de traitement d'images. Cependant, la définition de critères pour la segmentation non supervisée d'images reste difficile et dépend de l'application considérée. Il est néanmoins possible de proposer une formalisation de ce problème à travers une approche fondée sur la théorie de l'information. Cette approche, développée initialement par Rissanen sous le nom MDL (Minimum Description Length), a été utilisée notamment en sélection de modèles, et consiste à choisir parmi un ensemble de modèles celui conduisant à la plus courte description des données. Dans cet exposé, nous présenterons différentes techniques de segmentation que nous avons développées dans ce cadre MDL. Cette approche permet ainsi, non seulement de pouvoir prendre en compte la nature bruitée des signaux, mais également d'estimer directement la complexité des modèles de contours utilisés pour partitionner l'image (nombre de degrés de liberté des modèles de contours, termes de régularisation, nombre de régions dans l'image), tout en étant fondé sur l'optimisation de critères ne contenant aucun paramètre indéterminé. De plus, nous avons également montré qu'il est possible de développer des algorithmes d'optimisation rapides, conduisant à des temps de calculs de l'ordre de la seconde sur des ordinateurs standards (sur des images de 256x256 pixels), voire en moins de 10 milisecondes dans le cas de la segmentation d'un seul objet.
Sep 15 2011
At IMT
Machine learning
Adaptation de domaine parcimonieuse dans l'espace de projection défini à partir d'une "bonne fonction de similarité"
By E. Morvant.
Nous nous intéressons au problème de l'Adaptation de Domaine (Domain Adaptation/Transfer Learning) pour la classification binaire. C'est une problématique importante qui survient lorsque les données sources d'apprentissage et les données cibles de test sont supposées suivre deux distributions différentes. Nous nous plaçons dans le cadre difficile où aucune information sur les étiquettes cible n'est disponible. D'un point de vue théorique, Ben-David et al. ont montré qu'un classifieur possède de meilleures garanties de généralisation lorsque les distributions marginales des données sources et cibles sont proches. Nous avons étudié l'intérêt d'un cadre récent de Balcan et al. permettant l'apprentissage d'un classifieur linéaire dans un espace de projection explicite définit à partir de bonnes fonctions de similarités n'ayant besoin d'être ni symétrique ni semi-définies positives. Expérimentalement, une simple renormalisation d'une bonne fonction de similarité, prenant en compte les données cibles, améliore les performances du classifieur pour les problèmes difficile. De plus, Nous proposons un nouveau terme de régularisation qui vise à rapprocher les deux distributions dans l'espace de projection et qui produit une amélioration des résultats pour tous les problèmes testés. Ceci nous permet de proposer une méthode générale - avec des garanties de généralisation - afin d'apprendre un classifieur parcimonieux et performant sur les données cibles. Finalement, nous améliorons son efficacité par un processus itératif - compatible avec le cadre de Balcan et al. - en repondérant la fonction de similarité. Nous l'évaluons sur des données synthétiques et des corpus réels d'annotations d'images.
May 26 2011
At IMT
Signal processing
Estimateur de Huber et Adaptation.
On se propose d'estimer la fonction de régression dans un modèle additif Y= f(X) + "bruit". La densité du bruit est supposé symétrique, mais inconnue par le statisticien. De plus, on ne suppose aucun moment sur ce bruit. La fonction de régression f est supposée régulière, i.e. appartenant à une boule de Hölder. On souhaite estimer la fonction f en un point y. Le design X est supposé aléatoire et indépendant du bruit. Nous développons un estimateur localement paramétrique qui est construit avec le critère dit de "Huber". Ce critère utilise deux régimes, norme 1 sur les bords et norme 2 autour de 0. Ceci permet d'obtenir un estimateur robuste (non sensible aux valeurs extrêmes) et indépendant de la densité du bruit. Pour le choix de la fenêtre (taille du voisinage sur lequel on estime), nous sélectionnons celle-ci à l'aide de la méthode de Lepski. Ainsi, notre estimateur atteint la vitesse adaptative classique sur les espaces de Hölder pour tout modèle additif avec densité symétrique (par exemple, bruit gaussien ou bruit de Cauchy).

Je présenterai la notion d'estimation nonparamétrique, l'approche minimax avec le risque de notre estimateur et enfin je parlerai d'adaptation (enjeux), en particulier l'idée de Lepski. Tout cela sera fait dans un but pédagogique. Au final, je parlerai des perspectives pour la pratique, notamment pour le débruitage d'images.
April 14 2011
At IMT
Signal processing
Modélisation de signaux multifractals.
April 7 2011
At IMT
Signal processing
Analyse statistique de l'anisotropie de textures à partir de champs gaussiens à densité spectrale.
Dans cet exposé, je présenterai une méthodologie statistique pour l'analyse globale de l'anisotropie de textures d'images. Cette méthodologie repose sur l'utilisation de certains champs gaussiens à accroissements stationnaires et à densité spectrale, des champs browniens fractionnaires anisotropes et des champs gaussiens à auto-similarité matricielle. L'anisotropie y est appréhendée en estimant la régularité de processus orientés extraits de l'image soit par restriction de l'image sur des lignes soit par transformée de Radon de l'image. Je décrirai les liens entre la régularité de ces processus et les paramètres des modèles. Je présenterai ensuite des estimateurs de la régularité des processus construits en adaptant les variations quadratiques généralisées, ainsi que des résultats de convergence de ces estimateurs vers les paramètres des modèles. L'application de cette méthodologie sera illustrée en imagerie médicale sur des radiographies osseuses et des mammographies.
March 23 2011
At IMT
Signal processing
Reliability and Accuracy in Stereovision.
3D reconstruction from two images requires the perfect control of a long chain of algorithms: internal and external calibration, stereo-rectification, block-matching, and 3D reconstruction. This work focuses on the crucial block-matching step. This work provides an exact mathematical formula to estimate the disparity error caused by noise. Then, this exact estimate is confirmed by a new implementation of block matching eliminating most false alarms, where the residual errors are therefore mainly due to the noise. Based on several examples we have shown that in a completely realistic setting 40% to 90% of pixels of an image could be matched with an accuracy of about 5/100 pixels. Moreover, the predicted theoretical error due to noise is nearly equal to the error achieved by our algorithm on simulated and real images pairs.
March 17 2011
At IMT
Signal processing
Restauration et analyse de structures dégradées par un opérateur linéaire et du bruit : une approche vie l'analyse convexe et les noyaux sur graphes.
By F.-X. Dupé.
De nombreuses problématiques en biologie et astrophysique sont des problèmes inverses, souvent mal posés. L'introduction de la notion de diversité morphologique, via celle de parcimonie, permet de régulariser ce genre de problème lorsque des structures bien évidentes sont présentes dans les observation. Ces structures ont parfois des formes caractéristiques qui intéressent les chercheurs. En première partie, je présenterais un cadre général pour résoudre des problèmes inverses linéaires profitant de développement récent ici de l'analyse et de l'optimisation convexe, ainsi que des applications de ce cadre dans des cas concrets. En deuxième partie, j'introduirai des noyaux sur graphes conçus pour comparer des formes, par exemple savoir différencier des silhouettes de mains par rapport à celles de bonhommes, tout en étant robuste aux divers bruits structurels.
March 11 2011
At IMT
Signal processing
Audio Inpainting.
We introduce Audio Inpainting, leveraging the concept of Image Inpainting, for the restoration of missing audio data. Audio inpainting covers a wide range of applications - such as click removal, declipping, packet loss concealment or bandwidth extension - where the distorted data is considered as missing and its location is assumed to be known a priori.

A framework for audio inpainting in the time domain is proposed, based on sparse representations. It exploits two possible dictionaries (discrete cosine and Gabor) known to provide accurate sparse models for audio signals. The Orthogonal Matching Pursuit algorithm is adapted for audio inpainting, in particular to deal with the properties of the Gabor dictionary. A constrained matching pursuit approach is applied to significantly enhance the performance for the audio declipping problem. Several experiments on real audio data show the global trends and the performance of our approach.

Co-work with A. Adler, M. Elad (Technion, Israel); M. Jafari, M. Plumbley (Univ. Queen Mary of London, UK); R. Gribonval (INRIA, Rennes)

References:
- Part of this presentation is published in "A. Adler, V. Emiya, M. J. Jafari, M. Elad, R. Gribonval, M. D. Plumbley, A Constrained Matching Pursuit Approach to Audio Declipping, ICASSP, 2011." (see V. Emiya's web page.)
- new publications are planned in 2011.
March 10 2011
At IMT
Signal processing
Problématiques de régularisation en Imagerie par Résonance Magnétique parallèle.
Pour réduire le temps d'acquisition ou bien améliorer la résolution spatio-temporelle dans certaines application en IRM, de puissantes techniques parallèles utilisant plusieurs antennes réceptrices sont apparues depuis les années 90. Dans ce contexte, les images d'IRM doivent être reconstruites à partir des données sous-échantillonnées acquises dans l'espace de Fourier. Plusieurs approches de reconstruction ont donc été proposées dont la méthode SENSitivity Encoding (SENSE). Cependant, les images reconstruites sont souvent entâchées par des artéfacts dus au bruit affectant les données observées, ou bien à des erreurs d'estimation des profils de sensibilité des antennes. Ce travail présente de nouvelles méthodes de reconstruction basées sur l'algorithme SENSE, qui introduisent une régularisation dans le domaine transformé en ondelettes afin de promouvoir la parcimonie de la solution. Sous des conditions expérimentales dégradées, ces méthodes donnent une bonne qualité de reconstruction contrairement à la méthode SENSE et aux autres techniques de régularisation classique (e.g. Tikhonov). Les méthodes proposées reposent sur des algorithmes parallèles d'optimisation permettant de traiter des critères convexes, mais non nécessairement différentiables contenant des a priori parcimonieux. Contrairement à la plupart des méthodes de reconstruction qui opèrent coupe par coupe, l'une des méthodes proposées permet une reconstruction 4D (3D + temps) en exploitant les dépendances/corrélations spatiales et temporelles. Le problème d'estimation d'hyperparamètres sous-jacent au processus de régularisation sera aussi traité dans un cadre bayésien en utilisant des algorithmes stochastiques du type MCMC.
March 3 2011
At IMT
Signal processing
Caractérisation de textures autosimilaires anisotropes à l'aide de la transformée en ondelettes 2D.
Nous nous intéressons à l'analyse d'images possédant conjointement des propriétés spatiales d'autosimilarité et d'anisotropie. Il s'agit, d'une part, de mettre en évidence une éventuelle anisotropie ; d'autre part, d'estimer efficacement le paramètre d'autosimilarité, malgré la présence d'anisotropie. Pour cela nous abandonnons la transformée classique 2D en ondelettes au profit de la transformée en ondelettes hyperbolique 2D. Notre travail s'appuie par ailleurs sur des résultats théoriques d'optimalité concernant le modèle étudié.
Feb 24 2011
At IMT
Signal processing & Machine learning
Kernel Projection Machine avec des noyaux Multiples.
By L. Ralaivola
Jan 27 2011
At IMT
Signal processing
Du Compressed sensing en pratique : application à l'holographie acoustique en champ proche.

2010
Dec 16 2010
At IMT
Signal processing
Segmentation d'images hyperspectrales par mélange de gaussiennes et sélection de modèles.
By E. Le Pennec (collaboration avec S. Cohen)
Ce travail est une extension des travaux de C. Maugis et B. Michel en classification non supervisée. Leur technique repose sur des mélanges de gaussiennes et de la sélection de modèle et permet d'obtenir des résultats en terme d'estimation de densité. Après un exposé de ces résultats, je montrerai comment étendre ces idées aux cas où une covariable, par exemple la position, entre en jeu. Ce travail a été motivé par une application à la segmentation d'images hyperspectrales qui servira de fil rouge tout au long de l'exposé.
Nov 30 2010
At FRUMAM
Signal processing & Machine learning
Autour des divergences de Bregman.
By R. Nock.
Nov 25 2010
At IMT
Signal processing
Multipliers for continuous frames
By D. Bayer.
Nov 18 2010
At IMT
Signal processing
Calculs de dimensions fractales d'ensembles aléatoires exceptionnels.
By C. Coiffard.
Nov 9 2010
At IMT
Signal processing
On Sided and Symmetrized Bregman Centroids, F. Nielsen, and R. Nock, IEEE trans. on inf. theory, 55 (6) 2009.
By A. Olivero.
Oct 28 2010
At IMT
Signal processing
Time-frequency localization.
Oct 14 2010
At FRUMAM
Signal processing & Machine learning
Monte-Carlo Tree Search: a new paradigm for computational intelligence
We will introduce the recent Monte-Carlo Tree Search algorithm and present some of its main successes (including the game of Go, but also industrial applications). We will also present some extensions (continuous domains, partially observable cases leading to interesting decidability issues), and the main directions of research (introducing supervised learning, mixing with handcrafted value functions) - and also the main limitations of the approach - we are still very far from the abstraction power of the human brain.
Oct 7 2010
At IMT
Signal processing
On Inequalities in Fourier Analysis. W. Beckner. The Annals of Mathematics, 102 (1975), pp. 159-182, pdf.
By C. Mélot
Sept 30, 2010
At IMT
Signal processing
Journée de rentrée du LATP
By LATP members
Sept 22 2010
At IMT
Signal processing
Réglage des paramètres des Non Local Means par minimisation locale du risque.
Le débruitage d'images a connu des progrès considérables ces dernières années avec l'apparition de méthodes à base de "patchs". La plus connue est sans doute les Non Local Means introduites par Buades et al. Je présenterai cette méthode ainsi que certains défauts visuels qu'elle entraîne, avant de montrer qu'un réglage local des paramètres permet d'y remédier. Ce réglage s'appuie sur une estimation du risque par la méthode SURE.
Sept 9 2010
At IMT
Signal processing & Machine learning
Régression à sortie noyau.
June 17 2010
At IMT
Signal processing
Analyse et modélisation du développement cérébral.

Depuis quelques années, les techniques d'imagerie comme l'IRM permettent de visualiser précisément les modifications anatomiques des cerveaux des foetus et des nouveau-nés au cours du développement. Dans ce travail, nous nous sommes intéressés à l'évolution de la surface corticale (définie comme l'interface entre la matière grise et la matière blanche) qui subit de profonds changements géométriques avec l'apparition de circonvolutions. Dans un premier temps, nous proposons une méthode qui met en évidence l'origine des plissements corticaux sous forme de foyers de croissance reproductibles à travers une petite cohorte d'individus [1]. Nous calculons pour cela un champ de déplacement sur lequel nous appliquons une décomposition de Helmholtz et nous nous intéressons aux minima locaux du potentiel divergentiel qui fournissent les foyers de croissance. Dans un second temps, nous proposons un modèle du développement cérébral basé sur des équations de réaction-diffusion couplées à une déformation de la surface représentant le cortex [2]. A travers des simulations nous montrons que notre modèle donne lieu à des motifs de plissement offrant à la fois une certaine reproductibilité mais aussi une variabilité qu'il convient de relier à ce que nous connaissons du plissement cortical. Ainsi notre modèle peut générer différents modes d'un même pli, composé d'une ou plusieurs composantes connexes comme sur des anatomies réelles. Par ailleurs, nous montrons que, selon le choix des paramètres du modèle, différents motifs de plissement peuvent apparaître et offrir une analogie avec des pathologies du développement cérébral comme la lissencéphalie ou la polymicrogyrie.

References
[1] J. Lefèvre, F. Leroy, S. Khan, J. Dubois, P. Hüppi, S. Baillet and J.F. Mangin (2009), Identification of growth seeds in the neonate brain through surfacic Helmholtz decomposition. Proceedings of IPMI. 252-263.
[2] J.Lefèvre and J.F. Mangin (2010), A reaction-diffusion model of the human brain development. PLOS Computational Biology.
April 19 2010
At IMT
Signal processing
Le scanner X : le passage du noir et blanc à la couleur. Le Compressed Sensing, une solution ?

Les pixels hybrides développés originellement pour suivre la trajectoire de particules chargées en physique des hautes énergies constituent une rupture technologique pour l'imagerie par rayons X lorsqu'ils sont utilisés pour détecter un à un les rayons X qui les traversent. Je présenterai succinctement les projets d'imagerie biomédicale basés sur les pixels hybrides développés au CPPM. En particulier, pour la reconstruction tomographique en scanner X, nous sommes amenés à résoudre des problèmes inverses mal posés. Après un tour d'horizon des trois algorithmes de reconstruction couramment utilisés, je m'attarderai sur les différentes évolutions possibles offertes par ces nouveaux détecteurs: réduction du temps d'acquisition, réduction de la dose de rayons X reçue par le patient, acquisition d'images multi-énergie (dites couleurs). Nous verrons en quoi les récentes avancées en optimisation, ainsi que la théorie du Compressed Sensing peuvent aider à atteindre ces objectifs.
April 1 2010
At IMT
Signal processing & Machine learning
Autour du papier "A spectral algorithm for learning HMMs" (pdf), et d'autres références: ici et .
March 25 2010
At IMT
Signal processing
Quelques problèmes d'analyse numérique en imagerie. Transparents
By P. Weiss

Cet exposé sera constitué de deux parties. Dans la première nous illustrerons l'importance de l'optimisation convexe non lisse à travers deux exemples appliqués : le design de bobines de gradient pour l'IRM et la reconstruction d'images. Nous présenterons ensuite plusieurs algorithmes d'optimisation convexe en adoptant le point de vue de la complexité : comment minimiser le nombre d'opérations nécessaires pour obtenir une précision donnée?

Première partie :
Le design de bobines de gradient est un problème inverse en électromagnétisme qui consiste à chercher un arrangement de fils optimal pour produire un champs donné. Ces bobines jouent un rôle central pour obtenir des imageurs IRM de qualité. Une modélisation originale du problème ainsi que des algorithmes efficaces d'optimisation convexe non lisse nous ont permis de construire des bobines avec des échauffements fortement réduits en collaboration avec l'université de Brisbane et de Kyoto.
En reconstruction d'images, le calcul rapide de solutions à des problèmes non lisses est devenu crucial depuis l'apparition de nombreux termes de régularisation non différentiables tels que la variation totale ou les normes l1 (parcimonie)...

Deuxième partie :
Les problèmes convexes ont reçu une grande attention dans la littérature, mais on peut déplorer que les taux de convergence des méthodes apparaissent rarement. On s'intéressera donc particulièrement à cet aspect, en ayant pour objectif de maximiser les taux de convergence théoriques. On proposera notamment des solutions à deux questions importantes :
- comment faire sauter les difficultés liées à la non-différentiabilité des fonctionnelles ?
- comment exploiter la convexité des fonctionnelles pour obtenir des algorithmes efficaces ?
Le deuxième point repose fortement sur des travaux de Y. Nesterov.
March 18 2010
At IMT
Signal processing
Trois méthodes de débruitage utilisant les patchs et une variation sur le même thème.
Les méthodes de débruitage qui s'appuient sur la recherche de "patchs" similaires dans une image (ou une vidéo) sont une alternative au lissage anisotrope. Trois d'entre elles seront étudiées : UINTA, Nonlocal means et BM3D. En particulier, une justification de l'approche probabiliste de UINTA sera proposée et nous déduirons une nouvelle interprétation variationnelle de Nonlocal means. Nous proposerons également une méthode de débruitage du même type qui réalise un compromis entre la simplicité de mise en oeuvre de Nonlocal means et les performances de BM3D.
March 11 2010
At IMT
Signal processing
Exploration de la matière noire à l'aide d'ondelettes vecteurs.
La distribution de la matière noire dans l'univers est observée de facon indirecte grâce a la déformation, statistiquement significative, qu'elle induit sur les galaxies lointaines. Passer de cette déformation à la carte de masse de matière noire se réduit à un problème aux dérivées partielles relativement simple, le principal souci provenant de la nature des données : très bruitées, sur un domaine carré avec des parties manquantes... Dans cet exposé, sera presentée une méthode originale basée sur les ondelettes à divergence nulle sur le carré permettant une reconstruction optimale des cartes de matière noire, tenant compte des bords.
March 4 2010
At IMT
Signal processing
Diverses utilisations des ondelettes pour les problèmes inverses en statistique.
Je parlerai de problèmes inverses vus sous l'angle de la statistique non paramétrique, où on veut retrouver une fonction après un bruitage additif gaussien et un lissage par un opérateur mal posé. L'objectif est de présenter brièvement les avantages des méthodes d'ondelettes par rapport aux méthodes dites de décomposition en valeurs singulières, pour deux catégories de problèmes inverses, la première étant propice aux ondelettes classiques, et la deuxième aux needlets. On utilisera deux points de vue: l'évaluation des performances théoriques des estimateurs dans le cadre "minimax", et l'évaluation des performances pratiques sur des données simulées. Plusieurs applications seront abordées: déconvolution de signaux périodiques, problème de Wicksell, (et éventuellement estimation de densité sur la sphère, et analyse du bruit de fond cosmologique).
Feb 4 2010
At IMT
Signal processing
"Local discriminant bases", N. Saito and R. Coifman, Journal of Mathematical Imaging and Vision,Volume 5 , Issue 4 (December 1995), pages 337 - 358.
By E. Villaron
Jan 28 2010
At IMT
Signal processing
Incertitudes...
By B. Torrésani
Jan 21 2010
At IMT
Signal processing
Une approche surfacique de l'analyse de données cérébrales IRM.
Dans cet exposé, je présenterai une partie des travaux effectués au laboratoire LSIS dans le domaine de l'analyse de données cérébrales acquises par Imagerie par Résonance Magnétique. Ces travaux sont largement consacré à la quantification et la caractérisation de la variabilité cérébrale et sont caractérisé par leur approche surfacique du problème. Il s'agit de s'intéresser au cortex non pas comme entité définie dans son volume d'acquisition (euclidien, tri-dimensionnel) mais en tant que surface. Cette approche permet notamment de prendre en compte la géométrie corticale fortement plissée mais pose un certains nombres de problèmes spécifiques. Dans ce cadre, je présenterai une méthode permettant de mettre en correspondance des surfaces corticales d'individus différents, ainsi qu'une méthode d'analyse multi-sujets de données fonctionnelles.
Jan 14 2010
At CMI salle 101
Signal processing & Machine learning
Ranking biparti, scoring et apprentissage avec la courbe ROC
Jan 14 2010
At IMT
Signal processing & Machine learning
Tester l'équivalence de systèmes probabilistes à l'aide de l'apprentissage par renforcement.

2009
Dec 18 2009
At IMT
Signal processing & Machine learning
Joint signal processing & machine learning session
By the couloir's members
Dec 10 2009
At IMT
Signal processing
On the Almost Everywhere Convergence of Wavelet Summation Methods", Tao T., Applied and Computational Harmonic Analysis, Volume 3, Number 4, Oct. 1996, pp. 384-387(4) pdf.
By C. Mélot
Dec 3 2009
At IMT
Signal processing
View generation between heterogeneous geometries using TV regularization paper.
Nov 26 2009
At IMT
Signal processing
Applications de la minimisation de la complexité stochastique pour la segmentation d'images
Nov 19 2009
At IMT
Signal processing
Equations d'évolution dans le plan temps-fréquence, following this paper.
By A. Olivero
Nov 12 2009
At IMT
Signal processing
Non-Negative Matrix Factorizations, following D.D. Lee and H.S. Seung, C. Févotte and T. Cemgil and N. Bertin.
By B. Torrésani
Nov 5 2009
At IMT
Signal processing & Machine learning
Joint signal processing & machine learning session on Inpainting
By the couloir's members
Oct 22 2009
At IMT
Signal processing
"Locally parallel texture modeling", preprint.
By J-F. Aujol
Oct 15 2009
At IMT
Signal processing
Overview of the work of the group 'Mathematics and Acoustical Signal Processing' of the Acoustical Research Institute
Oct 15 2009
At IMT
Signal processing
Density of Gabor Multipliers in the Hilbert Schmidt class
Oct 8 2009
At IMT
Signal processing
"A Fast Iterative Shrinkage-Thresholding Algorithm for Linear Inverse Problems", A. Beck and M. Teboulle, SIAM Journal on Imaging Sciences 2 (2009), no. 1, 183-202. pdf.
By S. Anthoine