BEGIN:VCALENDAR VERSION:2.0 PRODID:-//wp-events-plugin.com//7.2.3.1//EN TZID:Europe/Paris X-WR-TIMEZONE:Europe/Paris BEGIN:VEVENT UID:8624@i2m.univ-amu.fr DTSTART;TZID=Europe/Paris:20250331T133000 DTEND;TZID=Europe/Paris:20250331T180000 DTSTAMP:20250324T085012Z URL:https://www.i2m.univ-amu.fr/evenements/algorithmes-exploratoires-pour- la-frugalite-par-la-parcimonie/ SUMMARY:Mimoun Mohamed (I2M): Algorithmes exploratoires pour la frugalité par la parcimonie DESCRIPTION:Mimoun Mohamed: Composition du jury :\n\n\n Mme Laure BLANC-F ÉRAUD\, CNRS\, Rapporteure\n M. Gilles GASSO\, INSA Rouen Normandie\, Ra pporteur\n Mme Marianne CLAUSEL\, Université de Lorraine \, Examinatrice \n M. Rémi GRIBONVAL\, Inria\, Examinateur\n M. Hachem KADRI\, Aix-Mars eille Université\, Examinateur\n M. Vincent FRÉOUR\, Yamaha Music Europ e\, Invité\n M. François MALGOUYRES\, Université de Toulouse\, Invité \n M. Valentin EMIYA\, Aix Marseille Université\, Directeur de thèse\n Mme Caroline CHAUX\, CNRS\, Co-directrice de thèse\n\nRésumé:\nLa parc imonie\, qui se caractérise par un faible nombre de composantes non nulle s\, est une propriété essentielle dans des domaines tels que le traiteme nt du signal\, l'apprentissage automatique\, les statistiques et la compre ssion de données. En effet\, elle est souvent utilisée pour réduire la complexité des modèles\, améliorer la généralisation et faciliter l'i nterprétation des résultats. Cependant\, elle est généralement diffici le à obtenir en pratique\, car il est complexe de déterminer quelles com posantes doivent être nulles. Cela est dû à la non-convexité et non-di fférentiabilité des problèmes de parcimonie en norme L0\, ce qui rend d ifficile la recherche de solutions exactes.\nPour contourner cette difficu lté\, il est courant d'utiliser une relaxation convexe de la norme L0 en norme L1 ou de faire appel à des algorithmes gloutons. La première appro che permet d'obtenir un problème avec un unique minimum\, permettant ains i l'utilisation d'algorithmes ayant des garanties de convergence. Tandis q ue la seconde approche converge rapidement\, mais vers des minima locaux.\ nDans cette thèse\, nous avons cherché à développer une méthode offra nt des capacités d'exploration plus étendues que celles des méthodes pr écédemment évoquées\, afin de sortir des minima locaux sans recourir à une relaxation. La méthode proposée repose sur l'utilisation de l'est imateur direct (de l'anglais "Straight-Through Estimator" ou "STE"). Elle présente deux avantages. Tout d'abord\, elle permet de rendre différenti ables les fonctions faisant appel à la norme L0\, sans relaxation\, en pr oposant une approximation du gradient des parties non-différentiables. Ce la rend possible l'utilisation de toutes les techniques de descente de gra dient. Ensuite\, elle permet d'explorer les minima locaux\, améliorant ai nsi la qualité des objets parcimonieux reconstruits.\nCette nouvelle stra tégie d’exploration a été exploitée dans le cadre de la reconstructi on de supports parcimonieux dans le cas linéaire (MOHAMED\, MALGOUYRES et al. 2024)\, ainsi que sur une extension de cette approche dans le cadre d e la factorisation de matrices en produit de matrices creuses (MOHAMED\, E MIYA et al. 2025). Dans le premier contexte\, nous avons construit un algo rithme surpassant l'état de l'art pour le cas difficile des dictionnaires redondants\, avec des garanties théoriques reposant sur la propriété d 'isométrie restreinte du dictionnaire. Dans le second contexte\, nous avo ns conçu un algorithme capable d'estimer un modèle plus expressif que ce lui des matrices de type "Monarch". Ce modèle peut être utilisé pour re mplacer les matrices denses dans les réseaux de neurones\, réduisant ain si les complexités spatiale et temporelle.Cette propriété de parcimonie est finalement exploitée dans une dernière étude effectuée dans le ca dre d'une mission de doctorant expert (FRÉOUR\, MOHAMED et al. 2023 \; MO HAMED\, FRÉOUR et al. 2024) pour la résolution d'un problème industriel (pour Yamaha).\nMots-clés : Estimateur direct\, Parcimonie\, Reconstruct ion de supports\, Apprentissage automatique\, Factorisation de matrices\, Trompette\n\n\nAbstract:\nSparsity\, characterized by a small number of no n-zero components\, is an essential property in fields such as signal proc essing\, machine learning\, statistics\, and data compression. Indeed\, it is often used to reduce model complexity\, improve generalization\, and f acilitate the interpretation of results. However\, it is generally difficu lt to achieve in practice\, as determining which components should be null is complex. This is due to the non-convexity and non-differentiability of sparse problems in L0\, making it difficult to find exact solutions.\nTo overcome this challenge\, it is common to use a convex relaxation of the L 0-norm into the L1-norm or employ greedy algorithms. The first approach le ads to a problem with a unique minimum\, enabling the use of algorithms wi th convergence guarantees. In contrast\, the second approach converges qui ckly but to local minima.\n\nIn this thesis\, we sought to develop a metho d offering broader exploration capabilities than those of the previously m entioned methods\, to escape local minima without relying on relaxation. T he proposed method is based on the use of the Straight-Through Estimator ( STE). It has two advantages. First\, it allows for differentiability of fu nctions involving the L0-norm\, without relaxation\, by approximating the gradient of the non-differentiable parts. This makes it possible to use al l gradient descent techniques. Second\, it enables the exploration of loca l minima\, thereby improving the quality of the reconstructed sparse objec ts.\n\nThis new exploration strategy has been applied in the context of re constructing sparse supports in the linear case (MOHAMED\, MALGOUYRES et a l. 2024) as well as an extension of this approach in the context of matrix factorization as a product of sparse matrices (MOHAMED\, EMIYA et al. 202 5). In the first context\, we developed an algorithm surpassing the state- of-the-art for the challenging case of redundant dictionaries\, with theor etical guarantees based on the restricted isometry property (RIP) of the d ictionary. In the second context\, we designed an algorithm capable of est imating a more expressive model than that of "Monarch" matrices. This mode l can be used to replace dense matrices in neural networks\, thus reducing spatial and temporal complexities. Finally\, sparsity is exploited in a f inal study carried out within the framework of a french expert doctoral mi ssion (FRÉOUR\, MOHAMED et al. 2023 \; MOHAMED\, FRÉOUR et al. 2024) to solve an industrial problem (for Yamaha).\n\nKeywords: straight-through e stimator\, sparsity\, support reconstruction\, machine learning\, matrix f actorization\, trumpet\n\n\n CATEGORIES:Soutenance de thèse,Signal et Apprentissage LOCATION:Saint-Charles - FRUMAM (2ème étage)\, 3 Place Victor Hugo\, Mar seille\, 13003\, France X-APPLE-STRUCTURED-LOCATION;VALUE=URI;X-ADDRESS=3 Place Victor Hugo\, Marse ille\, 13003\, France;X-APPLE-RADIUS=100;X-TITLE=Saint-Charles - FRUMAM ( 2ème étage):geo:0,0 END:VEVENT BEGIN:VTIMEZONE TZID:Europe/Paris X-LIC-LOCATION:Europe/Paris BEGIN:DAYLIGHT DTSTART:20250330T030000 TZOFFSETFROM:+0100 TZOFFSETTO:+0200 TZNAME:CEST END:DAYLIGHT END:VTIMEZONE END:VCALENDAR