Localisation de sources par Deep Learning

Antennes microphoniques intelligentes - Localisation de sources par Deep Learning

Doctorant encadré : Hadrien Pujol

Encadrement : Éric Bavu , Alexandre Garcia

Durée du projet : 2018 - 2020

Financement : Bourse ministérielle

Résumé : Depuis trois décennies, l’essor technologique des antennes microphoniques a accompagné le développement de nombreux algorithmes de traitement du signal acoustique pour la localisation de sources acoustiques. Le domaine a désormais acquis une telle maturité que ce type de dispositif est maintenant utilisé dans un grand nombre de systèmes industriels et domestiques, y compris accessibles au grand public. Une grande partie des travaux de recherches actuels en acoustique fait usage d’antennes microphoniques de topologies diverses, pour réaliser des tâches aussi variées que de l’inspection structurale, de la localisation de sources, du débruitage, de la séparation de sources, de la dé-réverbération ou de la captation spatialisée.

L’imagerie acoustique est le coeur applicatif des travaux réalisés depuis plus de 30 ans par les chercheurs en acoustique du LMSSC. Les algorithmes développés par la communauté scientifique atteignent aujourd’hui une grande maturité. Ils sont pour la plupart basés sur un modèle physique du milieu de propagation, ou sur des hypothèses statistiques sur les sources ou le signal sonore qu’elles émettent. Le problème majeur auquel la communauté scientifique se heurte concerne la robustesse et la précision de ces méthodes dès que le milieu de mesure est mal connu, et que les sources ou signaux s’écartent des hypothèses posées pour la résolution des problèmes inverses. Pour dépasser ce problème, nous proposons dans le cadre de ce projet de développer l’utilisation de techniques émergentes en intelligence artificielle pour traiter le problème de la localisation de sources sonores inconnues, dans un milieu complexe également inconnu.

Figure : Approche de localisation par Deep Learning : les données d’entrées sont les signaux audios (multicanal) captés sur l’antenne microphonique. Le réseau a pour objectif de construire une représentation des données capable de déduire la position de la source ayant émis l’onde sonore.

L’approche proposée permettrait ainsi de minimiser les hypothèses sur les informations pertinentes à extraire des données mesurées par les capteurs de l’antenne microphonique, mais aussi sur le modèle de propagation et l’environnement de mesure. Ces tâches seront confiées à un réseau de neurones profond (Deep Learning), qui permettra de proposer des traitements de données massives et d’algorithmes de localisation évoluant avec l’environnement de mesure, les sources en présence, mais aussi la disposition ou le nombre des capteurs composant l’antenne microphonique. L’objectif premier de l’approche est ainsi de rendre la localisation de sources beaucoup plus robuste et moins sensible au modèle sous-jacent, puisque les traitements seront appris et construits par le réseau de neurones pour être suffisamment adaptables au milieu de mesure ou aux sources.

Depuis le début de la thèse d’Hadrien Pujol, nous avons déjà obtenu des résultats encourageants, puisque le réseau de neurones développé permet de localiser une source en champ libre avec une précision angulaire d’ $1^{o}$ environ, à la fois en utilisant des données simulées numériquement, mais aussi des données expérimentales acquises sur une antenne microphonique compacte de 7 capteurs.

Figure : En haut : antenne compacte de 7 microphones MEMS utilisées pour la validation expérimentale de l’intelligence artificielle - En bas : spatialisateur 3D (Spherbedev) utilisé pour synthétiser des signaux provenant de positions 3D choisies. Pour la validation expérimentale, l’antenne microphonique est placée au centre de la sphère de spatialisation, au niveau de la zone de reconstruction valide physiquement.

Nous avons également démontré que cette approche permet de calibrer implicitement les microphones de l’antenne, fournissant ainsi des capacités de localisation supérieures aux algorithmes communément utilisés, dans le cas d’antennes mal calibrées (ce qui était le cas lors de la validation expérimentale, où aucune calibration de l’antenne n’a été réalisée.)

Figure : Convergence de l’apprentissage par le réseau de neurones pour la localisation de sources par Deep Learning : résultats numériques et validation expérimentale.

Figure : Taux d’erreur de localisation par plusieurs méthodes communément utilisée pour la localisation de source, par rapport à l’approche Deep Learning développée, dans le cas où les antennes ne sont pas calibrées.

Dans la suite du projet, nous allons également traiter le problème en environnement réverbérant, en utilisant constituant une base de données de réponses impulsionnelles de salles, qui permettra de réaliser l’apprentissage en prenant en exploitant (ou en s’affranchissant) des caractéristiques de la salle dans laquelle la source émet le son.

Publications et communications liées au projet

• Hadrien Pujol, Eric Bavu, Alexandre Garcia, Localisation 3D de sources acoustiques par Deep Learning et entrainement de réseaux par spatialisation ambisonique d’ordres élevés, 16ème Congrès de la Société Française d’Acoustique 2022 Marseille, Apr 2022
• Hadrien Pujol, Eric Bavu, Alexandre Garcia, BeamLearning: an end-to-end Deep Learning approach for the angular localization of sound sources using raw multichannel acoustic pressure data , The Journal of the Acoustical Society of America, Vol 149-6, 4248–4263, 2021. doi
• Hadrien Pujol, Eric Bavu, Alexandre Garcia, 3D Sound source localization in reverberant rooms using Deep Learning and microphone arrays : Simulation and experiment , Forum Acusticum 2020 Lyon , Apr 2020
• Hadrien Pujol, Eric Bavu, Alexandre Garcia. Source localization in reverberant rooms using Deep Learning and microphone arrays , 23rd International Congress on Acoustics (ICA 2019 Aachen), Sep 2019, Aachen, Germany.
• Hadrien Pujol, Eric Bavu, Alexandre Garcia. Constitution d’une base de données physiquement valide pour les approches de localisation de sources par Deep Learning sur antennes microphoniques intelligentes , 14ème Congrès Français d’Acoustique, Le Havre, Apr 2018.
• Eric Bavu, Hadrien Pujol, Alexandre Garcia, Antennes non calibrées, suivi métrologique et problèmes inverses : une approche par Deep Learning , 14ème Congrès Français d’Acoustique, Le Havre, Apr 2018.
• Hadrien Pujol, Eric Bavu, Alexandre Garcia. Antennes microphoniques intelligentes : Localisation de sources par Deep Learning , 14ème Congrès Français d’Acoustique, Le Havre, Apr 2018.