ICA — Analyse en Composantes Indépendantes
Séparer des signaux mélangés en sources statistiquement indépendantes — le problème du "cocktail party".
1. Le problème fondamental
Imaginez \(n\) personnes parlant simultanément dans une salle. \(n\) microphones enregistrent des mélanges de toutes les voix. Peut-on retrouver chaque voix séparément à partir des mélanges ? C'est le problème de séparation aveugle de sources. ICA le résout en supposant que les sources sont statistiquement indépendantes et non gaussiennes.
2. Le modèle de mélange
X : matrice des observations (\(n \times T\)) — les \(n\) signaux observés sur \(T\) instantsA : matrice de mélange (\(n \times n\)) — inconnueS : matrice des sources (\(n \times T\)) — les \(n\) signaux sources indépendants, inconnusObjectif : estimer \(W = A^{-1}\) (matrice de démélange) tel que \(\hat{S} = WX \approx S\)
3. Hypothèses d'ICA
Indépendance statistique
Les sources \(s_1, s_2, \dots, s_n\) sont statistiquement indépendantes : connaître la valeur d'une source ne donne aucune information sur les autres. \(p(s_1, s_2, \dots) = \prod_i p_i(s_i)\)
Non-gaussianité
Les sources doivent être non gaussiennes. En effet, un mélange de variables gaussiennes indépendantes est aussi gaussien — impossible de les démêler. Au plus une source peut être gaussienne.
4. Mesures de non-gaussianité
Mesure la "queue" de la distribution. Pour une gaussienne, le kurtosis excédentaire = 0. ICA cherche des composantes avec kurtosis maximal (en valeur absolue) :
Problème : le kurtosis est sensible aux valeurs aberrantes.
Mesure plus robuste. La distribution gaussienne a l'entropie maximale pour une variance donnée. La néguentropie mesure l'écart à la gaussienne :
H(s) : entropie différentielle de \(s\) ·
H(s_gauss) : entropie d'une gaussienne de même variance\(J(s) = 0\) si et seulement si \(s\) est gaussienne. ICA maximise la néguentropie.
5. Algorithme FastICA
FastICA (Hyvärinen & Oja, 1997) est l'algorithme le plus utilisé. Il maximise la néguentropie via un algorithme de point fixe (Newton). Avant d'appliquer FastICA, on blanchit les données (décorrélation + variance unitaire).
Centrer et blanchir les données
Centrer \(X\), puis appliquer la transformation de blanchiment : \(\tilde{X} = \Lambda^{-1/2} U^T X\) où \(U, \Lambda\) sont issus de la SVD de la matrice de covariance. Après blanchiment : \(\mathbb{E}[\tilde{X}\tilde{X}^T] = I\).
Algorithme de point fixe (FastICA)
Pour chaque composante \(w\), itérer jusqu'à convergence :
\(w \leftarrow \mathbb{E}[\tilde{x} g(w^T\tilde{x})] - \mathbb{E}[g'(w^T\tilde{x})]w\)
puis normaliser \(w \leftarrow w/\|w\|\), où \(g\) est une fonction de non-linéarité (ex: \(g(u)=\tanh(u)\)).
Défléchir et répéter
Pour extraire la composante suivante, soustraire la contribution de la composante précédente (orthogonalisation de Gram-Schmidt) et recommencer l'étape 2.
Récupérer les sources
\(\hat{S} = W \cdot \tilde{X}\) où \(W\) est la matrice de démélange estimée.
6. Visualisation — mélange et séparation de signaux
Sources originales S
Signaux observés X = AS
Paramètre de mélange α
30°Source 1 ■ = sinusoïde · Source 2 ■ = signal en dents de scie. ICA doit retrouver ces sources à partir des mélanges.
ICA vs ACP
📌 À retenir / À l'examen
- Modèle ICA : \(X = AS\), objectif : trouver \(W = A^{-1}\) tel que \(\hat{S} = WX\)
- Hypothèses : sources indépendantes et non-gaussiennes (au plus une gaussienne)
- Mesure de non-gaussianité : kurtosis \(\mathbb{E}[s^4] - 3(\mathbb{E}[s^2])^2\) ou néguentropie \(J(s) = H(s_G) - H(s)\)
- FastICA : blanchiment → point fixe sur la non-linéarité → défléchissement
- ACP vs ICA : décorrélation ≠ indépendance (indépendance est plus forte)
- Ambiguïtés ICA : ordre des sources et signe sont indéterminés
- Application typique : séparation de sources audio, analyse de signaux EEG/fMRI