Introduction & Principe de l'ACP
Comprendre pourquoi l'ACP existe, ce qu'elle fait, et les deux espaces dans lesquels elle opère — avant tout calcul.
1. Le problème que l'ACP résout
Tu as un tableau \(X\) de \(n\) individus décrits par \(p\) variables. Si \(p\) est grand (50, 100, 1000 variables), il est impossible de visualiser et d'interpréter les données directement. Il faut réduire la dimension en perdant le moins d'information possible.
L'ACP cherche k nouvelles variables (appelées composantes principales), combinaisons linéaires des \(p\) variables initiales, qui capturent le maximum de variance. Ces k variables définissent un sous-espace de dimension k ≪ p qui "ajuste au mieux" le nuage de points.
On cherche le sous-espace qui maximise la somme des carrés des distances entre individus projetés, ce qui revient à maximiser la variance des projections. C'est équivalent à minimiser la distance entre chaque point et sa projection (moindres carrés).
2. Le tableau de données
n : nombre d'individus (lignes) ·
p : nombre de variables (colonnes) ·
xᵢⱼ : valeur de la variable \(j\) pour l'individu \(i\)En pratique : \(n \gg p\) (beaucoup plus d'individus que de variables) ou l'inverse en Big Data.
3. La dualité ℝᵖ / ℝⁿ — notion centrale
C'est l'idée la plus importante du cours de ton prof. Le même tableau \(X\) peut être vu de deux façons complémentaires, dans deux espaces différents :
Nuage des n individus
Chaque individu \(i\) est un point dans \(\mathbb{R}^p\). Ses coordonnées sont ses \(p\) valeurs de variables. On cherche le sous-espace qui ajuste au mieux ce nuage.
On diagonalise : \(C = X^TX\) de taille \(p \times p\)
Nuage des p variables
Chaque variable \(j\) est un point dans \(\mathbb{R}^n\). Ses coordonnées sont ses \(n\) valeurs chez les individus. On cherche le sous-espace ajustant ce nuage.
On diagonalise : \(C' = XX^T\) de taille \(n \times n\)
Les valeurs propres non nulles de \(X^TX\) et \(XX^T\) sont identiques. Les vecteurs propres sont reliés par les formules de transition que l'on verra en détail page 4. En pratique, on diagonalise la matrice de plus petite taille.
4. Visualisation — Projection sur un axe
Déplace le curseur pour changer l'angle de l'axe de projection. Observe comment la variance des projections (dispersion des points sur l'axe) change. L'ACP cherche l'angle qui maximise cette variance.
Proportion de variance capturée par cet axe
Le premier axe principal (CP1) correspond à l'angle qui maximise la variance projetée.
5. ACP normée vs ACP non normée
| ACP non normée | ACP normée | |
|---|---|---|
| Transformation des données | Centrage seul : \(x_{ij} = r_{ij} - \bar{r}_j\) | Centrage + réduction : \(x_{ij} = \frac{r_{ij} - \bar{r}_j}{s_j}\) |
| Matrice à diagonaliser | Matrice de covariance \(\Sigma\) | Matrice de corrélation \(R\) |
| Somme des valeurs propres | \(\sum \lambda_k = \text{tr}(\Sigma) = \sum s_j^2\) | \(\sum \lambda_k = p\) (nombre de variables) |
| Quand l'utiliser | Variables de même unité et même échelle | Variables d'unités différentes (cas le plus fréquent) |
| Inertie moyenne | Dépend des variances | 1 par axe (on garde les axes > 1 : règle de Kaiser) |
6. Les étapes de l'ACP — vue d'ensemble
Préparer les données
Centrer (et réduire si ACP normée). Obtenir la matrice \(X\) transformée.
Calculer la matrice à diagonaliser
\(C = X^TX\) (matrice de corrélation ou covariance selon le type d'ACP).
Diagonaliser C
Calculer les valeurs propres \(\lambda_1 \geq \lambda_2 \geq \cdots \geq \lambda_p\) et les vecteurs propres \(u_1, u_2, \dots, u_p\) de \(C\).
Calculer les composantes principales
Projeter les individus sur les axes : \(\psi_\alpha = X u_\alpha\). Les composantes sont des variables non corrélées.
Choisir le nombre d'axes
Calculer le taux d'inertie de chaque axe. Règle de Kaiser (ACP normée : garder \(\lambda > 1\)) ou règle du coude.
Interpréter
Cercle des corrélations pour les variables. Plan factoriel pour les individus. Cos², contributions, variables supplémentaires.
📌 À retenir / À l'examen
- L'ACP cherche \(k\) nouvelles variables (composantes principales) maximisant la variance projetée
- Deux espaces duaux : \(\mathbb{R}^p\) pour le nuage des individus, \(\mathbb{R}^n\) pour le nuage des variables
- ACP normée = données centrées-réduites = matrice de corrélation (cas le plus courant)
- ACP non normée = données centrées = matrice de covariance
- En ACP normée, \(\sum \lambda_k = p\) — l'inertie moyenne par axe vaut 1
- Le premier axe explique le plus de variance, chaque axe suivant est orthogonal au précédent