Module 2 — ACP · Page 4/7

Axes factoriels & Composantes principales Prioritaire

Les formules de transition entre ℝᵖ et ℝⁿ, les coordonnées factorielles des individus et des variables, et l'écriture matricielle complète.

1. Les axes factoriels dans ℝᵖ

Définition

Le \(\alpha\)-ième axe factoriel \(u_\alpha\) est le vecteur propre de norme 1 de la matrice \(C = X^TX\), associé à la \(\alpha\)-ième valeur propre \(\lambda_\alpha\) (triées par ordre décroissant). Il donne la direction de variance maximale dans \(\mathbb{R}^p\), orthogonale aux axes précédents.

\[ C u_\alpha = \lambda_\alpha u_\alpha \quad \text{avec} \quad u_\alpha^T u_\alpha = 1 \quad \text{et} \quad u_\alpha^T u_\beta = 0 \; (\alpha \neq \beta) \]

uα : vecteur propre unitaire de \(C\) = axe principal dans \(\mathbb{R}^p\)
λα : valeur propre associée = variance des projections sur cet axe
Les axes sont orthogonaux deux à deux : rotation du repère.

2. Les composantes principales — coordonnées des individus

Calcul des coordonnées

Les coordonnées des \(n\) individus sur l'axe factoriel \(u_\alpha\) sont les composantes principales \(\psi_\alpha\). Ce sont les projections des individus sur l'axe :

\[ \psi_\alpha = X u_\alpha \]

X : matrice des données centrées-réduites (\(n \times p\)) · uα : vecteur propre (\(p \times 1\)) · ψα : vecteur des coordonnées factorielles (\(n \times 1\))
La \(i\)-ième composante : \(\psi_{\alpha i} = \sum_{j=1}^p u_{\alpha j} \cdot x_{ij}\) (combinaison linéaire des variables)
Propriétés : moyenne nulle \(\sum_i \psi_{\alpha i} = 0\) · variance = \(\lambda_\alpha\) · composantes non corrélées entre elles

3. Coordonnées des variables dans ℝⁿ

Formule

Les coordonnées des variables sur le \(\alpha\)-ième axe dans \(\mathbb{R}^n\) sont les composantes de \(\varphi_\alpha = X^T v_\alpha = \sqrt{\lambda_\alpha} \cdot u_\alpha\). La coordonnée de la variable \(j\) sur l'axe \(\alpha\) est :

\[ \varphi_{\alpha j} = \text{cor}(j, \psi_\alpha) = \sqrt{\lambda_\alpha} \cdot u_{\alpha j} \]

φαj : coordonnée de la variable j sur l'axe α = corrélation entre la variable j et la composante principale ψα
uαj : j-ième composante du vecteur propre uα · √λα : racine carrée de la valeur propre
Propriété : \(|\varphi_{\alpha j}| \leq 1\) et \(\sum_\alpha \varphi_{\alpha j}^2 = 1\) (la somme sur tous les axes = 1)

4. Formules de transition ℝᵖ ↔ ℝⁿ

C'est la propriété la plus remarquable du cours : les deux espaces sont reliés sans avoir à diagonaliser deux matrices.

⇄ Relations de transition (à connaître par cœur)

Dans ℝᵖ

Axe factoriel \(u_\alpha\)
vecteur propre de \(X^TX\)

\(X^T X u_\alpha = \lambda_\alpha u_\alpha\)

→

\(v_\alpha = \frac{1}{\sqrt{\lambda_\alpha}} X u_\alpha\)

←

\(u_\alpha = \frac{1}{\sqrt{\lambda_\alpha}} X^T v_\alpha\)

Dans ℝⁿ

Axe factoriel \(v_\alpha\)
vecteur propre de \(XX^T\)

\(XX^T v_\alpha = \lambda_\alpha v_\alpha\)

Conséquence pratique : On diagonalise uniquement la matrice de plus petite taille. Si \(n \gg p\), on diagonalise \(X^TX\) (\(p \times p\)) — c'est le cas courant. Les axes dans \(\mathbb{R}^n\) s'obtiennent par simple multiplication : \(\psi_\alpha = Xu_\alpha\).

4bis. Démonstration — Valeurs propres de X'X et XX' identiques Examen

C'est la question 2a de l'examen passé. Voici la démonstration complète à maîtriser.

Théorème

Les valeurs propres non nulles de \(X^TX\) (de taille \(p \times p\)) et de \(XX^T\) (de taille \(n \times n\)) sont identiques, avec les mêmes multiplicités.

Démonstration — sens (\(X^TX \to XX^T\)) :

Hypothèse de départ

Soit \(u_\alpha\) un vecteur propre de \(X^TX\) associé à la valeur propre \(\lambda_\alpha \neq 0\) :

\(X^TX \, u_\alpha = \lambda_\alpha u_\alpha \quad \cdots (1)\)

Pré-multiplication par X

On pré-multiplie les deux membres de (1) par \(X\) :

\(X(X^TX \, u_\alpha) = X(\lambda_\alpha u_\alpha)\)

\((XX^T)(Xu_\alpha) = \lambda_\alpha (Xu_\alpha) \quad \cdots (2)\)

Conclusion

Posons \(v_\alpha = Xu_\alpha\). L'équation (2) donne : \(XX^T \, v_\alpha = \lambda_\alpha v_\alpha\).

Donc \(v_\alpha = Xu_\alpha\) est vecteur propre de \(XX^T\) pour la même valeur propre \(\lambda_\alpha\).

✓ Toute valeur propre non nulle de \(X^TX\) est aussi valeur propre de \(XX^T\).

Sens réciproque — symétrie

Par le même raisonnement en pré-multipliant par \(X^T\) une équation propre de \(XX^T\), on montre que toute valeur propre non nulle de \(XX^T\) est aussi valeur propre de \(X^TX\).

Donc les valeurs propres non nulles sont exactement les mêmes dans les deux matrices. ∎

Relation entre uk et vk — question 2b

Le vecteur \(v_\alpha = Xu_\alpha\) a une norme \(\|Xu_\alpha\|^2 = u_\alpha^T X^T X u_\alpha = \lambda_\alpha\). Pour obtenir un vecteur propre unitaire de \(XX^T\), on normalise :

\[ v_\alpha = \frac{1}{\sqrt{\lambda_\alpha}} X u_\alpha \qquad \Longleftrightarrow \qquad u_\alpha = \frac{1}{\sqrt{\lambda_\alpha}} X^T v_\alpha \]

Ce sont les formules de transition entre les deux espaces. \(v_\alpha\) est unitaire car \(\|v_\alpha\|^2 = \frac{1}{\lambda_\alpha}\|Xu_\alpha\|^2 = \frac{\lambda_\alpha}{\lambda_\alpha} = 1\).
À l'examen : commencer par poser \(v_\alpha = Xu_\alpha\), montrer que c'est vecteur propre de \(XX^T\), puis normaliser.

5. Écriture matricielle globale

\[ F = X \cdot U \]

F : matrice des coordonnées factorielles (\(n \times p\)) — les composantes principales en colonnes
X : données centrées-réduites (\(n \times p\)) · U : matrice des vecteurs propres en colonnes (\(p \times p\), orthogonale)
La \(\alpha\)-ième colonne de F = \(\psi_\alpha = Xu_\alpha\) = coordonnées des individus sur l'axe \(\alpha\)

Propriété clé

La matrice \(F^T F = U^T X^T X U = U^T C U = \Lambda\) est diagonale avec les valeurs propres \(\lambda_\alpha\). Les composantes principales sont non corrélées entre elles — c'est l'objectif de l'ACP.

6. Visualisation interactive — axes et projections

▶ Axes factoriels et composantes principales sur un nuage 2D

Génère un nuage de points avec différentes corrélations :

Corrélation r 0.70

λ₁ (axe 1) : —

λ₂ (axe 2) : —

Axe 1 explique : —

■ Axe 1 (CP1) — variance max ■ Axe 2 (CP2) — orthogonal
Les flèches cyan = projections des individus sur CP1

7. Exemple numérique — coordonnées factorielles

On reprend la matrice de corrélation \(C = \begin{pmatrix}1 & -0.2 \\ -0.2 & 1\end{pmatrix}\) avec \(\lambda_1 = 1.2\), \(\lambda_2 = 0.8\).

Vecteurs propres de C

Pour \(\lambda_1 = 1.2\) : \((C - 1.2I)u = 0\) → \(u_1 = \frac{1}{\sqrt{2}}\begin{pmatrix}1\\-1\end{pmatrix}\)

Pour \(\lambda_2 = 0.8\) : \(u_2 = \frac{1}{\sqrt{2}}\begin{pmatrix}1\\1\end{pmatrix}\)

Vérification orthogonalité : \(u_1^T u_2 = \frac{1}{2}(1\cdot1 + (-1)\cdot1) = 0\) ✓

Coordonnées factorielles des variables

Variable 1 sur axe 1 : \(\varphi_{11} = \sqrt{\lambda_1} \cdot u_{11} = \sqrt{1.2} \times \frac{1}{\sqrt{2}} = \sqrt{0.6} \approx 0.775\)

Variable 2 sur axe 1 : \(\varphi_{12} = \sqrt{1.2} \times \frac{-1}{\sqrt{2}} \approx -0.775\)

→ Les deux variables sont opposées sur l'axe 1 (corrélation négative entre elles).

Composantes principales ψ = Xu

Pour chaque individu \(i\) : \(\psi_{1i} = \frac{1}{\sqrt{2}}(x_{i1} - x_{i2})\) et \(\psi_{2i} = \frac{1}{\sqrt{2}}(x_{i1} + x_{i2})\)

Les nouvelles coordonnées sont des combinaisons linéaires des variables d'origine.

📌 À retenir / À l'examen

Axes factoriels \(u_\alpha\) = vecteurs propres de \(C = X^TX\), triés par \(\lambda\) décroissant
Composantes principales : \(\psi_\alpha = X u_\alpha\) — projections des individus sur l'axe
Variance de \(\psi_\alpha\) = \(\lambda_\alpha\) · Moyenne de \(\psi_\alpha\) = 0 · Composantes non corrélées
Coordonnée d'une variable j sur l'axe α : \(\varphi_{\alpha j} = \sqrt{\lambda_\alpha} \cdot u_{\alpha j} = \text{cor}(j, \psi_\alpha)\)
Formule de transition : \(v_\alpha = \frac{1}{\sqrt{\lambda_\alpha}} X u_\alpha\) et \(u_\alpha = \frac{1}{\sqrt{\lambda_\alpha}} X^T v_\alpha\)
Écriture globale : \(F = XU\) — les composantes principales en colonnes
\(|\varphi_{\alpha j}| \leq 1\) et \(\sum_\alpha \varphi_{\alpha j}^2 = 1\) pour chaque variable

🧠 Quiz de validation

Quelle est la variance de la composante principale \(\psi_\alpha\) ?

Que représente \(\varphi_{\alpha j} = \sqrt{\lambda_\alpha} \cdot u_{\alpha j}\) ?

Pourquoi les composantes principales sont-elles non corrélées entre elles ?

Si \(\lambda_1 = 3.5\) et \(u_{11} = 0.6\), que vaut \(\varphi_{11}\) (coordonnée de X₁ sur axe 1) ?

← Espace des variables Inertie & Qualité →