Accueil Algèbre ACP Méthodes NL ICA ANOVA AFC
Accueil›Algèbre Linéaire›Diagonalisation
Module 1 — Algèbre

Diagonalisation

Décomposer une matrice en \(A = PDP^{-1}\) — le pont entre valeurs propres, changement de base et ACP.

1. Pourquoi diagonaliser ?

L'idée fondamentale

Une matrice diagonale est la forme la plus simple d'une transformation — chaque axe est simplement étiré. Diagonaliser \(A\), c'est trouver une base (celle des vecteurs propres) dans laquelle \(A\) agit comme une matrice diagonale. C'est exactement ce que fait l'ACP.

2. La décomposition \(A = PDP^{-1}\)

P
Matrice de passage
colonnes = vecteurs propres
×
D
\(\begin{pmatrix}\lambda_1 & 0 \\ 0 & \lambda_2\end{pmatrix}\)
valeurs propres en diagonal
×
P⁻¹
Inverse de P
= Pᵀ si base orthonormée
\[ A = P \cdot D \cdot P^{-1} \]
P : matrice dont les colonnes sont les vecteurs propres  ·  D : matrice diagonale avec les valeurs propres  ·  Pour les matrices symétriques (\(A = A^T\)) : \(P^{-1} = P^T\), donc \(A = P D P^T\)

3. Méthode complète

1

Calculer les valeurs propres

Résoudre \(\det(A - \lambda I) = 0\). Les racines \(\lambda_1, \lambda_2, \dots\) sont les valeurs propres.

2

Calculer les vecteurs propres

Pour chaque \(\lambda_k\), résoudre \((A - \lambda_k I)\mathbf{v} = \mathbf{0}\). Normaliser si besoin.

3

Construire P et D

\(P\) = matrice dont les colonnes sont les vecteurs propres. \(D\) = matrice diagonale avec les valeurs propres correspondantes (même ordre que les colonnes de \(P\)).

4

Vérifier

Calculer \(PDP^{-1}\) et vérifier qu'on retrouve \(A\). Ou vérifier \(AP = PD\) (plus rapide).

4. Exemple numérique complet

Diagonaliser \(A = \begin{pmatrix}4 & 1\\2 & 3\end{pmatrix}\)

Étape 1 — Valeurs propres

\(\det(A-\lambda I) = (4-\lambda)(3-\lambda)-2 = \lambda^2-7\lambda+10 = (\lambda-2)(\lambda-5) = 0\)

Donc \(\lambda_1 = 2,\ \lambda_2 = 5\)

Étape 2 — Vecteurs propres

Pour \(\lambda_1=2\) : \((A-2I)\mathbf{v}=\begin{pmatrix}2&1\\2&1\end{pmatrix}\mathbf{v}=\mathbf{0}\) → \(\mathbf{v_1}=\begin{pmatrix}1\\-2\end{pmatrix}\)

Pour \(\lambda_2=5\) : \((A-5I)\mathbf{v}=\begin{pmatrix}-1&1\\2&-2\end{pmatrix}\mathbf{v}=\mathbf{0}\) → \(\mathbf{v_2}=\begin{pmatrix}1\\1\end{pmatrix}\)

Étape 3 — Construire P et D

\(P = \begin{pmatrix}1&1\\-2&1\end{pmatrix},\quad D = \begin{pmatrix}2&0\\0&5\end{pmatrix}\)

Étape 4 — Vérification via AP = PD

\(AP = \begin{pmatrix}4&1\\2&3\end{pmatrix}\begin{pmatrix}1&1\\-2&1\end{pmatrix} = \begin{pmatrix}2&5\\-4&5\end{pmatrix}\)

\(PD = \begin{pmatrix}1&1\\-2&1\end{pmatrix}\begin{pmatrix}2&0\\0&5\end{pmatrix} = \begin{pmatrix}2&5\\-4&5\end{pmatrix}\) ✓

5. Théorème spectral (cas ACP)

Pour les matrices symétriques

Toute matrice symétrique réelle (\(A = A^T\)) est diagonalisable dans une base orthonormée. Ses vecteurs propres sont orthogonaux deux à deux. On a \(P^{-1} = P^T\), donc :

\[ A = P \cdot D \cdot P^T \quad \text{(si } A = A^T \text{)} \]
La matrice de covariance en ACP est symétrique → on peut toujours la diagonaliser avec des vecteurs propres orthonormés. C'est le fondement théorique de l'ACP.

🔖 À retenir / À l'examen

  • Diagonalisation : \(A = PDP^{-1}\) où colonnes de \(P\) = vecteurs propres, diagonale de \(D\) = valeurs propres
  • Vérification rapide : \(AP = PD\) (évite de calculer \(P^{-1}\))
  • Matrice symétrique : \(P^{-1} = P^T\) → théorème spectral, toujours diagonalisable
  • Application directe en ACP : \(V = P \Lambda P^T\) où \(V\) = matrice de covariance
  • Ordre des colonnes de \(P\) et de \(D\) doit être cohérent (\(\lambda_1\) correspond à \(\mathbf{v_1}\))
🧠 Quiz de validation
Dans la décomposition \(A = PDP^{-1}\), que contient la diagonale de \(D\) ?
Pour une matrice de covariance \(\Sigma\) (symétrique), la décomposition spectrale donne :
Comment vérifier rapidement que \(A = PDP^{-1}\) sans calculer \(P^{-1}\) ?

Bonus fondamental — Décomposition en Valeurs Singulières (SVD)

Pourquoi la SVD ?

La diagonalisation \(A = PDP^{-1}\) ne fonctionne que pour les matrices carrées. Mais en statistiques, les tableaux de données \(X\) sont rectangulaires (\(n\) individus × \(p\) variables). La SVD généralise la diagonalisation à toutes les matrices rectangulaires — c'est le fondement mathématique de toutes les méthodes factorielles (ACP, AFC, t-SNE…).

La décomposition

\[ X = U \Sigma V^T = \sum_{\alpha=1}^{r} \sigma_\alpha \, u_\alpha v_\alpha^T \]
X : matrice \(n \times p\) (données)  ·  U : matrice \(n \times n\) orthogonale — colonnes = vecteurs singuliers gauches  ·  Σ : matrice \(n \times p\) diagonale — valeurs singulières \(\sigma_1 \geq \sigma_2 \geq \cdots \geq 0\)  ·  V : matrice \(p \times p\) orthogonale — colonnes = vecteurs singuliers droits  ·  r : rang de \(X\)
Vecteurs singuliers droits V

Ce sont les vecteurs propres de \(X^TX\).
\(X^TX \, v_\alpha = \sigma_\alpha^2 \, v_\alpha\)
En ACP : ce sont les axes principaux dans l'espace des variables \(\mathbb{R}^p\).

Vecteurs singuliers gauches U

Ce sont les vecteurs propres de \(XX^T\).
\(XX^T \, u_\alpha = \sigma_\alpha^2 \, u_\alpha\)
En ACP : coordonnées des individus dans \(\mathbb{R}^n\).

Lien avec les valeurs propres de l'ACP

Relation fondamentale

Les valeurs singulières \(\sigma_\alpha\) et les valeurs propres \(\lambda_\alpha\) de la matrice de covariance \(C = X^TX\) sont liées par :

\[ \lambda_\alpha = \sigma_\alpha^2 \]
Valeurs propres de \(X^TX\) = carrés des valeurs singulières de \(X\).  ·  Les deux matrices \(X^TX\) (taille \(p \times p\)) et \(XX^T\) (taille \(n \times n\)) partagent les mêmes valeurs propres non nulles.

Reconstitution approchée — compression de données

L'idée clé

Si on ne garde que les \(q\) premières valeurs singulières (les plus grandes), on obtient la meilleure approximation de rang \(q\) de \(X\) au sens des moindres carrés :

\[ X \approx X^* = \sum_{\alpha=1}^{q} \sigma_\alpha \, u_\alpha v_\alpha^T \qquad (q \ll p) \]
Taux d'inertie capturé par les \(q\) premiers axes : \(\tau_q = \dfrac{\sum_{\alpha=1}^{q} \lambda_\alpha}{\sum_{\alpha=1}^{p} \lambda_\alpha} = \dfrac{\sum_{\alpha=1}^{q} \sigma_\alpha^2}{\sum_{\alpha=1}^{p} \sigma_\alpha^2}\)
▶ SVD — Reconstruction progressive d'une matrice

Choisis le nombre de composantes \(q\) conservées. Observe comment la matrice \(X\) (5×4) se reconstitue à partir de ses valeurs singulières.

Matrice originale X

Reconstruction X* (q composantes)

1

Valeurs singulières σ

Taux d'inertie τq = —

📌 SVD — À retenir / À l'examen

  • SVD : \(X = U\Sigma V^T\) — généralise la diagonalisation aux matrices rectangulaires
  • Valeurs propres de \(X^TX\) = \(\sigma_\alpha^2\) (carrés des valeurs singulières)
  • Vecteurs singuliers droits \(V\) = vecteurs propres de \(X^TX\) = axes principaux en ACP
  • Reconstitution approchée : garder les \(q\) premières composantes capture \(\tau_q\) de l'inertie
  • C'est le fondement de l'ACP, l'AFC, et de nombreuses méthodes de réduction de dimension
← Valeurs propres Module ACP →