ARMA

Un modèle AR(1) est donné par : ${\displaystyle X_{t}=c+\varphi X_{t-1}+\varepsilon _{t}\,}$ où ${\displaystyle \varepsilon _{t}}$ est un bruit blanc, de moyenne nulle et de variance ${\displaystyle \sigma ^{2}}$.

• Si ${\displaystyle |\varphi |<1}$, le modèle est stationnaire en variance.
• Si ${\displaystyle \varphi =1}$, alors le processus exhibe une racine unitaire (en), ce qui signifie qu'il est une marche aléatoire, et n'est pas stationnaire en variance.
• Supposons donc ${\displaystyle |\varphi |<1}$. L'espérance, la variance, l'autocovariance du processus valent respectivement :

${\displaystyle \mathrm {E} \left[X_{t}\right]={\frac {c}{1-\varphi }}}$ ${\displaystyle \mathrm {Var} \left[X_{t}\right]={\frac {\sigma ^{2}}{1-\varphi ^{2}}}}$ ${\displaystyle B_{n}=\mathrm {Cov} \left[X_{t},X_{t-n}\right]={\frac {\sigma ^{2}}{1-\varphi ^{2}}}\varphi ^{|n|}}$ Prendre ${\displaystyle c=0}$ revient à avoir une moyenne nulle. On introduit un taux de décroissance de la fonction d'autocovariance ${\displaystyle \tau =-1/\ln(\varphi )}$

La densité spectrale de puissance est la transformée de Fourier de la fonction d'autocovariance. Dans le cas discret, cela s'écrit :

${\displaystyle \Phi (\omega )={\frac {1}{\sqrt {2\pi }}}\,\sum _{n=-\infty }^{\infty }B_{n}e^{-i\omega n}={\frac {1}{\sqrt {2\pi }}}\,\left({\frac {\sigma ^{2}}{1+\varphi ^{2}-2\varphi \cos(\omega )}}\right).}$

Ce développement est périodique dû à la présence du terme en cosinus au dénominateur. En supposant que le temps d'échantillonnage (${\displaystyle \Delta t=1}$) est plus petit que le taux de décroissance (${\displaystyle \tau }$), alors on peut utiliser une approximation continue de ${\displaystyle B_{n}}$ :

${\displaystyle B(t)\approx {\frac {\sigma ^{2}}{1-\varphi ^{2}}}\,\,\varphi ^{|t|}}$

qui présente une forme lorentzienne pour la densité spectrale :

${\displaystyle \Phi (\omega )={\frac {1}{\sqrt {2\pi }}}\,{\frac {\sigma ^{2}}{1-\varphi ^{2}}}\,{\frac {\gamma }{\pi (\gamma ^{2}+\omega ^{2})}}}$

où ${\displaystyle \gamma =1/\tau }$ est la fréquence angulaire associée à ${\displaystyle \tau }$.

Une expression alternative pour ${\displaystyle X_{t}}$ peut être dérivée en remplaçant ${\displaystyle X_{t-1}}$ par ${\displaystyle c+\varphi X_{t-2}+\varepsilon _{t-1}}$ dans l'équation définissante. En continuant cette manipulation N fois fournit

${\displaystyle X_{t}=c\sum _{k=0}^{N-1}\varphi ^{k}+\varphi ^{N}X_{t-N}+\sum _{k=0}^{N-1}\varphi ^{k}\varepsilon _{t-k}.}$

Pour N devenant très grand, ${\displaystyle \varphi ^{N}}$ s'approche de 0 et :

${\displaystyle X_{t}={\frac {c}{1-\varphi }}+\sum _{k=0}^{\infty }\varphi ^{k}\varepsilon _{t-k}.}$

On peut voir que ${\displaystyle X_{t}}$ est le bruit blanc convolé avec le noyau ${\displaystyle \varphi ^{k}}$ plus une moyenne constante. Si le bruit blanc est gaussien, alors ${\displaystyle X_{t}}$ est aussi un processus normal. Dans les autres cas, le théorème central limite indique que ${\displaystyle X_{t}}$ sera approximativement normal lorsque ${\displaystyle \varphi }$ est proche de l'unité.

Le modèle AR(p) est donné par

${\displaystyle X_{t}=\sum _{i=1}^{p}\varphi _{i}X_{t-i}+\varepsilon _{t}.\,}$

Les paramètres à estimer sont ${\displaystyle \varphi _{i}}$ où i = 1, …, p. Il y a une correspondance directe entre ces paramètres et la fonction de covariance (et donc d'autocorrélation) et on peut tirer les paramètres en inversant ces relations. Ce sont les équations de Yule-Walker :

${\displaystyle \gamma _{m}=\sum _{k=1}^{p}\varphi _{k}\gamma _{m-k}+\sigma _{\varepsilon }^{2}\delta _{m}}$

où m = 0, … , p, ce qui donne en tout p + 1 équations. Les coefficients ${\displaystyle \gamma _{m}}$ est la fonction d'autocorrélation de X, ${\displaystyle \sigma _{\varepsilon }}$ est la déviation (écart-type) du bruit blanc et δ_m le symbole de Kronecker.

La dernière partie de l'équation est non nulle si m = 0 ; en prenant m > 0, l'équation précédente s'écrit comme un système matriciel

${\displaystyle {\begin{bmatrix}\gamma _{1}\\\gamma _{2}\\\gamma _{3}\\\vdots \\\end{bmatrix}}={\begin{bmatrix}\gamma _{0}&\gamma _{-1}&\gamma _{-2}&\dots \\\gamma _{1}&\gamma _{0}&\gamma _{-1}&\dots \\\gamma _{2}&\gamma _{1}&\gamma _{0}&\dots \\\vdots &\vdots &\vdots &\ddots \\\end{bmatrix}}{\begin{bmatrix}\varphi _{1}\\\varphi _{2}\\\varphi _{3}\\\vdots \\\end{bmatrix}}}$

Pour m = 0, nous avons

${\displaystyle \gamma _{0}=\sum _{k=1}^{p}\varphi _{k}\gamma _{-k}+\sigma _{\varepsilon }^{2}}$

qui permet de trouver ${\displaystyle \sigma _{\varepsilon }^{2}}$.

Les équations de Yule-Walker procurent un moyen d'estimer les paramètres du modèle AR(p), en remplaçant les covariances théoriques par des valeurs estimées. Une manière d'obtenir ces valeurs est de considérer la régression linéaire de X_t sur ses p premiers retards.

L'équation définissante du processus AR est

${\displaystyle X_{t}=\sum _{i=1}^{p}\varphi _{i}\,X_{t-i}+\varepsilon _{t}.\,}$

En multipliant les deux membres par X_{t − m} et en prenant l'espérance, on obtient

${\displaystyle E[X_{t}X_{t-m}]=E\left[\sum _{i=1}^{p}\varphi _{i}\,X_{t-i}X_{t-m}\right]+E[\varepsilon _{t}X_{t-m}].}$

Or, il se trouve que E[X_tX_{t − m}] = γ_m par définition de la fonction d'autocovariance. Les termes du bruit blancs sont indépendants les uns des autres et, de plus, X_{t − m} est indépendant de ε_t où m est plus grand que zéro. Pour m > 0, E[ε_tX_{t − m}] = 0. Pour m = 0,

${\displaystyle E[\varepsilon _{t}X_{t}]=E\left[\varepsilon _{t}\left(\sum _{i=1}^{p}\varphi _{i}\,X_{t-i}+\varepsilon _{t}\right)\right]=\sum _{i=1}^{p}\varphi _{i}\,E[\varepsilon _{t}\,X_{t-i}]+E[\varepsilon _{t}^{2}]=0+\sigma _{\varepsilon }^{2},}$

Maintenant, on a pour m ≥ 0,

${\displaystyle \gamma _{m}=E\left[\sum _{i=1}^{p}\varphi _{i}\,X_{t-i}X_{t-m}\right]+\sigma _{\varepsilon }^{2}\delta _{m}.}$

Par ailleurs,

${\displaystyle E\left[\sum _{i=1}^{p}\varphi _{i}\,X_{t-i}X_{t-m}\right]=\sum _{i=1}^{p}\varphi _{i}\,E[X_{t}X_{t-m+i}]=\sum _{i=1}^{p}\varphi _{i}\,\gamma _{m-i},}$

qui donne les équations de Yule-Walker :

${\displaystyle \gamma _{m}=\sum _{i=1}^{p}\varphi _{i}\gamma _{m-i}+\sigma _{\varepsilon }^{2}\delta _{m}.}$

pour m ≥ 0. Pour m < 0,

${\displaystyle \gamma _{m}=\gamma _{-m}=\sum _{i=1}^{p}\varphi _{i}\gamma _{|m|-i}+\sigma _{\varepsilon }^{2}\delta _{m}.}$