Arima

Posted on |

ARIMA Model

Moving Average (1): MA(1)

$X_t = a_t - \theta a_{t-1}$ ($a_t $~$N(0, \sigma a^2)$)

White Noise $a_t$의 Linear Combination으로 $X_t$를 예측하고자 한다.

$X_t$의 기댓값

  • $E(X_t) = E(a_t) - \theta E(a_{t-1}) = 0-0 = 0$

$X_t$와 $X_{t-h}$의 공분산(Covariance)

  • $Cov(X_t, X_{t-h}) = Cov (a_t - \theta a_{t-1}, a_{t-h} - \theta a_{t-h-1})$

    ​ $ = Cov(a_t, a_{t-h}) - \theta Cov(a_t, a_{t-h-1}) - \theta Cov(a_{t-1}, a_{t-h}) + \theta^2 Cov(a_{t-1}, a_{t-h-1})$

Autocovariance

  • $\gamma_x(h):$ $h$(lag)에 따라 Autocovariance가 어떻게 변하는지 살펴보자.

    • $Cov(X_t, X_{t-h}) = Cov(a_t, a_{t-h}) - \theta Cov(a_t, a_{t-h-1}) - \theta Cov(a_{t-1}, a_{t-h}) + \theta^2 Cov(a_{t-1}, a_{t-h-1})$
    • $h = 0$
      • White Noise의 특징은 Series 내의 시점이 다를 때 Independent하여, Covariance가 0이다.
      • $h = 0$을 위의 식에 대입했을 때, 두 공분산을 구하는 요소들의 시점이 다르다면 바로 삭제가 가능하여, 다음과 같은 식만 남게 된다.
      • $Cov(a_t, a_{t}) + \theta^2 Cov(a_{t-1}, a_{t-1})$
      • 자기 자신에 대한 공분산은 뭐다? > 분산이다! 즉, $Cov(a_t, a_t)$는 $V(a_t)$가 된다.
      • $\gamma_X(0) = V(X_t) = V(a_t) + \theta^2 V(a_t) = (1+\theta^2)\sigma a^2 $
    • $h=1$
      • $\gamma_X(1) = -\theta Cov(a_{t-1}, a_{t-1}) = -\theta V(a_t) = -\theta\sigma a^2 $
    • $ h = 2,3,…$는 모두 White Noise의 시점이 달라지게 되어 식의 구성요소 전부 0이 된다.

Autocorrelation

  • $\rho_X(h):$ $h$(lag)에 따라 Autocovariance가 어떻게 변하는지 살펴보자​.

    • $h = 0$
      • $\frac{Cov(X_t, X_t)} {\sqrt{V(X_t) V(X_t)}}$ = $\frac {V(X_t)} {V(X_t)}$ = $\frac {\gamma_X(0)} { \gamma_X(0)} = 1$
    • $h = 1$
      • $\frac {Cov(x_t, x_{t-1})} {\gamma_x (0)}$ = $\frac {\gamma_X(1)} {\gamma_X(0)} $ = $\frac {-\theta \sigma a^2} {(1+\theta^2)\sigma a^2}$ = $\frac {-\theta} {1+\theta^2}$

What is $\theta$ anyway??

image-20201104231947573

Moving Average (2): MA(2)

$X_t = a_t - \theta_1 a_{t-1} - \theta_2 a_{t-2}$ ($a_t $~$N(0, \sigma a^2)$)

White Noise의 두 시점 전 Noise를 사용해 t 시점의 데이터를 예측하는 것이 목표 ($X_t$)

  • $E(X_t) = 0$
  • $Cov(X_t, X_{t-h}) \Rightarrow $ Covariance를 통해 Auto-Covariance / Auto-Correlation들을 산출하며, $h$의 변화에 따라 변화가 어떻게 되는지 관찰하고자 한다.
    • $Cov(a_t - \theta_1a_{t-1} - \theta_2 a_{t-2}, a_{t-h} - \theta_1 a_{t-h-1} - \theta_2 a_{t-h-2})$

image-20201104232236042

Auto Regressive (1): AR(1)

$X_t = \phi X_{t-1} + a_t$ / 자기 자신의 과거 데이터를 통해 현재를 예측하고자 한다.

  • $E(X_t) = \phi E(X_{t-1}) + E(a_t)$ = 0
    • $E(a_t)$는 원래부터 0이며, $E(X_t) = \phi E(X_{t-1})$가 동일하려면 둘 다 0이 되어야 함

  • $Var(X_t) = \phi^2 V(X_{t-1}) + V(a_t) = \phi^2\sigma x^2 + \sigma a^2$

    • $V(X_t) = V(X_{t-1}) $ 기본적으로 Stationary Series에 대한 것이니 분산이 모든 Time에 동일한 것이 맞다.

    • $(1-\phi^2)\sigma X^2 = \sigma a^2$

  • $Cov(X_{t+1}, X_t) = Cov(\phi X_t + a_{t+1}, X_t)$

    ​ $ = \phi Cov(X_t, X_t) + Cov(a_{t+1}, X_t) = \phi V(X_t) = \phi \gamma_X(0)$

    • $V(\phi X_t)$ 같은 경우는 분산 내부의 $\phi$가 분산 식 밖으로 나오면서 $\phi^2$가 되지만 $Cov$ 에서 탈출 시에는 변하지 않음
    • $Cov(a_{t+1}, X_t)$를 애초에 $a$와 $X$에 대한 식이므로 공분산이 없어 0이 된다.
    • $Cov(X_{t+1}, X_t) = \gamma_X(1)$ 이므로 결국 최종 식은,
    • $\gamma_X(1) = \phi \gamma_X(0)$, 즉 $\gamma_X(0)$의 비례식이 된다.

  • $Cov(X_{t+2}, X_t) = Cov(\phi X_{t+1} + a_{t+2}, X_t)$

    ​ $ = \phi Cov(X_{t+1}, X_t) + Cov(a_{t+2}, X_t) = \phi \gamma_X(1)$

    • $\gamma_X(2) = \phi \gamma_X(1) = \phi^2 \gamma_X(0)$

    • 여기서부터 이제 차수가 올라갈수록 $\gamma_X(0)$에 대한 식으로 비례식이 나타나는 것을 알 수 있다.

  • $\gamma_X(h) = \phi^h\gamma_X(0), h \geq 1$
  • $\rho_X(h) = \frac {\gamma_X(h)}{\gamma_X(0)}$ = $\frac {\phi^h \gamma_X(0)} {\gamma_X(0)} = \phi^h$

결국 AR(1)의 AutoCorrelation에 해당하는 $\rho_X(h)$가 $\phi^h$의 형태로 지수적으로 감소하는 것을 볼 수 있다.

image-20201105001437081

Auto Regressive (2): AR(2)

$X_t = \phi_1 X_{t-1} + \phi_2 X_{t-2} + a_t$ / $E(X_t) = 0$

$ \Rightarrow X_t \cdot X_{t-h} = \phi_1 X_{t-1}X_{t-h} + \phi_2 X_{t-2} X_{t-h}+ a_t X_{t-h}$

  • $E(X_t \cdot X_{t-h}) = \phi_1 E(X_{t-1}X_{t-h}) + \phi_2 E(X_{t-2} X_{t-h})+ E(a_t , X_{t-h})$
  • 여기서 알아 둬야 하는 $Cov$와 $E$의 관계: $Cov(X_t, X_{t-h}) = E(X_t \cdot X_{t-h}) - E(X_t) \cdot E(X_{t-h})$
  • 그런데 $E(X_t) / E(X_{t-h})$는 둘 다 0이므로 $ Cov(X_t, X_{t-h}) = E(X_t \cdot X_{t-h})$ 가 성립하게 되어 다시 기댓값에 대한 식을 적어보고자 한다.

  • $Cov(X_t, X_{t-h}) = \phi_1 Cov(X_{t-1} \cdot X_{t-h}) + \phi_2 Cov(X_{t-2}\cdot X_{t-h})+ E(a_t \cdot X_{t-h})$

  • $\gamma_X(h) = \phi_1 \gamma_X(h-1) + \phi_2 \gamma_X(h-2) + E(a_t \cdot X_{t-h})$

  • 엥? 마지막의 $a_t$와 $X_{t-h}$에 대한, 전혀 연관성이 없는 놈들에 대한 기댓값을 어떻게 구하려나? 이는 $h$에 따라 값이 달라지고, 전체 $\gamma_X(h)$의 식이 달라진다.
    • $h = 0$
      • $E(a_t \cdot X_t ) = E(a_t \cdot (\phi_1 X_{t-1} + \phi_2 X_{t-2} + a_t))$
      • $ = \phi_1 E(a_t, X_{t-1}) + \phi_2 E(a_t \cdot X_{t-2}) + E(a_t \cdot a_t)$ , 맨 마지막 항만 살아남고 나머지는 다 죽어버린다.
      • $E(a_t, a_t) = Cov(a_t, a_t) = Var(a_t) = \sigma a^2$
    • $h \geq 1$
      • $E(a_t, X_{t-h}) = 0$