Purposes

This notebook demonstrates how to obtain the large sample biases of the Yule Walker estimates in the AR(3) of the known mean cases and unknown mean cases by symbolically implementing the properties of the large sample covariance of the autocovariance estimates

The Bias of Yule Walker Estimates in AR(3)

Known mean case

Introduction

AR(3),

(Subscript[z, t]) = (Subscript[ϕ, 1]) (Subscript[z, t - 1]) + (Subscript[ϕ, 2]) 
          (Subscript[z, t - 2]) + (Subscript[ϕ, 3]) (Subscript[z, t - 3]) + (Subscript[a, t])

where (Subscript[a, t]) are normal and independently with zero mean and variance (σ^2).

The autocovariance functions satisfies the linear difference equation,

\(TraditionalForm\`γ\_i = \(\(\(ϕ\_1\ γ\_\(i - 1\)\)\(+\)\) ... \) ϕ\_3\ γ\_\(k - 3\), \ 
    k ≥ \ 3\)

The Yule Walker estimates may be solved as follows:

equ = {s1 == (Subscript[ϕ, 1]) s0 + (Subscript[ϕ, 2]) s1 + (Subscript[ϕ, 3]) 
              s2, s2 == (Subscript[ϕ, 1 ]) s1 + (Subscript[ϕ, 2]) 
              s0 + (Subscript[ϕ, 3]) s1, 
        s3 == (Subscript[ϕ, 1]) s2 + (Subscript[ϕ, 2]) s1 + (Subscript[ϕ, 3]) 
              s0}

Solve[equ, {(Subscript[ϕ, 1]), (Subscript[ϕ, 2]), (Subscript[ϕ, 3])}]

Three Yule Walker estimates,

Ph1[s0_, s1_, s2_, 
        s3_] := -((-(s0^2) s1 + (s1^3) + s0 s1 s2 - s1 (s2^2) - 
              (s1^2) s3 + 
              s0 s2 s3)/((s0 - s2) ((s0^2) - 2 (s1^2) + 
                  s0 s2)))

Ph2[s0_, s1_, s2_, 
        s3_] := -(((s1^2) - s0 s2 - (s2^2) + s1 s3)/((s0^2) - 
              2 (s1^2) + s0 s2))

Ph3[s0_, s1_, s2_, 
        s3_] := -((-(s1^3) + 2 s0 s1 s2 - s1 (s2^2) - (s0^2) s3 + 
              (s1^2) s3)/((s0 - s2) ((s0^2) - 2 (s1^2) + 
                  s0 s2)))

Where (Subscript[s, 0]), (Subscript[s, 1]), (Subscript[s, 2]) and (Subscript[s, 3]) are the unbiased sample covariances.

Mathematica Codes

Autocovariance  of AR(3) with three unequal characteristic  roots:

start = TimeUsed[]

R[k_] := A1 (a^k) + A2 (b^k) + A3 (c^k)

where t ≥  0.  And γ(t) = γ(-t) when t < 0.

\(TraditionalForm\`\(\(𝔖\_p = \(1\/n\) \(\(∑\+\(t = 1\)\)\&n\( x\_\(t + p\)\) x\_t\)\)\(,\)\)\)

The large  sample covariances  of those  (Subscript[𝔖, m, k, i])

(lim_(n ->  ∞))n Cov ((Subscript[𝔖, p]), (Subscript[𝔖, q]) )=(Underscript[((∑^∞)), h = -∞])[γ(
                  h) γ(h - p + q) + γ(
                  h + q) γ(h - p)]

When p ≥  q ≥  0, those large sample covariances may be obtained by Mathematica function, LCoV[p_,q_], as follows:

LCoV[p_, q_] := 
      Module[{a, b, c, d, e}, 
          a = Sum[R[-h] R[-(h - p + q)] + 
                R[-(h + q)] 
                  R[-(h - 
                          p)], {h, -∞, -q}]; 
b = 
            Sum[R[-h] R[-(h - p + q)] + 
                R[(h + q)] R[-(h - p)], {h, -q + 1, 
                0}]; 
c = 
            Sum[R[h] R[-(h - p + q)] + 
                R[(h + q)] R[-(h - p)], {h, 1, 
                p - q}]; 
d = 
            Sum[R[h] R[(h - p + q)] + 
                R[(h + q)] R[-(h - p)], {h, p - q + 1, 
                p}]; 
e = 
            Sum[R[h] R[(h - p + q)] + R[(h + q)] R[(h - p)], {h, 
                p + 1, ∞}]; 
a + b + c + d + e] // 
        Simplify

Expectation  of (Subscript[𝔖, p])

Expect[𝔖[p_]] = R[p]

Large Sample Results of (Subscript[s, 0]), (Subscript[s, 1]), (Subscript[s, 2]) and (Subscript[s, 3])

Obtaining  the large  sample  variances  of (Subscript[s, 0]), (Subscript[s, 1]), (Subscript[s, 2]) and (Subscript[s, 3]) by lim  (n V a r( (Subscript[s, 0]))),  
      lim  (n V a r( (Subscript[s, 1]))),  ... ,  
      and lim  (n V a r( (Subscript[s, 3])))

ExpSquare = {LCoV[0, 0], LCoV[1, 1], LCoV[2, 2], LCoV[3, 3]} // 
        Simplify

Obtaining  the large sample covariances  of (Subscript[s, 0]),  (Subscript[s, 1]), (Subscript[s, 2]),  and (Subscript[s, 3]) by lim  (n C o v( (Subscript[s, 0]) (Subscript[s, 1]))),  
      lim  (n C o v ((Subscript[s, 0]) (Subscript[s, 1]))),  ... ,  
      and lim  (n C o v ((Subscript[s, 0]) (Subscript[s, 3])))

ExpCrossS0 = {LCoV[1, 0], LCoV[2, 0], LCoV[3, 0]} // 
        Simplify

ExpCrossS1 = {LCoV[2, 1], LCoV[3, 1]} // Simplify

ExpCrossS2 = LCoV[3, 2] // Simplify

The expectations  of (Subscript[s, 0]),  (Subscript[s, 1]),  (Subscript[s, 2]),  and (Subscript[s, 3]):

(Subscript[γ, 0]) = R[0]; (Subscript[γ, 1]) = R[1]; (Subscript[γ, 2]) = 
      R[2]; (Subscript[γ, 3]) = R[3]

The second derivatives  in the Taylor expansion

The vectors of the second derivatives of Ph#[s0_,s1_,s2_,s3_] with the respective to (Subscript[s, 0]),  (Subscript[s, 1]), (Subscript[s, 2]) and (Subscript[s, 3]):

Ph1[s0, s1, s2, s3]

SquareTerm[
        f_] := (D[f[s0, s1, s2, s3], #, #] & /@ {s0, s1, s2, 
                s3}) /. {s0 -> (Subscript[γ, 0]), s1 -> (Subscript[γ, 1]), 
            s2 -> (Subscript[γ, 2]), s3 -> (Subscript[γ, 3])} // 
        Simplify

t = {s0, s1, s2, s3};

CrossS0[f_] := 
      Table[D[f[s0, s1, s2, s3], s0, 
              t[[j]]],  {j, 2, 
              4}] /. {s0 -> (Subscript[γ, 0]), s1 -> (Subscript[γ, 1]), 
            s2 -> (Subscript[γ, 2]), s3 -> (Subscript[γ, 3])} // 
        Simplify

CrossS1[f_] := 
      Table[D[f[s0, s1, s2, s3], s1, 
              t[[j]]],  {j, 3, 
              4}] /. {s0 -> (Subscript[γ, 0]), s1 -> (Subscript[γ, 1]), 
            s2 -> (Subscript[γ, 2]), s3 -> (Subscript[γ, 3])} // 
        Simplify

CrossS2[f_] := 
      D[f[s0, s1, s2, s3], s2, s3] /. {s0 -> (Subscript[γ, 0]), 
            s1 -> (Subscript[γ, 1]), s2 -> (Subscript[γ, 2]), 
            s3 -> (Subscript[γ, 3])} // Simplify

The large sample bias can be obtained by (lim_(n ->  ∞))n(
          E((Subscript[(Overscript[ϕ, –]), 2]) - (Subscript[ϕ, 2]))).

LSBiasPhi[
        f_] := (1/2) SquareTerm[f] . ExpSquare + 
          CrossS0[f] . ExpCrossS0 + CrossS1[f] . ExpCrossS1 + 
          CrossS2[f] ExpCrossS2 // Simplify

LSBiasPhi[Ph1]

The numerical evaluation

Let a, b and c be reciprocals of three roots of the characteristic equation of AR(3).  Then three parameters are

phi1[a_, b_, 
        c_] := -Coefficient[
          Expand[(1 - a B) (1 - b B) (1 - c B)], B]; 
    phi2[a_, b_, 
        c_] := -Coefficient[
          Expand[(1 - a B) (1 - b B) (1 - c B)], (B^2)]; 
    phi3[a_, b_, 
        c_] := -Coefficient[
          Expand[(1 - a B) (1 - b B) (1 - c B)], 
          (B^3)];

The theoretical autocovariance of AR(3) based

tcov[a_, b_, c_] := 
      Module[{}, (Subscript[ϕ, 1]) = phi1[a, b, c]; (Subscript[ϕ, 2]) := 
          phi2[a, b, c]; (Subscript[ϕ, 3]) := 
          phi3[a, b, 
            c]; 
{((-1 + (Subscript[ϕ, 2]) + (Subscript[ϕ, 3]) ((Subscript[ϕ, 1]) + (Subscript[ϕ, 3])))/((1 + (Subscript[ϕ, 1]) - (Subscript[ϕ, 2]) + (Subscript[ϕ, 3])) (-1 + (Subscript[ϕ, 1]) + (Subscript[ϕ, 2]) + (Subscript[ϕ, 3])) (1 + (Subscript[ϕ, 2]) + ((Subscript[ϕ, 1]) - (Subscript[ϕ, 3])) (Subscript[ϕ, 3])))), -(((Subscript[ϕ, 1]) + (Subscript[ϕ, 2]) (Subscript[ϕ, 3]))/((1 + (Subscript[ϕ, 1]) - (Subscript[ϕ, 2]) + (Subscript[ϕ, 3])) (-1 + (Subscript[ϕ, 1]) + (Subscript[ϕ, 2]) + (Subscript[ϕ, 3])) (1 + (Subscript[ϕ, 2]) + ((Subscript[ϕ, 1]) - (Subscript[ϕ, 3])) (Subscript[ϕ, 3])))), -(((Subscript[ϕ, 1]^2) + (Subscript[ϕ, 2]) - (Subscript[ϕ, 2]^2) + (Subscript[ϕ, 1]) (Subscript[ϕ, 3]))/((1 + (Subscript[ϕ, 1]) - (Subscript[ϕ, 2]) + (Subscript[ϕ, 3])) (-1 + (Subscript[ϕ, 1]) + (Subscript[ϕ, 2]) + (Subscript[ϕ, 3])) (1 + (Subscript[ϕ, 2]) + ((Subscript[ϕ, 1]) - (Subscript[ϕ, 3])) (Subscript[ϕ, 3]))))}]

A[a_, b_, c_] := 
        Flatten[Simplify[
            Solve[{A1 + A2 + 
                    A3 == tcov[a, b, 
                      c][[1]],  
                A1*a + A2*b + 
                    A3*c == tcov[a, b, 
                      c][[2]],  
                A1*a*a + A2*b*b + 
                    A3*c*c == tcov[a, b, 
                      c][[3]]}, {A1, 
                A2, A3}]]];

BiasPhi[x_, y_, z_, f_] := 
      Module[{}, 
        LSBiasPhi[f] /. {a ->  x, b ->  y, c ->  z, 
            A1 -> A[x, y, 
                    z][[1]][[2]], 
            A2 -> A[x, y, 
                    z][[2]][[2]], 
            A3 -> A[x, y, 
                    z][[3]][[2]]}]

end = TimeUsed[];

end - start

Unknown mean case

In the unknown mean case, the autocovariance estimate may be

(Overscript[r, ⋀])(
        h) = (1/n) (Overscript[((∑_(t = 1))), n - h])((Subscript[x, t]) - 
                (Overscript[x, –])) ((Subscript[x, t + h]) - (Overscript[x, –]))

LB[p_, 
          i_] := -(i - 1) R[
                p] - (Sum[R[-t], {t, -∞, 0}] + 
                Sum[R[t], {t, 1, ∞}]) // Simplify;

FirstExp = { LB[0, 1], LB[1, 2], LB[2, 3], LB[3, 4]} // 
        Simplify

FirstTm[
        f_] := (D[f[s0, s1, s2, s3], #] & /@ {s0, s1, s2, 
                s3}) /. {s0 -> (Subscript[γ, 0]), s1 -> (Subscript[γ, 1]), 
            s2 -> (Subscript[γ, 2]), s3 -> (Subscript[γ, 3])} // 
        Simplify

The large sample bias of the Yule Walker estimate in the unknown mean case can be obtained by the large sampel bias from the second order expansions plus the bias from the first order expansions.

The bias from the second order expansion

Known[f_] := LSBiasPhi[f]

The bias from the first order expansion

Bias[f_] := FirstTm[f] . FirstExp

Bias[Ph1]

Known[Ph1]

Bias[Ph2]

Known[Ph2]

Bias[Ph3]

Known[Ph3]