代做MA 575: Midterm Practice代写Web开发

- 首页 >> Algorithm 算法

MA 575: Midterm Practice

(1) Let Y = (Y1, Y2 , Y3 , Y4 )  be a Gaussian random vector with mean and covariance matrix given by

(a) Find the marginal distribution of (Y1, Y3 ).

(b) Find the distribution of Z = Y1 + 2Y2 − Y3 + 3Y4 .

(c) Find the joint distribution of

where Z1 = Y1 + Y2  − Y3 − Y4, and Z2 = −3Y1 + Y2 + 2Y3 − 2Y4 .

(2) Consider a simple linear regression model yi  = β0 +β1xi + ϵi, where the error terms ϵi’s are assumed independent with expected value 0 and variance σ2 .  We do not assume a Gaussian distribution. Suppose that we center the variable x such that Σi xi  = 0.

(a) Find the expressions of the least squares estimates βˆ0 and βˆ1 that incorporate the information that Σi xi  = 0.

(b) Find the expressions of Var(βˆ0), Var(βˆ1), and Cov(βˆ0 , βˆ1) that incorporate the infor- mation that Σi xi = 0.

(3) Suppose we collect data {(yi,xi, zi),  1  ≤ i ≤ n} on n independent individuals, where yi records the weight, xi  records the heights in inch, and zi  records the height in cm on the i-th individual.  We recall that  1 inch = α cm, where α = 2.54.  Suppose that we fit two simple linear regression models

and

Show that the two models have the same R2 .

(4) Consider the multiple linear regression model

y = Xβ + ϵ ,   where  E(ϵ) = 0,  and   Var(ϵ) = σ2 In,

where y = (y1 ,..., yn)′  ∈ Rn, ϵ = (ϵ1 ,...,ϵn)′  ∈ Rn, and X  ∈ Rn× (p+1) .  Let β⋆ ∈ Rp+1 , and σ⋆ 2 denote the true values of the parameters. The residuals sum of squares is defined as RSS = Σi=1ˆ(ϵ)i(2), where ˆ(ϵ)i = yi − ˆ(y)i, and where yˆ = X βˆ, and where βˆ is the least squares estimate of β . We assume that X is full rank column.

(a) Show that

RSS = y′ y − βˆ′ X′ y = y′ y − βˆ′ X′ X βˆ.

(b) Write the RSS as a function of y and the H matrix H = X(X X)−1X . More specifi- cally, show that

RSS = y′ (In − H)y.

(c) Show that (In − H)X = 0, and X (In − H) = 0, and deduce that

RSS = ϵ (In − H)ϵ .

(d) Deduce that (although we do not assume Gaussian distribution as in class) we still have

E(RSS) = σ2⋆ − p − 1).


站长地图