7. El modelo lineal general (en espanol)

7. El modelo lineal general¶

Volvemos a las ciudades de Dwaine Studios del 6. Álgebra de matrices para la regresión. La empresa opera una cadena de estudios de retratos en ciudades medianas, del tipo de lugar que las familias visitan para las fotos de graduación y de fiestas, y quiere una regla para adivinar cuánto venderá un estudio nuevo antes de firmar un contrato de alquiler. Dos datos de una ciudad son fáciles de consultar por adelantado: la cantidad de gente joven (población de 16 años o menos, en miles) y el ingreso disponible per cápita (en miles de dólares). La pregunta es si esos dos números juntos predicen las ventas anuales del estudio lo bastante bien como para guiar la expansión.

En el Capítulo 6 ya armaste este ajuste a mano: construiste la matriz de diseño, formaste $\mathbf{X}'\mathbf{X}$ y $\mathbf{X}'\mathbf{Y}$, invertiste la matriz pequeña y resolviste para los coeficientes $\mathbf{b}$. Lo que esa aritmética no podía decirte es por qué la receta $\mathbf{b} = (\mathbf{X}'\mathbf{X})^{-1}\mathbf{X}'\mathbf{Y}$ es la correcta, ni cuánto confiar en los números que devuelve. Este capítulo demuestra por qué, y convierte el ajuste en inferencia. La Figure 1 muestra el panorama crudo: las ventas suben con cada predictor por separado, pero ninguna gráfica por sí sola te dice qué hacen los dos predictores en conjunto, y ese “en conjunto” es el punto central de la regresión múltiple.

La regresión lineal simple, de los Capítulos 2 y 3, maneja un solo predictor. Las preguntas reales casi siempre traen varios. Podríamos intentar reconstruir toda la teoría predictor por predictor, pero ese camino se vuelve feo rápido: dos predictores, luego tres, cada uno con sus propias ecuaciones normales y fórmulas de varianza. En vez de eso hacemos lo que el 6. Álgebra de matrices para la regresión preparó. Escribimos el modelo una sola vez, en forma matricial, de modo que un predictor o diez se vean idénticos en la página. Todo resultado del Capítulo 2, las estimaciones de mínimos cuadrados, su insesgadez, sus varianzas, la optimalidad de Gauss-Markov, el divisor $n-2$, reaparece aquí en una única forma limpia que funciona para cualquier número de predictores a la vez. Este capítulo es donde la regresión deja de ser una colección de casos especiales y se vuelve un solo método general.

Este es el capítulo más abstracto del curso, y vale la pena decir una palabra sobre cómo leerlo. La geometría del 7.2 La geometría de los mínimos cuadrados es la idea que conviene retener: una vez que imaginas el ajuste como bajar una perpendicular desde los datos hasta el espacio de ajustes posibles, toda demostración que sigue se reduce a uno de dos hechos sobre la matriz sombrero. Sostén esa imagen y el álgebra se vuelve contabilidad.

7.1 El modelo y los mínimos cuadrados en forma matricial¶

Intuición¶

En el Capítulo 2 un solo predictor daba una pendiente y un intercepto. Agrega un segundo predictor y tienes dos pendientes más un intercepto; la respuesta media es ahora un plano inclinado en vez de una recta, como muestra la Figure 2 para Dwaine. Con más predictores es una hoja plana en un espacio que no puedes imaginar. Escribir símbolos separados para cada coeficiente y sumas separadas para cada ecuación normal enterraría la idea bajo la contabilidad. La solución es apilar las observaciones en vectores y matrices y dejar que una línea de álgebra matricial lleve toda la contabilidad por nosotros.

La parte sistemática de cada observación es una suma ponderada de los valores de los predictores de esa ciudad, con los mismos pesos ($\beta_0, \beta_1, \dots$) reutilizados para cada ciudad. Apilar las ciudades verticalmente convierte “los mismos pesos aplicados a cada fila” en un único producto matriz por vector. La Figure 3 muestra los cuatro objetos y sus formas.

Fórmula¶

El modelo lineal general (general linear model) (Definición 7.1) reúne las $n$ observaciones en una sola ecuación matricial.

En palabras: la respuesta de cada observación es igual a una suma ponderada de los valores de los predictores de esa observación más un error aleatorio, y los mismos pesos se reutilizan para cada fila. Los cuatro objetos son:

• $\mathbf{Y}$ es el vector $n \times 1$ de respuestas, una entrada por observación.

• $\mathbf{X}$ es la matriz de diseño (design matrix) $n \times p$ (Definición 7.2). Su primera columna son todos unos (para el intercepto); cada columna restante contiene los valores de un predictor. La fila $i$ son los datos de la ciudad $i$.

• $\boldsymbol{\beta}$ es el vector $p \times 1$ de parámetros desconocidos $(\beta_0, \beta_1, \dots, \beta_{p-1})'$.

• $\boldsymbol{\varepsilon}$ es el vector $n \times 1$ de errores aleatorios.

• $p$ es el número de parámetros, contando el intercepto; con $k$ predictores, $p = k + 1$. Aquí $n = 21$ y $p = 3$.

Los supuestos sobre los errores del Capítulo 2 se vuelven dos enunciados compactos sobre todo el vector a la vez:

En palabras: cada error promedia a cero, y la matriz de covarianza es $\sigma^2$ por la identidad. Ese único símbolo empaqueta los dos supuestos a la vez: cada error tiene la misma varianza $\sigma^2$ (a lo largo de la diagonal), y errores distintos están incorrelacionados (fuera de la diagonal). Como $\mathbf{X}$ y $\boldsymbol{\beta}$ son fijos, $E\{\mathbf{Y}\} = \mathbf{X}\boldsymbol{\beta}$ y $\operatorname{Cov}\{\mathbf{Y}\} = \sigma^2 \mathbf{I}$ también. Suponemos en todo momento que $\mathbf{X}$ tiene rango de columna completo $p$: ningún predictor es una copia de otro, ni una combinación lineal exacta de los demás. Eso es exactamente lo que hace invertible a $\mathbf{X}'\mathbf{X}$ (6.4 La inversa y las ecuaciones normales).

Para ajustar el modelo reutilizamos la idea de mínimos cuadrados de 2.2 Mínimos cuadrados desde los primeros principios: elegir el vector de coeficientes $\mathbf{b}$ que hace que los valores ajustados queden lo más cerca posible de los datos en error cuadrático total. Escribiendo un vector candidato como $\mathbf{b}$, la suma de errores cuadrados es

donde $\mathbf{x}_i'$ es la fila $i$ de $\mathbf{X}$. En palabras: $Q$ es la longitud cuadrada del vector de residuos, la misma cantidad que el Capítulo 2 minimizó, ahora escrita como un único producto punto. El minimizador es el estimador de mínimos cuadrados (least-squares estimator) (Teorema 7.3)

En palabras: reúne los productos cruzados de los predictores ($\mathbf{X}'\mathbf{X}$) y de los predictores con la respuesta ($\mathbf{X}'\mathbf{Y}$), y multiplica por la inversa del primero. Derivamos esto a continuación, y luego lo verificamos en Dwaine.

Derivación por cálculo¶

Demostración. Expande $Q$ usando las reglas de transposición de 6.2 Transpuesta y multiplicación de matrices. Como $\mathbf{b}'\mathbf{X}'\mathbf{Y}$ es un escalar, es igual a su propia transpuesta $\mathbf{Y}'\mathbf{X}\mathbf{b}$, así que los dos términos del medio se combinan:

Minimizamos tomando el gradiente respecto a $\mathbf{b}$ e igualándolo a cero. El gradiente es solo el vector de derivadas parciales, una por cada entrada de $\mathbf{b}$, e igualarlo a cero halla el fondo del tazón. Dos reglas de derivada vectorial hacen el trabajo: para un vector constante $\mathbf{a}$, $\nabla_{\mathbf{b}}(\mathbf{a}'\mathbf{b}) = \mathbf{a}$; y para una matriz simétrica $\mathbf{M}$, $\nabla_{\mathbf{b}}(\mathbf{b}'\mathbf{M}\mathbf{b}) = 2\mathbf{M}\mathbf{b}$. Estas son las gemelas vectoriales de las reglas escalares $\frac{d}{db}(ab) = a$ y $\frac{d}{db}(mb^2) = 2mb$ que ya conoces. La matriz $\mathbf{X}'\mathbf{X}$ es simétrica, así que

Igualar el gradiente a cero y dividir entre 2 da las ecuaciones normales (normal equations) (Definición 7.4)

Como $\mathbf{X}$ tiene rango de columna completo, $\mathbf{X}'\mathbf{X}$ es invertible (6.4 La inversa y las ecuaciones normales), así que podemos multiplicar por la izquierda por $(\mathbf{X}'\mathbf{X})^{-1}$:

Este punto estacionario es el mínimo global, no un punto de silla ni un máximo, porque la matriz de segundas derivadas de $Q$ es $2\mathbf{X}'\mathbf{X}$, que es definida positiva; una cuadrática con hessiana definida positiva es estrictamente convexa y tiene un único punto más bajo. $\blacksquare$

Estas son las mismas ecuaciones normales del Capítulo 2, ahora enunciadas una sola vez para cualquier número de predictores. En 2.2 Mínimos cuadrados desde los primeros principios las dos ecuaciones normales escalares eran $\sum e_i = 0$ y $\sum X_i e_i = 0$; la única ecuación matricial $\mathbf{X}'\mathbf{X}\mathbf{b} = \mathbf{X}'\mathbf{Y}$ contiene ambas y una más por cada predictor adicional, como veremos en 7.7 La regresión simple como caso especial.

R¶

El Capítulo 6 construyó $\mathbf{X}'\mathbf{X}$ y $\mathbf{X}'\mathbf{Y}$ para Dwaine a mano. Aquí dejamos que la computadora las forme y resuelva.

dwaine <- read.csv("data/dwaine.csv")
head(dwaine, 3)
X <- cbind(1, dwaine$targtpop, dwaine$dispoinc)
Y <- dwaine$sales
dim(X)

  targtpop dispoinc sales
1     68.5     16.7 174.4
2     45.2     16.8 164.4
3     91.3     18.2 244.2
[1] 21  3

7.2 La geometría de los mínimos cuadrados¶

Intuición¶

La derivación por cálculo halla la respuesta pero oculta por qué es la respuesta. Hay una imagen que vuelve obvios los mínimos cuadrados, y vale la pena cargarla el resto del curso. Piensa en la respuesta $\mathbf{Y}$ como una sola flecha (un punto) en un espacio de $n$ dimensiones, un eje por observación. A medida que el vector de coeficientes $\mathbf{b}$ recorre todos los valores posibles, el vector ajustado $\hat{\mathbf{Y}} = \mathbf{X}\mathbf{b}$ traza un subespacio plano: toda combinación lineal de las columnas de $\mathbf{X}$. Este subespacio es el espacio de columnas (column space) de $\mathbf{X}$ (Definición 7.5), y contiene toda predicción que el modelo puede llegar a hacer.

El punto de datos $\mathbf{Y}$ casi nunca queda exactamente en ese subespacio, porque los datos reales tienen ruido. Así que el problema de ajuste es: ¿cuál punto del espacio de columnas está más cerca de $\mathbf{Y}$? El punto más cercano de una superficie plana a un punto exterior es el pie de la perpendicular bajada desde el punto hasta la superficie. Ese pie es $\hat{\mathbf{Y}}$, y el segmento perpendicular es el vector de residuos $\mathbf{e} = \mathbf{Y} - \hat{\mathbf{Y}}$. La Figure 4 dibuja exactamente esto para el caso más pequeño que cabe en una página, tres observaciones y dos columnas.

Fórmula¶

La condición geométrica es que el residuo sea ortogonal a cada columna de $\mathbf{X}$:

En palabras: cada columna de $\mathbf{X}$, multiplicada punto por el vector de residuos, da cero, así que el residuo apunta en una dirección que el modelo no puede representar. Al expandir $\mathbf{X}'(\mathbf{Y} - \mathbf{X}\mathbf{b}) = \mathbf{0}$ se recuperan las ecuaciones normales $\mathbf{X}'\mathbf{X}\mathbf{b} = \mathbf{X}'\mathbf{Y}$, de modo que la geometría y el cálculo conducen a la solución idéntica.

Derivación por proyección¶

Derivación (mínimos cuadrados como proyección ortogonal). Sea $\mathbf{b}$ la solución de las ecuaciones normales, de modo que $\mathbf{X}'\mathbf{e} = \mathbf{0}$ con $\mathbf{e} = \mathbf{Y} - \mathbf{X}\mathbf{b}$. Toma cualquier otro vector de coeficientes candidato $\mathbf{b}^{\ast}$, con vector ajustado $\mathbf{X}\mathbf{b}^{\ast}$. Divide la brecha de $\mathbf{Y}$ a ese candidato pasando por $\hat{\mathbf{Y}} = \mathbf{X}\mathbf{b}$:

La segunda pieza $\mathbf{g} = \mathbf{X}(\mathbf{b} - \mathbf{b}^{\ast})$ vive en el espacio de columnas. Su longitud cuadrada se suma sin término cruzado, porque el término cruzado se anula por ortogonalidad:

Por lo tanto, por el teorema de Pitágoras en $n$ dimensiones,

con igualdad solo cuando $\|\mathbf{g}\|^2 = 0$, es decir $\mathbf{X}\mathbf{b}^{\ast} = \mathbf{X}\mathbf{b}$. Como $\mathbf{X}$ tiene rango de columna completo, esto obliga a $\mathbf{b}^{\ast} = \mathbf{b}$. Así que la solución de las ecuaciones normales da la única suma de errores cuadrados más pequeña, y $\hat{\mathbf{Y}}$ es el punto del espacio de columnas más cercano a $\mathbf{Y}$. $\blacksquare$

Esta es la misma identidad algebraica que la demostración del Capítulo 2 en 2.2 Mínimos cuadrados desde los primeros principios, ahora leída como geometría: el término cruzado se anula allí porque $\sum e_i = 0$ y $\sum X_i e_i = 0$, que es precisamente $\mathbf{X}'\mathbf{e} = \mathbf{0}$ escrito por extenso. La vista de proyección (en 6.5 Matrices idempotentes y de proyección) es la que hay que recordar, porque los diagnósticos del Capítulo 9 tratan todos sobre qué observaciones quedan en rincones incómodos del espacio de columnas.

R y Python¶

La ortogonalidad es fácil de enunciar y fácil de dudar, así que la simulación de abajo te entrega los datos y te invita a romperla.

7.3 La matriz sombrero¶

Intuición¶

La Sección 7.2 imaginó el ajuste como una proyección de $\mathbf{Y}$ sobre el espacio de columnas. Esa proyección la realiza una sola matriz, y darle un nombre rinde frutos el resto del capítulo. El vector ajustado es una función lineal fija de los datos: sustituye la fórmula de $\mathbf{b}$ en $\hat{\mathbf{Y}} = \mathbf{X}\mathbf{b}$ y obtienes $\hat{\mathbf{Y}} = \mathbf{X}(\mathbf{X}'\mathbf{X})^{-1}\mathbf{X}'\mathbf{Y}$. La matriz que queda frente a $\mathbf{Y}$ convierte las respuestas crudas en valores ajustados, así que se gana el nombre de matriz sombrero (hat matrix) (Definición 7.6): le pone el sombrero (gorro) a $\mathbf{Y}$. Es la matriz más útil en el resto del curso. Sus entradas diagonales son los valores de apalancamiento que señalan valores de predictores inusuales (Capítulo 9), y su álgebra hace que los resultados de varianza de abajo salgan en una línea.

Fórmula¶

La matriz sombrero y los vectores ajustado y de residuos son

• $\mathbf{H}$ es $n \times n$ y depende solo de los predictores, no de $\mathbf{Y}$.

• $\hat{\mathbf{Y}} = \mathbf{H}\mathbf{Y}$: cada valor ajustado es un promedio ponderado fijo de todas las respuestas, con pesos leídos de una fila de $\mathbf{H}$.

• $\mathbf{e} = (\mathbf{I} - \mathbf{H})\mathbf{Y}$: el residuo es lo que queda después de proyectar, así que $\mathbf{I} - \mathbf{H}$ es en sí misma una proyección, sobre el espacio perpendicular a las columnas de $\mathbf{X}$.

La Figure 7 muestra la matriz sombrero de Toluca como una cuadrícula de pesos; las entradas diagonales, resaltadas, son los valores de apalancamiento $h_{ii}$.

Derivación (propiedades de H)¶

Demostración. Escribe $\mathbf{A} = (\mathbf{X}'\mathbf{X})^{-1}$, que es simétrica porque $\mathbf{X}'\mathbf{X}$ lo es (la inversa de una matriz simétrica es simétrica, por 6.4 La inversa y las ecuaciones normales).

Simétrica. Usando $(\mathbf{BCD})' = \mathbf{D}'\mathbf{C}'\mathbf{B}'$ de 6.2 Transpuesta y multiplicación de matrices,

Idempotente. Proyectar dos veces equivale a proyectar una vez. La $\mathbf{X}'\mathbf{X}$ del medio cancela su inversa:

La Figure 8 muestra por qué: una vez que $\mathbf{H}$ ha dejado un vector en el espacio de columnas, proyectar de nuevo no puede moverlo.

Traza $p$. La traza de una matriz es la suma de sus entradas diagonales. Usa la propiedad cíclica de la traza, $\operatorname{tr}(\mathbf{B}\mathbf{C}) = \operatorname{tr}(\mathbf{C}\mathbf{B})$ (una identidad estándar: ambos lados igualan $\sum_{i,j} B_{ij} C_{ji}$), para deslizar $\mathbf{X}$ alrededor:

En consecuencia $\mathbf{I} - \mathbf{H}$ también es simétrica e idempotente, con $\operatorname{tr}(\mathbf{I} - \mathbf{H}) = n - p$. Esa traza son los grados de libertad del error, y es la razón por la que el divisor en la estimación de la varianza es $n - p$, demostrado en 7.5 Estimación de la varianza del error. $\blacksquare$

R y Python¶

La afirmación de que $\mathbf{H}$ depende solo de los predictores suena a tecnicismo hasta que intentas moverla con la respuesta, que es justo lo que te pide la siguiente simulación.

7.4 La distribución muestral de b¶

Intuición¶

El vector $\mathbf{b}$ salió de una sola muestra de 21 ciudades. Otras 21 ciudades darían un $\mathbf{b}$ un poco distinto, así que $\mathbf{b}$ es aleatorio, con una media y una covarianza a través de las muestras que pudimos haber extraído. Dos preguntas se repiten del Capítulo 2, ahora para todo un vector: ¿es $\mathbf{b}$ correcto en promedio, y cuánto varía? Las respuestas son limpias porque $\mathbf{b}$ es una matriz fija por $\mathbf{Y}$, y 6.7 Vectores aleatorios, esperanza y matrices de covarianzas nos dice exactamente cómo pasan las medias y las covarianzas a través de un mapa lineal.

Fórmula¶

El vector de mínimos cuadrados es insesgado con una matriz de covarianza construida a partir de $(\mathbf{X}'\mathbf{X})^{-1}$:

En palabras: en promedio $\mathbf{b}$ da en el vector de coeficientes verdadero, y su matriz de covarianza es $\sigma^2$ por la matriz inversa de productos cruzados. Las entradas diagonales son las varianzas de los coeficientes individuales; las entradas fuera de la diagonal son las covarianzas entre ellos, por lo cual dos coeficientes pueden estar correlacionados (la nube inclinada de la Figure 10). Reemplazar $\sigma^2$ por su estimación $\mathrm{MSE}$ da la matriz de covarianza estimada $s^2\{\mathbf{b}\} = \mathrm{MSE}\,(\mathbf{X}'\mathbf{X})^{-1}$, cuyas raíces cuadradas diagonales son los errores estándar que imprime el software.

Derivación (media y covarianza de b)¶

Demostración. Escribe $\mathbf{b} = \mathbf{A}\mathbf{Y}$ con la matriz fija $\mathbf{A} = (\mathbf{X}'\mathbf{X})^{-1}\mathbf{X}'$. Para una matriz fija por un vector aleatorio, 6.7 Vectores aleatorios, esperanza y matrices de covarianzas da $E\{\mathbf{A}\mathbf{Y}\} = \mathbf{A}\,E\{\mathbf{Y}\}$ y $\operatorname{Cov}\{\mathbf{A}\mathbf{Y}\} = \mathbf{A}\operatorname{Cov}\{\mathbf{Y}\}\mathbf{A}'$.

Media. Como $E\{\mathbf{Y}\} = \mathbf{X}\boldsymbol{\beta}$,

Covarianza. Como $\operatorname{Cov}\{\mathbf{Y}\} = \sigma^2\mathbf{I}$,

donde la $\mathbf{X}'\mathbf{X}$ del medio cancela una inversa y la simetría de $(\mathbf{X}'\mathbf{X})^{-1}$ maneja la transpuesta. $\blacksquare$

Si agregamos el supuesto de normalidad $\boldsymbol{\varepsilon} \sim N(\mathbf{0}, \sigma^2\mathbf{I})$, entonces $\mathbf{Y}$ es normal multivariante, y un mapa lineal fijo de una normal multivariante es de nuevo normal multivariante (6.8 La normal multivariante, en breve). Así que

En palabras: bajo errores normales cada coeficiente se distribuye normalmente alrededor de su valor verdadero, y esto es lo que impulsa las pruebas $t$ y los intervalos de confianza del Capítulo 8. La Figure 10 confirma la covarianza por simulación: reajustar muchos conjuntos de datos dispersa las dos pendientes de Dwaine en una elipse inclinada que coincide con $\sigma^2 (\mathbf{X}'\mathbf{X})^{-1}$.

R y Python¶

La fórmula de la covarianza es una predicción sobre datos que no has recogido, así que la simulación de abajo los recoge por ti mil veces y la comprueba.

7.5 Estimación de la varianza del error¶

Intuición¶

Los coeficientes describen el plano; el modelo todavía tiene una incógnita más, la varianza del error $\sigma^2$, que fija cuánto se dispersan los datos fuera del plano. Como en el Capítulo 2 la estimamos a partir de los residuos, pero ahora debemos hallar el divisor correcto para un modelo con $p$ parámetros en vez de 2. La respuesta es $n - p$, y la razón es la traza que calculamos en 7.3 La matriz sombrero: ajustar $p$ coeficientes gasta $p$ direcciones de los datos, y deja $n - p$ direcciones para que viva el residuo. La Figure 12 mantiene la contabilidad a la vista: las $n$ direcciones de los datos se dividen en una parte de ajuste y una parte de residuo, y promediamos el residuo cuadrado sobre sus propias $n - p$ direcciones, no sobre las $n$.

Fórmula¶

La suma de cuadrados del error (error sum of squares) y el estimador de $\sigma^2$ son

• $\mathrm{SSE}$ es la longitud cuadrada del vector de residuos, la variación que el modelo no explicó.

• $\mathrm{MSE}$ divide $\mathrm{SSE}$ entre sus grados de libertad $n - p$, y estima $\sigma^2$.

• $s$ es la desviación estándar del error estimada, en las unidades de $Y$.

Derivación (por qué el divisor es n - p)¶

Necesitamos un hecho sobre el valor esperado de una forma cuadrática. Es demostrable a nuestro nivel, así que lo demostramos y luego lo aplicamos.

Lema (esperanza de una forma cuadrática). Para cualquier vector aleatorio $\mathbf{Y}$ con media $\boldsymbol{\mu}$ y covarianza $\boldsymbol{\Sigma}$, y cualquier matriz simétrica fija $\mathbf{A}$,

Demostración. El escalar $\mathbf{Y}'\mathbf{A}\mathbf{Y}$ es igual a su propia traza, y la traza es cíclica, así que $\mathbf{Y}'\mathbf{A}\mathbf{Y} = \operatorname{tr}(\mathbf{A}\mathbf{Y}\mathbf{Y}')$. Tomando esperanzas y usando $E\{\mathbf{Y}\mathbf{Y}'\} = \boldsymbol{\Sigma} + \boldsymbol{\mu}\boldsymbol{\mu}'$ (6.7 Vectores aleatorios, esperanza y matrices de covarianzas),

ya que $\operatorname{tr}(\mathbf{A}\boldsymbol{\mu}\boldsymbol{\mu}') = \boldsymbol{\mu}'\mathbf{A}\boldsymbol{\mu}$ es un escalar. $\blacksquare$

Demostración del Teorema 7.9. Aplica el lema con $\mathbf{A} = \mathbf{I} - \mathbf{H}$, $\boldsymbol{\mu} = \mathbf{X}\boldsymbol{\beta}$, y $\boldsymbol{\Sigma} = \sigma^2\mathbf{I}$. Las dos piezas son:

Pieza de la traza. $\operatorname{tr}\!\big((\mathbf{I} - \mathbf{H})\sigma^2\mathbf{I}\big) = \sigma^2 \operatorname{tr}(\mathbf{I} - \mathbf{H}) = \sigma^2 (n - p)$, usando la traza de 7.3 La matriz sombrero.

Pieza de la media. El término de la media se anula, porque $(\mathbf{I} - \mathbf{H})\mathbf{X} = \mathbf{X} - \mathbf{H}\mathbf{X} = \mathbf{X} - \mathbf{X} = \mathbf{0}$ (la matriz sombrero deja sin cambio las columnas de $\mathbf{X}$, ya que estas ya están en el espacio de columnas). Por lo tanto

Combinando, $E\{\mathrm{SSE}\} = \sigma^2(n - p) + 0 = (n - p)\sigma^2$, así que

El divisor $n - p$, y ningún otro, hace insesgado al $\mathrm{MSE}$. $\blacksquare$

Este es el resultado del Capítulo 2 $E\{\mathrm{MSE}\} = \sigma^2$ generalizado: allí $p = 2$ daba el divisor $n - 2$; aquí cualquier modelo divide entre $n$ menos el número de parámetros. La Figure 13 muestra qué sale mal con el divisor ingenuo $n$: dividir entre $n$ en vez de $n - p$ sesga la estimación hacia abajo, y la brecha es mayor cuando $p$ es una fracción grande de $n$.

R y Python¶

También podemos leer qué tan bien ajusta el plano en general. La variación total $\mathrm{SSTO} = \sum (Y_i - \bar{Y})^2$ se divide en la parte que el modelo explica y la parte que no, y $R^2 = 1 - \mathrm{SSE}/\mathrm{SSTO}$ reporta la fracción explicada, exactamente como en 3.6 El enfoque del análisis de varianza pero ahora para muchos predictores.

SSTO <- sum((Y - mean(Y))^2)
SSR <- SSTO - SSE
c(SSTO = round(SSTO, 2), SSR = round(SSR, 2), SSE = round(SSE, 2),
  R2 = round(1 - SSE / SSTO, 4))

      SSTO        SSR        SSE         R2
26196.2100 24015.2800  2180.9300     0.9167

SSTO = np.sum((Y - Y.mean()) ** 2)
SSR = SSTO - SSE
print(round(SSTO, 2), round(SSR, 2), round(SSE, 2), round(1 - SSE / SSTO, 4))

26196.21 24015.28 2180.93 0.9167

Los dos predictores juntos explican alrededor del $91.7\%$ de la variación en las ventas de Dwaine. El Capítulo 8 desglosa este número, advierte cómo solo puede subir cuando se agregan predictores, y construye la prueba lineal general sobre el $\mathrm{SSE}$ que acabamos de calcular (8.3 Sumas de cuadrados adicionales).

7.6 El teorema de Gauss-Markov¶

Intuición¶

Elegimos los mínimos cuadrados porque el error cuadrático es una penalización natural, y el Capítulo 2 premió esa elección: en la regresión simple, ningún otro estimador lineal insesgado supera a $b_1$. El mismo premio se cumple para el vector completo, y la demostración matricial apenas es más larga que la escalar. La afirmación es que cualquier competidor construido como una combinación lineal fija de las respuestas, y obligado a ser correcto en promedio, debe tener una matriz de covarianza al menos tan grande como la de $\mathbf{b}$. No se necesita normalidad; los supuestos de errores de media cero, varianza constante e incorrelacionados bastan. La Figure 14 muestra la recompensa en Toluca: los mínimos cuadrados y un estimador insesgado competidor están ambos centrados en la verdad, pero los mínimos cuadrados se dispersan mucho menos.

Fórmula¶

Derivación (b es MELI)¶

Demostración. Sea $\mathbf{b}^{\ast} = \mathbf{C}\mathbf{Y}$ cualquier estimador lineal con una matriz fija $\mathbf{C}$ de $p \times n$. Su media es $E\{\mathbf{C}\mathbf{Y}\} = \mathbf{C}\mathbf{X}\boldsymbol{\beta}$. Para que $\mathbf{b}^{\ast}$ sea insesgado para $\boldsymbol{\beta}$ para todo $\boldsymbol{\beta}$ posible, necesitamos

Escribe $\mathbf{C} = (\mathbf{X}'\mathbf{X})^{-1}\mathbf{X}' + \mathbf{D}$, definiendo $\mathbf{D}$ como la diferencia respecto a la matriz de mínimos cuadrados. La condición de insesgadez $\mathbf{C}\mathbf{X} = \mathbf{I}$ se vuelve

Ahora calcula la covarianza. Como $\operatorname{Cov}\{\mathbf{Y}\} = \sigma^2\mathbf{I}$, $\operatorname{Cov}\{\mathbf{b}^{\ast}\} = \sigma^2\mathbf{C}\mathbf{C}'$. Expande $\mathbf{C}\mathbf{C}'$ con $\mathbf{C} = (\mathbf{X}'\mathbf{X})^{-1}\mathbf{X}' + \mathbf{D}$. Los dos términos cruzados se anulan porque $\mathbf{D}\mathbf{X} = \mathbf{0}$ (y su transpuesta $\mathbf{X}'\mathbf{D}' = \mathbf{0}$):

Lo que sobrevive es

Por lo tanto

Para cualquier $\mathbf{c}$ fijo, la varianza del escalar $\mathbf{c}'\mathbf{b}^{\ast}$ es

El término agregado $\sigma^2\|\mathbf{D}'\mathbf{c}\|^2 \ge 0$ es una longitud cuadrada, así que todo competidor lineal insesgado tiene varianza al menos la de $\mathbf{c}'\mathbf{b}$, con igualdad solo cuando $\mathbf{D}'\mathbf{c} = \mathbf{0}$; hacer que $\mathbf{c}$ recorra los vectores coordenados obliga a $\mathbf{D} = \mathbf{0}$, es decir, el competidor es $\mathbf{b}$ mismo. Los mínimos cuadrados son MELI. $\blacksquare$

Poniendo $\mathbf{X} = [\mathbf{1}, \mathbf{x}]$ y $\mathbf{c} = (0, 1)'$ se recupera el enunciado del Capítulo 2 de que $b_1$ es MELI (2.5 Comportamiento muestral y el teorema de Gauss-Markov); la demostración matricial hizo cada coeficiente, y cada combinación lineal de coeficientes, a la vez.

7.7 La regresión simple como caso especial¶

Intuición¶

Todo lo de los Capítulos 2 y 3 debería salir de las fórmulas matriciales cuando hay un solo predictor, y así es. Verlo ocurrir una vez convierte las fórmulas generales de abstracciones en herramientas confiables: la misma máquina que ajustó el plano de Dwaine ajusta la recta de Toluca, y devuelve los números exactos que ya conoces. La Figure 15 es toda la idea en una imagen: una fórmula, dos trabajos.

Derivación (las fórmulas matriciales se reducen al Capítulo 2)¶

Derivación (el caso $p = 2$). Con un predictor, la matriz de diseño es $\mathbf{X} = [\mathbf{1}, \mathbf{x}]$, así que

donde $S_{xx} = \sum (X_i - \bar{X})^2$ y $S_{xy} = \sum (X_i - \bar{X})(Y_i - \bar{Y})$ son las sumas de cuadrados y productos cruzados del Capítulo 2, y $\bar{X}, \bar{Y}$ son las medias muestrales. La inversa de una matriz $2 \times 2$ divide entre su determinante $\det(\mathbf{X}'\mathbf{X}) = n\sum X_i^2 - (\sum X_i)^2 = n\,S_{xx}$ (6.4 La inversa y las ecuaciones normales),

Multiplicar por $\mathbf{X}'\mathbf{Y}$ y simplificar (cada entrada colapsa usando $\sum X_i = n\bar{X}$ y las definiciones de $S_{xx}, S_{xy}$) da

que son exactamente los estimadores del Capítulo 2 $b_0 = \bar{Y} - b_1\bar{X}$ y $b_1 = S_{xy}/S_{xx}$. La matriz de covarianza se reduce de la misma manera: la entrada inferior derecha de $\sigma^2(\mathbf{X}'\mathbf{X})^{-1}$ es $\sigma^2 n / (n S_{xx}) = \sigma^2/S_{xx}$, que coincide con $\operatorname{Var}\{b_1\}$, y la entrada superior izquierda es $\sigma^2 \sum X_i^2/(n S_{xx}) = \sigma^2(1/n + \bar{X}^2/S_{xx})$, que coincide con $\operatorname{Var}\{b_0\}$ de 2.5 Comportamiento muestral y el teorema de Gauss-Markov. $\blacksquare$

El Ejemplo 7.5 ya confirmó esto numéricamente: la tubería matricial devolvió los $b_0 = 62.3659$, $b_1 = 3.5702$ de Toluca, y los errores estándar 26.1774 y 0.3470, las mismas cifras que el Capítulo 2 produjo a partir de las fórmulas escalares. El modelo lineal general no reemplaza a la regresión simple; la contiene.

7.8 Resumen del capítulo¶

Este capítulo convirtió la aritmética matricial del Capítulo 6 en una regresión múltiple completa. Una ecuación, $\mathbf{Y} = \mathbf{X}\boldsymbol{\beta} + \boldsymbol{\varepsilon}$, lleva cualquier número de predictores. Los mínimos cuadrados proyectan $\mathbf{Y}$ sobre el espacio de columnas de $\mathbf{X}$, dando $\mathbf{b} = (\mathbf{X}'\mathbf{X})^{-1}\mathbf{X}'\mathbf{Y}$ por cálculo y por geometría por igual. La matriz sombrero $\mathbf{H}$ empaqueta esa proyección, y sus dos propiedades, ser una proyección (simétrica e idempotente) con traza $p$, impulsan la distribución muestral de $\mathbf{b}$, el divisor $n - p$ en el $\mathrm{MSE}$, y la optimalidad de Gauss-Markov. Cada fórmula del Capítulo 2 regresa como el caso especial $p = 2$.

Resultados clave de un vistazo.

Términos clave. modelo lineal general, matriz de diseño, ecuaciones normales, estimador de mínimos cuadrados, espacio de columnas, matriz sombrero, matriz idempotente, rango de columna completo, grados de libertad del error, mejor estimador lineal insesgado (MELI).

Ahora deberías poder.

• Escribir cualquier regresión lineal como $\mathbf{Y} = \mathbf{X}\boldsymbol{\beta} + \boldsymbol{\varepsilon}$ e identificar la matriz de diseño, el vector de coeficientes y el vector de errores.

• Derivar $\mathbf{b} = (\mathbf{X}'\mathbf{X})^{-1}\mathbf{X}'\mathbf{Y}$ de dos maneras: por cálculo y por proyección ortogonal.

• Interpretar los mínimos cuadrados geométricamente como la proyección de $\mathbf{Y}$ sobre el espacio de columnas de $\mathbf{X}$, con el residuo perpendicular a él.

• Demostrar que la matriz sombrero $\mathbf{H}$ es simétrica e idempotente con traza $p$, y usarla para escribir valores ajustados y residuos.

• Derivar la media y la covarianza de $\mathbf{b}$ y enunciar su distribución muestral bajo errores normales.

• Demostrar que $s^2 = \mathrm{MSE} = \mathrm{SSE}/(n-p)$ es insesgado para $\sigma^2$ usando la traza de $\mathbf{I}-\mathbf{H}$.

• Enunciar y demostrar el teorema de Gauss-Markov en forma matricial: $\mathbf{b}$ es el mejor estimador lineal insesgado.

• Recuperar cada fórmula de la regresión simple del Capítulo 2 como el caso especial $p = 2$.

Dónde encaja esto. Este capítulo es el motor general para la etapa AJUSTAR del flujo de trabajo del curso (El flujo de trabajo del modelado): estima los coeficientes y la varianza del error para un modelo de cualquier tamaño, reemplazando el álgebra predictor por predictor de los Capítulos 2 y 3 con una fórmula que una computadora puede correr para diez predictores tan fácilmente como para uno. También arma la etapa VERIFICAR, porque la matriz sombrero $\mathbf{H}$ es el objeto que el Capítulo 9 (9. Diagnósticos del modelo) convierte en los valores de apalancamiento y las medidas de influencia, y la etapa USAR, porque $\operatorname{Cov}\{\mathbf{b}\}$ es lo que el Capítulo 8 convierte en pruebas e intervalos. El Capítulo 8 toma el ajuste de Dwaine construido aquí, interpreta cada coeficiente con cuidado, y desarrolla la maquinaria de sumas de cuadrados extra y de la prueba lineal general (8.3 Sumas de cuadrados adicionales) que decide qué predictores necesita un modelo.

7.9 Preguntas frecuentes¶

P1. ¿Por qué la matriz de diseño necesita una columna de unos? La columna de unos permite que el intercepto $\beta_0$ se maneje como cualquier otro coeficiente: su “valor de predictor” es 1 para cada observación, así que $\beta_0 \cdot 1$ es la misma base para cada fila. Sin ella el plano ajustado sería forzado a pasar por el origen. La primera ecuación normal, que viene de esa columna, es exactamente $\sum e_i = 0$.

P2. ¿Qué significa rango de columna completo, y qué se rompe sin él? Rango de columna completo significa que ninguna columna de predictor es una combinación lineal de las demás (incluida la columna de unos). Si una lo es, digamos un predictor registrado tanto en metros como en pies, entonces $\mathbf{X}'\mathbf{X}$ es singular y $(\mathbf{X}'\mathbf{X})^{-1}$ no existe, así que no hay un $\mathbf{b}$ único: infinitos vectores de coeficientes ajustan igual de bien. El software entonces descarta una columna o devuelve un error. Las casi-violaciones (predictores muy correlacionados) son multicolinealidad, el tema del Capítulo 12.

P3. ¿Vale la pena calcular la matriz sombrero para datos reales? Como matriz completa $n \times n$, por lo general no; el software obtiene los valores ajustados y los residuos de forma más barata. Pero sus entradas diagonales $h_{ii}$, los valores de apalancamiento, se calculan y usan constantemente en los diagnósticos, y su álgebra (simétrica, idempotente, traza $p$) es lo que hace funcionar la teoría. Piensa en $\mathbf{H}$ como una herramienta de demostración y una fuente de los valores de apalancamiento, no como algo que imprimes.

P4. ¿Por qué el divisor es $n - p$ y no $n - 1$ o $n$? Cada parámetro que estimas usa un grado de libertad antes de medir los residuos. Una varianza muestral estima una cantidad (la media) y divide entre $n - 1$; una regresión con $p$ parámetros divide entre $n - p$. La derivación por traza de 7.5 Estimación de la varianza del error muestra $E\{\mathrm{SSE}\} = (n - p)\sigma^2$ exactamente, así que $n - p$ es el único divisor que hace insesgado al $\mathrm{MSE}$. Dividir entre $n$ (la elección de máxima verosimilitud) es sesgado hacia abajo.

P5. ¿Necesito errores normales para algo de esto? No, para la mayoría no. El estimador $\mathbf{b}$, su insesgadez, su covarianza $\sigma^2(\mathbf{X}'\mathbf{X})^{-1}$, la insesgadez del $\mathrm{MSE}$, y la optimalidad de Gauss-Markov se cumplen todas solo con errores de media cero, varianza constante e incorrelacionados. La normalidad es un supuesto extra, usado para obtener la distribución muestral normal multivariante exacta de $\mathbf{b}$ y las pruebas $t$ y $F$ del Capítulo 8.

P6. Los coeficientes de Dwaine de la fórmula matricial y de lm coincidieron exactamente. ¿Eso está siempre garantizado? Sí, salvo diferencias diminutas de punto flotante. Ambos calculan el mismo $(\mathbf{X}'\mathbf{X})^{-1}\mathbf{X}'\mathbf{Y}$; lm y statsmodels usan una rutina más estable numéricamente (una descomposición QR o SVD) en vez de formar la inversa explícitamente, lo cual importa solo para diseños mal condicionados. Para datos bien portados como estos, cada dígito impreso coincide.

P7. ¿Por qué las dos estimaciones de pendiente de Dwaine están correlacionadas negativamente en la Figure 10? Porque los dos predictores están ellos mismos correlacionados positivamente entre ciudades. Cuando una muestra hace que la pendiente de población salga alta, el ajuste compensa haciendo que la pendiente de ingreso salga baja para evitar contar dos veces la señal compartida. Ese intercambio es exactamente la entrada fuera de la diagonal de $\sigma^2(\mathbf{X}'\mathbf{X})^{-1}$, y es por lo que no puedes leer la incertidumbre de un coeficiente sin toda la matriz de covarianza.

7.10 Problemas de práctica¶

1. (A) Escribe el modelo de Dwaine en la forma $\mathbf{Y} = \mathbf{X}\boldsymbol{\beta} + \boldsymbol{\varepsilon}$, dando las dimensiones de cada uno de los cuatro objetos y describiendo la primera columna de $\mathbf{X}$.

2. (A) Explica en una oración cada uno qué representan $\mathbf{X}'\mathbf{X}$ y $\mathbf{X}'\mathbf{Y}$, y por qué las ecuaciones normales los usan.

3. (A) Enuncia los dos supuestos de error $E\{\boldsymbol{\varepsilon}\} = \mathbf{0}$ y $\operatorname{Cov}\{\boldsymbol{\varepsilon}\} = \sigma^2\mathbf{I}$ en palabras simples, diciendo qué codifican la diagonal y la fuera de la diagonal de $\sigma^2\mathbf{I}$ cada una.

4. (A) En la imagen de proyección, ¿qué es el espacio de columnas de $\mathbf{X}$, dónde queda $\hat{\mathbf{Y}}$, y en qué dirección apunta el residuo? Responde sin fórmulas.

5. (A) Da las tres propiedades de la matriz sombrero demostradas en este capítulo y di qué significa cada una geométricamente.

6. (A) ¿Por qué el divisor en $\mathrm{MSE}$ es igual a $n - p$? Responde nombrando qué cuenta el número $p$ y qué cuenta $n - p$.

7. (A) Un colega dice “con normalidad el estimador de mínimos cuadrados es MELI; sin ella, no lo es”. Corrige el enunciado, nombrando exactamente qué supuestos usa el teorema de Gauss-Markov.

8. (A) Explica por qué $\mathbf{X}\mathbf{X}'$ (una matriz $n \times n$) no puede reemplazar a $\mathbf{X}'\mathbf{X}$ en las ecuaciones normales.

9. (B) Partiendo de $Q(\mathbf{b}) = (\mathbf{Y} - \mathbf{X}\mathbf{b})'(\mathbf{Y} - \mathbf{X}\mathbf{b})$, expándela, toma el gradiente, y deriva las ecuaciones normales y $\mathbf{b} = (\mathbf{X}'\mathbf{X})^{-1}\mathbf{X}'\mathbf{Y}$ (Teorema 7.3). Justifica por qué el punto estacionario es un mínimo.

10. (B) Demuestra la identidad de proyección $\|\mathbf{Y} - \mathbf{X}\mathbf{b}^{\ast}\|^2 = \|\mathbf{e}\|^2 + \|\mathbf{X}(\mathbf{b} - \mathbf{b}^{\ast})\|^2$ para cualquier $\mathbf{b}^{\ast}$, mostrando que el término cruzado se anula, y concluye que $\mathbf{b}$ minimiza de forma única el SSE.

11. (B) Demuestra que $\mathbf{H} = \mathbf{X}(\mathbf{X}'\mathbf{X})^{-1}\mathbf{X}'$ es simétrica e idempotente (Teorema 7.7). Luego demuestra que $\mathbf{I} - \mathbf{H}$ también es simétrica e idempotente.

12. (B) Demuestra $\operatorname{tr}(\mathbf{H}) = p$ usando la propiedad cíclica de la traza, y deduce $\operatorname{tr}(\mathbf{I} - \mathbf{H}) = n - p$.

13. (B) Muestra $\mathbf{H}\mathbf{X} = \mathbf{X}$ y úsalo para demostrar $(\mathbf{I} - \mathbf{H})\mathbf{X} = \mathbf{0}$. Explica en palabras por qué la matriz sombrero deja sin cambio las columnas de $\mathbf{X}$.

14. (B) Deriva $E\{\mathbf{b}\} = \boldsymbol{\beta}$ y $\operatorname{Cov}\{\mathbf{b}\} = \sigma^2(\mathbf{X}'\mathbf{X})^{-1}$ (Teorema 7.8), nombrando los hechos de vectores aleatorios que usas en cada paso. Luego, agregando el supuesto $\boldsymbol{\varepsilon} \sim N(\mathbf{0}, \sigma^2\mathbf{I})$, enuncia la distribución muestral completa de $\mathbf{b}$ y explica por qué la media y la covarianza no necesitaron normalidad pero este enunciado distribucional sí.

15. (B) Demuestra el lema de la forma cuadrática $E\{\mathbf{Y}'\mathbf{A}\mathbf{Y}\} = \operatorname{tr}(\mathbf{A}\boldsymbol{\Sigma}) + \boldsymbol{\mu}'\mathbf{A}\boldsymbol{\mu}$, y luego úsalo para mostrar $E\{\mathrm{SSE}\} = (n - p)\sigma^2$ (Teorema 7.9).

16. (B) Enuncia y demuestra el teorema de Gauss-Markov en forma matricial (Teorema 7.10). ¿Dónde en la demostración entra el supuesto $\operatorname{Cov}\{\boldsymbol{\varepsilon}\} = \sigma^2\mathbf{I}$, y dónde entra el rango de columna completo?

17. (B) Para el diseño de regresión simple $\mathbf{X} = [\mathbf{1}, \mathbf{x}]$, calcula $\mathbf{X}'\mathbf{X}$, su determinante, y $(\mathbf{X}'\mathbf{X})^{-1}$, y deriva $b_1 = S_{xy}/S_{xx}$ y $b_0 = \bar{Y} - b_1\bar{X}$ a partir de la fórmula matricial.

18. (B) Usando la reducción del problema 17, deriva $\operatorname{Var}\{b_1\} = \sigma^2/S_{xx}$ y $\operatorname{Var}\{b_0\} = \sigma^2(1/n + \bar{X}^2/S_{xx})$ a partir de $\sigma^2(\mathbf{X}'\mathbf{X})^{-1}$.

19. (B) Muestra que $\operatorname{Cov}\{\mathbf{e}, \hat{\mathbf{Y}}\} = \mathbf{0}$ bajo el modelo, usando $\hat{\mathbf{Y}} = \mathbf{H}\mathbf{Y}$, $\mathbf{e} = (\mathbf{I} - \mathbf{H})\mathbf{Y}$, y $\mathbf{H}(\mathbf{I} - \mathbf{H}) = \mathbf{0}$. ¿Por qué importa esto para los diagnósticos?

20. (B) Demuestra que agregar un predictor (una columna nueva a $\mathbf{X}$) no puede aumentar el $\mathrm{SSE}$, usando el argumento de proyección de que agrandar el espacio de columnas solo puede acercar $\hat{\mathbf{Y}}$ a $\mathbf{Y}$.

21. (C) Lee dwaine.csv, construye $\mathbf{X}$ y $\mathbf{Y}$, y calcula $\mathbf{b}$ a partir de $(\mathbf{X}'\mathbf{X})^{-1}\mathbf{X}'\mathbf{Y}$ en R o Python. Confirma que tu respuesta coincide con lm / smf.ols.

22. (C) Para el ajuste de Dwaine, calcula el vector de residuos y verifica numéricamente que $\mathbf{X}'\mathbf{e} = \mathbf{0}$ (las tres entradas) y que $\sum \hat{Y}_i = \sum Y_i$.

23. (C) Construye la matriz sombrero de Dwaine y verifica que es simétrica e idempotente y tiene traza 3. Luego reporta las cinco entradas diagonales $h_{ii}$ más grandes y di qué indica un $h_{ii}$ grande sobre los predictores de esa ciudad.

24. (C) Calcula $\mathrm{SSE}$, $\mathrm{MSE}$ y $s$ para Dwaine de dos maneras: a partir del vector de residuos, y de summary / .summary2(). Luego calcula $\mathrm{SSE}/n$ y reporta el porcentaje en que subestima al $\mathrm{MSE}$.

25. (C) Calcula la matriz de covarianza estimada $\mathrm{MSE}\,(\mathbf{X}'\mathbf{X})^{-1}$ para Dwaine, reporta los tres errores estándar, y confirma que coinciden con el resumen incorporado. Reporta la correlación entre las dos estimaciones de pendiente a partir de la entrada fuera de la diagonal.

26. (C) Reajusta Toluca a través de las fórmulas matriciales y confirma $b_0 = 62.3659$, $b_1 = 3.5702$, $\mathrm{MSE} = 2383.72$, y los dos errores estándar, coincidiendo con el Capítulo 2 hasta el último dígito.

27. (C) Escribe una simulación (semilla 4210) que extraiga 2000 conjuntos de datos del modelo ajustado de Dwaine, reajuste cada uno, y reporte la media de las 2000 estimaciones de cada coeficiente (verificando la insesgadez) y la desviación estándar de la pendiente de población objetivo (verificando $\operatorname{Cov}\{\mathbf{b}\}$).

28. (C) Haz la regresión de sales de Dwaine sobre targtpop sola, luego sobre targtpop y dispoinc juntas, y confirma numéricamente que agregar dispoinc baja el $\mathrm{SSE}$. Relaciona la caída con el argumento de proyección del problema 20.

7.11 Práctica de examen¶

EP 7.1 (interpretar la salida en contexto). Un colega ajusta el modelo de Dwaine en R y lee la tabla de coeficientes.

            Estimate Std. Error t value Pr(>|t|)
(Intercept) -68.8571    60.0170 -1.1473   0.2663
targtpop      1.4546     0.2118  6.8682   0.0000
dispoinc      9.3655     4.0640  2.3045   0.0333

Interpreta el coeficiente de targtpop y su valor $t$ en el contexto de las ventas del estudio, siendo explícito sobre qué se mantiene fijo. Luego evalúa la conclusión del colega: “el intercepto tiene $p = 0.27$, así que no es significativamente distinto de cero, lo que significa que el modelo está mal especificado y deberíamos quitar el intercepto”. Di si la conclusión es correcta y por qué.

EP 7.2 (explicar por qué, y qué cambiaría si). Explica con oraciones completas por qué el divisor en $\mathrm{MSE} = \mathrm{SSE}/(n - p)$ es $n - p$ y no $n$. Luego responde un “qué cambiaría si”: supón que un analista siguió agregando predictores a los datos de Dwaine hasta que el modelo tuvo $p = 21$ parámetros, uno por cada observación. Describe qué le pasa al $\mathrm{SSE}$, al divisor, y al $\mathrm{MSE}$, y explica por qué un ajuste con $\mathrm{SSE} = 0$ es una advertencia y no un éxito.

EP 7.3 (un estudiante afirma X, evalúa). Un estudiante escribe: “Agregar un predictor nunca puede aumentar el $\mathrm{SSE}$, y siempre sube el $R^2$. Así que la mejor estrategia es seguir agregando predictores hasta que el $R^2$ esté lo más cerca posible de 1”. Usando la imagen de proyección de los mínimos cuadrados, evalúa las dos afirmaciones factuales y la estrategia que respaldan.

EP 7.4 (interpretar salida calculada en contexto). Los valores de apalancamiento $h_{ii}$ son las entradas diagonales de la matriz sombrero $\mathbf{H} = \mathbf{X}(\mathbf{X}'\mathbf{X})^{-1}\mathbf{X}'$ para el ajuste de Dwaine. Los seis más grandes, y una verificación de su suma, están abajo.

row 20  targtpop=  82.7  dispoinc= 19.1  h_ii=0.2788
row 13  targtpop=  88.4  dispoinc= 17.4  h_ii=0.2390
row 15  targtpop=  52.5  dispoinc= 17.8  h_ii=0.2095
row  3  targtpop=  91.3  dispoinc= 18.2  h_ii=0.1737
row  5  targtpop=  46.9  dispoinc= 17.3  h_ii=0.1620
row 19  targtpop=  89.6  dispoinc= 18.1  h_ii=0.1611
sum(h_ii) = 3.0000     mean(targtpop)=62.02  mean(dispoinc)=17.14

Explica qué dice un $h_{ii}$ grande sobre una ciudad, e interpreta por qué la fila 20 tiene el valor de apalancamiento más grande aunque su población objetivo (82.7) no es la más grande en los datos. Luego explica por qué los valores de apalancamiento suman exactamente 3, y usa el corte de regla empírica $2p/n = 0.286$ para decir si alguna ciudad de Dwaine debería llamarse un punto de alto apalancamiento.

EP 7.5 (qué cambiaría si). Un analista reexpresa la población objetivo en cientos de personas en vez de miles, multiplicando cada valor de targtpop por 10, y reajusta. Las dos tablas de coeficientes están abajo.

original                              rescaled
             Estimate Std. Error       Estimate Std. Error
(Intercept)  -68.8571    60.0170       -68.8571    60.0170
targtpop       1.4546     0.2118        0.1455     0.0212
dispoinc       9.3655     4.0640        9.3655     4.0640
original  MSE=121.16  R2=0.9167     rescaled  MSE=121.16  R2=0.9167

Explica, con oraciones completas y con referencia al álgebra del modelo, por qué el coeficiente de población objetivo y su error estándar se dividen ambos entre 10 mientras que su valor $t$, los valores ajustados, el $\mathrm{MSE}$, y el $R^2$ quedan todos sin cambio. ¿Qué te dice esto sobre leer el tamaño de un coeficiente como una medida de la importancia de un predictor?