4. Correlación (en espanol)

4. Correlación¶

¿Por qué algunos países ahorran una gran parte de su ingreso mientras otros no ahorran casi nada? En la década de 1960, economistas que estudiaban la teoría del ciclo de vida del ahorro reunieron una pequeña tabla de varios países para buscar una respuesta. Para 50 países registraron la tasa agregada de ahorro personal, promediada de 1960 a 1970. Junto a ella anotaron algunas características de cada economía: la fracción de la población menor de 15 años, la fracción mayor de 75, el ingreso per cápita y qué tan rápido crecía ese ingreso. La idea del ciclo de vida predice que las personas ahorran durante sus años laborales y gastan esos ahorros cuando son jóvenes o ancianas, así que un país con muchos dependientes, jóvenes o ancianos, debería ahorrar menos.

La Figure 1 muestra la primera parte de esa tabla: la tasa de ahorro frente a la proporción de la población menor de 15 años. La nube desciende. Los países con más niños tienden a ahorrar menos, tal como dice la teoría. Pero ¿qué tan fuerte es esa tendencia? “Desciende” es una imagen, no un número, y una imagen no puede entrar en un informe ni en una comparación. Queremos un solo número que mida qué tan estrechamente se mueven juntas dos cantidades, uno que no dependa de si el ahorro se expresa en porcentaje o el ingreso en dólares, y al que podamos adjuntar un margen de error.

Ese número es el coeficiente de correlación (correlation coefficient) (definido formalmente en la Definición 4.1), y este capítulo trata de leerlo con honestidad. En los Capítulos 2 y 3 construimos toda una recta y probamos cada una de sus partes, desde la pendiente hasta el intervalo de predicción; la correlación hace una pregunta más pequeña y más simétrica, qué tan estrechamente se mueven juntas dos cantidades, y la Sección 4.2 mostrará que es ese mismo ajuste visto a través de un solo número. La correlación es el resumen de trabajo de una relación en línea recta: comprime todo un diagrama de dispersión en un solo valor entre -1 y +1. También es uno de los números más maltratados en toda la estadística, culpado por afirmaciones causales que nunca hizo, inflado por valores atípicos, escondido por curvas y encogido por una muestra mal elegida. Al terminar podrás calcularlo, probarlo, construirle un intervalo y, tan importante como lo anterior, decir cuándo te está mintiendo.

4.1 El coeficiente de correlación¶

Intuición¶

Aquí está la meta en una frase sencilla: tomar todo un diagrama de dispersión y reducirlo a un solo número que diga qué tan estrechamente se mueven juntas las dos cosas, y hacer que ese número salga igual sin importar en qué unidades las mediste. Ese número es la correlación, y esta sección la construye a partir de piezas que ya tienes.

La pendiente de regresión del Capítulo 2 ya mide cómo se mueve $Y$ con $X$, pero lleva las unidades del problema: para los datos de ahorro la pendiente está en porcentaje de ahorro por punto porcentual de población joven. Cambia el ahorro a una fracción en lugar de un porcentaje y la pendiente cambia también. Eso hace difícil comparar pendientes entre distintos pares de variables. La correlación resuelve el problema de las unidades midiendo la asociación en una escala pura, sin dimensiones.

El truco es estandarizar. Antes de comparar cómo se mueven dos variables, ponlas a ambas en igualdad de condiciones: resta la media de cada variable y divide entre su desviación estándar, de modo que cada una se convierta en un conjunto de puntuaciones z sin unidades. Un país que está una desviación estándar por encima de la media en población joven y media desviación estándar por debajo de la media en ahorro aporta un producto de $(+1)(-0.5) = -0.5$ al conteo. Suma esos productos y promédialos, y habrás medido si un $X$ por encima del promedio tiende a venir con un $Y$ por encima del promedio (positivo), por debajo del promedio (negativo) o con ninguno (cerca de cero). El promedio de los productos estandarizados siempre cae entre -1 y +1. Ese promedio es la correlación.

La Figure 2 hace visible esta contabilidad sobre los datos de ahorro. Divide el gráfico en las dos medias en cuatro cuadrantes. Un país en el cuadrante superior derecho o inferior izquierdo está del mismo lado de ambas medias, así que su producto es positivo. Un país en los otros dos cuadrantes está en lados opuestos, así que su producto es negativo. Como más juventud tiende a venir con menos ahorro, la mayoría de los puntos caen en los dos cuadrantes negativos, y el promedio de todos los productos sale negativo. Ese promedio negativo es la correlación.

Fórmula¶

Recuerda las sumas de desviaciones de 2.2 Mínimos cuadrados desde los primeros principios: $S_{xx} = \sum (X_i - \bar X)^2$, $S_{yy} = \sum (Y_i - \bar Y)^2$, y el producto cruzado $S_{xy} = \sum (X_i - \bar X)(Y_i - \bar Y)$. Estandarizar la covarianza entre las dos desviaciones estándar da la correlación.

• $s_{xy}$ es la covarianza: el producto promedio de las desviaciones emparejadas, positivo cuando $X$ y $Y$ tienden a estar del mismo lado de sus medias.

• $s_x = \sqrt{S_{xx}/(n-1)}$ y $s_y = \sqrt{S_{yy}/(n-1)}$ son las desviaciones estándar muestrales de $X$ y $Y$.

• $r$ es la covarianza reescalada entre las dos desviaciones estándar, lo cual cancela todas las unidades y fija el valor dentro de $[-1, 1]$.

En palabras: $r$ es la covarianza de $X$ y $Y$ medida en unidades de desviación estándar de cada una, así que dice cuántas desviaciones estándar se mueve $Y$, en promedio, por cada desviación estándar de $X$, con un tope de uno. Los factores $(n-1)$ en $s_{xy}$, $s_x$ y $s_y$ se cancelan en el cociente, y por eso la segunda forma de $r$ usa las sumas de desviaciones crudas sin ningún divisor.

Derivación (por qué $r$ vive en $[-1, 1]$)¶

Demostración. Estandariza ambas variables. Escribe $u_i = (X_i - \bar X)/s_x$ y $v_i = (Y_i - \bar Y)/s_y$. Por construcción $\sum u_i^2 = (n-1)$ y $\sum v_i^2 = (n-1)$ (las desviaciones al cuadrado de $X$ suman $S_{xx}$, y dividir cada una entre $s_x^2 = S_{xx}/(n-1)$ deja $n-1$; lo mismo para $Y$), y la correlación es $r = \frac{1}{n-1}\sum u_i v_i$. Ahora usa el hecho de que una suma de cuadrados nunca es negativa. Para cualquiera de las dos elecciones de signo,

Divide entre $2(n-1) > 0$. La elección del signo más da $0 \le 1 + r$, así que $r \ge -1$; la elección del signo menos da $0 \le 1 - r$, así que $r \le 1$. Por lo tanto $-1 \le r \le 1$. La igualdad se cumple solo cuando la suma al cuadrado es exactamente cero, es decir cuando $v_i = \pm u_i$ para todo $i$: los puntos estandarizados caen en una recta perfecta, así que $r = \pm 1$ significa una relación exacta en línea recta y nada menos. $\blacksquare$

R¶

Leer una correlación es más fácil una vez que ves toda una tabla de ellas. La función cor aplicada a varias columnas devuelve la matriz de correlación (correlation matrix), todas las correlaciones por pares a la vez.

savings <- read.csv("data/savings.csv")
round(cor(savings[, c("sr", "pop15", "pop75", "dpi", "ddpi")]), 3)

          sr  pop15  pop75    dpi   ddpi
sr     1.000 -0.456  0.317  0.220  0.305
pop15 -0.456  1.000 -0.908 -0.756 -0.048
pop75  0.317 -0.908  1.000  0.787  0.025
dpi    0.220 -0.756  0.787  1.000 -0.129
ddpi   0.305 -0.048  0.025 -0.129  1.000

La diagonal es toda de unos (cada variable se correlaciona perfectamente consigo misma), y la matriz es simétrica. La tasa de ahorro sr se correlaciona -0.456 con la proporción de población joven y +0.317 con la proporción de población anciana, exactamente los dos signos que predice la teoría del ciclo de vida. Nota también el -0.908 entre pop15 y pop75: los países con muchos niños tienen pocos ancianos y viceversa, así que esos dos predictores llevan casi la misma información. Esa casi duplicación importará cuando los datos de ahorro regresen para la regresión múltiple en el Capítulo 8 y para los diagnósticos en el Capítulo 9.

Para calibrar tu ojo, la Figure 3 muestra seis nubes con correlaciones desde fuertemente negativa hasta casi perfecta. Una correlación de $\pm 0.3$ todavía parece una mancha sin forma para la mayoría de la gente; hay que llegar a 0.7 o así antes de que la tendencia lineal salte a la vista. La correlación de ahorro de -0.46 está entre el segundo y el tercer panel.

Leer una correlación a partir de una imagen es una habilidad que se entrena, y los seis paneles congelados de arriba solo te llevan hasta cierto punto, así que recorre el deslizador de abajo por todo el rango y calibra tu ojo contra una nube que se mueve.

4.2 La correlación y la pendiente de regresión¶

Intuición¶

La correlación y la pendiente de regresión del Capítulo 2 están midiendo la misma relación, así que no pueden ser números independientes. La pendiente $b_1$ responde “cuántas unidades de $Y$ por unidad de $X$”, llevando unidades; la correlación $r$ responde “cuántas desviaciones estándar de $Y$ por desviación estándar de $X$”, sin llevar ninguna. Convierte una en la otra poniendo o quitando las unidades, lo cual significa multiplicar o dividir por el cociente de las dos desviaciones estándar. Esta sección hace eso exacto, porque el vínculo entre $r$ y $b_1$ explica un hecho que encontrarás una y otra vez: la correlación al cuadrado es la fracción de la varianza que explica la regresión.

Fórmula¶

La pendiente y la correlación están ligadas por

• $b_1 = S_{xy}/S_{xx}$ es la pendiente de mínimos cuadrados de $Y$ sobre $X$ de 2.2 Mínimos cuadrados desde los primeros principios.

• $s_x, s_y$ son las desviaciones estándar muestrales, así que $s_y/s_x$ es el factor de conversión de unidades entre las dos escalas.

• $R^2 = \mathrm{SSR}/\mathrm{SSTO}$ es el coeficiente de determinación de 3.8 R cuadrada y su interpretación, la parte de la variación total en $Y$ que explica la recta ajustada.

En palabras: la pendiente es la correlación escalada según cuánta más dispersión tiene $Y$ que $X$, y elevar al cuadrado la correlación da exactamente la proporción de la varianza de $Y$ que explica la regresión.

Derivación (el vínculo exacto entre $r$, $b_1$ y $R^2$)¶

Demostración. Parte de las dos definiciones y factoriza. Como $s_y/s_x = \sqrt{S_{yy}/S_{xx}}$ (los factores $(n-1)$ se cancelan),

Despejando $r$ se obtiene $r = b_1\, s_x/s_y$. Ambas estimaciones comparten el signo de $S_{xy}$, así que una pendiente positiva siempre viene con una correlación positiva y nunca discrepan en signo.

Ahora la conexión con $R^2$. A partir de la recta ajustada de 2.2 Mínimos cuadrados desde los primeros principios la suma de cuadrados de la regresión es $\mathrm{SSR} = \sum(\hat Y_i - \bar Y)^2 = b_1^2 S_{xx}$, y como $b_1 S_{xx} = S_{xy}$ esto es $\mathrm{SSR} = b_1 S_{xy}$. Divide entre $\mathrm{SSTO} = S_{yy}$:

Así que el coeficiente de determinación no es más que la correlación al cuadrado, en la regresión lineal simple. $\blacksquare$

Vale la pena enunciar una consecuencia más, porque explica un enigma del Capítulo 2. Si regresas $X$ sobre $Y$ en lugar de $Y$ sobre $X$, la pendiente es $b_1' = S_{xy}/S_{yy}$. Multiplica las dos pendientes:

Las dos pendientes de regresión son recíprocas solo cuando $r^2 = 1$, es decir solo cuando el ajuste es perfecto. De lo contrario, regresar $Y$ sobre $X$ y $X$ sobre $Y$ dan rectas genuinamente distintas, y sus pendientes se multiplican para dar $r^2$. La correlación es el único resumen simétrico al que no le importa a cuál variable llames la respuesta.

4.3 Inferencia para la correlación¶

Intuición¶

El -0.46 es una correlación muestral, calculada a partir de los 50 países que resultaron estar en la tabla. Detrás de ella hay una correlación poblacional $\rho$ (la letra griega rho), el valor que obtendríamos de todos los países que podrían existir bajo las mismas condiciones. Tenemos las mismas dos preguntas de siempre: ¿podría el verdadero $\rho$ ser cero, con nuestro -0.46 solo como ruido de muestreo, y qué rango de valores de $\rho$ es consistente con los datos? La primera es una prueba de hipótesis, la segunda un intervalo de confianza. La prueba resulta ser una que ya conoces disfrazada, y el intervalo necesita un cambio de variable ingenioso.

Fórmula¶

Para probar $H_0: \rho = 0$ contra $H_a: \rho \ne 0$, usa

Para un intervalo de confianza primero cambiamos de escala, usando la transformación $z$ de Fisher (Fisher’s z).

La Figure 5 muestra lo que hace la transformación. Cerca del centro de la escala apenas cambia $r$: un paso de 0.45 a 0.50 mueve $z$ solo 0.06. Pero a medida que $r$ se acerca a las paredes en $\pm 1$ la curva se vuelve casi vertical, así que el mismo paso de 0.05 de 0.90 a 0.95 mueve $z$ en 0.36, más de cinco veces más lejos. La transformación da a los valores amontonados cerca del techo espacio para expandirse, que es exactamente lo que convierte su pila desbalanceada en una campana simétrica.

En esta escala la distribución muestral de $z$ es aproximadamente normal con una dispersión que ya no depende del $\rho$ desconocido, $z \approx N(\operatorname{arctanh}(\rho),\ 1/(n-3))$; la siguiente derivación muestra por qué, y el Teorema 4.7 lo enuncia con precisión.

• $t^{\ast}$ es el estadístico de prueba; bajo la hipótesis nula de no correlación sigue una distribución $t$ con $n-2$ grados de libertad.

• $\operatorname{arctanh}$ es la tangente hiperbólica inversa; estira los extremos amontonados de la escala $[-1,1]$ hacia $\pm\infty$.

• El estadístico transformado $z$ es aproximadamente normal con una varianza, $1/(n-3)$, que ya no depende del $\rho$ desconocido.

En palabras: la prueba de correlación es una prueba $t$ con $n-2$ grados de libertad, y para construir un intervalo nos movemos a una escala donde la distribución muestral es normal con una dispersión conocida, construimos el intervalo ahí, y transformamos de vuelta.

Derivación (la prueba $t$ de correlación es la prueba $t$ de la pendiente)¶

Demostración. De 3.7 La prueba F y su equivalencia con la prueba t la pendiente se prueba con $t = b_1 / s\{b_1\}$, donde $s\{b_1\} = \sqrt{\mathrm{MSE}/S_{xx}}$ y $\mathrm{MSE} = \mathrm{SSE}/(n-2)$. Dos hechos de 4.2 La correlación y la pendiente de regresión hacen el trabajo. Primero, $\mathrm{SSE} = \mathrm{SSTO} - \mathrm{SSR} = S_{yy}(1 - r^2)$, ya que $\mathrm{SSR} = r^2 S_{yy}$. Segundo, $b_1\sqrt{S_{xx}} = r\,(s_y/s_x)\sqrt{S_{xx}} = r\sqrt{S_{yy}}$. Sustituye:

El $S_{yy}$ se cancela, y el estadístico $t$ de la pendiente y el estadístico $t$ de la correlación son el mismo número idéntico. Probar “¿es cero la pendiente?” y “¿es cero la correlación?” son la misma prueba, como deben serlo, ya que $b_1$ y $r$ comparten un signo y se anulan juntos. $\blacksquare$

Esbozo de derivación (la transformación $z$ de Fisher)¶

La prueba $t$ maneja $\rho = 0$, pero un intervalo de confianza para un $\rho$ distinto de cero es más difícil, por dos razones. Cuando $\rho$ está lejos de cero la distribución muestral de $r$ es sesgada, porque $r$ queda atrapado bajo el techo en 1 (o sobre el piso en -1) y se amontona contra él. Y la varianza de $r$ depende del propio $\rho$, así que ni siquiera podemos escribir un error estándar fijo. La idea de Fisher fue encontrar una transformación $g(r)$ que cure ambos problemas a la vez.

Demostración (esbozo). Para una muestra de una población normal bivariada, la teoría de muestras grandes da a $r$ una media aproximada $\rho$ y una varianza

Queremos una función $g$ tal que $g(r)$ tenga una varianza libre de $\rho$. El método delta (una expansión de Taylor de primer orden, $g(r) \approx g(\rho) + g'(\rho)(r - \rho)$) dice

Para eliminar la dependencia de $\rho$, exige $g'(\rho) = 1/(1-\rho^2)$. Integrar esa derivada da

y con esta elección $\operatorname{Var}(g(r)) \approx 1/n$, constante al fin. El análisis más fino de Fisher reemplaza el $n$ por $n-3$ para un mejor ajuste en muestras pequeñas y muestra que la distribución de $z = \operatorname{arctanh}(r)$ es cercana a la normal, no sesgada. Así que $z \approx N(\operatorname{arctanh}(\rho),\, 1/(n-3))$. $\blacksquare$

Dos notas de honestidad. La distribución muestral exacta de $r$ bajo normalidad bivariada se conoce en forma cerrada pero es una función especial complicada; la aproximación normal a $z$ es lo que todo el mundo realmente usa, y la siguiente simulación muestra por qué es segura. Y todo el argumento supone que los datos son en verdad normales bivariados. Cuando eso está en duda, el bootstrap del Capítulo 5 (5.4 El bootstrap para la regresión) da un intervalo de confianza para $\rho$ que no se apoya en ningún supuesto distribucional.

Para construir un intervalo del 95 por ciento: calcula $z = \operatorname{arctanh}(r)$, forma $z \pm 1.96/\sqrt{n-3}$, y transforma ambos extremos de vuelta con $\tanh$.

La transformación, verificada por simulación¶

El argumento de Fisher se apoyó en dos afirmaciones: que $r$ es sesgado mientras que $z$ es casi normal, y que la desviación estándar de $z$ es cercana a $1/\sqrt{n-3}$. Ambas son verificables sin más álgebra. Extrae muchas muestras de una normal bivariada con un $\rho$ conocido, calcula $r$ cada vez, y observa la pila de resultados.

set.seed(4210)
simulate_r <- function(n, rho, reps = 10000) {
  replicate(reps, {
    z1 <- rnorm(n)
    z2 <- rnorm(n)
    xa <- z1
    ya <- rho * z1 + sqrt(1 - rho^2) * z2
    cor(xa, ya)
  })
}
rs <- simulate_r(n = 20, rho = 0.7)
zs <- atanh(rs)
round(c(mean_r = mean(rs), sd_r = sd(rs),
        mean_z = mean(zs), sd_z = sd(zs),
        theory_sd_z = 1 / sqrt(20 - 3)), 4)

     mean_r        sd_r      mean_z        sd_z theory_sd_z 
     0.6919      0.1250      0.8906      0.2412      0.2425 

rng = np.random.default_rng(4210)
def simulate_r(n, rho, reps=10000):
    out = np.empty(reps)
    for i in range(reps):
        z1 = rng.standard_normal(n)
        z2 = rng.standard_normal(n)
        xa = z1
        ya = rho * z1 + np.sqrt(1 - rho ** 2) * z2
        out[i] = np.corrcoef(xa, ya)[0, 1]
    return out

rs = simulate_r(20, 0.7)
zs = np.arctanh(rs)
print(round(rs.mean(), 4), round(rs.std(ddof=1), 4),
      round(zs.mean(), 4), round(zs.std(ddof=1), 4),
      round(1 / np.sqrt(20 - 3), 4))

0.6893 0.1254 0.8852 0.2405 0.2425

La desviación estándar simulada de $z$ es 0.2412 (R) y 0.2405 (Python), ambas un pelo por debajo del teórico $1/\sqrt{17} = 0.2425$, lo que confirma la fórmula de la varianza. La media de $z$ cae cerca de $\operatorname{arctanh}(0.7) = 0.867$, próxima al 0.89 simulado. La Figure 6 cuenta la mitad visual de la historia: las correlaciones crudas se agrupan y sesgan hacia el techo en 1, mientras que los valores transformados se sitúan bajo una curva normal simétrica. Ese sesgo es exactamente por qué nunca construimos el intervalo en la escala cruda de $r$.

4.4 El modelo normal bivariado¶

Intuición¶

Hasta ahora hemos imaginado una variable como un conjunto de perillas que fijamos de antemano, con solo la otra libre de variar, el montaje de regresión del Capítulo 2. La correlación tiene un segundo hogar, más equitativo, donde ambas mediciones son aleatorias y llegan juntas como un par, como la estatura y el peso de una persona al azar medidos en el mismo momento. En esa imagen las dos variables se extraen juntas de una sola distribución conjunta. La distribución más limpia de ese tipo es la normal bivariada (bivariate normal), cuyas líneas de contorno son elipses. Cuando la correlación es cero la elipse es un círculo; a medida que crece la correlación el círculo se estira e inclina hacia la línea de 45 grados, volviéndose un cigarro delgado a medida que se acerca a $\pm 1$. La Figure 7 muestra la progresión.

Fórmula¶

En palabras: la fórmula da más miedo que la idea. La densidad se acumula más alta en el punto central $(\mu_X, \mu_Y)$ y decae en anillos ovalados a su alrededor, y el único número $\rho$ decide cuánto se inclinan y estiran esos anillos alejándose de los círculos. Lee las piezas una a la vez.

• $\mu_X, \mu_Y$ son las dos medias y $\sigma_X, \sigma_Y$ las dos desviaciones estándar.

• $\rho$ es la correlación poblacional; es el único parámetro que liga $X$ y $Y$, y $\rho = 0$ hace que la densidad se factorice en dos normales separadas.

• La forma cuadrática entre corchetes es lo que dibuja los contornos elípticos; su término cruzado lleva el $\rho$.

El hecho más útil sobre este modelo es lo que dice sobre $Y$ una vez que conoces $X$. La distribución condicional (conditional distribution) de $Y$ dado $X = x$ es de nuevo normal, con

En palabras: dentro de una normal bivariada, la regresión de $Y$ sobre $X$ es exactamente lineal, con pendiente poblacional $\rho\,\sigma_Y/\sigma_X$, y la varianza restante es la varianza original encogida por el factor $1 - \rho^2$.

Derivación (la recta de regresión oculta)¶

Demostración. La densidad conjunta se factoriza como $f(x,y) = f_X(x)\, f(y \mid x)$, donde $f_X$ es la marginal $N(\mu_X, \sigma_X^2)$. Divide la densidad completa entre esa marginal. Los términos que dependen solo de $x$ se cancelan, y después de completar el cuadrado en $y$ dentro del exponente, lo que queda es una densidad normal en $y$ con media $\mu_Y + \rho(\sigma_Y/\sigma_X)(x-\mu_X)$ y varianza $\sigma_Y^2(1-\rho^2)$. El paso de completar el cuadrado es la misma álgebra que se usa para la normal univariada; el término cruzado $-2\rho(x-\mu_X)(y-\mu_Y)/(\sigma_X\sigma_Y)$ es lo que empuja el centro de la distribución condicional fuera de $\mu_Y$ por una cantidad proporcional a $(x - \mu_X)$. $\blacksquare$

Compara la pendiente poblacional $\rho\,\sigma_Y/\sigma_X$ con la pendiente muestral $b_1 = r\,s_y/s_x$ de 4.2 La correlación y la pendiente de regresión: son la misma fórmula, una con cantidades poblacionales y otra con sus estimaciones muestrales. La recta de regresión del Capítulo 2 es la versión muestral de la media condicional de la normal bivariada. Y la identidad de la varianza $\operatorname{Var}\{Y \mid X\} = \sigma_Y^2(1 - \rho^2)$ es la gemela poblacional de $R^2 = r^2$: conocer $X$ elimina la fracción $\rho^2$ de la varianza de $Y$, dejando $1 - \rho^2$. Cuando $\rho = 0.7$, conocer $X$ explica 0.49 de la varianza y deja algo más de la mitad.

4.5 La correlación de rangos de Spearman¶

Intuición¶

La $r$ de Pearson mide la asociación en línea recta, y confía en cada valor tal como es, así que un solo punto extremo puede moverla mucho. A menudo te interesa una pregunta más suave: a medida que $X$ sube, ¿tiende $Y$ a subir, sea o no a lo largo de una línea recta? Esa es una pregunta sobre orden, no sobre distancia, y tiene su propio coeficiente. La correlación de rangos de Spearman (Spearman rank correlation) (Definición 4.10) reemplaza cada valor por su rango (el más pequeño es 1, el siguiente es 2, y así) y luego calcula la correlación de Pearson ordinaria de esos rangos. Como los rangos ignoran qué tan separados están los valores y solo ven su orden, Spearman no se perturba por un valor atípico solitario ni por curvas que son monótonas pero no rectas.

La Figure 8 muestra el caso de la curva. A la izquierda hay una relación que siempre sube pero se dobla, así que Pearson lee solo 0.91, penalizando el doblez. Reemplaza cada valor por su rango, y los mismos puntos se ajustan a una diagonal perfecta: el rango 1 en $X$ se empareja con el rango 1 en $Y$, el rango 2 con el rango 2, y así hasta arriba. Como el orden es perfecto, aunque el espaciado no lo sea, Spearman es exactamente 1. Los rangos enderezan cualquier curva monótona.

Fórmula¶

• $\operatorname{rank}(X_i)$ es la posición de $X_i$ en la lista ordenada de los valores de $X$, y análogamente para $Y$.

• $r_S$ está en $[-1, 1]$ igual que la $r$ de Pearson, es igual a +1 para cualquier relación estrictamente creciente (no solo una línea recta) y -1 para cualquier relación estrictamente decreciente.

En palabras: Spearman es Pearson aplicado a los rangos, así que mide si las dos variables suben y bajan juntas en orden, y no le importa el espaciado exacto de los valores.

R y Python¶

Los datos de ahorro tienen un caso de prueba natural. La tasa de crecimiento del ingreso, ddpi, se correlaciona con la tasa de ahorro, pero un país, Libia, tuvo una enorme tasa de crecimiento del ingreso durante el periodo y solo una tasa de ahorro mediana. Ese único punto arrastra hacia abajo la correlación de Pearson. Spearman, que ve a Libia simplemente como “el país de mayor crecimiento” en lugar de como un punto muy alejado a la derecha, se perturba menos.

Ninguno de los dos números es “el correcto”. Responden preguntas distintas. Pearson pregunta sobre la fuerza en línea recta y cuenta la distancia de Libia; Spearman pregunta sobre el orden monótono y no lo hace. Cuando discrepan, esa discrepancia es información: dice que hay presente un valor atípico o una curva, y deberías mirar el gráfico antes de citar cualquiera de los dos.

La distancia entre los dos coeficientes es más fácil de creer cuando la abres y la cierras con tu propio dedo, así que arrastra el sustituto de Libia y observa cuál de los dos números reacciona.

4.6 Cuatro maneras en que una correlación miente¶

Un solo número que comprime un diagrama de dispersión debe tirar información, y a veces tira la parte que importaba. La demostración fundacional es el cuarteto de Anscombe: cuatro conjuntos de datos, construidos por el estadístico Frank Anscombe en 1973, que comparten las mismas medias, las mismas desviaciones estándar, la misma correlación de 0.816 y la misma recta ajustada, y sin embargo no se parecen en nada.

anscombe <- read.csv("data/anscombe.csv")
stats_row <- function(i) {
  xi <- anscombe[[paste0("x", i)]]
  yi <- anscombe[[paste0("y", i)]]
  f <- lm(yi ~ xi)
  c(set = i, mean_x = mean(xi), mean_y = mean(yi),
    r = cor(xi, yi), b0 = coef(f)[[1]], b1 = coef(f)[[2]])
}
round(t(sapply(1:4, stats_row)), 3)

     set mean_x mean_y     r    b0  b1
[1,]   1      9  7.501 0.816 3.000 0.5
[2,]   2      9  7.501 0.816 3.001 0.5
[3,]   3      9  7.500 0.816 3.002 0.5
[4,]   4      9  7.501 0.817 3.002 0.5

anscombe = pd.read_csv("data/anscombe.csv")
for i in range(1, 5):
    xi = anscombe[f"x{i}"]
    yi = anscombe[f"y{i}"]
    f = smf.ols(f"y{i} ~ x{i}", data=anscombe).fit()
    print(i, round(xi.mean(), 2), round(yi.mean(), 3),
          round(xi.corr(yi), 3), round(f.params.iloc[0], 3),
          round(f.params.iloc[1], 3))

1 9.0 7.501 0.816 3.0 0.5
2 9.0 7.501 0.816 3.001 0.5
3 9.0 7.5 0.816 3.002 0.5
4 9.0 7.501 0.817 3.002 0.5

Las cuatro filas son idénticas hasta tres decimales. La Figure 11 las grafica, y solo el gráfico revela la verdad. El Conjunto I es una dispersión lineal genuina, el caso honesto. El Conjunto II es una curva suave, donde una correlación en línea recta es el resumen totalmente equivocado. El Conjunto III es una recta perfecta con un valor atípico que inclina el ajuste y baja $r$ de 1 a 0.82. El Conjunto IV es el más alarmante: diez puntos apilados en un solo valor de $x$ no llevan ninguna información sobre la pendiente, y un solo punto solitario muy a la derecha inventa toda la correlación. Elimina ese único punto y $r$ queda indefinida. La lección que sacó Anscombe, y el primer hábito de cualquier analista honesto, es graficar los datos antes de confiar en el número.

El cuarteto es una pieza de museo, construida para dejar clara la idea. Los mismos cuatro fallos aparecen en datos reales, así que aquí están uno por uno, con el mecanismo nombrado.

No linealidad. La correlación mide solo la asociación en línea recta. Una relación puede ser perfectamente predecible y aun así tener una correlación de Pearson cercana a cero, como en una forma de U simétrica donde $Y$ cae y luego sube: las mitades de bajada y de subida se cancelan. Una $r$ pequeña nunca significa “sin relación”. Significa “sin relación en línea recta”, y la única forma de distinguir es mirar. El Conjunto II de Anscombe es esta trampa; el remedio es un diagrama de dispersión y, si aparece una curva, las transformaciones del Capítulo 10.

Valores atípicos. Como $r$ eleva al cuadrado las distancias, un solo punto muy alejado de la multitud puede dominar la suma, ya sea fabricando una correlación (Conjunto IV) o destruyéndola (Conjunto III). El ejemplo de Libia en la Figure 9 es la versión suave, con datos reales. Las defensas son graficar los datos, verificar si uno o dos puntos están impulsando el resultado recalculando sin ellos, y reportar Spearman junto con Pearson cuando discrepan.

Restricción del rango. La correlación depende de la dispersión de $X$. Aprieta esa dispersión y la correlación se encoge hacia cero, aunque la relación subyacente no haya cambiado en absoluto. Los datos de estatura de Galton lo muestran con claridad.

galton <- read.csv("data/galton_heights.csv")
band <- galton[galton$midparentHeight >= 69 & galton$midparentHeight <= 71, ]
round(c(full_r = cor(galton$midparentHeight, galton$childHeight),
        full_n = nrow(galton),
        band_r = cor(band$midparentHeight, band$childHeight),
        band_n = nrow(band),
        sd_full = sd(galton$midparentHeight),
        sd_band = sd(band$midparentHeight)), 3)

 full_r  full_n  band_r  band_n sd_full sd_band 
  0.321 934.000   0.143 393.000   1.802   0.527 

A lo largo de los 934 hijos la correlación entre la estatura media de los padres y la estatura del hijo es 0.32. Conserva solo las familias cuya estatura media de los padres está entre 69 y 71 pulgadas, recortando la desviación estándar de las estaturas de los padres de 1.80 a 0.53, y la correlación cae por más de la mitad a 0.14, como muestra la Figure 12. Nada sobre la herencia cambió; simplemente dejamos de mirar a los padres bajos y altos. Por esto una correlación calculada dentro de un grupo estrecho, estudiantes admitidos, empleados contratados, pacientes que sobreviven, subestima de forma rutinaria la asociación en la población completa. Siempre que leas una correlación débil, pregúntate sobre qué rango de $X$ se calculó.

Fija tú mismo el ancho de esa banda y comprueba cuánta correlación puedes destruir sin tocar un solo dato.

Correlación ecológica. Una correlación calculada sobre promedios de grupo no es la correlación para los individuos, y suele ser mayor, porque promediar cancela la dispersión dentro del grupo. Agrupa a los hijos de Galton por familia y correlaciona la estatura media del hijo de la familia con la estatura media de los padres.

fam <- aggregate(cbind(midparentHeight, childHeight) ~ family,
                 data = galton, FUN = mean)
round(c(individual_r = cor(galton$midparentHeight, galton$childHeight),
        family_r = cor(fam$midparentHeight, fam$childHeight),
        n_families = nrow(fam)), 3)

individual_r     family_r   n_families 
       0.321        0.399      205.000 

La correlación a nivel individual es 0.32; la correlación de promedios familiares es 0.40, como muestra la Figure 14. Promediar suaviza las diferencias de hermano a hermano y deja una imagen más apretada, así que el número agregado exagera qué tan bien puede predecirse la estatura de un hijo a partir de los padres. Inferir el comportamiento individual a partir de promedios de grupo es la falacia ecológica (ecological fallacy), y ha llevado a errores reales: una correlación entre países, estados o distritos puede ser fuerte mientras que la misma correlación entre las personas dentro de ellos es débil o incluso opuesta. La unidad que correlacionas es parte de la afirmación.

La afirmación de Anscombe solo cala si confirmas que los números de verdad se quedan quietos mientras la imagen cambia, así que recorre tú mismo los cuatro conjuntos y fija la vista en los valores y no en la gráfica.

4.7 La regresión a la media, y por qué la correlación no es causalidad¶

Hay una quinta confusión que merece su propia sección, porque engañó al propio inventor de la regresión y todavía llena las noticias. Cuando Francis Galton graficó las estaturas de los hijos contra las de sus padres en la década de 1880, encontró que los padres altos tenían hijos que eran más altos que el promedio pero no tan altos como los padres, y los padres bajos tenían hijos que eran más bajos que el promedio pero no tan bajos. Al principio sospechó de alguna fuerza biológica que jalaba a la población hacia la mediocridad. No hay tal fuerza. El jalón hacia el promedio es una certeza matemática siempre que la correlación es menor que perfecta, y tiene un nombre: regresión a la media (regression to the mean).

La identidad de 4.2 La correlación y la pendiente de regresión lo hace exacto. En unidades estándar, donde ambas variables son puntuaciones z, las desviaciones estándar son ambas 1, así que la pendiente de regresión es $b_1 = r\,(s_y/s_x) = r$. Un padre que está 2 desviaciones estándar por encima de la media tiene hijos predichos en solo $r \times 2$ desviaciones estándar por encima de la media. Para los datos de Galton $r = 0.32$, así que los hijos de padres muy altos se predicen apenas $0.32 \times 2 = 0.64$ desviaciones estándar hacia arriba, muy por debajo de sus padres.

La regresión a la media no es un hecho especial sobre la herencia. Ocurre siempre que dos mediciones están correlacionadas de forma imperfecta, que es casi siempre. El estudiante que saca el puntaje más alto en el examen parcial tiende a sacar un puntaje más bajo (todavía bueno, solo menos extremo) en el final. El atleta novato que aparece en la portada de una revista tras una temporada espectacular tiende a hacerlo peor al año siguiente, la llamada maldición de la portada, sin ninguna maldición involucrada. Una clínica inscribe a los pacientes con la presión arterial más alta, los trata, y ve caer su presión en promedio, en parte porque las lecturas más extremas eran extremas en parte por suerte y vuelven a la deriva por sí solas. En cada caso la lectura ingenua culpa a una causa, la presión de la fama, un medicamento milagroso, cuando la correlación imperfecta entre dos mediciones ya predice la deriva. Siempre que selecciones casos porque fueron extremos y luego los midas de nuevo, espera regresión a la media, y no le des el crédito ni la culpa a una historia.

Esta es la forma más profunda de la advertencia más vieja en estadística: la correlación no es causalidad. Una correlación entre $X$ y $Y$ es consistente con que $X$ cause $Y$, con que $Y$ cause $X$, con que alguna tercera variable impulse a ambas, y con la pura coincidencia. La correlación de ahorro de -0.46 no prueba que tener hijos haga a un país ahorrativo o derrochador; el ingreso, la cultura y la historia están detrás de ambas. La correlación gana su lugar como una descripción y una primera pista, no como un veredicto. Separar las causas genuinas de las falsas necesita o bien un experimento diseñado o bien el cuidadoso razonamiento causal que el Capítulo 16 aborda (16.1 Dibujar una historia causal: diagramas de rutas), y es la cosa más difícil que este libro te pide mantener clara.

4.8 Resumen del capítulo¶

Ahora puedes describir una relación en línea recta con un solo número sin unidades y decir cuánto confiar en él. Conociste la correlación de Pearson como una covarianza estandarizada, demostraste que vive en $[-1, 1]$, la ligaste con la pendiente de regresión y con $R^2$, probaste y construiste un intervalo para el valor poblacional $\rho$, la ubicaste dentro del modelo normal bivariado, la suavizaste en la versión de rangos de Spearman, y aprendiste las cinco maneras en que engaña: la no linealidad, los valores atípicos, la restricción del rango, la agregación ecológica y el salto a la causalidad.

Resultados clave de un vistazo

Términos clave. Coeficiente de correlación, covarianza muestral, matriz de correlación, coeficiente de determinación, transformación $z$ de Fisher, distribución normal bivariada, distribución condicional, correlación de rangos de Spearman, restricción del rango, correlación ecológica (y la falacia ecológica), regresión a la media.

Ahora deberías poder

• Calcular la correlación de Pearson $r$ a mano y con software, y leerla como una covarianza estandarizada libre de unidades.

• Derivar la identidad $b_1 = r\,s_y/s_x$ y mostrar que $r^2 = R^2$.

• Probar $\rho = 0$ con el estadístico $t$ y construir un intervalo de confianza para $\rho$ con la $z$ de Fisher, verificándolo por simulación.

• Enunciar el modelo normal bivariado y leer su recta de regresión poblacional y la varianza restante $1 - \rho^2$.

• Calcular la correlación de rangos de Spearman y decidir cuándo los rangos son más seguros que los valores crudos.

• Diagnosticar la no linealidad, los valores atípicos, la restricción del rango y la correlación ecológica.

• Explicar la regresión a la media y por qué una correlación fuerte todavía no es evidencia de causalidad.

Dónde encaja esto. En el flujo de trabajo de modelado de El flujo de trabajo del modelado, la correlación sirve a la etapa EXPLORAR: antes de ajustar nada, observas cómo se mueven juntas cada par de variables, y la matriz de correlación es la compañera numérica del diagrama de dispersión. También alcanza la etapa USAR, a través de la inferencia para $\rho$ y las advertencias que te impiden convertir una asociación descrita en una causa afirmada. Se construye directamente sobre la recta de mínimos cuadrados de 2.2 Mínimos cuadrados desde los primeros principios y la descomposición ANOVA de 3.6 El enfoque del análisis de varianza, ya que $r$, $b_1$ y $R^2$ son tres vistas de un mismo ajuste. Sus herramientas se usan de nuevo pronto: la identidad entre $r$ y $b_1$ de 4.2 La correlación y la pendiente de regresión regresa en el Capítulo 12 como una verificación de un $R^2$ que se infla (12.2 Elegir entre modelos: criterios de selección); los mismos datos de ahorro se vuelven una segunda regresión múltiple trabajada en el Capítulo 8, donde la fuerte correlación entre pop15 y pop75 que viste en la matriz se convierte en un problema real de colinealidad; el jalón desmedido de Libia se convierte en un diagnóstico de influencia con nombre en el Capítulo 9 (9.3 Influencia: qué puntos cambian realmente el ajuste); y el hilo de “la correlación no es causalidad” se retoma en el Capítulo 16 con las herramientas para razonar con cuidado sobre él (16.1 Dibujar una historia causal: diagramas de rutas).

4.9 Preguntas frecuentes¶

P1. ¿Una correlación de 0.5 es el doble de fuerte que una de 0.25? No en el sentido que más importa. Si “fuerza” significa parte de la varianza explicada, entonces $r = 0.5$ da $r^2 = 0.25$ y $r = 0.25$ da $r^2 = 0.0625$, así que la primera explica cuatro veces más varianza, no el doble. La correlación y la varianza explicada son escalas distintas; deja siempre claro a cuál te refieres.

P2. ¿Qué es una correlación “grande”? Depende por completo del campo. En un experimento de física estrechamente controlado $r = 0.95$ podría ser decepcionante; en las ciencias sociales, donde los resultados tienen muchas causas, $r = 0.3$ puede ser un hallazgo real y útil. No hay umbral universal. Reporta el número, el intervalo y el gráfico, y deja que el lector juzgue frente a las normas del tema.

P3. La correlación es simétrica pero la regresión no. ¿Por qué? La correlación pregunta si dos variables se mueven juntas y no distingue una respuesta de un predictor, así que $r(X, Y) = r(Y, X)$. La regresión señala una variable como la respuesta y minimiza las distancias verticales hacia ella, así que intercambiar los papeles cambia qué distancias minimizas y da una recta distinta. Sus pendientes se multiplican para dar $r^2$, coincidiendo solo cuando el ajuste es perfecto.

P4. Si $r = 0$, ¿son $X$ y $Y$ independientes? No. Una correlación cero significa que no hay asociación en línea recta, pero una relación curva fuerte (una forma de U, un círculo) puede tener $r = 0$ mientras $X$ y $Y$ son de todo menos independientes. La independencia implica correlación cero; lo inverso solo se cumple dentro de modelos especiales como la normal bivariada, donde $\rho = 0$ sí fuerza la independencia porque la densidad se factoriza.

P5. ¿Cuál debo reportar, Pearson o Spearman? Reporta Pearson cuando te importa la fuerza en línea recta y los datos son aproximadamente lineales sin valores atípicos salvajes. Echa mano de Spearman cuando la relación es monótona pero curva, cuando los valores atípicos están moviendo a Pearson, o cuando las variables son rangos ordinales desde el inicio. Si los dos discrepan mucho, esa brecha es una señal para graficar los datos y averiguar por qué, no para elegir en silencio el número más grande.

P6. ¿Por qué el intervalo de confianza para $\rho$ sale desbalanceado alrededor de $r$? Porque el intervalo se construye simétricamente en la escala $z$ de Fisher y luego se dobla de vuelta con $\tanh$, que es no lineal cerca de los extremos. Para los datos de ahorro $r = -0.46$ está en el centro del intervalo $z$ simétrico, pero después de transformar de vuelta las cotas $(-0.65, -0.20)$ no son equidistantes de -0.46. Esa asimetría es una característica deseable: respeta las paredes duras en $\pm 1$ que un intervalo simétrico en la escala cruda ignoraría.

P7. ¿Una correlación significativa significa que la relación es fuerte? No. La significancia y la fuerza son cosas distintas. Con una muestra suficientemente grande, una correlación diminuta de 0.05 puede ser estadísticamente significativa, es decir “probablemente no exactamente cero”, mientras explica una cuarta parte de uno por ciento de la varianza. Lee siempre el tamaño de $r$ y su intervalo, no solo el valor p; una $p$ pequeña dice que el efecto es real, no que es grande.

4.10 Problemas de práctica¶

1. (A) En una oración cada uno, di qué te dicen el signo y el tamaño de una correlación, y por qué $r$ no tiene unidades.

2. (A) Un informe da $r = 0.8$ entre dos variables y lo llama “80 por ciento de acuerdo”. Explica qué está mal y da la interpretación correcta de 0.8.

3. (A) La correlación de ahorro entre sr y pop15 es -0.46. Interpreta tanto el signo como la magnitud para un lector que nunca ha visto una correlación.

4. (A) Explica por qué una correlación de exactamente 0 no significa que $X$ y $Y$ no estén relacionadas. Bosqueja o describe una relación con $r = 0$ que sin embargo sea perfectamente predecible.

5. (A) Da la lista de cuatro preguntas que correrías antes de confiar en cualquier correlación reportada, y di contra qué trampa protege cada pregunta.

6. (A) Se encuentra una correlación débil de 0.1 entre el puntaje SAT y el promedio universitario, calculada solo entre estudiantes admitidos en una escuela selectiva. Nombra la trampa y predice si la correlación de la población completa es mayor o menor.

7. (A) Explica la regresión a la media en tus propias palabras, y da un ejemplo cotidiano que no sea de estaturas ni de puntajes de exámenes.

8. (A) ¿Por qué las dos pendientes de regresión (de $Y$ sobre $X$ y de $X$ sobre $Y$) son en general distintas, y cuándo son recíprocas entre sí?

9. (B) Demuestra que $-1 \le r \le 1$ (Teorema 4.2) usando el hecho de que $\sum(u_i \pm v_i)^2 \ge 0$ para los valores estandarizados $u_i, v_i$. Enuncia la condición de igualdad y qué significa geométricamente.

10. (B) Deriva la identidad $b_1 = r\,s_y/s_x$ a partir de las definiciones $b_1 = S_{xy}/S_{xx}$ y $r = S_{xy}/\sqrt{S_{xx} S_{yy}}$.

11. (B) Muestra que $R^2 = r^2$ en la regresión lineal simple (Teorema 4.4), partiendo de $\mathrm{SSR} = b_1^2 S_{xx}$ y $\mathrm{SSTO} = S_{yy}$.

12. (B) Demuestra que las dos pendientes de regresión satisfacen $b_1 \cdot b_1' = r^2$, donde $b_1'$ es la pendiente de $X$ sobre $Y$. Explica por qué esto obliga a que $|r| \le \sqrt{|b_1 b_1'|}$ sea una igualdad, no una desigualdad.

13. (B) Deriva el estadístico $t$ de correlación $t^{\ast} = r\sqrt{n-2}/\sqrt{1-r^2}$ (Teorema 4.6) a partir del estadístico $t$ de la pendiente $b_1/s\{b_1\}$, usando $\mathrm{SSE} = S_{yy}(1 - r^2)$.

14. (B) Explica el argumento del método delta detrás del Teorema 4.7: partiendo de $\operatorname{Var}(r) \approx (1-\rho^2)^2/n$, muestra que $g(\rho) = \operatorname{arctanh}(\rho)$ hace que $\operatorname{Var}(g(r))$ sea aproximadamente constante, y realiza la integral $\int d\rho/(1-\rho^2)$.

15. (B) En la normal bivariada, usa el resultado de la media condicional (Teorema 4.9) para mostrar que la pendiente de regresión poblacional de $Y$ sobre $X$ es $\rho\,\sigma_Y/\sigma_X$, y que la fracción de la varianza de $Y$ que queda después de condicionar en $X$ es $1 - \rho^2$.

16. (B) Muestra que si cada $Y_i = a + b X_i$ exactamente (una recta perfecta, $b \ne 0$), entonces $r = \operatorname{sign}(b)$. ¿Cuál de las condiciones de igualdad de la derivación de las cotas cumple esto?

17. (B) Una muestra tiene $r = 0.6$ con $n = 19$. Calcula el intervalo de confianza de Fisher del 95 por ciento para $\rho$ a mano, mostrando la $z$, el error estándar y la transformación de vuelta.

18. (B) Demuestra que la correlación de rangos de Spearman es igual a +1 para cualquier relación estrictamente creciente $Y = h(X)$, no solo una lineal, considerando cómo lucen los rangos de $X$ y $Y$.

19. (C) Carga savings.csv y reproduce la matriz de correlación completa de sr, pop15, pop75, dpi, ddpi. Identifica las correlaciones positiva más fuerte y negativa más fuerte y explica cada una en palabras.

20. (C) Para sr y pop75, calcula $r$, corre la prueba $t$, y construye el intervalo de Fisher del 95 por ciento en R o Python. Di si la correlación es significativa e interpreta el intervalo.

21. (C) Confirma en los datos de ahorro que $b_1 = r\,s_y/s_x$ y $R^2 = r^2$ para la regresión de sr sobre dpi. Reporta los cuatro números.

22. (C) Calcula las correlaciones de Pearson y de Spearman entre dpi y sr. Difieren; haz el diagrama de dispersión y explica qué países impulsan la brecha.

23. (C) Usando anscombe.csv, reproduce la tabla que muestra que los cuatro conjuntos comparten la misma media, correlación y recta ajustada, luego grafica los cuatro y describe cómo cada uno se aparta (o no) de una línea recta.

24. (C) Usando galton_heights.csv, demuestra la restricción del rango: calcula la correlación en todos los hijos, luego en el subconjunto con estatura media de los padres entre 68 y 70 pulgadas, y reporta cuánto se encogen la correlación y la desviación estándar de la estatura de los padres.

25. (C) Usando galton_heights.csv, ajusta childHeight ~ midparentHeight, reporta la pendiente estandarizada, y explica el número como regresión a la media. Predice la estatura de un hijo cuya estatura media de los padres está 3 desviaciones estándar por encima de la media, en unidades estándar.

26. (C) Simula la distribución muestral de $r$ para $n = 15$ y $\rho = 0.6$ con 5000 extracciones (semilla 4210), y verifica que la desviación estándar de $\operatorname{arctanh}(r)$ sea cercana a $1/\sqrt{n-3}$. Reporta ambos números.

27. (C) Agrega galton_heights.csv por familia y compara las correlaciones a nivel individual y de promedios familiares entre la estatura media de los padres y la del hijo. Explica la dirección de la diferencia como un efecto ecológico.

28. (C) Toma cualquier par de los datos de ahorro con una correlación moderada y elimina el único punto más extremo. Recalcula $r$ y reporta cuánto se movió, luego di si ese punto califica como influyente.

4.11 Práctica de examen¶

Estas cinco preguntas están escritas al estilo de los exámenes del curso. Cada una te pide explicar tu razonamiento en oraciones completas, no solo reportar un número, porque así es como se califican los exámenes: un valor pelado gana poco crédito, y un razonamiento claro con un pequeño desliz gana la mayor parte. Trabaja cada una en papel antes de abrir la respuesta modelo. Donde una pregunta muestra salida de software, es salida genuina de los conjuntos de datos del libro.

EP 4.1 Interpreta la salida en contexto¶

Para los 50 países en savings.csv, la tasa de ahorro sr está correlacionada con la proporción de la población mayor de 75 años, pop75. Aquí está la salida de cor.test.

	Pearson's product-moment correlation

data:  savings$sr and savings$pop75
t = 2.3118, df = 48, p-value = 0.02513
alternative hypothesis: true correlation is not equal to 0
95 percent confidence interval:
 0.04186153 0.54670273
sample estimates:
      cor 
0.3165211 

Reporta la correlación muestral e interpreta su signo y su tamaño en el contexto de las dos variables. Di si la correlación es significativamente distinta de cero al nivel del 5 por ciento y cómo lo lees en la salida. Interpreta el intervalo de confianza, explica en una oración por qué no es simétrico alrededor de la correlación muestral, y di si el resultado muestra que tener más personas ancianas hace que un país ahorre más.

EP 4.2 La afirmación de una estudiante¶

Una compañera de clase corre la correlación entre la tasa de ahorro sr y la tasa de crecimiento del ingreso ddpi y obtiene lo siguiente.

r = 0.3048   r^2 = 0.0929   t = 2.2171   p = 0.031385

Ella escribe: “La correlación entre el crecimiento del ingreso y el ahorro es estadísticamente significativa ($p = 0.03$), así que el crecimiento del ingreso es un fuerte impulsor del ahorro nacional.” Evalúa su afirmación, corrigiendo cada error que encuentres.

EP 4.3 Qué cambiaría si¶

A lo largo de los 934 hijos en galton_heights.csv, la correlación entre la estatura media de los padres y la estatura del hijo es la siguiente.

full_r = 0.321   full_n = 934   full_sd(midparent) = 1.802

Supón que recalcularas esta correlación usando solo las familias cuya estatura media de los padres está entre 69.5 y 70.5 pulgadas. Predice si la correlación subiría, bajaría o quedaría igual, explica el mecanismo, y di si la relación subyacente entre padres e hijos ha cambiado.

EP 4.4 Explica por qué¶

Para el crecimiento del ingreso ddpi contra la tasa de ahorro sr, los dos coeficientes de correlación discrepan, y un país sobresale.

pearson  = 0.3048   spearman = 0.4082
country    ddpi    sr
Libya     16.71   8.89

Explica por qué las correlaciones de Pearson y de Spearman difieren aquí, usando a Libia para hacer concreto el mecanismo. Luego di cuál de los dos números es “el correcto” y qué debería llevarte a hacer su discrepancia.

EP 4.5 La afirmación de un estudiante sobre la regresión a la media¶

La regresión de la estatura del hijo sobre la estatura media de los padres en galton_heights.csv da lo siguiente.

r = 0.321   slope = 0.637   sd(midparent) = 1.802   sd(child) = 3.579

Un estudiante razona: “Los hijos de padres altos son en promedio más bajos que sus padres, así que las familias altas están revirtiendo hacia el promedio, y a lo largo de suficientes generaciones la estatura de todos convergerá a la media.” Evalúa el razonamiento, usando la pendiente estandarizada, y di qué le pasará en realidad a la dispersión de las estaturas a lo largo de las generaciones.

Juego del capítulo¶