16. Análisis de rutas y una mirada hacia adelante (en espanol) - Regression Modeling and Analysis (MATH 4210)

16. Análisis de rutas y una mirada hacia adelante¶

En 1947, y de nuevo en la década de 1960, equipos de encuesta leyeron a un grupo de estadounidenses una lista de ocupaciones y les pidieron calificar cada una como excelente, buena, promedio, algo por debajo del promedio o mala. Otis Dudley Duncan reunió las calificaciones de 45 empleos, desde profesor y banquero hasta minero del carbón y dependiente de una fuente de sodas. Las puso junto a dos hechos económicos concretos de cada empleo, tomados del Censo de 1950: la proporción de trabajadores que ganaban al menos $3,500 al año (su medida de income) y la proporción que había terminado la preparatoria (su medida de education). Su pregunta era vieja y terca. ¿Por qué la gente concede más respeto a unos empleos que a otros?

Se sugieren dos respuestas, y apuntan en direcciones distintas. Quizá un empleo gana prestigio porque paga bien, y la escolaridad importa solo porque conduce al sueldo. O quizá la educación carga su propia dignidad, de modo que un empleo bien escolarizado pero modestamente pagado, como el clero, aún inspira respeto. En los datos de Duncan el ministro religioso es un punto real de datos: el 84 por ciento con estudios de preparatoria, calificado como bueno o mejor por el 87 por ciento de los encuestados, y sin embargo solo el 21 por ciento de los ministros pasaba la línea de ingreso. Si el prestigio siguiera solo al ingreso, el ministro quedaría muy por debajo de donde queda.

La Figure 1 muestra la materia prima. El prestigio sube con la educación, y el prestigio sube con el ingreso, y los dos predictores están a su vez enredados entre sí: los empleos mejor escolarizados tienden a pagar más. Una correlación simple no puede separar las hebras. Este capítulo final presenta el análisis de rutas (path analysis). Es una manera de dibujar una historia causal como un diagrama y luego usar la regresión ordinaria, la misma herramienta que has usado todo el semestre, para poner un número sobre cada flecha. También, con honestidad, marca los límites de lo que esos números pueden probar. Terminamos recorriendo una última vez el flujo de trabajo de todo el semestre y señalando los caminos que llevan hacia adelante.

Dos diagramas de dispersión lado a lado del prestigio ocupacional. A la izquierda, el prestigio sube con el porcentaje de graduados de preparatoria en la ocupación; a la derecha, el prestigio sube con el porcentaje que gana $3,500 o más. En ambos paneles los empleos profesionales se agrupan arriba y a la derecha, los empleos manuales abajo y a la izquierda, y los empleos de oficina en medio, con unos pocos empleos manuales situados inusualmente alto. — Figure 1:El prestigio sube con la educación y con el ingreso en las 45 ocupaciones de Duncan. Como la educación y el ingreso también suben juntos, un solo diagrama de dispersión no puede decir cuánto del prestigio gana cada uno por su cuenta. Esa es la pregunta que el análisis de rutas separa.

La lección de un vistazo

Qué estamos haciendo: Análisis de rutas: dibujar una historia causal como diagrama, estimar cada flecha con una cadena de regresiones ordinarias, descomponer un efecto total en partes directas e indirectas, y luego recorrer una última vez el flujo de trabajo de todo el curso.
Por qué lo hacemos: Cuando la educación y el ingreso están enredados, una sola correlación no puede decir cuánto del prestigio ocupacional gana cada uno por su cuenta; y la pregunta más vieja del semestre, causa frente a asociación, merece un cierre honesto.
Objetivo principal: Dibujar y leer un diagrama de rutas, estimar y descomponer coeficientes de ruta, y enunciar con precisión qué supone el análisis de rutas y qué no puede probar sobre la causalidad.
Qué cambió respecto a los capítulos anteriores: Los Capítulos 2 a 15 ajustaron modelos individuales; este capítulo encadena varios para trazar rutas causales, reuniendo las cautelas sobre correlación de 4.2 La correlación y la pendiente de regresión, los coeficientes estandarizados del Capítulo 8 y los diagnósticos de influencia de 9.3 Influencia: qué puntos cambian realmente el ajuste, y marcando el borde donde este curso cede el paso a la inferencia causal.

Objetivos de aprendizaje

Al terminar este capítulo podrás:

Dibujar y leer un diagrama de rutas para un modelo causal recursivo, nombrando variables exógenas, variables endógenas y perturbaciones.
Estimar los coeficientes de ruta de tal modelo ajustando una secuencia de regresiones ordinarias.
Calcular coeficientes estandarizados (de ruta) y explicar qué te aporta poner cada variable en una escala común.
Descomponer un efecto total en un efecto directo y uno o más efectos indirectos, y verificar la descomposición numéricamente.
Distinguir la parte directa genuina de una correlación de la parte espuria que cabalga sobre una causa común.
Enunciar con precisión qué supone el análisis de rutas y qué no puede probar sobre la causalidad.
Resumir el flujo de trabajo PREGUNTAR-EXPLORAR-AJUSTAR-VERIFICAR-USAR del curso y nombrar los siguientes pasos honestos más allá de él.

16.1 Dibujar una historia causal: diagramas de rutas¶

Intuición¶

No puedes poner a prueba una historia causal que aún no has enunciado. El análisis de rutas (Definición 16.1) empieza haciendo la historia explícita como una imagen. Un diagrama de rutas (Definición 16.2) es un grafo pequeño: cada variable medida es una caja, y cada flecha es una afirmación de que una variable afecta directamente a otra. La imagen es una hipótesis, no un descubrimiento. Tú traes las flechas; los datos solo te dicen qué tan fuerte es cada una una vez que te has comprometido con una dirección.

Tres piezas de notación cargan con toda la gramática, mostradas en la Figure 2. Una flecha de una sola punta de $X$ a $Y$ dice “ $X$ es causa directa de $Y$ ” en este modelo. Una flecha curva de dos puntas entre dos variables dice “estas dos se mueven juntas por razones que el modelo no explica”. Y toda variable que tiene una flecha apuntándole también recibe una flecha corta desde una perturbación (Definición 16.3), escrita $e$ , que representa toda otra influencia sobre esa variable que no medimos. La perturbación es la prima, en el diagrama de rutas, del término de error $\varepsilon_i$ que has usado desde 2.1 El modelo de regresión lineal simple.

Una leyenda para los diagramas de rutas. Arriba, una caja etiquetada X (causa) tiene una flecha azul recta que apunta a una caja etiquetada Y (efecto), marcada "ruta directa", y una flecha gris claro etiquetada "perturbación e" entra a Y desde la esquina superior derecha. Abajo, dos cajas A y B están unidas por una flecha curva café de dos puntas etiquetada "correlación no analizada (causa no modelada)". — Figure 2:Las tres marcas de un diagrama de rutas: una flecha recta para una causa directa hipotética, una flecha corta para la perturbación (todo lo no medido), y una flecha curva de dos puntas para una correlación que el modelo deja sin explicar.

Una variable sin flechas apuntándole es exógena (Definición 16.4): el modelo la toma como dada y no intenta explicarla. Una variable con al menos una flecha apuntándole es endógena (Definición 16.4): el modelo afirma dar cuenta de parte de ella. Restringimos la atención a modelos recursivos (Definición 16.5), es decir, aquellos cuyas flechas nunca forman un lazo. Puedes listar las variables en un orden en el que cada flecha apunta de las anteriores a las posteriores, de modo que nada se causa a sí mismo a través de una cadena. Los modelos recursivos son exactamente los que la regresión ordinaria puede ajustar una ecuación a la vez.

Para los datos de Duncan adoptamos el orden causal que la mayoría de los sociólogos de la época defenderían. La educación viene primero, fijada para el momento en que una persona entra a la fuerza laboral. El ingreso viene después, moldeado en parte por la educación. El prestigio viene al final, moldeado por ambos. La Figure 3 dibuja esta historia con los números que calcularemos en la próxima sección ya colocados.

Un diagrama de rutas del modelo de Duncan. Una caja "Educación" está abajo a la izquierda, "Ingreso" arriba al centro, "Prestigio" abajo a la derecha. Una flecha café de Educación a Ingreso está etiquetada 0.72, una flecha café de Ingreso a Prestigio está etiquetada 0.46, y una flecha azul horizontal de Educación directamente a Prestigio está etiquetada 0.52 (directo). Pequeñas flechas gris claro de perturbación entran a Ingreso y a Prestigio. — Figure 3:El modelo de rutas de Duncan ajustado. La educación llega al prestigio de dos maneras: directamente a través (la ruta directa, 0.52) y a través del ingreso (0.72 y luego 0.46). El ingreso y el prestigio cargan cada uno una perturbación por todo lo que las tres variables dejan fuera.

Fórmula¶

Un modelo de rutas recursivo es un conjunto de ecuaciones lineales, una por variable endógena, cada una escribiendo esa variable como función lineal de las variables con flechas apuntándole, más una perturbación. Para el modelo de Duncan, usando variables estandarizadas (cada una centrada y dividida por su desviación estándar, marcada con un asterisco),

\text{income}^\ast = p_{IE}\,\text{education}^\ast + d_I ,

\text{prestige}^\ast = p_{PE}\,\text{education}^\ast + p_{PI}\,\text{income}^\ast + d_P .

$\text{education}^\ast, \text{income}^\ast, \text{prestige}^\ast$ son las tres variables en unidades estandarizadas: cada una tiene media 0 y desviación estándar 1.
$p_{IE}$ es el coeficiente de ruta (Definición 16.6) de educación a ingreso: el cambio en desviaciones estándar del ingreso por un aumento de una desviación estándar en la educación.
$p_{PE}$ es la ruta directa de educación a prestigio, y $p_{PI}$ la ruta de ingreso a prestigio.
$d_I$ y $d_P$ son las perturbaciones del ingreso y del prestigio, los sustitutos estandarizados de todo lo que el modelo omite.

En palabras: cada ecuación es simplemente una regresión, y los coeficientes de ruta son sus pendientes, leídas en unidades estandarizadas de modo que cada flecha de todo el diagrama esté en la misma escala.

16.2 Estimar las rutas con regresión¶

Intuición¶

Aquí está la jugada que hace práctico el análisis de rutas. En un modelo recursivo, la ecuación de cada variable endógena se puede ajustar por su cuenta con mínimos cuadrados ordinarios, ignorando las demás ecuaciones. Regresa el ingreso sobre la educación para obtener la flecha hacia el ingreso. Regresa el prestigio sobre educación e ingreso para obtener las dos flechas hacia el prestigio. Ya sabes hacer ambas cosas; esto es regresión múltiple del Capítulo 8, corrida dos veces. La Figure 4 muestra cómo las dos regresiones te entregan las tres flechas.

Una figura de dos paneles. A la izquierda, dos cajas redondeadas apiladas: una caja café etiquetada Regresión 1, ingreso modelado sobre educación, y una caja azul etiquetada Regresión 2, prestigio modelado sobre educación e ingreso. A la derecha, un pequeño diagrama de rutas con Educación abajo a la izquierda, Ingreso arriba, Prestigio abajo a la derecha. Una flecha café corre de Educación a Ingreso, y dos flechas azules corren de Educación a Prestigio y de Ingreso a Prestigio. Una nota dice que la flecha café viene de la regresión 1 y las flechas azules de la regresión 2. — Figure 4:Tres flechas, dos regresiones. La regresión 1 (ingreso sobre educación) da la flecha hacia el ingreso; la regresión 2 (prestigio sobre educación e ingreso) da las dos flechas hacia el prestigio. Como el modelo es recursivo, cada ecuación se ajusta por su cuenta.

¿Por qué es legítimo ajustar una ecuación a la vez? Porque el modelo es recursivo y suponemos que cada perturbación no está correlacionada con las variables que entran a su propia ecuación. Bajo ese supuesto, las pendientes de mínimos cuadrados en cada regresión por separado son insesgadas para los coeficientes de ruta de esa ecuación. El supuesto hace trabajo real, y volvemos a él, con menos ánimo, en 16.4 Lo que el análisis de rutas no puede afirmar sobre la causalidad.

Queda una decisión: ¿unidades crudas o unidades estandarizadas? La pendiente cruda de regresar el ingreso sobre la educación se mide en “puntos de ingreso por punto de educación”, y la pendiente de regresar el prestigio sobre el ingreso está en “puntos de prestigio por punto de ingreso”. Estas viven en escalas distintas, así que no puedes comparar flechas ni multiplicarlas a lo largo de una ruta. Estandarizar cada variable primero, para que cada una tenga desviación estándar 1, pone todas las flechas en la moneda común de las desviaciones estándar. La pendiente estandarizada es el coeficiente de ruta, y los coeficientes estandarizados son lo que hace comparables los números de un diagrama de rutas. Los conociste en el Capítulo 8; aquí se vuelven el evento principal.

Fórmula¶

El coeficiente estandarizado para el predictor $X_k$ en una regresión de $Y$ es el coeficiente crudo reescalado por el cociente de desviaciones estándar,

p_k = b_k \, \frac{s_{X_k}}{s_Y} ,

$b_k$ es la pendiente de mínimos cuadrados ordinarios para $X_k$ , en unidades crudas.
$s_{X_k}$ es la desviación estándar de $X_k$ y $s_Y$ la desviación estándar de $Y$ .
$p_k$ es el coeficiente estandarizado (de ruta): el cambio en $Y$ , en desviaciones estándar de $Y$ , por un aumento de una desviación estándar en $X_k$ , manteniendo fijos los demás predictores.

En palabras: para convertir una pendiente en un coeficiente de ruta, multiplica por cuántas unidades de $Y$ forman una desviación estándar de $Y$ y divide por lo mismo para $X_k$ . Una derivación breve muestra de dónde viene la fórmula.

Demostración. Parte de la regresión múltiple ajustada en unidades crudas, $Y = b_0 + \sum_k b_k X_k + e$ . Resta la media ajustada, usando $b_0 = \bar Y - \sum_k b_k \bar X_k$ , de modo que el intercepto desaparece:

Y - \bar Y = \sum_k b_k (X_k - \bar X_k) + e .

Divide ambos lados entre $s_Y$ , y dentro de la suma multiplica y divide cada término por $s_{X_k}$ :

\frac{Y - \bar Y}{s_Y} = \sum_k \left( b_k \frac{s_{X_k}}{s_Y} \right) \frac{X_k - \bar X_k}{s_{X_k}} + \frac{e}{s_Y} .

El lado izquierdo es la respuesta estandarizada $Y^\ast$ , y el factor que multiplica al predictor estandarizado $X_k^\ast = (X_k - \bar X_k)/s_{X_k}$ es exactamente $p_k = b_k\, s_{X_k}/s_Y$ . Así que regresar $Y^\ast$ sobre los predictores estandarizados da pendientes $p_k$ , y estas son iguales a las pendientes crudas por $s_{X_k}/s_Y$ . $\blacksquare$

Para un solo predictor esto se reduce a un hecho de 4.2 La correlación y la pendiente de regresión: la pendiente simple estandarizada es igual a la correlación $r$ . Ese vínculo es la bisagra de toda la descomposición que viene.

R¶

Lee los datos, míralos, e inspecciona las tres correlaciones que el análisis de rutas separará.

duncan <- read.csv("data/duncan.csv")
dim(duncan)
head(duncan, 4)
round(cor(duncan[, c("education", "income", "prestige")]), 3)

[1] 45  5
  occupation type income education prestige
1 accountant prof     62        86       82
2      pilot prof     72        76       83
3  architect prof     75        92       90
4     author prof     55        90       76
          education income prestige
education     1.000  0.725    0.852
income        0.725  1.000    0.838
prestige      0.852  0.838    1.000

Cada par correlaciona fuerte y positivamente, y la educación correlaciona con el ingreso en 0.725. Ese último número es la razón por la que no podemos leer las correlaciones educación-prestigio e ingreso-prestigio al pie de la letra: los dos predictores se traslapan.

Ejemplo 16.1: Ajuste de las rutas de Duncan

Pregunta. ¿Cuáles son los coeficientes de ruta sobre las tres flechas de la Figure 3?

Intuición. Ajusta dos regresiones: ingreso sobre educación, luego prestigio sobre educación e ingreso. Lee las flechas en unidades crudas primero, luego conviértelas a coeficientes de ruta estandarizados para que compartan una escala.

Fórmula. Cada flecha es una pendiente de mínimos cuadrados; el coeficiente de ruta es $p_k = b_k\, s_{X_k}/s_Y$ .

Cálculo.

m_income <- lm(income ~ education, data = duncan)
m_prestige <- lm(prestige ~ education + income, data = duncan)
round(coef(m_income), 4)
round(coef(m_prestige), 4)

(Intercept)   education 
    10.6035      0.5949 
(Intercept)   education      income 
    -6.0647      0.5458      0.5987

Ahora estandariza las tres variables (resta cada media, divide por cada desviación estándar) y reajusta. Las pendientes son los coeficientes de ruta.

z <- as.data.frame(scale(duncan[, c("education", "income", "prestige")]))
p_ie <- coef(lm(income ~ education, data = z))[["education"]]
sp <- coef(lm(prestige ~ education + income, data = z))
round(c(edu_to_income   = p_ie,
        edu_direct      = sp[["education"]],
        income_to_prest = sp[["income"]]), 4)

  edu_to_income      edu_direct income_to_prest 
         0.7245          0.5155          0.4643

Los mismos coeficientes de ruta salen directamente de las pendientes crudas por los cocientes de desviaciones estándar, confirmando la fórmula.

b <- coef(m_prestige)
sds <- sapply(duncan[, c("education", "income", "prestige")], sd)
round(c(edu_direct      = b[["education"]] * sds[["education"]] / sds[["prestige"]],
        income_to_prest = b[["income"]]    * sds[["income"]]    / sds[["prestige"]]), 4)

     edu_direct income_to_prest 
         0.5155          0.4643

Ahora en Python, leyendo el mismo CSV y estandarizando a mano.

import numpy as np
import pandas as pd
import statsmodels.formula.api as smf

duncan = pd.read_csv("data/duncan.csv")
print(duncan.shape)
print(duncan.head(4))
print(duncan[["education", "income", "prestige"]].corr().round(3))

(45, 5)
   occupation  type  income  education  prestige
0  accountant  prof      62         86        82
1       pilot  prof      72         76        83
2   architect  prof      75         92        90
3      author  prof      55         90        76
           education  income  prestige
education      1.000   0.725     0.852
income         0.725   1.000     0.838
prestige       0.852   0.838     1.000

m_income = smf.ols("income ~ education", data=duncan).fit()
m_prestige = smf.ols("prestige ~ education + income", data=duncan).fit()
print(m_income.params.round(4))
print(m_prestige.params.round(4))

Intercept    10.6035
education     0.5949
dtype: float64
Intercept   -6.0647
education    0.5458
income       0.5987
dtype: float64

cols = ["education", "income", "prestige"]
z = (duncan[cols] - duncan[cols].mean()) / duncan[cols].std(ddof=1)
p_ie = smf.ols("income ~ education", data=z).fit().params["education"]
sp = smf.ols("prestige ~ education + income", data=z).fit().params
print(round(p_ie, 4), round(sp["education"], 4), round(sp["income"], 4))

0.7245 0.5155 0.4643

b = m_prestige.params
sds = duncan[cols].std(ddof=1)
print(round(b["education"] * sds["education"] / sds["prestige"], 4),
      round(b["income"] * sds["income"] / sds["prestige"], 4))

0.5155 0.4643

Interpretación. Los tres coeficientes de ruta son $p_{IE} = 0.72$ (educación a ingreso), $p_{PE} = 0.52$ (educación directo a prestigio) y $p_{PI} = 0.46$ (ingreso a prestigio). Leídos en desviaciones estándar: un aumento de una desviación estándar en la educación se asocia con cerca de 0.72 desviaciones estándar más de ingreso, y, manteniendo fijo el ingreso, cerca de 0.52 desviaciones estándar más de prestigio. La educación conserva una gran atracción directa sobre el prestigio incluso después de tener en cuenta el ingreso. El ministro, bien escolarizado y modestamente pagado, es justo el tipo de caso que mantiene grande esa flecha directa.

Habilidad duradera: Pon las cosas en una escala común antes de compararlas

Las pendientes de regresión crudas responden “cuántas unidades de $Y$ por unidad de $X$ ”, que es la pregunta correcta cuando las unidades significan algo (dólares por año de escolaridad). Pero cuando quieres comparar la atracción de dos predictores medidos en unidades distintas, o multiplicar efectos a lo largo de una cadena, primero necesitas una regla compartida. Estandarizar a unidades de desviación estándar es una de esas reglas; el cambio porcentual (de los modelos logarítmicos del Capítulo 10) es otra. Cada vez que alguien te diga “ $A$ importa más que $B$ ”, tu primera pregunta debe ser “¿en qué escala?”. El hábito de nombrar la escala antes de ordenar efectos te salvará de muchas comparaciones seguras y sin sentido.

Estandarizar suena a contabilidad hasta que ves una pendiente cruda y un coeficiente de ruta alejarse en direcciones opuestas bajo tu propio dedo.

Qué observar. El coeficiente de ruta $p$ y la correlación $r$ quedan atados entre sí por más que muevas los puntos, que es el Teorema 16.7 para un solo predictor. Prueba esto. Arrastra al banquero (educación 82) hacia arriba hasta un ingreso cercano a 120: la pendiente cruda $b_1$ sube casi una quinta parte mientras $p$ baja, porque estiraste $s_Y$ al mismo tiempo que inclinaste la recta. Esa razón es todo el contenido de 16.2 Estimar las rutas con regresión.

16.3 Efectos directos, indirectos y totales¶

Intuición¶

Ahora tenemos los tres coeficientes de ruta, así que por fin podemos responder la pregunta que abrió el capítulo: ¿cuánto del prestigio gana la educación realmente por su cuenta, y cuánto solo a través del sueldo que trae? El análisis de rutas la responde trazando rutas. La educación llega al prestigio por dos rutas, dibujadas en la Figure 6. Va directamente a través, el efecto directo (Definición 16.8), y va por el camino largo a través del ingreso, el efecto indirecto. El efecto directo es simplemente el coeficiente de ruta directo, 0.52. El efecto indirecto es lo que la educación le hace al ingreso multiplicado por lo que el ingreso luego le hace al prestigio: pierdes un poco en cada paso, así que las fuerzas se multiplican. A lo largo de la ruta educación-ingreso-prestigio eso es $0.72 \times 0.46 = 0.34$ . El efecto total de la educación sobre el prestigio es la suma de las dos rutas.

Un diagrama de rutas del modelo de Duncan con las dos rutas de la educación resaltadas. En café, la ruta indirecta corre de Educación a Ingreso (0.72) a Prestigio (0.46), anotada 0.72 por 0.46 igual a 0.34. En azul, la ruta directa corre directamente de Educación a Prestigio (0.52). Una leyenda dice que el efecto total de la educación sobre el prestigio es igual a 0.85, la ruta directa más la ruta indirecta. — Figure 6:El efecto total de la educación sobre el prestigio es la suma de sus dos rutas: la ruta directa (0.52) más la ruta indirecta a través del ingreso (0.72 por 0.46, que es 0.34), dando 0.85.

¿Por qué las fuerzas se multiplican a lo largo de una ruta y se suman entre rutas? Multiplicar es la regla de la cadena en unidades estandarizadas. Empuja la educación hacia arriba una desviación estándar, y el ingreso sube $p_{IE}$ desviaciones estándar. Cada una de esas desviaciones estándar de ingreso luego empuja el prestigio hacia arriba $p_{PI}$ . Así que el efecto a través del ingreso es los dos empujes multiplicados entre sí. Sumar entre rutas se debe a que las rutas entregan sus empujes de forma independiente y los mínimos cuadrados son lineales, así que el total es su suma. La siguiente derivación hace esto exacto y entrega un extra: el efecto total de la variable exógena es igual a la correlación simple.

Fórmula¶

Teorema 16.9: Descomposición del efecto

Considera un modelo de rutas recursivo en el que cada perturbación no está correlacionada con los predictores de su propia ecuación. Entonces el efecto total de una variable sobre otra es igual a su efecto directo más la suma de sus efectos indirectos. Para el modelo de Duncan,

\text{efecto total de la educación} = \underbrace{p_{PE}}_{\text{directo}} + \underbrace{p_{IE}\, p_{PI}}_{\text{indirecto}} .

Si la variable causal es exógena, su efecto total es igual a la correlación simple,

r_{\text{education},\,\text{prestige}} = p_{PE} + p_{PI}\, p_{IE} .

Para el modelo de Duncan, los efectos de la educación sobre el prestigio son

\underbrace{p_{PE}}_{\text{directo}} \;+\; \underbrace{p_{IE}\, p_{PI}}_{\text{indirecto}} \;=\; \underbrace{p_{PE} + p_{IE}\, p_{PI}}_{\text{total}} .

$p_{PE}$ es la ruta directa, educación directamente al prestigio.
$p_{IE}\, p_{PI}$ es la ruta indirecta, el producto de los dos tramos a través del ingreso.
su suma es el efecto total: el cambio estandarizado completo en el prestigio que sigue a un aumento de una desviación estándar en la educación, dejando que el ingreso responda como dice el modelo.

En palabras: el efecto total es igual al efecto directo más el producto de los coeficientes a lo largo de cada ruta indirecta.

Demostración. Sustituye la ecuación del ingreso en la ecuación del prestigio. De 16.1 Dibujar una historia causal: diagramas de rutas, $\text{income}^\ast = p_{IE}\,\text{education}^\ast + d_I$ , así que

\text{prestige}^\ast = p_{PE}\,\text{education}^\ast + p_{PI}\big(p_{IE}\,\text{education}^\ast + d_I\big) + d_P = \big(p_{PE} + p_{PI}\, p_{IE}\big)\,\text{education}^\ast + \big(p_{PI}\, d_I + d_P\big).

El coeficiente sobre $\text{education}^\ast$ es el efecto total, $p_{PE} + p_{PI}\, p_{IE}$ , directo más indirecto. Ahora toma la correlación de ambos lados con $\text{education}^\ast$ . Como la educación es exógena, no está correlacionada con las perturbaciones $d_I$ y $d_P$ , así que todo el término de perturbación desaparece, y como $\text{education}^\ast$ tiene varianza 1,

r_{\text{education},\,\text{prestige}} = p_{PE} + p_{PI}\, p_{IE} .

El efecto total de la variable exógena es exactamente la correlación con la que empezaste. El análisis de rutas no ha cambiado ese número; lo ha dividido en una parte que viaja directamente y una parte que viaja a través del ingreso. $\blacksquare$

R y Python¶

Ejemplo 16.2: Descomposición del efecto de la educación

Pregunta. Divide el efecto total de la educación sobre el prestigio en sus partes directa e indirecta, y comprueba que suman la correlación educación-prestigio.

Intuición. El efecto directo es $p_{PE}$ ; el efecto indirecto es $p_{IE}\, p_{PI}$ ; su suma debería ser igual tanto a la pendiente simple estandarizada del prestigio sobre la educación como a la correlación 0.852.

Fórmula. $\text{total} = p_{PE} + p_{IE}\, p_{PI}$ , y por la derivación esto es igual a $r_{\text{education},\text{prestige}}$ .

Cálculo.

direct   <- sp[["education"]]
indirect <- p_ie * sp[["income"]]
total    <- coef(lm(prestige ~ education, data = z))[["education"]]
round(c(direct = direct, indirect = indirect,
        sum = direct + indirect, total = total), 4)

  direct indirect      sum    total 
  0.5155   0.3364   0.8519   0.8519

direct = sp["education"]
indirect = p_ie * sp["income"]
total = smf.ols("prestige ~ education", data=z).fit().params["education"]
print(round(direct, 4), round(indirect, 4),
      round(direct + indirect, 4), round(total, 4))

0.5155 0.3364 0.8519 0.8519

Interpretación. El efecto estandarizado total de la educación sobre el prestigio es 0.85, y se divide en un efecto directo de 0.52 y un efecto indirecto de 0.34 a través del ingreso. Cerca de $0.52/0.85 \approx 61$ por ciento de la atracción de la educación sobre el prestigio es directa, y cerca del 39 por ciento corre a través del ingreso que la educación ayuda a producir. La suma coincide con la correlación simple 0.852 a cuatro decimales, exactamente como prometía la derivación. La escolaridad no es respetada meramente porque pague; la mayor parte de su vínculo con el prestigio es suyo propio.

La Figure 7 muestra la misma contabilidad como una barra. Las piezas directa e indirecta se apilan hasta el total.

Un gráfico de barras apiladas. La barra de la izquierda apila un efecto directo de 0.52 (azul) y un efecto indirecto vía ingreso de 0.34 (café) hasta una altura de 0.85. La barra de la derecha muestra el efecto total de 0.85 (negro) a la misma altura, confirmando que ambos coinciden. — Figure 7:El efecto total de la educación sobre el prestigio (0.85) como la suma de una pieza directa (0.52) y una pieza indirecta a través del ingreso (0.34). La barra apilada de la izquierda alcanza la misma altura que el total de la derecha.

Ahora dirige las mismas herramientas hacia el ingreso. La flecha del ingreso al prestigio tiene coeficiente de ruta 0.46, pero su correlación simple con el prestigio es 0.838, mucho mayor. ¿A dónde se va la diferencia? El ingreso y el prestigio comparten una causa común, la educación, que eleva ambos. Parte de su correlación es por lo tanto espuria (Definición 16.10): refleja a la educación moviendo los hilos, no al ingreso actuando sobre el prestigio. La parte espuria es el producto de las rutas a lo largo del camino compartido, educación a ingreso (0.72) y educación a prestigio (0.52), dando $0.72 \times 0.52 = 0.37$ . Súmalo a la ruta directa real 0.46 y recuperas la correlación completa 0.838. La Figure 8 dibuja la división.

Un gráfico de barras apiladas. La barra de la izquierda apila una ruta directa de 0.46 (azul) y una componente espuria vía educación de 0.37 (café) hasta una altura de 0.84. La barra de la derecha muestra la correlación cruda ingreso-prestigio de 0.84 (negro) a la misma altura. — Figure 8:La correlación ingreso-prestigio (0.84) no es toda influencia real. Una ruta directa de 0.46 es genuina; el 0.37 restante es espurio, fabricado por la educación, que eleva tanto el ingreso como el prestigio.

Ejemplo 16.3: La parte espuria del vínculo ingreso-prestigio

Pregunta. ¿Cuánto de la correlación de 0.838 entre el ingreso y el prestigio es un efecto directo genuino, y cuánto es espurio, cabalgando sobre la educación?

Intuición. El efecto directo es el coeficiente de ruta $p_{PI} = 0.46$ . La parte espuria es el producto de las dos rutas que conectan el ingreso y el prestigio a través de su causa común, la educación, $p_{IE}\, p_{PE}$ . Deberían sumar la correlación.

Fórmula. $r_{\text{income},\text{prestige}} = p_{PI} + p_{IE}\, p_{PE}$ .

Cálculo.

r_ip     <- cor(duncan$income, duncan$prestige)
spurious <- p_ie * direct
round(c(r_income_prestige = r_ip,
        direct   = sp[["income"]],
        spurious = spurious,
        sum      = sp[["income"]] + spurious), 4)

r_income_prestige            direct          spurious               sum 
           0.8378            0.4643            0.3735            0.8378

r_ip = duncan["income"].corr(duncan["prestige"])
spurious = p_ie * direct
print(round(r_ip, 4), round(sp["income"], 4),
      round(spurious, 4), round(sp["income"] + spurious, 4))

0.8378 0.4643 0.3735 0.8378

Interpretación. De la correlación de 0.838 entre el ingreso y el prestigio, cerca de 0.46 es un efecto directo y cerca de 0.37 es espurio, producido por la educación al elevar ambos. Casi la mitad del aparente vínculo ingreso-prestigio no es obra del ingreso en absoluto. Esta es la misma advertencia de 4.2 La correlación y la pendiente de regresión, ahora con un número adjunto: una correlación puede ser en su mayoría la sombra de una variable oculta, y el análisis de rutas, cuando su historia es correcta, te dice cuánto.

Los efectos indirectos y las componentes espurias parecen gemelos sobre el papel: ambos son un producto de dos coeficientes de ruta. Pero significan cosas opuestas, y la diferencia es la forma del camino. La Figure 9 los pone lado a lado. Un efecto indirecto corre hacia adelante a través de un mediador, así que es parte de un efecto total real. Un vínculo espurio sube hasta una causa compartida y baja de vuelta, así que no es obra de nadie. Cuando veas un producto de dos rutas, pregunta cuál forma tiene.

Dos diagramas de rutas lado a lado. A la izquierda, titulado efecto indirecto real, las flechas corren hacia adelante: Educación a Ingreso a Prestigio, todas en azul. A la derecha, titulado vínculo espurio no real, Educación está arriba como causa común con flechas café apuntando hacia abajo a Ingreso y a Prestigio, que están unidos solo por una línea gris clara discontinua etiquetada parecen vinculados pero ninguno causa al otro. — Figure 9:La misma aritmética, significado opuesto. Un efecto indirecto (izquierda) corre hacia adelante a través de un mediador y cuenta en un efecto total real; un vínculo espurio (derecha) es fabricado por una causa compartida y no refleja efecto directo alguno.

Práctica 16.2

Supón que en algún otro modelo de tres variables las rutas son $p_{IE} = 0.5$ (educación a ingreso), $p_{PI} = 0.4$ (ingreso a prestigio), y una ruta directa $p_{PE} = 0.3$ (educación a prestigio). Calcula los efectos directo, indirecto y total de la educación sobre el prestigio, y enuncia cuál debe ser la correlación entre educación y prestigio.

Solución

Efecto directo $= p_{PE} = 0.3$ . Efecto indirecto $= p_{IE}\, p_{PI} = 0.5 \times 0.4 = 0.2$ . Efecto total $= 0.3 + 0.2 = 0.5$ . Como la educación es exógena, su efecto total es igual a la correlación, así que $r_{\text{education},\text{prestige}} = 0.5$ .

Multiplicar a lo largo y sumar entre rutas es una regla en la que confiarás más rápido cuando hayas visto las dos rutas separarse y volver a juntarse sobre una nube real de ocupaciones.

Qué observar. La distancia vertical entre la recta ámbar directa y la recta azul total, leída en $\text{education}^\ast = 1$ , es exactamente el efecto indirecto $p_{IE}\,p_{PI}$ . Prueba esto. Baja $p_{PE}$ hasta 0, la afirmación de que la educación llega al prestigio solo por el sueldo, y observa cómo la recta azul cae muy por debajo de los puntos; luego súbela hasta que el último valor marque 0.000. La aritmética es el Teorema 16.9 de 16.3 Efectos directos, indirectos y totales.

16.4 Lo que el análisis de rutas no puede afirmar sobre la causalidad¶

Intuición¶

Todo lo anterior descansa sobre una historia que tú aportaste: la educación causa el ingreso, ambos causan el prestigio, y nada fuera del diagrama importa. La aritmética es exacta, pero la aritmética es solo tan buena como esa historia. El análisis de rutas es un sistema de contabilidad para una hipótesis causal. No puede certificar la hipótesis. Tres límites merecen un enunciado directo.

La dirección es tu suposición, no el veredicto de los datos. Los datos nos dieron tres correlaciones, y las correlaciones son simétricas: la correlación de la educación con el ingreso es el mismo número leído en cualquier sentido. Invierte la flecha entre educación e ingreso y obtienes un modelo que ajusta las tres correlaciones exactamente igual de bien, mostrado en la Figure 11. Tales modelos se llaman modelos equivalentes (Definición 16.11): historias causales distintas, ajuste idéntico. Ninguna cantidad de estos datos puede elegir entre ellos. Solo el conocimiento externo a los números, que la escolaridad se termina en su mayoría antes de que se fijen los ingresos de una carrera, justifica apuntar la flecha de la educación al ingreso en lugar de al revés.

Dos pequeños diagramas de rutas lado a lado. El Modelo A muestra una flecha azul de Educación a Ingreso etiquetada 0.72. El Modelo B muestra una flecha café de Ingreso a Educación, también etiquetada 0.72. — Figure 11:Dos modelos equivalentes. Que la educación impulse al ingreso y que el ingreso impulse a la educación reproducen la misma correlación igual de bien. Los datos callan sobre la dirección de la flecha; solo el conocimiento externo la señala.

Una causa común omitida envenena cada número. Nuestra descomposición supuso que cada perturbación no está correlacionada con los predictores de su ecuación. Supón que alguna variable no medida, digamos el origen familiar, eleva la educación de una persona y de forma independiente eleva el prestigio de los empleos a los que puede acceder. Entonces la perturbación del prestigio está correlacionada con la educación, y la ruta directa $p_{PE}$ absorbe parte del efecto de ese origen. El coeficiente de ruta queda entonces sesgado, y ningún diagnóstico corrido sobre estas tres variables puede revelarlo, porque el culpable nunca se midió. La Figure 12 es la imagen que el análisis de rutas calladamente supone que no existe.

Un diagrama de rutas que muestra una caja Z etiquetada "causa común oculta" arriba, con flechas café apuntando hacia abajo a X (abajo a la izquierda) y a Y (abajo a la derecha). Una flecha azul de X a Y está etiquetada "asociación que observamos (quizá ninguna ruta real)". — Figure 12:El supuesto que el análisis de rutas no puede verificar: ninguna causa común no medida Z. Si alguna Z impulsa tanto a X como a Y, la asociación que medimos entre ellas puede estar enteramente fabricada, y un coeficiente de ruta reportará un efecto causal que no está ahí.

Buen ajuste no es prueba. Un modelo de rutas puede reproducir las correlaciones de forma hermosa y aun así ser la historia equivocada, porque un modelo rival con flechas distintas ajusta igual de bien. El ajuste te dice que el modelo no es contradicho por estos datos. Nunca te dice que el modelo sea correcto. Esta es la misma humildad que 4.2 La correlación y la pendiente de regresión pedía para una sola correlación, ahora escalada a un diagrama lleno de ellas.

Fórmula¶

Aquí no hay fórmula nueva, y ese es el punto. Lo que cambia entre modelos no es el álgebra sino los supuestos que le das de comer. Ayuda enunciar los supuestos permanentes de un análisis de rutas recursivo como una lista de verificación, porque son de lo que en realidad dependen tus conclusiones:

Dirección correcta. Cada flecha apunta en el sentido causal, justificado desde fuera de los datos.
Sin causas comunes omitidas. Cada perturbación no está correlacionada con los predictores de su propia ecuación. De forma equivalente, toda causa común de dos variables modeladas está ella misma en el modelo.
Forma funcional correcta. Las relaciones son lineales y aditivas, sin interacciones ni curvas importantes dejadas fuera (siguen aplicando las lecciones de modelado de los Capítulos 8, 10 y 11).
Sin retroalimentación importante. El modelo es recursivo; ninguna variable se causa a sí misma a través de un lazo.

En palabras: los números son confiables solo en la medida en que estas cuatro afirmaciones sean verdaderas, y los datos pueden verificar únicamente las dos últimas, nunca las dos primeras.

Práctica 16.3

Un colega ajusta el modelo de Duncan, ve que reproduce las tres correlaciones casi exactamente, y concluye “esto prueba que la educación causa directamente el prestigio”. Da las dos razones separadas por las que esta conclusión excede lo que se puede afirmar.

Solución

Primera, el buen ajuste no es prueba de dirección: un modelo equivalente con una o más flechas invertidas ajusta las mismas correlaciones igual de bien, así que estos datos no pueden aislar la historia de que la educación causa el prestigio. Segunda, la ruta directa es insesgada solo si no hay causa común omitida de educación y prestigio; algo como el origen familiar podría inflar la ruta directa, y nada en este ajuste de tres variables podría detectarlo. El ajuste no descarta ninguno de los dos problemas.

Una lectura equivocada, corregida¶

Los estudiantes suelen decir “el coeficiente de ruta 0.52 es el efecto de la educación sobre el prestigio, así que si elevaramos la escolaridad de todos una desviación estándar, el prestigio subiría 0.52 desviaciones estándar”. Lee el verbo con cuidado. El coeficiente es el efecto en este modelo, bajo sus supuestos. Describe cómo se mueven juntos el prestigio y la educación a través de estas 45 ocupaciones, ajustando por el ingreso. Se vuelve una afirmación sobre el resultado de una intervención (elevar de verdad la escolaridad) solo si se cumplen los cuatro supuestos de arriba, y los datos observacionales no pueden confirmar los dos que más importan. La lectura honesta es condicional: “si la historia causal es correcta, un aumento de una desviación estándar en la educación se asocia con un aumento directo de 0.52 desviaciones estándar en el prestigio, más 0.34 adicionales a través del ingreso”. Conserva el “si”.

El segundo supuesto, que no haya una causa común omitida, es el que conviene sentir más que leer, así que aquí está con un deslizador sobre la variable oculta.

Qué observar. La cuña entre la ruta directa verdadera y la reportada es sesgo, no ruido, así que reunir más ocupaciones no la cerraría ni un pelo. Prueba esto. Deja la ruta directa verdadera en 0, de modo que la educación no cause nada, y sube la causa oculta a 0.60: un análisis de rutas reportaría con confianza 0.360 para una flecha que no existe. Esa es la imagen que 16.4 Lo que el análisis de rutas no puede afirmar sobre la causalidad llama el supuesto que el análisis de rutas no puede verificar.

16.5 El semestre en repaso: el flujo de trabajo, una última vez¶

Empezaste este curso ajustando una sola recta a 25 corridas de producción y lo terminas dibujando diagramas causales sobre 45 ocupaciones. Las herramientas crecieron, pero la manera de trabajar no. Cada capítulo, este incluido, recorrió el mismo espinazo de cinco pasos: PREGUNTAR una pregunta real con datos reales, EXPLORAR con gráficos y resúmenes, AJUSTAR un modelo, VERIFICAR sus supuestos, y USAR el resultado para interpretar, predecir o decidir. El flujo de trabajo del modelado nombró ese espinazo; la Figure 14 lo dibuja completo, con el lazo que más importa: la verificación suele mandarte de vuelta al ajuste.

Un flujo horizontal de cinco cajas redondeadas etiquetadas PREGUNTAR (pregunta y datos), EXPLORAR (gráficos y resúmenes), AJUSTAR (estimar), VERIFICAR (diagnósticos y supuestos) y USAR (interpretar, predecir, decidir), unidas por flechas grises. Una flecha azul curva regresa de VERIFICAR a AJUSTAR, anotada "la verificación a menudo te manda de vuelta al ajuste". — Figure 14:El flujo de trabajo de modelado que recorrió todo el curso. Es en su mayoría una marcha recta de la pregunta al uso, con un lazo insistente: lo que aprendes en VERIFICAR suele mandarte de vuelta a reajustar.

Este mismo capítulo es el espinazo en miniatura. Preguntamos por qué unas ocupaciones son más respetadas que otras. Exploramos con la Figure 1 y la matriz de correlaciones. Ajustamos dos regresiones para estimar las rutas. Las verificaríamos exactamente como enseñó el Capítulo 9. Los datos de Duncan esconden dos ocupaciones de alta influencia, el ministro y el conductor de ferrocarril. Sus distancias de Cook (ver 9.3 Influencia: qué puntos cambian realmente el ajuste) son suficientemente grandes para desplazar los coeficientes, así que un análisis real reajustaría sin ellas y reportaría si la historia se sostiene. Y usamos las rutas ajustadas para descomponer un efecto y, con la misma importancia, para decir en voz alta lo que la descomposición no puede probar.

Dónde encaja esto en el flujo de trabajo. El análisis de rutas vive en su mayoría en USAR: es una manera de interpretar y comunicar un conjunto ajustado de modelos como una historia causal, con la honestidad de marcar los límites de la historia. También regresa en lazo hasta PREGUNTAR, porque decidir las flechas es en realidad decidir qué pregunta estás haciendo. Reutiliza la estimación de regresión múltiple y los coeficientes estandarizados del Capítulo 8, las cautelas sobre correlación de 4.2 La correlación y la pendiente de regresión, y los diagnósticos de influencia de 9.3 Influencia: qué puntos cambian realmente el ajuste.

Los caminos que siguen¶

Este curso enseñó el modelo lineal y sus parientes cercanos a fondo, que es la base correcta. No es el fin del mapa. Tres direcciones llevan de forma natural desde aquí, y ahora estás equipado para empezar cada una.

Inferencia causal. El análisis de rutas es el ancestro de un gran campo moderno que se toma en serio la causalidad con datos observacionales. Los grafos acíclicos dirigidos formalizan los diagramas de este capítulo; métodos como variables instrumentales, emparejamiento por puntaje de propensión, diferencias en diferencias y regresión discontinua exprimen afirmaciones causales de datos no experimentales apoyándose en supuestos argumentados con cuidado, siempre enunciados abiertamente. La única lección honesta que llevar hacia adelante: las conclusiones causales vienen de supuestos causales, y el trabajo es defender los supuestos, no correr la regresión.

Modelos mixtos y jerárquicos. Durante la mayor parte del curso supusimos errores independientes, y el Capítulo 15 ya mostró una manera en que ese supuesto se rompe, cuando el tiempo enlaza cada error con el anterior. El agrupamiento lo rompe de otra manera. Los datos reales suelen venir en grupos: estudiantes dentro de escuelas, mediciones dentro de pacientes, ocupaciones dentro de industrias. Los modelos de efectos mixtos agregan efectos aleatorios que dejan que cada grupo tenga su propio intercepto o pendiente extraído de una distribución, de modo que el modelo toma fuerza prestada entre grupos mientras respeta sus diferencias. Son la herramienta correcta en el momento en que tus filas no son independientes.

Aprendizaje estadístico. La regresión es la puerta de entrada al aprendizaje automático. La regresión regularizada (ridge y lasso, adelantadas en el Capítulo 12), los árboles y bosques aleatorios, el gradient boosting y las redes neuronales, todos intercambian parte de la interpretabilidad que has valorado aquí por poder predictivo en problemas difíciles y de alta dimensión. Una red neuronal es, en el fondo, capas de regresiones con articulaciones no lineales. Todo lo que aprendiste sobre sobreajuste, validación y la diferencia entre explicar y predecir se transfiere directamente, y es lo que mantiene honestos a esos métodos poderosos.

La habilidad escasa, ahora que el software y los asistentes de IA pueden ajustar cualquiera de estos modelos en segundos, no es ajustar. Es juzgar: elegir la pregunta, verificar los supuestos, leer los diagnósticos, y decir con claridad qué respaldan y qué no respaldan los números. Ese juicio es lo que este libro se propuso enseñar, y es lo que seguirá siendo tuyo cuando las herramientas cambien de nuevo.

16.6 Resumen del capítulo¶

Ahora puedes convertir una hipótesis causal sobre varias variables en un diagrama de rutas, estimar sus flechas ajustando una secuencia de regresiones ordinarias, y leer las flechas como coeficientes de ruta estandarizados en una escala común. Puedes descomponer el efecto de una variable sobre otra en un efecto directo y efectos indirectos que viajan a través de mediadores, verificar que suman el efecto total, y mostrar que para una variable exógena el efecto total es simplemente la correlación con la que empezaste. Puedes separar la parte directa genuina de una correlación de la parte espuria que fabrica una causa común. Sobre todo, puedes enunciar exactamente qué supone un análisis de rutas y negarte a vender de más lo que prueba: la dirección y la ausencia de causas comunes ocultas son supuestos que los datos no pueden verificar.

Resultados clave de un vistazo.

Resultado	Enunciado o fórmula	Válido cuando
Coeficiente estandarizado (de ruta) (Teorema 16.7)	$p_k = b_k\, s_{X_k}/s_Y$ ; un solo predictor da $p = r$	cualquier regresión de mínimos cuadrados ajustada
Descomposición del efecto (Teorema 16.9)	total $= p_{PE} + p_{IE}\, p_{PI}$ (directo más indirecto)	modelo recursivo, perturbaciones no correlacionadas con sus propios predictores
Efecto total de una causa exógena (Teorema 16.9)	$r_{\text{education},\text{prestige}} = p_{PE} + p_{PI}\, p_{IE}$	la causa es exógena
Descomposición de la correlación	$r_{\text{income},\text{prestige}} = p_{PI} + p_{IE}\, p_{PE}$ (directo más espurio)	modelo recursivo como el anterior
Coeficientes de ruta de Duncan	$p_{IE}=0.72,\ p_{PE}=0.52,\ p_{PI}=0.46$	ajuste estandarizado de Duncan

Términos clave. Análisis de rutas, diagrama de rutas, perturbación, variable exógena, variable endógena, modelo recursivo, coeficiente de ruta, coeficiente estandarizado, efecto directo, efecto indirecto, efecto total, correlación espuria, modelos equivalentes.

Ahora deberías poder:

Dibujar y leer un diagrama de rutas, nombrando variables exógenas, variables endógenas y perturbaciones.
Estimar los coeficientes de ruta de un modelo recursivo ajustando una secuencia de regresiones ordinarias.
Calcular coeficientes estandarizados (de ruta) y explicar qué te aporta poner cada variable en una escala común.
Descomponer un efecto total en un efecto directo y uno o más efectos indirectos, y verificar la descomposición numéricamente.
Separar la parte directa genuina de una correlación de la parte espuria que cabalga sobre una causa común.
Enunciar con precisión qué supone el análisis de rutas y qué no puede probar sobre la causalidad.
Resumir el flujo de trabajo PREGUNTAR-EXPLORAR-AJUSTAR-VERIFICAR-USAR del curso y nombrar los siguientes pasos honestos más allá de él.

Dónde encaja esto. Este capítulo cierra el curso en la etapa USAR del espinazo de El flujo de trabajo del modelado: trata de interpretar y comunicar modelos ajustados como una historia causal, con la honestidad de marcar los bordes de la historia. Reúne hebras de todo el semestre, las cautelas sobre correlación de 4.2 La correlación y la pendiente de regresión, la regresión múltiple y los coeficientes estandarizados del Capítulo 8, y los diagnósticos de influencia de 9.3 Influencia: qué puntos cambian realmente el ajuste, y las dirige hacia la pregunta más vieja de la estadística: no solo cómo se mueven juntas dos cosas, sino por qué. La mirada hacia adelante señaló, más allá del modelo lineal, la inferencia causal, los modelos mixtos y el aprendizaje estadístico, cada uno una continuación natural de lo que construiste aquí.

16.7 Preguntas frecuentes¶

P1. ¿El análisis de rutas es solo correr varias regresiones? Mecánicamente, para un modelo recursivo, sí: la ecuación de cada variable endógena se ajusta por mínimos cuadrados ordinarios por su cuenta. Lo que el análisis de rutas agrega es el diagrama que amarra las ecuaciones en una sola historia causal y las reglas para combinar coeficientes en efectos directos, indirectos y totales. El valor está en el encuadre y la descomposición, no en ninguna maquinaria de estimación nueva.

P2. ¿Por qué estandarizar las variables? ¿Puedo quedarme con unidades crudas? Puedes, y para una sola ecuación las unidades crudas suelen ser más significativas (dólares por año de escolaridad). Pero para comparar flechas medidas en unidades distintas, o para multiplicar coeficientes a lo largo de una ruta, necesitas una escala común, y las unidades estandarizadas (desviaciones estándar) proveen una. Reporta la que responda tu pregunta; los diagramas de rutas convencionalmente muestran coeficientes estandarizados para que cada flecha sea comparable.

P3. ¿Cuál es la diferencia entre un efecto indirecto y una correlación espuria? Ambos son productos de dos coeficientes de ruta, así que se parecen, pero los caminos difieren. Un efecto indirecto corre hacia adelante a través de un mediador: la educación eleva el ingreso, que eleva el prestigio. Una componente espuria corre hacia atrás y luego hacia adelante a través de una causa común: el ingreso y el prestigio suben ambos porque la educación, aguas arriba de ambos, los eleva. Los efectos indirectos son parte del efecto total real de una variable; las componentes espurias no lo son. La Figure 9 dibuja los dos caminos lado a lado.

P4. ¿Por qué el efecto total de la educación es igual a la correlación simple? Porque la educación es exógena, no correlacionada con las perturbaciones del modelo. Sustituir la ecuación del ingreso en la ecuación del prestigio y correlacionar con la educación hace que los términos de perturbación desaparezcan, dejando la correlación igual a directo más indirecto. Para un predictor endógeno como el ingreso, la correlación simple no es igual al efecto total, porque parte de ella es espuria.

P5. ¿Puede el análisis de rutas probar que la educación causa el prestigio? No. Puede mostrar que la historia de que la educación causa el prestigio es consistente con los datos y puede cuantificar las flechas dentro de esa historia, pero una historia rival con flechas invertidas o agregadas puede ajustar igual de bien, y una causa común no medida podría sesgar cada número. La prueba de la causalidad necesita o bien un experimento aleatorizado o bien supuestos causales defendidos desde fuera de los datos.

P6. Mis dos modelos de rutas ajustan igual de bien. ¿Cómo elijo? No puedes elegir solo por el ajuste; eso es lo que significa modelos equivalentes. Elige con conocimiento externo a los datos: el orden temporal (qué variable se determinó primero), la teoría de la materia, y experimentos previos. Si nada fuera de los datos los distingue, el reporte honesto es que ambos son consistentes y los datos no pueden decidir.

P7. ¿A dónde van las perturbaciones en la descomposición? Cargan todo lo que el modelo omite, y por supuesto no están correlacionadas con los predictores de su propia ecuación, así que no contribuyen nada a las piezas directa, indirecta o espuria que calculamos. Esa conveniencia es exactamente el supuesto que falla cuando hay una causa común omitida, y por eso todo el método descansa sobre él.

16.8 Problemas de práctica¶

(A) Define, en una oración cada uno, variable exógena, variable endógena y perturbación, y di cuál de las tres variables de Duncan es exógena.
(A) Con tus propias palabras, explica las tres marcas de un diagrama de rutas: la flecha de una sola punta, la flecha curva de dos puntas y la flecha corta de perturbación.
(A) Enuncia la diferencia entre un efecto directo y un efecto indirecto, usando educación y prestigio como tu ejemplo.
(A) Un coeficiente de ruta de 0.46 conecta el ingreso con el prestigio. Escribe la interpretación de una oración en unidades estandarizadas, con cuidado sobre qué se mantiene fijo.
(A) Explica qué significa “recursivo” para un modelo de rutas, y por qué te permite ajustar una ecuación a la vez.
(A) La correlación ingreso-prestigio es 0.84 pero la ruta ingreso-a-prestigio es solo 0.46. En palabras sencillas, ¿a dónde se fue el resto?
(A) Lista los cuatro supuestos permanentes de un análisis de rutas recursivo, y marca cuáles dos pueden verificar los datos y cuáles dos no.
(A) Un compañero dice que un modelo de rutas que ajusta bien “prueba” su historia causal. Da las dos razones distintas por las que esto es incorrecto.
(A) Nombra las cinco etapas del espinazo del flujo de trabajo del curso y, en una frase cada una, di qué aporta el análisis de rutas a la etapa USAR y por qué regresa en lazo a PREGUNTAR.
(A) Da un ejemplo honesto, de cualquier campo que conozcas, donde una correlación observada sea en su mayoría un efecto espurio de causa común más que uno directo.
(B) Deriva la fórmula del coeficiente estandarizado $p_k = b_k\, s_{X_k}/s_Y$ (Teorema 16.7) partiendo de la regresión cruda ajustada $Y = b_0 + \sum_k b_k X_k + e$ .
(B) Para un solo predictor, muestra que la pendiente estandarizada de regresión simple es igual a la correlación $r$ (Teorema 16.7), y conéctalo con el hecho de 4.2 La correlación y la pendiente de regresión.
(B) Sustituye la ecuación del ingreso en la ecuación del prestigio para mostrar que el efecto total de la educación sobre el prestigio es $p_{PE} + p_{PI}\, p_{IE}$ (Teorema 16.9).
(B) Continuando el problema 13, toma la correlación de ambos lados con la educación estandarizada y muestra que, como la educación es exógena, el efecto total es igual a $r_{\text{education},\text{prestige}}$ (Teorema 16.9). Enuncia con precisión dónde se usa la exogeneidad.
(B) Muestra que la correlación ingreso-prestigio se descompone como $r_{\text{income},\text{prestige}} = p_{PI} + p_{IE}\, p_{PE}$ , e identifica cuál término es el efecto real y cuál es espurio.
(B) Supón que una variable no medida $Z$ eleva tanto la educación como el prestigio, de modo que la perturbación del prestigio está positivamente correlacionada con la educación. Argumenta que la ruta directa estimada $p_{PE}$ queda entonces sesgada al alza, y explica por qué ningún diagnóstico sobre las tres variables medidas puede revelarlo.
(B) Explica, con un ejemplo de dos variables, por qué dos modelos de rutas que invierten una sola flecha pueden reproducir las mismas correlaciones. ¿Qué información externa se necesita para elegir entre ellos?
(B) En un modelo de cadena $X \to M \to Y$ sin flecha directa $X \to Y$ , las rutas son $p_{MX}$ y $p_{YM}$ . Muestra que el efecto total de $X$ sobre $Y$ es igual a $p_{MX}\, p_{YM}$ y que esto es igual a $r_{XY}$ cuando $X$ es exógena (Teorema 16.9).
(B) Un investigador estandariza solo la respuesta, no los predictores, y llama a las pendientes resultantes “coeficientes de ruta”. Explica por qué estas no son comparables entre predictores medidos en unidades distintas, usando la fórmula $p_k = b_k\, s_{X_k}/s_Y$ .
(C) Lee duncan.csv en R o Python, ajusta las dos regresiones de rutas, y reproduce los coeficientes crudos y los tres coeficientes de ruta estandarizados 0.72, 0.52, 0.46.
(C) Calcula los efectos directo, indirecto y total de la educación sobre el prestigio en software, y confirma que el total coincide con la correlación educación-prestigio a cuatro decimales.
(C) Calcula la parte espuria de la correlación ingreso-prestigio como $p_{IE}\, p_{PE}$ , súmala a la ruta directa, y confirma que recuperas la correlación 0.838.
(C) Estandariza las tres variables y verifica, en código, que la pendiente estandarizada de regresión simple del prestigio sobre la educación es igual tanto a la correlación $r_{\text{education},\text{prestige}}$ como al efecto total del problema 21.
(C) Ajusta el modelo invertido, regresando la educación sobre el ingreso en unidades estandarizadas, y muestra que su pendiente es igual a la pendiente educación-a-ingreso del modelo original. Explica qué dice esto sobre la capacidad de los datos para elegir una dirección.
(C) Los datos de Duncan esconden dos ocupaciones de alta influencia, el ministro y el conductor de ferrocarril. Reajusta prestige ~ education + income con esas dos filas eliminadas y reporta cuánto cambian los dos coeficientes. Haz referencia a las herramientas de influencia de 9.3 Influencia: qué puntos cambian realmente el ajuste.
(C) Agrega el factor de ocupación type (profesional, oficina, manual) como predictor en la ecuación del prestigio usando codificación de indicadores. Reporta cómo cambian los coeficientes de educación e ingreso, y di en palabras por qué ajusta el hecho de incluir el tipo.
(C) Construye la matriz completa de correlaciones estandarizadas de educación, ingreso y prestigio en código, luego reconstruye la correlación implicada por el modelo entre ingreso y prestigio a partir de los coeficientes de ruta ( $p_{PI} + p_{IE}\, p_{PE}$ ) y compárala con el valor observado.
(C) Usando las rutas ajustadas, predice el prestigio estandarizado de una ocupación hipotética cuya educación está una desviación estándar por encima de la media y cuyo ingreso está exactamente en la media. Luego predícelo de nuevo dejando que el ingreso responda a la educación como dice el modelo, y explica por qué las dos predicciones difieren.
(A) El capítulo señala, más allá del modelo lineal, tres direcciones de investigación. Nombra las tres, da una oración por cada una sobre qué agrega más allá de la regresión ordinaria, y enuncia la única lección honesta que el capítulo dice llevar a la inferencia causal.

16.9 Práctica de examen¶

PE 16.1 (interpreta la salida en contexto). Un ajuste estandarizado del modelo de rutas de Duncan imprime los tres coeficientes de ruta de abajo.

duncan <- read.csv("data/duncan.csv")
z <- as.data.frame(scale(duncan[, c("education", "income", "prestige")]))
coef(lm(income ~ education, data = z))["education"]
coef(lm(prestige ~ education + income, data = z))[c("education", "income")]

education 
   0.7245 
education    income 
   0.5155    0.4643

Interpreta cada uno de los tres coeficientes de ruta en una oración completa, nombrando sus unidades y qué se mantiene fijo. Luego explica qué te dice el coeficiente estandarizado educación-a-ingreso 0.7245 que la pendiente cruda de la misma regresión, 0.5949 puntos de ingreso por punto de educación, no dice.

Respuesta modelo

El coeficiente 0.7245 sobre la flecha educación-a-ingreso dice que, a través de estas 45 ocupaciones, se predice que una ocupación una desviación estándar más alta en educación esté cerca de 0.72 desviaciones estándar más alta en ingreso. El coeficiente directo educación-a-prestigio 0.5155 dice que, manteniendo fijo el ingreso, se predice que una ocupación una desviación estándar más alta en educación esté cerca de 0.52 desviaciones estándar más alta en prestigio. El coeficiente ingreso-a-prestigio 0.4643 dice que, manteniendo fija la educación, se predice que una ocupación una desviación estándar más alta en ingreso esté cerca de 0.46 desviaciones estándar más alta en prestigio. Los dos coeficientes de prestigio son pendientes parciales, cada una leída con el otro predictor mantenido constante; el coeficiente educación-a-ingreso es una pendiente simple porque el ingreso tiene una sola flecha entrando en él. El valor estandarizado 0.7245 agrega algo que la pendiente cruda 0.5949 no puede: como la educación y el ingreso están ahora en una escala común de desviaciones estándar, 0.7245 se puede comparar directamente con las otras dos flechas y multiplicar a lo largo de una ruta (como en $0.7245 \times 0.4643$ ), mientras que la pendiente cruda de 0.5949 está atascada en las unidades mixtas de “puntos de ingreso por punto de educación” y no se puede poner al lado de la pendiente ingreso-a-prestigio, que vive en “puntos de prestigio por punto de ingreso”.

Una respuesta débil reporta los tres números sin decir qué se mantiene fijo para cada uno, o afirma que las pendientes cruda y estandarizada cargan la misma información, sin captar que estandarizar es exactamente lo que hace comparables y multiplicables las flechas.

PE 16.2 (explica por qué). Para una causa exógena en un modelo de rutas recursivo, el efecto total sobre el resultado es igual a la correlación simple entre ellos. En el ajuste de Duncan, el efecto total de la educación sobre el prestigio es $p_{PE} + p_{IE}\, p_{PI} = 0.5155 + 0.7245 \times 0.4643 = 0.8519$ , y la correlación cruda $r_{\text{education},\text{prestige}}$ también es 0.8519. Explica por qué estos dos números deben coincidir, y enuncia con precisión el único supuesto sobre la educación del que depende el argumento.

Respuesta modelo

Sustituye la ecuación del ingreso en la ecuación del prestigio. Escribiendo todo en unidades estandarizadas, $\text{income}^\ast = p_{IE}\,\text{education}^\ast + d_I$ , así que $\text{prestige}^\ast = p_{PE}\,\text{education}^\ast + p_{PI}(p_{IE}\,\text{education}^\ast + d_I) + d_P = (p_{PE} + p_{PI}\,p_{IE})\,\text{education}^\ast + (p_{PI}\,d_I + d_P)$ . Ahora correlaciona ambos lados con $\text{education}^\ast$ . Como la educación es exógena, se supone no correlacionada con las dos perturbaciones $d_I$ y $d_P$ , así que todo el término de perturbación no contribuye nada a la correlación y desaparece. Como una variable estandarizada tiene varianza uno, la correlación del término principal con la educación es exactamente su coeficiente, dejando $r_{\text{education},\text{prestige}} = p_{PE} + p_{PI}\,p_{IE}$ , que es el efecto total. En palabras, el análisis de rutas no ha creado aquí un número nuevo; ha tomado la correlación que ya tenías y la ha dividido en una pieza que viaja directamente a través y una pieza que viaja a través del ingreso. Todo el argumento descansa sobre que la educación sea exógena, es decir, no correlacionada con cada perturbación del modelo; si alguna causa común no medida hiciera que la educación correlacionara con la perturbación del prestigio, el término de perturbación no desaparecería y la igualdad fallaría.

Una respuesta débil solo verifica que la aritmética $0.5155 + 0.3364 = 0.8519$ coincide con la correlación sin explicar que la coincidencia está garantizada por la exogeneidad, y en particular nunca nombra el supuesto de perturbación no correlacionada que hace desaparecer el término de perturbación.

PE 16.3 (un estudiante afirma X, evalúa). Un estudiante mira las rutas estandarizadas y escribe: “La ruta directa de educación a prestigio es 0.52 y la ruta de ingreso a prestigio es 0.46. Como $0.52 > 0.46$ , la educación tiene un efecto mayor sobre el prestigio que el ingreso”. Evalúa esta afirmación. Enuncia qué parte del razonamiento es legítima y qué pasa por alto, y da la comparación que en realidad harías.

Respuesta modelo

La afirmación es defendible hasta cierto punto pero compara las cantidades equivocadas. Comparar 0.52 con 0.46 es una comparación justa de dos efectos directos, porque ambos son coeficientes de ruta en la misma escala estandarizada, así que el estudiante tiene razón en que la atracción directa de la educación sobre el prestigio es un poco mayor que la del ingreso. Lo que la afirmación pasa por alto es que la educación también llega al prestigio por una segunda vía, indirectamente a través del ingreso, aportando $p_{IE}\,p_{PI} = 0.7245 \times 0.4643 = 0.3364$ más, así que el efecto total de la educación sobre el prestigio es $0.52 + 0.34 = 0.85$ . El ingreso, en cambio, no tiene ninguna vía al prestigio salvo su única flecha directa, así que su efecto total sobre el prestigio es solo 0.46. La comparación honesta es por lo tanto efecto total contra efecto total, 0.85 para la educación frente a 0.46 para el ingreso, y en esa comparación la ventaja de la educación es mucho mayor de lo que sugiere la comparación pelada de rutas directas: la educación importa tanto por su cuenta como al elevar el ingreso que a su vez eleva el prestigio. Así que la conclusión del estudiante da la casualidad de apuntar en el sentido correcto pero subestima mucho la brecha y compara efectos directos cuando la pregunta de fondo es sobre efectos totales.

Una respuesta débil o bien respalda la afirmación sin más (perdiéndose la vía indirecta de la educación por completo) o bien la rechaza como simplemente equivocada sin reconocer que comparar dos coeficientes de ruta directos en una escala común es en sí mismo legítimo.

PE 16.4 (qué cambiaría si). El capítulo advierte que los datos de Duncan esconden dos ocupaciones de alta influencia, el ministro y el conductor de ferrocarril. La salida de abajo reajusta prestige ~ education + income en unidades crudas sobre las 45 ocupaciones y luego sobre las 43 que quedan después de eliminar esas dos filas.

sub <- duncan[!(duncan$occupation %in% c("minister", "conductor")), ]
coef(lm(prestige ~ education + income, data = duncan))[c("education", "income")]
coef(lm(prestige ~ education + income, data = sub))[c("education", "income")]

education    income 
   0.5458    0.5987 
education    income 
   0.3322    0.8674

Explica qué cambia cuando se eliminan las dos ocupaciones, por qué apenas dos de 45 casos pueden mover los coeficientes así de lejos, y qué te dice esto sobre en qué etapa del flujo de trabajo estás y qué debería decir un reporte honesto del modelo de rutas.

Respuesta modelo

Eliminar el ministro y el conductor de ferrocarril desplaza el coeficiente de educación bruscamente hacia abajo, de 0.55 a 0.33, y empuja el coeficiente de ingreso hacia arriba, de 0.60 a 0.87. Las dos ocupaciones pueden mover el ajuste tanto porque cada una es a la vez inusual en sus predictores y contraria al patrón general: el ministro tiene alta educación pero bajo ingreso y sin embargo prestigio muy alto, lo que sostiene el coeficiente de educación, mientras que el conductor de ferrocarril tiene alto ingreso pero baja educación y bajo prestigio, lo que mantiene bajo el coeficiente de ingreso. Sus grandes distancias de Cook (la del ministro es cerca de 0.57) señalan justamente esta influencia de alto apalancamiento con residuo contrario de 9.3 Influencia: qué puntos cambian realmente el ajuste. Estás en la etapa VERIFICAR del flujo de trabajo: ajustar las rutas fue AJUSTAR, pero antes de confiar en ellas examinas la influencia, y aquí la verificación te manda de vuelta hacia AJUSTAR porque la historia estandarizada cambia con ellas fuera (la ruta directa de educación cae y la ruta de ingreso sube, así que más del vínculo del prestigio con la educación correría a través del ingreso). Un reporte honesto no elige en silencio un ajuste; enuncia que dos de las 45 ocupaciones son altamente influyentes, reporta los coeficientes con y sin ellas, y le dice al lector que la conclusión sobre cuánto del prestigio gana directamente la educación es sensible a un par de casos, así que debe leerse con esa cautela en lugar de como un número asentado.

Una respuesta débil solo dice “los coeficientes cambiaron” sin explicar que un punto de alta influencia combina predictores inusuales con un residuo contrario, y sin extraer la lección del flujo de trabajo de que los casos influyentes deben divulgarse en lugar de mantenerse o eliminarse en silencio.

PE 16.5 (un estudiante afirma X, evalúa). Tras ver que el efecto total de la educación sobre el prestigio es 0.85 y coincide con la correlación casi exactamente, un estudiante concluye: “Esto prueba que si elevaramos la escolaridad de cada ocupación una desviación estándar, su prestigio subiría cerca de 0.85 desviaciones estándar”. Evalúa la afirmación. Da las dos razones distintas por las que excede lo que se puede afirmar, y escribe la versión honesta, correctamente matizada, de la oración.

Respuesta modelo

La afirmación lee una intervención (“si elevaramos la escolaridad”) a partir de números que describen solo cómo se mueven juntos el prestigio y la educación a través de las ocupaciones existentes, y excede lo que se puede afirmar por dos razones separadas. Primera, la dirección es un supuesto, no un hallazgo: las correlaciones son simétricas, así que un modelo equivalente con una o más flechas invertidas reproduce las mismas tres correlaciones exactamente igual de bien, y nada en estos datos puede aislar la historia de que la educación causa el prestigio por encima de sus rivales. Segunda, el efecto total es insesgado solo si no hay causa común omitida; si algo no medido, como el origen familiar, eleva tanto la escolaridad de una persona como el prestigio de los empleos abiertos a ella, entonces la educación está correlacionada con la perturbación del prestigio, las rutas absorben parte de ese origen, y el 0.85 queda sesgado como efecto de intervención, sin que ningún diagnóstico sobre estas tres variables pueda revelarlo. El buen ajuste no descarta ninguno de los dos problemas, porque el ajuste solo dice que los datos no contradicen la historia, nunca que la historia sea correcta. La versión honesta conserva el “si” y la palabra “asociado”: “si el diagrama causal es correcto y no se omite ninguna causa común, una ocupación una desviación estándar más alta en escolaridad se asocia con cerca de 0.85 desviaciones estándar más de prestigio, 0.52 de ellas directamente y 0.34 a través del ingreso”. Esa oración describe una asociación bajo supuestos enunciados, no el resultado garantizado de cambiar de verdad la escolaridad.

Una respuesta débil objeta solo que “correlación no es causalidad” sin nombrar los dos mecanismos concretos, modelos equivalentes (dirección) y una causa común omitida (sesgo), que este curso enseña, y no aporta la reformulación condicional debidamente matizada.

Juego del capítulo¶

Chapter summary (in English)

This final chapter introduces path analysis, a method for drawing a causal hypothesis as a diagram and estimating each arrow with ordinary regression. We use Duncan’s data: 45 U.S. occupations around 1950, each with its prestige, income, and education. The question is why some occupations command more respect: because of what they pay, the schooling they require, or both.

A path diagram uses boxes for the measured variables, single-headed arrows for direct causes, and a short stub arrow for the disturbance, standing for everything the model does not measure. We adopt a recursive causal ordering: education first, then income, and prestige last. Each endogenous variable is estimated with its own ordinary least-squares regression.

Coefficients read best in standardized units. The path coefficient is the standardized coefficient $p_k = b_k\, s_{X_k}/s_Y$ . For Duncan we get $p_{IE} = 0.72$ (education to income), $p_{PE} = 0.52$ (education directly to prestige), and $p_{PI} = 0.46$ (income to prestige).

The total effect of education on prestige decomposes into a direct effect of 0.52 and an indirect effect of $0.72 \times 0.46 = 0.34$ , summing to 0.85: because education is exogenous, that total equals the correlation 0.852. Much of the income-prestige correlation (0.838) is spurious: 0.37 comes from education as a common cause, and only 0.46 is a direct effect.

The most important point is honesty about the limits: path analysis does not prove causation. The direction of the arrows is an assumption, not a result; equivalent models fit equally well; and an unmeasured common cause biases every number. We close with the course workflow, ASK, EXPLORE, FIT, CHECK, and USE (see El flujo de trabajo del modelado), and the roads onward: causal inference, mixed models, and statistical learning.