De la relación a la causa

Si comparas municipios grandes con pueblos, cualquier diferencia puede deberse al tamaño. Por eso se «descuentan» factores como el tamaño, la edad o la renta: es comparar entre iguales. En el gráfico de relación del laboratorio, pulsa las etiquetas «A igual edad», «A igual renta»… y mira cómo se mueven los puntos y cuánto queda de la relación.

Una forma aún más intuitiva de comparar entre iguales: buscar parejas de pueblos de la misma provincia casi idénticos en tamaño, edad y renta, que solo se diferencian en lo que te interesa. Si en la mayoría de parejas el que tiene más de una cosa tiene también más de la otra, la pista gana fuerza. El laboratorio lo hace solo en cada relación, y te enseña algunas parejas.

Muchas cosas son comunes a una provincia o una comunidad: el clima, las leyes autonómicas, la historia. Comparar solo municipios de la misma provincia las quita de en medio. Es la etiqueta «Dentro de cada provincia».

Lo que es fijo en cada lugar desaparece al comparar cuánto ha cambiado cada uno. Si donde más subió una cosa más subió la otra, la relación es más creíble que si solo coinciden los niveles. La etiqueta «Mirar los cambios» te lleva a ese gráfico cuando hay datos.

Cuando una ley o un suceso afecta a unos lugares y a otros no, se compara cómo cambian los afectados con cómo cambian los demás. Si antes iban parejos y después se separan, esa separación es la mejor pista de un efecto. Se llama diferencias en diferencias; el estudio del tope del alquiler en Cataluña es un ejemplo. En el laboratorio lo haces tú con Antes y después: eliges los municipios afectados y la fecha, y la herramienta busca gemelos, mide la diferencia año a año y la compara con grupos elegidos al azar.

¿Los pisos turísticos suben el alquiler, o los pisos turísticos van a donde el alquiler ya era caro? Con datos de un solo momento no se puede saber. Ayuda preguntarse qué pasó antes.

Siempre puede quedar un factor que no hemos medido. Un buen análisis dice lo que no puede descartar. Y son datos de municipios: no dicen nada de cómo se comporta cada persona.

Para aprender más: The Effect, de Nick Huntington-Klein, y Causal Inference: The Mixtape, de Scott Cunningham. Los dos se pueden leer gratis en internet.

Para que cualquiera pueda rehacer las cuentas, esto es exactamente lo que hace cada etiqueta de los estudios y del laboratorio:

• «Relación (r)». Coeficiente de correlación de Pearson entre los municipios. Cuando se dice «ponderado por población», cada municipio pesa lo que sus habitantes; si no, cada municipio cuenta igual. Las dos cosas se indican en la ficha técnica de cada estudio, y pueden dar resultados distintos: la ponderada responde a «qué pasa a la gente», la otra a «qué pasa a los pueblos».
• «A igual edad», «a igual renta», «entre iguales». Correlación parcial: se ajusta una regresión lineal (mínimos cuadrados, con constante) de cada una de las dos variables sobre los controles, y se correlacionan los residuos. Es lo mismo que el coeficiente de un modelo lineal con todos los controles a la vez, expresado en escala de correlación. El tamaño del municipio entra siempre en logaritmo.
• «Dentro de cada provincia». Antes de todo lo anterior, a cada variable (y a cada control) se le resta la media de su provincia (efectos fijos de provincia). Así solo se comparan municipios entre sí dentro de la misma provincia.
• «Explica». Es r², la parte de la varianza de una variable que va asociada a la otra. No es una parte «causada».
• «Municipios gemelos». Para cada municipio de 1.000 habitantes o más se busca, en su misma provincia, el más parecido en tamaño (logaritmo), edad media y renta (distancia euclídea sobre variables estandarizadas, umbral 0,6 desviaciones) que a la vez se diferencie en la variable de interés en al menos media desviación típica. Cada municipio entra como mucho en una pareja.
• Intervalos [a; b]. Intervalo del 95 % por remuestreo (bootstrap) de municipios: se recalcula la estadística 200 veces con muestras al azar con reemplazo y se toman los percentiles 2,5 y 97,5. En las correlaciones parciales se remuestrean los pares de residuos ya ajustados (con miles de municipios, la incertidumbre de estimar los controles es despreciable); en los diseños con parejas o gemelos se remuestrean las parejas. Si el intervalo incluye el cero, los datos no distinguen la relación de ninguna relación.
• Diferencias en diferencias. (Cambio del grupo afectado después − antes) − (cambio del grupo de comparación después − antes). Como hay pocos grupos y un solo periodo «después», en vez de un error estándar se usan placebos: se repite el cálculo como si la medida hubiera caído en cada uno de los otros grupos (otras comunidades, otras provincias) y se mira dónde queda el efecto real en esa distribución.
• Discontinuidad. En las elecciones ajustadas se comparan municipios donde una lista ganó por poco con municipios donde perdió por poco, con rectas distintas a cada lado del empate ajustadas dentro de una ventana de ±10 puntos.
• Estudio de eventos. Una diferencia en diferencias año a año: para cada afectado se busca un gemelo no afectado (mismo tamaño, nivel y tendencia en los años previos) y se sigue la diferencia entre los dos, en índice con el año anterior a la medida = 100. Los años previos sirven de prueba de tendencias paralelas: deberían estar cerca de cero.
• Control sintético. Cuando el afectado es uno (una ciudad, una comunidad), se construye un «gemelo a medida»: una media ponderada de lugares no afectados, con pesos elegidos para reproducir su trayectoria antes de la medida. La inferencia se hace repitiendo el método con cada donante como si fuera el tratado y viendo si la ruptura real es excepcional entre esos placebos.
• Efecto en unidades. Además de la correlación, los estudios y el laboratorio dan la pendiente: cuánto cambia una variable por cada unidad (o cada desviación típica) de la otra, a igualdad de controles. La correlación dice si dos cosas van juntas; la pendiente, cuánto.

Todo el código está en github.com/bburriel/indicio.es; los cálculos se hacen en el navegador, con los mismos datos que descargas desde el laboratorio.

No todos los análisis permiten la misma conclusión. Cada pregunta lleva una etiqueta con el tipo de diseño que usa:

• Descriptivo Cuenta qué pasa y dónde: cuánto ha subido algo, quién está arriba y quién abajo, cómo se reparte. No dice por qué.
• Comparación entre iguales Compara municipios parecidos en lo que se ha medido (tamaño, edad, renta, provincia). Sirve para descartar explicaciones: si al comparar entre iguales la relación desaparece, era otra cosa. No sirve para confirmar una causa, porque siempre puede quedar algo sin medir, y no dice si la causa va al revés. Es lo que hace la etiqueta «¿Aguanta la relación?» del laboratorio.
• Experimento natural Aprovecha algo que cambió en unos sitios y no en otros, en una fecha concreta (una ley, una estación de tren, una pandemia), o una elección decidida por un puñado de votos. No necesita haber medido todo: necesita un supuesto concreto (que sin el cambio los dos grupos habrían seguido igual, o que ganar por poco es cuestión de suerte), que se puede comprobar en parte mirando el «antes». Es lo más cerca de una causa que permiten los datos públicos, y aun así cada estudio dice qué puede fallar.

Tres preguntas distintas, que conviene no mezclar: ¿es ruido? (lo contestan los intervalos y los placebos), ¿es otra cosa que va junta? (lo contestan los controles y los gemelos) y ¿va al revés? (lo contesta el orden en el tiempo). Solo un experimento natural ataca las tres a la vez.

Descontar más cosas no siempre es mejor. Hay dos tipos de control que confunden en vez de aclarar, y el laboratorio avisa cuando marcas uno:

• Lo que está en medio del camino (un mediador). Si los estudios suben la renta en parte porque reducen el paro, comparar «a igual paro» quita justo esa parte del efecto, y la relación encoge aunque sea real.
• Lo que es consecuencia de lo que quieres explicar. Un pueblo que gana vecinos jóvenes se vuelve más joven y más grande; descontar la edad o el tamaño de hoy para explicar el crecimiento borra parte de lo que buscas. Por eso en los estudios los controles se miden antes del periodo.
• Lo que es casi lo mismo que una de las dos variables. Descontar la renta para explicar la pobreza deja muy poco que explicar.

La regla práctica: controla por lo que pudo influir en las dos cosas y ocurrió antes; no por lo que vino después.