Audiencias y modelos estadísticos

(el siguiente post me lo ha publicado la Defensora del Lector de EL PAIS, en este enlace)

Acabo de leer un artículo en EL PAIS referente a Carlos Villalba, el listo concursante que ganó casi 900 mil euros en Pasapalabra hace pocos dias. Al final del artículo, se afirma que en el minuto de oro, a las 20.56, estaban viendo el programa 5.091.000 espectadores. Esta última cifra me hizo reflexionar, probablemente por "defecto profesional".

¿La cifra mencionada es realmente esa? me refiero a que si es verdad que 5.091.000 espectadores estaban viendo ese programa, o es que eran, digamos, 5.091.023 y para redondear, la noticia olvida los últimos 23 espectadores. Porque si realmente había 23 más y la noticia los eliminó por redondeo, realmente no me parece fiable. ¿O es que realmente los 5.091.000 reflejan sólo una "estimación" ? Si es esto último, entonces mi opinión es que debe darse, junto con la cifra, el error del modelo, con su intervalo de confianza, etc. Igual que cuando EL PAIS o cualquier otro medio, publica encuestas políticas en donde, en un recuadro y con letra muy pequeña (casi para no leerla) indican el error asumido en la estimación.

Una de las causas de la Gran Recesión es el uso, con una confianza ciega por parte de los bancos, de unos modelos estadísticos para estimar posibles pérdidas, por ejemplo con las (luego infames) hipotecas subprime. Estos modelos estadísticos son solo eso, modelos y por propia naturaleza, son incompletos. Si usamos, como autómatas, sus resultados para tomar decisiones volveremos a tener problemas.

Por ello querria abrir el debate sobre la necesidad de, siendo EL PAIS un medio de referencia, que cada vez que citen cifras que provengan de modelos estadísticos, se advierta al lector de los posibles errores en su construcción o estimación, como en las cajetillas de cigarros ("Fumar provoca cancer"). Esto sería también bueno para mejorar la cultura financiera de la población, y es recomendable ir impregnándola en nuestros jóvenes para evitar, por ejemplo, burbujas económicas en el futuro.

Las audiencias de TV en España suelen medirse por el método de audímetro y la empresa que suele realizarlo es Kantar Media (grupo TNS Sofres). Son 4,625 los hogares incluídos en el estudio muestral. El audímetro controla la actividad del televisor, vídeo u otras fuente de señal en el televisor (TDT, sintonizador de satélite, sintonizador de cable, etc..). La relación entre el hogar y el audímetro se realiza mediante un mando a distancia. A cada persona se le asigna una letra en un botón que debe pulsar cada vez que enciende o apaga el televisor, o cada vez que empieza a ver o deja de ver televisión. Durante las 24 horas del día los audímetros registran todos los cambios que se han ido produciendo en los distintos televisores del hogar, hasta que cada madrugada llama al ordenador central de Kantar Media y vuelca toda la información almacenada. Kantar asegura que, dada la importancia que han llegado a tener las audiencias, se realizan controles internos y externos que garantizan la calidad de la estimación.

Pero, al fin y al cabo, por muchos controles que existan (también la industria financiera está sujeta a regulación exhaustiva del gobierno, amén de sus propios controles internos) no deja de ser una "estimación" y como tal, sujeta a errores estadísticos, intervalos de confianza y sesgos humanos probablemente no identificados en el modelo. Algunas dudas que se me ocurren sobre la metodología de medición de audiencias:

1. La primera es cómo se eligen a los 4,625 hogares que participan en el estudio. ¿ Es algo estable o va cambiando por temporadas?. Además, ¿son hogares proclives a ver la tele o no? porque si solo le dan el audímetro a familias muy consumidoras de TV, el ruido estadístico será altísimo y las cifras finales no representativas del total del país.

2. ¿Qué pasa si un miembro joven de la familia apreta el botón del abuelo? ¿Dirán que la franja de población juvenil ha cambiado su patrón televisivo?

3. ¿Qué pasa si la familia tiene la TV puesta pero realmente no están mirando, como suele suceder en la mayoría de hogares españoles mientras se come o cena? ¿Es lo mismo tener la TV encendida que estar mirando un programa?

4. ¿Qué pasa con el zapping o picoteo de programas: si en 1 hora veo alternativamente un 50% de un telediario y un 50% de Sálvame, quiere decir que he visto los dos programas?. ¿O que no he visto realmente ninguno?

5. ¿Es posible que los 4,625 hogares logren de alguna manera unirse para mover o cambiar alguna tendencia? Es decir, ¿el mercado funciona tipo competencia perfecta o hay posibilidad de influir en su comportamiento?

Kantar Media ofrece un anuario de audiencias de TV que analiza, entre otros, el universo y la muestra de sus estudios, pero se consigue previo pago. Debería ser público si quieren que su metodología sea escrutada (si alguien de Kantar Media lee este post y me hace llegar el anuario, prometo analizarlo y rectificar si algo de lo dicho es contrario a su metodología).

En el caso anecdótico de un programa de TV, muchos directores financieros de empresas anunciantes supongo que les gustaría saber si es cierto que a Pasapalabra lo vieron 5.091.000 con un error máximo del 3.5% o del 10%, o del 15%, ya que los precios a pagar no deberían ser los mismos en un caso u otro. Al menos si yo fuera director financiero de alguna de esas empresas, podría tomar decisiones de anunciarme en un programa u otro, con una base más solvente.

El FMI, Rato y el pensamiento grupal

(el siguiente texto se ha publicado en La Vanguardia, del 17.2.2011)

El reciente y demoledor informe interno del FMI donde se ponen de manifiesto las causas por las cuales dicho organismo no solo no anticipó la crisis del 2007, sino que incluso justo antes del estallido subprime, alabó la economía de USA y su avanzado sistema hipotecario, pone de manifiesto que el ser humano siempre tropieza con las mismas piedras ("El FMI hace una crítica demoledora de su actuación en la etapa de Rato", EL PAIS, 9-2-2011)

Un rápido repaso a ese informe saca a la luz guerras tribales, comportamiento en silos, pensamiento grupal (groupthink) y en fin, todo un manual de despropósitos acerca de cómo no tomar decisiones y gestionar una gran empresa u organismo.

Muchos recordarán el estallido del Challenger en 1986 (7 astronautas muertos). El comité que analizó las causas de dicho accidente encontró que, igual que en el FMI, la principal causa fue el denominado "pensamiento grupal": en un grupo que toma decisiones, nadie quiere salir de una zona de confort y por eso, aunque los técnicos sabían que el cohete tenia deficiencias, prefieron -en resumen- no retrasar el despegue para que los jefes no se enojaran.

El mismo tipo de problema se repitió, en 2008, en el banco suizo UBS (el que sufrió mayores pérdidas subprime): también un informe de auditoría interna sacó a la luz que el pensamiento grupal, así como el funcionamiento en silos (el riesgo vendido o comprado por una unidad no es conocido por quien debe gestionarlo y controlarlo) destrozó las ya débiles practicas de gestión de riesgos de ese banco.

Podría seguir apuntando ejemplos de desastres parecidos. Pero alguien debe sacar enseñanzas de esto. La primera es que tiene que haber alguien en este tipo de instituciones (FMI, bancos, ministerios, etc) que debería velar para que se generen los incentivos correctos en la toma de decisiones (el código "Conthe", de Buen Gobierno va en la línea aunque se queda muy corto). La segunda es hay que aprender de la experiencia de empresas que saben cómo funcionar para evitar estos desastres (por ejemplo, creando comités en la sombra que critiquen las decisiones del comité real).

Lo principal es que en estas grandes empresas se forme a los directivos en este tipo de temas que son mezcla de psicología, sociología, historia y antropología, porque una de las pocas certezas que existen es, desafortunadamente, que el ser humano es muy proclive a repetir errores.

Seamos al menos conscientes de ello y actuemos en consecuencia.