Cuentan sus biógrafos que Thomas Edison, cuando estaba intentando inventar la bombilla, cada vez que se le fundía un filamento decía ¡bien, otra cosa que ya sé que no funciona! Iba acotando las posibilidades de éxito. Y después de cientos de intentos logró fabricar la bombilla. Se atribuye a Churchill la frase «el éxito es aprender a ir de fracaso en fracaso sin desesperarse», frase que Pablo Maella reformula diciendo que el éxito consiste en intentar un objetivo una vez más de las veces que se ha fracasado.
Todos estos consejos vienen muy bien a todos los que intentan conseguir algo que merece la pena. Nada valioso se consigue a la primera. Si fuera así de fácil cualquiera lo conseguiría. Yo hablo frecuentemente con atiguos alumnos que han emprendido algún proyecto empresarial. El comentario unánime es que nunca las cosas salen a la primera. Que hay que intentarlo una y otra vez corrigiendo errores y modificando planteamientos hasta que se llega a la fórmula de éxito. Que todo esto requiere constancia, que fruto de este empeño vienen los resultados.
Todo esto viene a cuenta de que el experimento que propuse hace unas semanas sobre si la «sabiduría de la muchedumbre» podría vaticinar los resultados de las elecciones del 20N, no ha dado los resultados pretendidos. La predicción colectiva fue peor que lo que dijeron las encuestas de opinión una semana antes y los sondeos a pie de urna del mismo día de las elecciones.
¿Significa esto que esta metodología es inválida para anticipar los resultados de unas elecciones? Pues no necesariamente. Hay que volver a intentarlo modificando el experimento. Y se me ocurren dos posibles mejoras: una es hace la encuesta en días más cercanos al evento. Quizá justo los dias anteriores. Nosotros lo hicimos entre los días 30 y 12 anteriores a las elecciones. Otra posible mejora es no dar como indicación los resultados de las anteriores elecciones, pues algo que está muy estudiado en la toma de decisiones es que cuando la gente tiene que dar una opinión y se le da alguna información al respecto, se tiende a tomar esta información y hacerle una modificación, y la modificación que se hace suele ser bastante menor de lo que en realidad acaba pasando.
También puede suceder que esta metodología no sirva para este tipo de predicciones, pero Ariño no se rinde y seguiremos intentándolo. Como me ha dicho un antiguo alumno, parece que sabemos más de fútbol que de política. De momento muchas gracias a los que participásteis en este experimento. Hemos aprendido, que era lo que pretendíamos, y si todavía no lo habeis hecho, contestar a esta encuesta sobre la clasificación final de la liga de futbol de este año. El año pasado esto sí que lo vaticinamos bien.
Muchas gracias por vuestra participación, por leerme en este blog. Sé que muchos seguís con interés estos experimentos. Hasta el jueves que viene.
Estimado Miguel Angel, no estoy de acuerdo con que el experimento fue un fracaso.
El experimento en cuanto a los porcentajes de votos fue un éxito. El experimenta proyectaba un diferencial entre el PP y PSOE de 13.9 puntos porcentuales, en la realidad fue 15.9 puntos porcentuales, pero no está nada mal la aproximación. Hay que tener en cuenta que el reparto de escaños sigue un algoritmo que no es fácil de entender. Depende del número mínimo de diputados por provincia, la Ley D’Hont, el efecto de partidos políticos que tienen concentraciones de fotos an ciertas autonomías, etc. Se puede decir que el experimento presentaba una contradicción entre porcentaje de votos previsto y el número de diputados obtenidos.
Así que en cuanto a metodología, quizás la lección es predecir una variable más fácil de entender (porcentaje de votos) que variables que tienen escondido «una trampa» detrás (diputados).
Un abrazo desde Dubai, Javier Cervino (IESE MBA 2001)
Muchas gracias Javier, tu comentario manifiesta el aprecio que me teneis los antiguos alumnos. Sí, la previsión de porcentajes fue bastante mejor que la de escaños, pero lo que tiene interés en unas elecciones son los escaños, y eso era lo que intentábamos predecir. aunque la transformación de votos a escaños es una regla algo compleja, lo que estaba pidiendo es una opinión sobre el número de escaños.
Devuelvo el abrazo a Dubai,
Miguel Angel
Genial la introducción… comparto tu energía y sentir, sobretodo en estos momentos. Celebro que seas inasequible al desaliento. Que la muchedumbre es sabia, no me cabe duda… y que si alguien puede demostrar analíticamente este hecho, de la gente que conozco sin duda eres tu por el que apostaría también.
Comparto lo de que el incluir los resultados de 2008 no fue acertado. Refuerza el sesgo de anclaje (Tversky y Kahneman, 1974). Además creo que también puede afectar el heurístico de representatividad, es decir, que si alguien es de un partido puede no comprender a los votantes de otro partido (no se si puede haber sesgo en la muestra, pero sospecho que si).
En cualquier caso, gracias a que no ha salido el experimento como esperabas ahora estamos profundizando más en el modelo. Aprendemos.
Gracias Luis, te digo lo mismo que a Javier en el comentario de más arriba. Quizá lo de la representatividad haya influido también, pero creo que las 900 personas que opinaron pertenecías a todo tipo de colores. No sé. Saludos y gracias, seguiremos estudiando el fenómeno. A ver qué pasa con la liga de futbol
Miguel Angel
Rendirse nunca!! El experimento es muy interesante y queda muchísimo por investigar en este campo. Te hago 2 observaciones:
1- No estoy de acuerdo con eliminar el dato de las anteriores elecciones, creo que la comparación y el «mas que» o «menos que» es una de las formas de operar del pensamiento intuitivo.
2- Coincido con el comentario de Javier Cervino: El porcentaje de votos es un resultado de «primer orden» mientras que el número de diputados es un resultado de «segundo orden», que depende del primero. Las alianzas de gobierno serían un resultado de «tercer orden», etc…
Sospecho que nuestra vida diaria, conversaciones con amigos, ect, tiene mucha influencia en nuestra percepción de unas elecciones y en nuestro día a día procesamos (de una forma intuitiva) votos y no diputados.
Y al hilo de ésto se me ocurre otro experimento: Intentar adivinar los resultados de la propia provincia y los de otra diferente aunque conocida (Madrid-Barcelona por ejemplo). ¿Acertamos más en el lugar donde vivimos? ¿La base de nuestra intuición llega desde el día a día o desde los medios?
David, nuestras conversaciones diarias influyen en nuestra percepción de lo que va a pasar, pero influyen en todas las direcciones, al final se supone que los sesgos de unos se cancelan con los de otros. En fin, seguiremos investigando. Lo de estudiar los resultados en cada provincia quizá sea más preciso, pero necesitas a más gente participando, y un mínimo de unos 50 en cada provincia.
Finalmente, la base de nuestra intuición llega a través de innumerables fuentes, muchas de ellas ni nos damos cuenta.
Gracias,
Miguel Angel
Hola Miguel,
lo que me preocupa es que puede ser que la muchedumbre acierte más con la liga de fútbol que con las elecciones. ¿Maduros para el circo e inmaduros para ejercer la Democracia?… un saludo, Eric
Anónimo, esto no es extraño, puede que individualmente se sepa poco de una cosa, pero que el agragado sea más preciso. Que colectivamente se acierte más en el futbol que en la política no significa que pase lo mismo a nivel individual.
Gracias por tu participación en el blog.
Miguel Angel
ánimo, que al final lo acabarás «clavando» y entonces te vendrán a buscar para que lo implementes para otros… ;-))
Muchas gracias por lo ánimos anónimo. Lo seguiremos intentando. Gracias a todos los que participais.
Miguel Angel
Genial introducción profesor, bajo mi punto de vista, el determinante claro es el timing
Hice un experimento similar en mi familia, en la primera ronda de apuestas, una semana antes de las elecciones el umbral PP iba de 178 – 185 y el día anterior (una semana después de la primera ronda) el umbral varió de 181 – 193, la misma tendencia se apreció en el umbral del PSOE pero en este caso empeorando según llegaba el día de la votación.
Conmigo ha cumplido su objetivo, me ha interesado y mucho el experimento. Si al menos despierta las ganas de aprender en sus lectores, éxito asegurado.
He rellenado la apuesta de la liga, me lo ha pedido el cuerpo, pero no me he atrevido a poner campeón al Atlético de Madrid 😉
Gracias Manuel, la próxima vez haremos el experimento la semana anterior a las elecciones.
Saludos,
Miguel Angel
Hola Miguel Ángel. Cuando participé en ambas encuestas encontré una diferencia: en uno de los supuestos yo puedo influir y en el otro, no. Crees que puede afectar a los resultados? Yo no lo tengo claro, pero me gustaría reflexionar sobre el tema. En el caso del fútbol, da igual lo que yo diga, que el resultado va a ser el que sea. Es más fácil ser objetivo, por muy forofo que puedas ser de tu equipo. En el caso de las elecciones, a lo mejor somos más subjetivos porque nuestra decisión influye en los resultados. No digo que seamos totalmente subjetivos, pero que tal vez nos dejemos llevar por un cierto «ajuste de subjetividad.» De esta forma, al enviar nuestras «predicciones», en realidad la gente estaba «votando» o algo muy cercano a eso, de tal forma que si la muestra no es lo suficientemente representativa, los resultados pueden no ser correctos. Por ejemplo, un votante del PSOE puede creer que el PP va a ganar, por lo que predice una victoria del PP, pero con un cierto ajuste a la baja… La verdad es que no lo tengo muy claro. Qué opinas? Un saludo y muchas gracias por el nuevo post. Me encanta la filosofía de no rendirse.
Ignacio, yo me inclino a pensar que uno con su voto influye poco en los resultados de las elecciones. Si cualquiera de nosotros hubiera cambiado su voto los resultados habrían sido los mismos. Puede suceder como dices que cada uno haya opinado no pensando en lo que iba a suceder, sino pensando en lo que él iba a votar, y en ese sentido sí que podría haber un sesgo, porque la muestra de los que habeis participado no es una muestra aleatoria.
Muchas gracias,
MIguel Angel
Gracias a ti, Miguel Ángel. Seguimos con interés tu blog y agradecemos que tengas tiempo para tus respuestas.
Revisando ahora los resultados, creo que estás siendo un poco duro contigo mismo. Una semana antes de las elecciones, la gran pregunta para los medios de comunicación no era quién fuera a ganar, sino si el PP ganaría o no por mayoría absoluta. Eso es lo que nadie sabía y, en ese sentido, hemos acertado. La debacle del PSOE y el traslado de votos a IU era impredecible y, como tal, creo que no debería influir en el análisis de los resultados. Por lo demás, los resultados no están tan lejos de nuestras predicciones.
Gracias Ignacio, estoy siendo exigente conmigo, cierto, pero si no lo hiciera podria perder credibilidad.
Un abrazo,
Miguel Angel
Miguel Ángel, yo tampoco creo que sea un fracaso. El sistema electoral influye mucho en los resultados finales en escaños y creo que incluir las cifras de las elecciones anteriores también puede condicionar, como bien apuntas.
Ánimo y a seguir. Soy de los que sigo con mucho interés este tipo de experimentos.
Un abrazo,
JM
Gracias José Miguel, ya sé que sigues con interés este blog. Seguiremos investigando este procedimiento. A ver cuando podemos reunirnos,
Un abrazo,
Miguel Angel
Miguel Angel, muchas gracias por compartir ayer mesa con nosotros. Ahora mi mujer entiende mejor mi pasión por el PDD. Sobre el experimento, no me convence el nombre «la sabiduría de la muchedumbre» porque comparto muchas de las ideas de Ortega y Gasset en «la rebelión de las masas». Entiendo que son dos temas diferentes, pero tenía que decirlo.
Joaquín, yo también lo pasé muy bien dandoos clase y en la cena final. Como apuntas no es lo mismo la sabiduría de la muchedumbre y lo de Ortega. Quizá tengas razón que el nombre no sea muy afortunado. En inglés se dice «the wisdom of the crowds».
Gracias y volveremos a vernos por el IESE.
Un abrazo,
Miguel Angel
Si, si, sabemos de futbol, o mejor saben de futbol, pero tampoco aciertamos ni aciertan en la Quiniela.
Saludos!
Muy bueno Manel, Sin embargo, aunque individualmente no se acierte en las quinielas, si se coge el agragado de las apuestas de toda la gente, da una buena idea de como van a acabar los partidos,
Saludos,
Miguel Angel
Hola, M.A:
Yo no creo que el experimento haya fracasado. En mi opinión la pregunta esta mal formulada. La sabiduría de las masas no puede hilar tan fino, no podemos pedir a las «masas» que acierten el resultado de las elecciones a nivel de número de diputados. Yo creo que, si lo que hubiésemos preguntado es: ¿en qué posición van a quedar los partidos en el sufragio universal del 20N?, estoy prácticamente seguro que las «masas» hubieran acertado aunque, como ya han apuntado más arriba, existe la dificultad añadida de la forma en que se computan los votos por cada comunidad autónoma. No podemos pedir a las «masas» la misma precisión que un sondeo a pie de urna que cuesta una fortuna.
Otro ejemplo es el de La Liga de fútbol, la pregunta está bien formulada porque tratamos de pronosticar cómo van a quedar las posiciones en La Liga. Seguro que si les pedidos a las «masas» que nos adivinen los puntos que va a obtener cada equipo: no aciertan.
Yo creo que las preguntas a las masas deben de ser «fáciles» para poder obtener unos resultados creíbles. También estoy seguro que a más respuestas más cerca estaremos de la verdad. En el caso de predecir el resultado de las elecciones si el cuestionario hubiera sido cumplimentado, qué se yo, por 10 millones de españoles el resultado se hubiera acercado mucho a la realidad.
Un abrazo,
Josep
Lo que pasa Josep es que preguntar en qué orden iban a quedar los partidos políticos es algo bastante fácil de saber, y lo que todo el mundo quiere saber de antemano son los resultados finales, y en número de escaños. Por otro lado cuanta más gente responda más aproximación a la realidad, pero en este tipo de encuestas, por razones de coste o de accesibilidad es limitado el número de personasa las que se puede acudir para que participen.
Muchas gracias,
Miguel Angel
Entiendo Miguel Angel, de todas formas,¡Hombre! predecir los resultados de cómo iban a quedar los partidos, a mi entender, no era tarea fácil. El batacazo del PSOE era predecible pero el cuarto lugar para IU con 11 diputados y AMAIUR con 7 diputados y quinta fuerza política en el congreso…
En mi humilde opinión acertar esas posiciones es un éxito rotundo.
¡Habrá que seguir experimentando!
Un abrazo Miguel Angel,
Josep
Bueno, Miguel Angel, la verdad es que creo que pese a la incertidumbre, errores -ergo, contratiempos- que pueden llevar aparejados estos experimentos; me parece que sí puede tratarse de una valiosa metodología. Y a mí me gusta pensar que «el futuro pertenece a quienes creen en la belleza de sus sueños»-Roosevelt, en esta ocasión Eleanor-.
Gracias Cristina, seguiremos intentándolo, y respecto a lo del futbol, no importa. Ya tenemos más que suficientes contestaciones. El jueves doy los resultados,
Saludos,
Miguel Angel
OK, Miguel Angel, y ya veré el jueves si mi apuesta en relación a los tres primeros equipos clasificados coincide con la opinión de la «sabiduría de la muchedumbre».
Saludos,
Cristina
Ah!, por cierto, Miguel Angel, no he participado en la encuesta sobrre resultados de fútbol. Mi «sabiduría»sobre el tema no da para pronosticar quiénes serían los últimos clasificados. Así, que me parece que no reúno los requisitos para, en esta ocasión, incluirme en la «sabiduría» de esta muchedumbre.
Tío Miguel, tus sobrinos tampoco nos rendimos, seguiremos participando en las encuestas.
Gracias sobrinos
Buenos días Miguel Angel
Solo quisiera mirar desde otra perspectiva el delicado tema de la toma de decisiones.
Ultimamente se viene hablando mucho de la inteligencia emocional.Y no es para menos.Yo soy de los convencidos que piensa que las emociones son también las responsables de nuestra decisiones, independientemente del proceso racional que previamente se haya desarrollado con mayor o menor intensidad y profundidad.A mí me parece que el inicio de una línea de investigación en este sentido ( si es que aún no se ha hecho ) aportaría bastante luz a la cuestión.
Un afectuoso saludo
Rafael Llamas (IESE.PADE-A-2003)
Gracias Rafael, Indudablemente las emociones cuentan cuando tomamos decisiones, es interesante la línea de investigación, pero también creo que es muy difícil. Entender en qué condiciones seguir los impulsos de las emociones tiene sentido y bajo qué condiciones es mejor no fiarse de ellas.
Todo lo más qe estoy haciendo yo ahora es investigar el papel de la intuición en la toma de decisiones, que tiene ciertas fronteras con el tema que tú propones.
Muchas gracias,
Miguel Angel
Miguel Ángel,
No ser capaz de negar la hipótesis nula es algo muy frecuente cuando se aplica el método científico. De hecho es lo más frecuente.
Si pensamos como científicos no tiene sentido decir «Ariño no se rinde», como si no encontrar diferencias fuese «un fracaso». El objetivo del científico no es «descubrir diferencias» sino «conocer la verdad del fenómeno estudiado». Tanto si descubres que «la sabiduría de la muchedumbre» es capaz de predecir el futuro mejor que el puro azar, como si descubres que en realidad no aporta más información que el azar, estarás consiguiendo el objetivo de la investigación científica: conocer la verdad.
Echo de menos, por otra parte, la definición concreta de tu grupo control, es decir… la sabiduría de la muchedumbre ¿comparada con qué?… con el azar? con la opinión de un experto o de un panel de expertos?… el grupo control debe ser consistente en todos los experimentos porque sino cada vez estás testando una cosa diferente y pierdes replicabilidad.
Por otra parte, al repetir un experimento para comprobar una hipótesis tras un éxito inicial siempre (salvo raras excepciones) se pierde potencia en las diferencias observadas. La combinación del sesgo de publicación junto con el fenómeno de regresión a la media son las causas.
Estoy seguro de que encontrarás de mucho interés este artículo del Newyorker de hace unos meses:
http://www.newyorker.com/reporting/2010/12/13/101213fa_fact_lehrer?currentPage=1
ánimo y enhorabuena por los resultados negativos (que si el diseño del experimento es correcto como en tu caso suman conocimiento, nunca restan)… que no decaiga…
Julio, del primer párrafo estoy de acuerdo contigo, pero esto no es un blog de aportaciones científicas sino de divulgación de conocimientos, y no he querido aburrir a los lectores con tecnicismos. El grupo de control es cualquiera de los otros procedimientos de predecir los resultados de unas elecciones. Me leeré con calma el artículo del newyorker que sgieres.
Muchas gracias y saludos,
Miguel Angel
Miguel Angel,
Podríamos si quieres continuar la conversación «científica» por email. Me parece un tema muy interesante.
Imagino que estás buscando más una teoría general, que predecir resultados de votaciones.
Pues sí, Julio, podemos continuar la discusión privadamente, Ya sabes mi email,
Miguel Angel
Una pregunta ¿se ven afectados los resultados por el sesgo de la muestra? Estoy seguro que los que contestaron a la encuestan están lejos de ser lo que los expertos llaman una muestra representativa de la sociedad española.
Seguro que con el futbol nos va mucho mejor
No Pablo, pues una de las características de este método es que no requiere una muestra representativa, sino personas independientes dando su opinión. No queremos buscar una fotografía simplificada de una población, sino agregar conocimiento disperso en la gente. Dos personas mejor que una y diez mejor que nueve.
El jueves publico los resultados del futbol.
Un abrazo y gracias,
Miguel Angel
Miguel Angel,
Yo creo que el punto fundamental no es que estés buscando una fotografía de la realidad (es decir un análisis transversal, por ejemplo saber la distribución de ingresos o de obesidad en una población). El punto fundamental es que estás intentando saber si el conocimiento de una población de individuos es capaz de predecir un fenómeno futuro con suficiente fiabilidad.
Por eso mi sensación es que es más difícil predecir los resultados de unas elecciones que un partido de fútbol porque en el segundo caso sí se trata de una población definiendo un fenómeno externo y en el primero tienes cierto ruido, pues se mezcla lo que la «muchedumbre» cree que va a ocurrir con su intención de voto (que es posible influya en lo que respondan). Ya te comenté que sería interesante ver si los españoles son capaces de predecir los resultados de las elecciones de USA o si los catalanes pueden predecir las de la comunidad de Madrid. ¿Podría ser interesante?.
Por otro lado si lo que pretendes es saber si el conocimiento de 10 personas es mejor que el de una, y el de 100 mejor que el de 10, creo te enfrentas a un modelo de análisis multivariable donde cada sujeto es en realidad una variable y la pregunta a responder es: «¿cuánto conocimiento marginal en términos de mayor fiabilidad aporta cada nuevo sujeto-variable preguntado?»… lo realmente interesante aquí sería ver si la función de utilidad es lineal, exponencial, logaritmica… es decir, si cada nuevo sujeto aporta la misma potencia para predecir, o si llegado a cierto punto no merece la pena preguntar a más gente porque no va a mejorar la predicción.
Para el análisis de esto me huele que tendrías que utilizar algún método de análisis de Monte Carlo.
No te doy más la tabarra para no aburrir a la audiencia. Lo dicho si quieres podemos comentarlo por email.
Julio, creo que las cosas no son tan complicadas. La teoría sobre la sabiduría de la muchedumbre está incipiente. Con estos experimentos quiero explorar situaciones para las que esta teoría sirve, y situaciones para las que no. Yo creo que lo primeros individuos aportan conocimiento, y conforme opinan más, la aportación marginal del siguiente es mínima, por eso creo que con pocos individuos también sirve esta metodología.
gracias y seguimos hablando,
Miguel Angel
Estimado don Miguel, me ha encantado tu artículo. Como tu bien dices, el éxito viene del fracaso en todas las facetas de la vida, tanto en lo personal como en lo profesional. Si algo nos sale mal, con no hacerlo la próxima vez , ya está. El factor aprendizaje es fundamental.
En la toma de decisiones paso algo igual. A la hora de realizar un plan de marketing, si las ventas disminuyen, tienes que reformular otra vez la estrategia. Felicidades por el artículo!!
Saludos
Jose Antonio
Pues me alegro José Antonio que te haya resultado interesante el mensaje,
Saludos,
Miguel Angel
[…] opinión sobre cómo se desarrollaría este año la liga de fútbol. Pretendía volver a testar si el agregado de la opinión de mucha gente proporcionaba información precisa sobre acontecimientos inciertos. Hasta ahora los experimentos que en este sentido os he […]
[…] opinión sobre cómo se desarrollaría este año la liga de fútbol. Pretendía volver a testar si el agregado de la opinión de mucha gente proporcionaba información precisa sobre acontecimientos inciertos. Hasta ahora los experimentos que en este sentido os he […]