Valor de la información: qué experimento merece presupuesto
No todas las incertidumbres merecen un experimento. Una pregunta puede resultar interesante y tener poco valor para la decisión. Otra, aparentemente pequeña, puede determinar si comprometemos presupuesto durante un año.
El valor de la información ayuda a elegir qué aprender antes de actuar. Compara la decisión que tomaríamos hoy con la que podríamos tomar después de obtener evidencia, descontando el coste de conseguirla y el de esperar. La prioridad depende de cuánto puede cambiar la acción, no solo de cuánto desconocemos.
Empezar por las opciones reales
Antes de diseñar una prueba, escribiría qué alternativas existen: escalar, mantener, reducir, entrar en otro mercado o posponer una inversión. Si el equipo hará lo mismo cualquiera que sea el resultado, la investigación tiene poco valor inmediato para esa decisión.
Eso no significa que todo aprendizaje deba producir ingresos esta semana. Puede servir para decisiones futuras, reducir riesgo o construir una capacidad. Pero ese propósito debe hacerse explícito y no confundirse con una validación de presupuesto actual.
También importa la reversibilidad. Una campaña que se puede detener mañana requiere una evidencia distinta de una contratación, una integración o un compromiso de largo plazo.
Un ejemplo con dos escenarios
Caso ficticio: una empresa decide si ampliar una campaña. Ya hemos descontado inversión y costes variables al calcular la contribución adicional de cada escenario.
Si la oportunidad es favorable, ampliar aporta 60.000 euros. Si es desfavorable, pierde 60.000. El equipo asigna probabilidades ilustrativas del 40 % y del 60 %, respectivamente. No son datos de mercado ni una confianza estadística.
Mantener la operación actual, sin ampliar, aporta 12.000 euros adicionales en cualquiera de esos escenarios durante el horizonte elegido.
El valor esperado de ampliar es 40 % por 60.000 más 60 % por menos 60.000: menos 12.000 euros. Mantener ofrece 12.000. Con esta información y estas preferencias, la alternativa elegida sería mantener.
Cuánto valdría saberlo todo antes de decidir
Con información perfecta, ampliaríamos solo en el escenario favorable. En el desfavorable, mantendríamos. El resultado esperado sería 40 % por 60.000 más 60 % por 12.000: 31.200 euros.
La diferencia entre 31.200 y los 12.000 de la mejor decisión actual es de 19.200 euros. Ese es el valor esperado de la información perfecta en este ejemplo.
Es un límite teórico bajo los supuestos declarados. No significa que debamos gastar 19.200 en cualquier test. Una prueba real puede ser ruidosa, incompleta, tardía y difícil de transferir al despliegue.
La idea y la distinción entre información perfecta y parcial se desarrollan en materiales de análisis de decisiones de Purdue University. Los importes y escenarios de este artículo son propios e ilustrativos.
Una prueba imperfecta puede aportar mucho menos
Supongamos ahora una prueba con dos señales posibles, positiva y negativa. En el escenario favorable produce una señal positiva el 80 % de las veces. En el desfavorable también da positivo el 20 %.
La probabilidad total de una señal positiva es 40 % por 80 % más 60 % por 20 %: 44 %. Si aparece, la probabilidad del escenario favorable pasa a 32 entre 44, aproximadamente el 72,7 %.
Con esa señal, ampliar tendría un valor esperado de unos 27.273 euros, superior a los 12.000 de mantener. Con señal negativa, la probabilidad favorable sería 8 entre 56, aproximadamente el 14,3 %, y seguiríamos manteniendo.
La estrategia de probar y decidir según la señal ofrece, antes de pagar por la prueba, 44 % por 27.273 más 56 % por 12.000: aproximadamente 18.720 euros.
Frente a los 12.000 de la mejor decisión sin prueba, la información imperfecta aporta 6.720 euros esperados. Si el experimento cuesta 5.000 y esperar añade un coste de oportunidad de 1.000, el beneficio esperado neto queda en 720 euros.
Qué depende de los supuestos
El resultado cambia si las probabilidades, los retornos, la precisión de la prueba o el coste de esperar cambian. No tiene sentido discutir un decimal cuando desconocemos el rango de una variable decisiva.
La sensibilidad debe mostrar si una variación razonable modifica la alternativa. Si el test solo compensa con una precisión muy optimista, conviene revisar su diseño antes de contratarlo.
La información tampoco vale lo mismo en cualquier momento. Una respuesta después de que venza una oferta o termine la temporada puede llegar demasiado tarde. Hay que incluir el tiempo hasta una evidencia utilizable.
El ejemplo utiliza valor monetario esperado y un decisor dispuesto a trabajar con esa media. Si una pérdida amenaza la supervivencia de la empresa, los límites de caja y riesgo pueden justificar otra regla de elección.
Elegir qué incertidumbre reducir
La prueba más completa no siempre es la primera que merece hacerse. A veces unas entrevistas aclaran si existe el problema; una preventa aporta una señal de disposición a pagar; y una prueba de canal estima si podemos acceder al público.
Cada paso debe reducir una incertidumbre capaz de cambiar la siguiente decisión. Repetir análisis sobre algo que ya no condiciona la elección consume tiempo aunque genere documentos útiles.
Conviene distinguir esa selección del diseño causal. El análisis de causalidad y atribución ayuda a elegir cómo construir un contraste; el valor de la información ayuda a decidir cuál de esos contrastes merece recursos.
Convertirlo en una conversación de presupuesto
Para cada experimento registraría la decisión, las alternativas, el supuesto que la bloquea, el rango de resultados, la señal esperada y la acción que tomaríamos con ella. Después añadiría coste completo, demora y límites.
No hace falta modelar todo el backlog con un árbol probabilístico. Un primer filtro cualitativo puede descartar pruebas cuyo resultado no cambiaría nada o cuyo impacto potencial es demasiado pequeño.
Las apuestas relevantes merecen un cálculo más explícito y una revisión de sensibilidad. El método complementa la elección de vías de crecimiento, porque hace visible qué evidencia conviene comprar antes de comprometer capital.
La próxima vez que se proponga un test, pregunta qué decisión cambiará y cuánto costaría equivocarse sin hacerlo. Si no podemos responder, todavía falta formular el problema. Si podemos, tendremos una base más sólida para elegir cuánto aprender, con qué método y hasta cuándo merece esperar.