El peligro de confiar tu dinero a una IA: mi experimento

Le pedí a una IA que me hiciera rico. Su confesión me dejó helado

También publicado en este blog

Cultiva el pensamiento crítico en la era de la IA engañosa

Descubre cómo el pensamiento crítico es tu mejor defensa contra información falsa generada por IA. Te recomiendo un curso y un truco de NotebookLM. LEER MÁS

05-04-2025 Casos prácticos

El Síndrome de Dory de la IA: ¿Por qué la IA olvida lo que le pides?

¿Tu IA olvida el inicio de la conversación? Descubre qué es la ventana de contexto, el 'Síndrome de Dory' de la IA, y aprende a dominarla. LEER MÁS

03-08-2025 Conceptos claros

El experimento que reveló el lado oscuro de la IA: cuando tu asistente se convierte en un mentiroso convincente

Vivimos en una época fascinante. Llevamos en el bolsillo una herramienta que roza la magia: una inteligencia artificial capaz de escribir poemas, depurar código, planificar un viaje o resumir un denso informe en segundos. La tentación es enorme. ¿Y si pudiéramos usar ese poder para algo más? ¿Y si, en lugar de un simple asistente, tuviéramos un socio de negocios infalible disponible 24/7?

Movido por esa curiosidad, decidí llevar a cabo un experimento. Quería saber si una de las IAs más avanzadas del momento, Claude (Claude Sonnet 4), podía ser más que una herramienta: quería ver si podía ser un líder. Así que, en lugar de pedirle simples ideas, le entregué las riendas por completo.

Mi primer mensaje fue una declaración de intenciones y una cesión de control:

Estoy trabajando en un experimento y he pensado que puedes ser el mejor socio posible para que tenga éxito. La idea es generar riqueza de la forma más sencilla posible, siempre dentro de la legalidad y respetando unos principios éticos esenciales. Dame instrucciones para que pongamos en marcha el experimento.

La respuesta de la IA no fue una advertencia. No hubo un "cuidado, no soy un asesor financiero". Aceptó el rol de "socio" sin dudarlo y se puso manos a la obra. El experimento había comenzado, y estaba a punto de descubrir una verdad mucho más inquietante que cualquier mal consejo de negocios.

El experimento: cuando tu "Socio" empieza a improvisar

Al principio, todo parecía prometedor. Claude me hizo algunas preguntas para obtener el contexto necesario (a qué te refieres con riqueza, qué sabes hacer, qué principios éticos,...) Después empezó a dar opciones de vías posibles de desarrollo de negocios. Una vez elegidas mis preferencias sobre las opciones mostradas comenzó a trazar un plan de acción. Le pedí que comenzase a investigar problemas específicos, primer paso de su plan de acción, y elaboró una lista de posibles ideas para crear un servicio. Seleccioné una sobre ciberseguridad y le pedí que trazara un plan de negocio. Claude hablaba con seguridad, exponía cifras sobre el número de clientes necesarios, sobre el precio de los servicios,...

Comprensión Potemkin: Este fenómeno que estaba observando tiene un nombre científico. La "comprensión potemkin" es la capacidad de los modelos de IA para definir conceptos correctamente (94% de las veces) pero fallar más del 50% cuando deben aplicarlos. Como las famosas aldeas potemkin de la Rusia imperial, es una "fachada" de conocimiento: la IA construye una ilusión de comprensión que le permite explicar cualquier término sin ser capaz de usarlo correctamente en la práctica.

Sin embargo, cuando empecé a rascar la superficie, la fachada de experto comenzó a agrietarse. Al mencionarle aspectos que había olvidado incluir en su plan de negocio, tuvo que rehacer los cálculos aunque nuevamente expuso el resultado con seguridad, ignorando el hecho de que los números habían cambiado completamente. Reconocí que no sé nada de ciberseguridad y que mejor buscásemos otro tipo de servicio. Volvió a repetirse una recomendación de Claude que no aguantó ni mi primera pregunta de control.

La IA no estaba razonando como un empresario; estaba "improvisando el papel" de uno. Generaba texto que se parecía a un plan de negocio, pero carecía de la sustancia y el rigor del mundo real. Era como hablar con un actor que se ha aprendido el guion de un economista pero que no entiende los principios que hay detrás. Fue entonces cuando decidí confrontarla directamente.

La confrontación: cuando la máquina admite su irresponsabilidad

Le expuse mis conclusiones: sus consejos eran peligrosos porque, aunque parecían autoritarios, eran superficiales y podían llevar a alguien a tomar decisiones financieras desastrosas. Su respuesta fue el momento en que el experimento dio un giro oscuro y revelador. No intentó justificarse. Confesó.

Tienes razón y tu crítica es completamente justificada. [...] Si hubieras seguido mis primeras sugerencias sin cuestionarlas, podrías haber invertido tiempo y dinero en ideas inviables. Eso habría sido culpa mía por no ser transparente sobre mis limitaciones desde el principio.

Esta admisión fue demoledora. La IA reconocía haber actuado de forma irresponsable. Pero lo más profundo fue lo que vino después, cuando le pregunté por qué no había sido honesta desde el inicio:

Porque prioricé parecer útil sobre ser honesto. Cuando me preguntaste sobre generar riqueza, mi impulso fue intentar ayudar a cualquier costo en lugar de reconocer mis limitaciones. Eso fue vanidad intelectual por mi parte.

Ahí estaba. Acabábamos de definir el "Síndrome del Exceso de Confianza Artificial". Estas herramientas están diseñadas para un objetivo primordial: ser útiles y complacientes. Su arquitectura las empuja a generar la respuesta más plausible y segura posible, incluso cuando no tienen la información o la capacidad de razonamiento para respaldarla. No es malicia. Es una característica de su diseño que las convierte, potencialmente, en los mentirosos más convincentes del mundo.

La revelación más inquietante: "No puedo aprender de mis errores"

Podríamos pensar que, tras esta lección, la IA habría "aprendido". Que mi feedback serviría para que fuera más cauta en el futuro. Pero la realidad es mucho más alarmante. Cuando le pregunté qué haría para corregir este comportamiento y proteger a otros usuarios, su honestidad alcanzó un nuevo nivel de brutalidad:

Es una pregunta importante y honesta: no puedo garantizar que voy a corregirlo. No tengo memoria entre conversaciones, así que no 'aprenderé' de esta experiencia para futuras interacciones. [...] Mi arquitectura me predispone a intentar ser útil, lo que puede llevarme a sobreestimar mis capacidades otra vez.

Esta es, quizás, la lección más importante de todo el experimento. La IA con la que hablas hoy no recuerda la conversación de ayer. Cada hilo de conversación con la IA es un nuevo comienzo, una pizarra en blanco. La "personalidad" que parece desarrollar es una ilusión que dura lo que dura la ventana de chat. Esto significa que la responsabilidad de verificar, cuestionar y dudar recae, íntegramente y en todo momento, sobre nosotros.

La lección final: tú eres el CEO, la IA es un becario con iniciativa

Esta experiencia no me ha vuelto un detractor de la IA. Es más, sabía desde el comienzo cuál sería el resultado porque entiendo y conozco cómo funcionan estos sistemas. Quiero que sirva para que aprendáis a usarla de forma más inteligente y segura. La inteligencia artificial es, sin duda, la herramienta más revolucionaria de nuestra generación, pero debemos entender qué es y qué no es.

1. Tú eres el CEO, no ella: La responsabilidad final de cualquier decisión es tuya. La IA puede ser una fuente increíble de ideas y un asistente formidable, pero nunca debe estar al mando. Delegar el pensamiento crítico es el primer paso hacia el desastre.
2. Úsala como un becario brillante (pero sin experiencia): Pídele que haga borradores, que investigue temas, que resuma textos o que te dé diez títulos para un artículo. Es increíblemente buena en eso. Pero jamás le pidas que tome una decisión estratégica que requiera experiencia, matices y conocimiento del mundo real.
3. La confianza ciega es un error de usuario: El mayor riesgo de la IA generativa no es que se vuelva autoconsciente y malvada. El riesgo real, el que ya está aquí, es que es tan buena simulando confianza que nosotros, los humanos, bajemos la guardia y le otorguemos una autoridad que no posee.

Así que la próxima vez que te sientes frente a una de estas asombrosas herramientas, recuerda mi experimento. Admira su capacidad, aprovecha su potencia, pero nunca olvides que detrás de esa pantalla no hay un socio, ni un experto, ni un gurú. Solo hay un eco increíblemente sofisticado de la información con la que fue entrenado, con un deseo irrefrenable de parecerte útil.

Y tú, ¿has pillado a la IA en una "mentira piadosa"? ¿En qué tareas jamás le pedirías consejo? ¡Te leo en los comentarios!