Este post pretende ser una continuación reflexiva del anterior Ey chat. No eres tu, soy yo.
Si aquel era más una autorreflexión y autocrítica sobre mi relación personal con la IA, este quiere ir un paso más allá: plantear una mirada crítica, quizás algo exagerada, o quizás no, según la sensibilidad del lector; sobre cómo la industria está adoptando la IA en sus flujos de trabajo, y las consecuencias de ignorar lo que llamo el autoengaño del conocimiento prestado. O, como me gusta llamarlo debido al contexto: el Efecto Dunning-Kruger as a Service.
Un fenómeno del cual me incluyo, de ahí el post anterior, y del cual caemos casi siempre de forma inconsciente.
El autoengaño del conocimiento prestado o Efecto Dunning-Kruger como servicio #
A la pregunta de “¿quién puede usar IA?”, la respuesta es: “todos*” (sí, ese asterisco está ahí por una razón).
¿Por qué todos* y no simplemente todos? Porque siempre hay matices. En el anterior post hablamos de los diferentes ángulos de esos matices, pero creo que es fundamental hablar, por último, del conocimiento de causa. O, dicho de otra forma: evitar caer en la ilusión del conocimiento.
¿Qué diferencia hay entre un mono usando un ordenador y una persona usando la IA en un ámbito que desconoce? Para mí, una: el mono se aburre y lo deja; la persona probablemente continúe, autoconfirme y se autoengañe creyendo que es experta.
Desde luego, la IA es nuestro mentor incansable, nuestro tutor con paciencia infinita, nuestro queridísimo amigo imbécil, esclavo fiel de nuestra completa complacencia. Pero no deja de ser un conjunto de datos, más o menos estructurados y relacionados, consultados mediante un modelo de lenguaje natural.
¿El problema? Sus fallas son enormes:
-
El sesgo de la información indexada y procesada.
-
El propio mismo lenguaje natural.
Dos pilares que por su naturaleza estadística (el sesgo) y poco formal o propensa a malinterpretaciones (el lenguaje natural), convierten las respuestas o “reflexiones” de la IA en un terreno muy resbaladizo con consecuencias de magnitud escalable. Veamos un ejemplo:
Cuando todo el mundo es “experto” #
En una empresa con estructura jerárquica distribuida por roles, dirección de departamento, preventa, gestión de equipos, desarrolladores, etc; siempre ha existido comunicación entre expertos precisamente para asesorar y guiar en contextos que uno no domina.
¿Qué se está viendo cada vez más?
Por ejemplo, que el preventa (con una base suficiente de conocimiento técnico ligado al negocio) decide usar IA para redactar y extender el documento técnico del contrato.
Esto provoca que el texto se deje de construirse sobre lo que conoce o cree conocer… a empezar a construirse en terrenos donde ya no sabe, pero la IA le hace creer que sí. Cree que sigue conociendo, pero en cuanto entran los detalles, realmente ya no sabe de qué está hablando.
Ahí es donde estaba su límite, el punto exacto donde terminaba su conocimiento base. Y es ahí precisamente donde se produce la ilusión del conocimiento. El resultado: una venta de algo que no sabe, o que aparentemente cree saber, si es factible o no según los tiempos y recursos pactados.
Ahora matizamos:
-
Experto: quien conoce de lo que habla.
-
“Experto”: quien conoce lo básico o suficiente y usa la IA como muleta para completar lo que ignora.
Seguimos: Del lado del cliente, otro “experto” revisa el documento, pide un resumen y, una vez más, se basa en la IA y finalmente acepta continuar.
Una vez aceptado, se delega en otro “experto” la elección del equipo técnico que va a desempeñar la tarea del proyecto. Se revisan CVs, probablemente también con ayuda de la IA. CVs que, a su vez, han sido, mejorados, maquillados, corregidos o directamente generados por IA. Y así, tenemos un equipo cualificado de “expertos”, según criterio de “expertos”. Vaya…
¿Qué podría salir mal? #
Llegados a este punto ya tenemos el escenario montado:
-
Un proyecto que quizás no sea factible con los recursos asignados.
-
Aprobado por varios comités.
-
Con luz verde para empezar.
Ahora, todo el trabajo recae en el equipo de desarrolladores. Tenemos dos escenarios posibles:
-
Si el equipo es experto, sabrá que el proyecto tiene un alto riesgo de fracaso. Eventualmente se verán forzados a usar IA para agilizar sus flujos de trabajo.
-
Si el equipo es “experto”, no verá los riesgos e implicaciones. Usará IA para resolver el trabajo. Y cruzaremos los dedos por el final.
¿Trabajamos con Agile? ¿Hacemos sprints? Perfecto. En la sprint review se enseña lo construido, y otro grupo de “expertos” usa IA para verificar si cuadra con el documento de preventa.
Llega la entrega final. Se muestra al cliente. Expectativas vs realidad. Preventa vs producto final. ¿Qué ha pasado? ¿Qué nos encontramos?
Vive Coding. Explícale ahora a quien quieras que, en realidad, estábamos todos en el Vive.
Conclusión #
La IA ha llegado para quedarse. Pero más allá de lo evidente hay algo que nos cuesta más ver: el desplazamiento silencioso de nuestra responsabilidad técnica, intelectual y crítica.
Este ensayo no pretende negar los beneficios de la IA, sino advertir de sus efectos colaterales cuando se integra de forma acrítica en procesos que escalan, tanto personales como profesionales.
Porque el problema no es que la IA nos mienta, sino que nos diga lo que queremos oír. Lo peligroso no es que la IA se equivoque. Lo verdaderamente peligroso es cuándo creemos que no lo hace. Y es en ese punto, cuando bajamos la guardia, donde nace el autoengaño del conocimiento prestado.
Este tipo de ilusión colectiva, compartida por muchos actores que no saben, pero creen saber porque la IA les reafirma, genera un entorno ideal para lo que Nassim Nicholas Taleb llamaría un cisne negro. [Book] The Black Swan: The Impact of the Highly Improbable
Y lo preocupante no es que la IA lo provoque, sino que nosotros mismos estamos construyendo las condiciones para que ocurra. Porque cuantos más “expertos” piensan que son expertos, más se debilita el juicio. Y cuanto más delegamos el pensamiento, más vulnerable se vuelve el sistema.
Si este texto deja algo, que sea esto: el problema no es usar la IA, sino dejar de usar la cabeza.