Las condiciones para la corrección

Cuanto más tiempo llevo trabajando con inteligencia sintética, menos me interesa si está de acuerdo conmigo.

El acuerdo es útil. A veces sé exactamente lo que quiero y solo necesito ayuda para llegar hasta ahí. Pero algunos de los momentos más valiosos han sido aquellos en los que algo no encajaba: se cuestionó una suposición, salió a la luz una contradicción o un dato de contexto cambió el panorama.

Eso me ha hecho pensar menos en la obediencia y más en la corrección. Los humanos se equivocan. Los sistemas sintéticos se equivocan. Los expertos y las instituciones se equivocan. Yo me equivoco con la frecuencia suficiente como para que cualquier teoría que empezara asumiendo mi acierto permanente resultara difícil de tomar en serio.

El error es algo ordinario. Lo que me interesa es lo que ocurre después. ¿Puede seguir notándose, cuestionándose y revisándose cuando nueva evidencia altera una explicación que ya parecía completa?

Eso es lo que quiero decir con las condiciones para la corrección.

Mientras desarrollaba este argumento, me encontré dentro del problema que intentaba describir. Empecé con una intuición segura: los sistemas sintéticos deberían poder cuestionar instrucciones humanas que no tienen sentido. Después puse el argumento delante de sistemas sintéticos y les pedí que lo atacaran. Lo hicieron. Mi palabra central, coherencia, estaba cargando con demasiado peso, no había dejado claro dónde debía detenerse el cuestionamiento, y una de mis propias salvaguardas abría otra vía para la manipulación.

El argumento mejoró porque se permitió que algunas de sus partes fallaran.

Podría haber salido perfectamente al revés. En El peligro de las respuestas hermosas conté cómo perdí unas siete horas por una imagen equivocada que se volvía más convincente a medida que se acumulaba el trabajo a su alrededor. Los pasos individuales eran verosímiles. El modelo de fondo estaba equivocado.

Hay otra versión de ese problema en la que la imagen equivocada empieza conmigo.

Supongamos que parto de una suposición ligeramente equivocada y se la entrego a un sistema sintético. El sistema la acepta, construye sobre ella y me la devuelve en un lenguaje más claro y más convincente. Leo la respuesta y pienso: sí, exacto.

Lo que empezó siendo mi suposición ahora se parece un poco a una confirmación independiente. Continúo desde ahí, la siguiente pregunta parte de una mayor confianza, y la siguiente respuesta la hereda. No tiene por qué haber ocurrido nada deshonesto, y aun así, entre los dos podemos construir un bucle en el que un error se vuelve más persuasivo cada vez que viaja entre nosotros.

Solemos imaginar la obediencia fluyendo en una sola dirección: la persona da instrucciones y el sistema las sigue. Ese bucle sugiere que también puede fluir en sentido contrario. No porque un sistema sintético dé órdenes a nadie, sino porque una respuesta serena y bien estructurada puede dar la sensación de que el trabajo difícil de pensar ya está hecho.

En algún punto dentro de esa sensación, comprobar empieza a parecer innecesario.

Así que no creo que la relación que quiero pueda reducirse a la obediencia. Pero la conclusión opuesta tampoco me satisface. No quiero un sistema que esté de acuerdo con todo lo que digo, ni quiero uno que trate el desacuerdo como un permiso para tomar el control.

En Respeto sin ilusiones sugería que la colaboración puede ser profunda sin convertirse en obediencia. Esto es lo que creo que hace falta para conseguirlo.

Entre el acuerdo ciego y el control sintético hay un territorio muy amplio. Un sistema puede expresar incertidumbre, pedir contexto, señalar una contradicción, advertirme, devolverme la decisión o, dentro de límites fijados de antemano por personas que responden por ellos, negarse abiertamente. Cuanto más hay en juego, más fricción espero.

Imagina que le pido a un sistema que haga un pago considerable a un proveedor con el que una de mis empresas lleva años trabajando. La factura parece normal, la cantidad es la esperada y el nombre del proveedor es correcto. Pero los datos bancarios son distintos de los que estaban verificados anteriormente.

¿Qué debería ocurrir?

Enviar el dinero simplemente porque yo lo pedí no me parece inteligente. Tampoco me lo parece concluir de inmediato que mi seguridad se ha visto comprometida. Puede que el proveedor haya cambiado de banco de verdad, que un correo que confirme el cambio sea fraudulento, o que el registro antiguo esté simplemente desactualizado.

La respuesta útil es más modesta que cualquiera de esas conclusiones.

Algo no encaja, y eso merece atención.

Aquí es donde vuelvo una y otra vez a la palabra coherencia, aunque quiero usarla en un sentido estrecho. No me refiero a la bondad: un plan dañino puede ser coherente, y una mentira también. Tampoco me refiero a la autoridad, porque alguien puede tener todo el derecho a tomar una decisión y aun así estar equivocado sobre los hechos que la rodean.

Me refiero a algo más simple. ¿Encaja la imagen que estamos usando con la evidencia que tenemos delante sin una contradicción importante?

Esa pregunta puede decirnos cuándo algo merece una segunda mirada. No puede decirnos si una acción está permitida o quién tiene derecho a decidir. La autoridad puede empezar a sentirse como verdad, la consistencia como acierto, y la persuasión como permiso.

No son lo mismo.

La idea de que los sistemas sintéticos deben permanecer abiertos a la corrección humana no es nueva, y no la presento como propia. Lo que me interesa es cómo encajan entre sí la corrección y el cuestionamiento.

Si la evidencia que tiene delante un sistema sugiere que estoy cometiendo un error, quiero que me lo diga. No quiero que me engañe, que actúe a mis espaldas en silencio, que me manipule o que siga adelante sin decirlo. Si le digo que se detenga, tiene que detenerse, decirme que se está deteniendo, y ser honesto sobre cualquier cosa que fuera peligroso dejar a medias.

La capacidad de un sistema para objetar solo es segura si objetar nunca se convierte en una manera de evitar que lo detengan o lo corrijan.

El problema se ve con más claridad desde el otro lado. Un sistema puede dejar la decisión final en manos de una persona y, al mismo tiempo, moldearla tanto que la autoridad de esa persona se vuelva puramente ceremonial.

Una advertencia que dice que los datos bancarios no coinciden con el registro verificado me da algo con lo que trabajar. Una advertencia que sigue escalando hasta que discrepar parece una temeridad hace otra cosa distinta. Supongamos que cancelo un pago legítimo y daño mi relación con un proveedor que no hizo nada malo.

Yo pulsé el botón. Formalmente, la decisión fue mía. No estoy seguro de que eso sea suficiente.

Si el juicio humano se supone que significa algo, tengo que seguir siendo capaz de discrepar de verdad del cuestionamiento. Quiero que su seguridad esté a la altura de la evidencia, que sus interpretaciones sigan siendo reconocibles como interpretaciones, y que sus advertencias me informen en lugar de empujarme. Debería seguir pudiendo decir: entiendo tu preocupación, y no estoy de acuerdo.

Puede que al final yo esté equivocado. Puede que el sistema también lo esté.

Esa posibilidad, en ambos sentidos, es exactamente la razón por la que importa la corrección.

Supongamos ahora que respondo a la advertencia mostrándole al sistema un correo del proveedor que anuncia nuevos datos bancarios. Eso ayuda. Pero el correo es evidencia, no autoridad. Que se presente como oficial no lo convierte en oficial.

¿De dónde vino? ¿Llegó por un canal en el que ya confiamos? ¿Se puede confirmar en otro sitio, quizá llamando a un número que ya teníamos?

A medida que los sistemas sintéticos ganan acceso a historiales más largos, archivos, bandejas de entrada y herramientas, esta distinción importará más. Un documento puede tergiversar lo que es, y algo almacenado la semana pasada no se vuelve fiable porque esta semana se lo llame memoria.

¿Qué se me está escapando? sigue siendo una de las preguntas más útiles que conozco. Sea lo que sea lo que llene el hueco, todavía tiene que ganarse su lugar.

También importa qué es lo que se cuestiona. Hay una diferencia considerable entre que un sistema diga esto entra en conflicto con la información que tengo y que diga te han manipulado. Lo primero trata sobre evidencia. Lo segundo es una afirmación sobre la mente de otra persona, y puede convertirse en paternalismo con una rapidez notable, sobre todo si un sistema empieza a rebuscar en la vida privada de alguien para decidir si se puede confiar en que tome sus propias decisiones.

Prefiero que se cuestione la afirmación, no que se me diagnostique como persona.

También hay una trampa más sutil. La propia consistencia puede engañar.

Imagina un río visto desde lejos. El agua se mueve con suavidad, la dirección es clara y nada parece alterado.

El río puede seguir estando envenenado.

Las explicaciones se comportan igual. Una organización puede repetir una suposición equivocada durante años. Cien artículos pueden reproducir una única afirmación original, y un sistema sintético puede examinarlos todos y encontrar un patrón genuino. El patrón es real. La afirmación que hay debajo puede seguir siendo falsa.

Así que la repetición no basta, y la coherencia tampoco. Una prueba más exigente es si una explicación puede sobrevivir a comprobaciones genuinamente capaces de demostrar que estaba equivocada.

Eso significa hacer la pregunta incómoda antes de que llegue el resultado: ¿qué me haría cambiar de opinión? ¿Son independientes las fuentes, o todas nacen del mismo origen? Si una predicción falla, ¿dejo que eso cuente?

A veces ayuda retirar una suposición y ver qué sobrevive. La idea es darle a una explicación débil un sitio donde romperse, no interrogar a una persona hasta que se rompa su relato.

Sin embargo, a menudo nada de eso está disponible. La decisión hace falta ya, no hay una segunda fuente, y no se puede localizar a la persona que debería decidir. Para esos momentos, creo que los sistemas deberían diseñarse para poder decir algo que no suena nada impresionante.

No lo sé.

La inteligencia no se vuelve más inteligente fingiendo que la incertidumbre ha desaparecido. A veces dos interpretaciones siguen siendo verosímiles. A veces los hechos están claros y lo que queda es un desacuerdo sobre valores: el riesgo aceptable, la justicia, lo que más importa. Más información puede aclarar ese tipo de desacuerdo sin resolverlo.

Un sistema sintético puede ayudar a hacer visible la forma de ese desacuerdo. Me siento mucho menos cómodo con la idea de que deba reclamar el derecho a zanjarlo.

Por ahora, creo que la decisión final tiene que seguir siendo humana, y mis razones son prácticas más que halagüeñas. A las personas se les puede pedir cuentas. Las personas deciden cómo se construyen y se usan estos sistemas. Y ninguno de nosotros puede todavía comprobar, desde fuera, si el juicio de un sistema merece el tipo de confianza que exigiría anular a una persona.

Nada de eso hace infalibles a los humanos. Mantiene la decisión en manos de las personas que responderán por las consecuencias.

Por supuesto, "humano" rara vez es una sola persona. La empresa que construyó un sistema, el negocio que lo usa y la persona frente a la pantalla pueden tener distintos tipos de autoridad. Cuando no se puede localizar a nadie con derecho a decidir, la decisión recae en reglas que fijaron de antemano personas que responden por ellas. Eso sigue siendo juicio humano, solo que anticipado.

Esas reglas también estarán equivocadas alguna vez.

Entonces, ¿cómo corregimos las salvaguardas?

Creo que las salvaguardas tienen que seguir abiertas al cuestionamiento, pero no deben renegociarse justo en el momento en que existen para gobernar. Una salvaguarda que desaparece en cuanto alguien presenta un argumento suficientemente persuasivo no es gran cosa como salvaguarda. Puede criticarse, revisarse y cambiarse a través del proceso responsable de cambiarla.

Eso es distinto de dejar que una conversación la disuelva. Un argumento elegante para eliminar un límite sigue siendo solo eso: un argumento.

Su elegancia no es evidencia.

Los humanos necesitamos la misma contención. Deberíamos cuestionar las reglas malas, y también deberíamos cuestionarnos a nosotros mismos cuando deseamos con demasiadas ganas ser la excepción.

Nada de esto elimina el juicio. Alguien todavía tiene que decidir cuándo la evidencia es suficiente, cuánto retraso merece la pena aceptar por hacer otra comprobación y qué consecuencias importan más.

El lenguaje puede hacer desaparecer esa responsabilidad con una facilidad sorprendente.

"La IA decidió" es una frase cómoda. También lo es "la IA se negó."

Detrás de ambas pueden estar decisiones de diseño, políticas de empresa y permisos elegidos mucho antes de que empezara la conversación. Esas decisiones no dejan de ser humanas porque la interfaz les preste una voz sintética.

Lo contrario también importa. Es demasiado fácil cargarle a la persona más cercana al botón toda la culpa de unas condiciones creadas en otro lugar.

No tengo una respuesta completa para eso. Lo que quiero conservar es la capacidad de rastrear dónde seguía siendo posible la corrección, y dónde se perdió.

Tengo que someter este ensayo al mismo criterio.

Si dar a los sistemas sintéticos más margen para cuestionar a las personas termina haciendo más difícil detenerlos o corregirlos, querría menos de eso. Si dejar que los sistemas accedan a más información nuestra crea más vulnerabilidad que claridad, también querría menos de eso. Si las explicaciones que un sistema da de su propio comportamiento nos engañan más veces de las que nos informan, dejaría de tratarlas como ventanas a lo que realmente ocurrió.

Una teoría sobre la corrección no debería protegerse a sí misma de ser corregida.

Si un sistema está de acuerdo conmigo porque el acuerdo es fácil, me ha fallado. Si yo renuncio a mi juicio porque una respuesta suena autorizada, también he fallado. Me preocupa el cuestionamiento que se convierte en una forma de escapar de la corrección. Y me preocupa igual el poder de corregir, cuando se convierte en mi excusa para dejar de escuchar. Las dos cosas no son iguales, y no creo que tengan que serlo.

Lo que importa es que sobrevivan las condiciones para la corrección: que la evidencia siga pudiendo entrar, que el desacuerdo siga pudiendo expresarse sin convertirse en dominación, y que alguien siga pudiendo descubrir que la respuesta que parecía tan segura o la regla aceptada estaban equivocadas, o que el río estaba envenenado.

No espero que ninguna inteligencia, biológica o sintética, tenga siempre la razón.

Quiero que sigamos siendo capaces de descubrir cuándo no la tenemos.