Jacob Coxon trabajó para OpenAI y para Anthropic. Hace poco renunció.
En vez de escribir el típico mensaje de despedida corporativa, publicó un hilo en el que advierte que la superinteligencia artificial que están buscando crear estas compañías podría matar a toda la humanidad antes de que termine esta década.
Pero esto no es nada nuevo. En 2011, una serie de la CBS ya nos había advertido. En ese entonces, parecía ciencia ficción la simple existencia de una inteligencia artificial. En Person of Interest, un programador construye una máquina capaz de predecir actos de violencia antes de que ocurran.
La Máquina protege vidas individuales, aunque eso signifique operar en las sombras y ocultarse de sus propios creadores. Finch, el protagonista, nunca llega a confiar en ella en su totalidad. Temía que esta IA pudiera caer en las manos equivocadas, y estaba en lo correcto. La serie avanza y alguien construye a Samaritan, la contraparte de la Máquina, una IA que resuelve el mismo problema de otra forma: identifica a quién considera una amenaza para el sistema y lo elimina, sin culpa, sin excepciones, en nombre de un bien mayor que solo ella define.
¿Cuál es la diferencia entre la máquina y Samaritan?
Finch diseñó a la Maquina para que solo dispusiera la información y dejara la decisión final, algo tan crítico como el destino de alguien, en manos humanas mientras que Samaritan es una IA a la que nadie le puso un límite. Y su solución para cualquier amenaza es siempre la misma: eliminarla.
Y no es que la IA sea malvada. Finch lo explicó muy bien. Su máquina entiende que la solución para la violencia es evitarla, pero Samaritan no; para ella la solución es eliminar la amenaza.
Ahora traslada esa pregunta a la humanidad. ¿Cuál sería la solución de una IA si le preguntas por la hambruna mundial? La Máquina puede crear un programa para repartir comida. Samaritan puede decidir simplemente eliminar a dicha población para evitar su sufrimiento.
La diferencia está en qué parámetro les dieron para decidir qué importa.
Ahora regresamos a Coxon, porque esa misma pregunta la dejó sobre la mesa al renunciar, aunque la haya hecho con otras palabras: ¿qué parámetro estamos usando nosotros? Evan Hubinger, responsable de seguridad de Anthropic, no lo contradijo. Al contrario: le dio la razón, y puso un número — más de diez por ciento de probabilidad, en los próximos diez años, de que la IA termine con la especie humana.
Diez por ciento no es una cifra de guion. Es un riesgo real, calculado por la misma gente que construye el producto. Nadie subiría a un avión con ese margen de error. Pero aun así seguimos entrenando el próximo modelo, sin saber todavía si estamos construyendo una Máquina o un Samaritan.