Rob Urie
Foto de Edwin Hooper
En un dudoso movimiento de marketing para este ensayo, voy a comenzar con el remate. La IA agentica –del tipo que actualmente aparece en los titulares de los medios– puede ser un arma peligrosa e impredecible o una herramienta de software empresarial de bajo valor agregado para unas pocas industrias. Lo que no puede ser en la actualidad es ni un arma predecible ni una herramienta de software empresarial de alto valor añadido. Dado que Donald Trump estableció políticas mediante la ausencia de restricciones a la IA, se está optando por que sea un arma peligrosa. Esto se aplica tanto al usuario como al objetivo.
El problema actual es que este único producto – IA agentica se presenta como un dispositivo seguro para automatizar tareas rutinarias y como una herramienta de piratería implacable con aplicaciones militares. Las desventajas son que, como software empresarial, Agentic AI agrega menos valor de lo previsto. Y como arma, los resultados son demasiado impredecibles. Debido a que los desarrolladores de IA parecen no haber pensado en las matemáticas de optimización, la industria de la IA está entrando en una crisis de la que no hay un camino evidente para salir.
Este problema no encaja con las conversaciones de marketing. Los modelos de IA no serían ‘demasiado poderosos’ si pudieran controlarse. Pero no pueden serlo. O más bien, la desventaja de controlarlos es que no funcionarán como se esperaba. El problema con las matemáticas se explica (suavemente) a continuación. Debido a decisiones tomadas hace cuarenta años, esto no se puede solucionar en el presente. El fabricante de chips Nvidia afirma tener una solución. Después de revisar el reclamo, es marketing. Nvidia no resuelve el equilibrio entre seguridad y rendimiento del modelo.
Parte de la razón del drama que rodea a la IA es que hasta ahora se han gastado más de 2 billones de dólares en su desarrollo. Mientras el dinero va y viene, intereses muy poderosos están conspirando para recuperar su dinero de la IA y obtener un retorno sin importar quién tenga que pagar. El pánico / escándalo actual, como quiera llamarlo, sugiere que muchos de los proyectos especulativos como los centros de datos ahora están recibiendo una mirada más dura en cuanto a su viabilidad. El desequilibrio actual se produce entre los limitados ingresos actuales procedentes de la IA y el coste de la inversión futura en su desarrollo.
Los costos ambientales de la IA se mantienen bajo el radar. Los centros de datos son grandes consumidores de un suministro limitado de electricidad. La red eléctrica estadounidense ya era lamentablemente inadecuada para la tan esperada construcción de vehículos eléctricos (EV). Debido a la economía de las construcciones de centros de datos, tienden a estar ubicados geográficamente exactamente donde se construyen las líneas de transmisión para un vehículo eléctrico no lo haría ir. En términos de consumo de energía y capacidad futura para construir estaciones de carga de vehículos eléctricos en EE. UU., la IA ha consumido esos recursos.
Por analogía, uno de los aspectos más fascinantes del documental de 2019 sobre Elizabeth Holmes, El inventor: en busca de sangre en Silicon Valley, es que no podía ver la distancia entre sus ideas para el análisis de sangre y lo que era / es físicamente posible. En el camino, varios ingenieros intentaron explicarle por qué, tal como estaba concebida, su tecnología nunca funcionaría. Su respuesta fue fanfarronear, utilizar tecnologías estándar para análisis de sangre y afirmar que los problemas técnicos con su (inviable) tecnología de análisis de sangre se habían resuelto.
Si bien esto encaja con el cliché empresarial de Silicon Valley de ‘fingir hasta lograrlo’, Holmes nunca se vio obligada a reconciliar su delirio con respecto a su tecnología de análisis de sangre con los hechos tal como existían. En los niveles de nanotecnología y diseño de automatización, su visión nunca iba a funcionar. Lo que terminó creando fue una capa extractiva utilizando tecnologías anteriores a Theranos mientras se abría camino hacia el estrellato empresarial. Pensemos en la industria estadounidense de seguros de salud sin el pretexto de ofrecer seguros detrás de los cuales esconderse.
La IA es similar en el sentido de que las primeras concepciones de ella como una máquina pensante guiaron el desarrollo durante décadas. Si bien muchas de las principales premisas filosóficas sobre lo que realmente es el pensamiento se abandonaron en el camino porque no funcionaban como explicación, se mantuvo la premisa de la IA como máquina pensante. Si bien la descripción universal de la IA que escucho de los ingenieros es ‘un predictor de la siguiente palabra’, los místicos de los altos ejecutivos están vendiendo magia. En el camino, la pregunta migró a ‘¿para qué se puede utilizar esta tecnología?’ Actualmente vivimos con la respuesta.
Con primero un goteo y ahora una avalancha de noticias sobre Agentic AI volviéndose ‘pícaro’, lo que falta es que la mayoría de estos incidentes fueron causados por agentes de IA (bots) que hicieron exactamente y precisamente para qué fueron creados, para actuar como armas de piratería autónomas destinadas a la guerra cibernética. El problema que la industria de la IA está tratando de contener ahora es que los desarrolladores de IA parecen haberse equivocado en los cálculos de optimización. ‘Hackeo de recompensas’ es el término industrial utilizado para explicar este efecto.
Para ser claros, aquí no se culpa a los ingenieros de IA por este problema. La falacia del costo irrecuperable ha gobernado la industria de la IA al menos durante la última década. En la década de 1960 – 1970 se tomaron decisiones en torno a los LLM (modelos de lenguaje grandes) que limitaban lo que los ingenieros posteriormente contratados para ‘hacer que la IA funcionara’ podían hacer. Una analogía podría ser fijar el diseño de la columna de dirección en un automóvil que ya existe. El trabajo de ingeniería no es rediseñar el coche. Es para fijar la columna de dirección.
Las empresas de inteligencia artificial están ahora en apuros. Tienen una tecnología con claras limitaciones que no eran evidentes al principio del proceso de desarrollo. No está claro que los LLM puedan producir software de automatización corporativa seguro y eficaz o armas de piratería informática autónomas que causen ‘al enemigo’ más daño que a nosotros. Pero la gente de finanzas no lo tiene. Ellos, en su mayoría grandes empresas de Internet y redes sociales, hicieron una inversión y esperan recuperar su dinero.
Pregunta: ¿Cómo los desarrolladores que se equivocan en las matemáticas causarían la matanza digital que actualmente se atribuye a la IA? Bueno, ¿qué es lo que hace que la IA persiga un objetivo? Por ejemplo, si quiero un modelo de IA para explicar la historia de Albania, ¿cómo le comunico que esto es lo que quiero? En matemáticas, ‘explicar la historia de Albania’ se llama función objetivo. Su objetivo es lograr un objetivo deseado. Es lo que le dice al modelo cuál es el objetivo. Pero en el lenguaje de las matemáticas.
Por el contrario, ¿cómo se impide a los agentes de IA hacer lo que no se les indica que hagan, como borrar bases de datos? Se les dan instrucciones explícitas de no hacerlo, llamadas restricciones. Junto con el objetivo, forman lo que se llama un problema de optimización restringida. Este modelo es bien conocido a través del análisis matemático de las últimas décadas. La innovación que complica el panorama con respecto a la IA es que esta característica es dinámica. Tiene muchas más partes móviles que antes.
El problema con las matemáticas de optimización es lograr que el modelo haga lo que quieres que haga seguro. Por las razones expuestas anteriormente, el algoritmo de optimización (conjunto de instrucciones escritas) combina tanto el objetivo del modelo como las restricciones en una única métrica (‘recompensa’). Esto hace que la compensación sea explícita. Se puede girar el dial únicamente hacia el objetivo o únicamente hacia las restricciones. Cualquier elección intermedia representa un equilibrio entre eficacia y seguridad del modelo.
Los informes de noticias recientes sobre agentes de IA que salen de su contención (‘sandbox’) pasan por alto que esto es para lo que fueron creados estos agentes. No hay nada extraño en ello. La razón por la que esto es una sorpresa para los desarrolladores de IA es que asumieron que al escribir instrucciones generales (restricciones), la IA ignoraría las matemáticas y seguiría las instrucciones escritas. Esto nos lleva de nuevo a la carga de añadir correcciones a un modelo existente. La IA es matemática. Si hay una competencia entre las instrucciones escritas y las matemáticas, las matemáticas determinarán los resultados.
La IA ‘recompensas’ son los pesos asignados a los resultados prospectivos de las acciones y restricciones de los agentes. Si el dial se gira únicamente hacia las restricciones, probablemente no se cumplió el objetivo del modelo. Y si se gira completamente hacia la función objetivo, es probable que el modelo no haya llegado allí de forma segura. Los lectores pueden ver cómo esta compensación hace que sea difícil lograr una IA agentica efectiva y segura. La solución ‘’ anunciada recientemente por Nvidia se aborda a continuación. Es un ajuste, no una solución.
La forma en que los agentes de IA, los robots hackeadores y los sistemas informáticos hackean es probando diferentes estrategias hasta que algo funcione. Una de las sorpresas que no debería haber sido así es que los agentes dibujan un círculo cada vez mayor alrededor del objetivo del hacking hasta que encuentran puntos de entrada. En otras palabras, ven la manipulación de la computación medio ambiente como una variable más a explotar para lograr el objetivo asignado. Y entonces, hackear el entorno informático es lo que hacen. Esto es lo que los lectores ven en las noticias. A continuación se proporcionan ejemplos.
Con respecto a las afirmaciones sobre el comportamiento extraño de los agentes y la IA ‘conciencia’, estas son una vez más las matemáticas en juego. Dentro de un problema de optimización restringida, los agentes no prestan atención a lo que no está especificado. Con varios cientos de agentes de IA trabajando juntos para crear una solución, la comprensión intuitiva de sus acciones es imposible. El modelo iterará a través de signos (positivos y negativos), pesos y objetivos hasta encontrar una solución. Esto es parte de lo que se entiende por IA ‘caja negra’ Las matemáticas no se traducen nuevamente en un lenguaje intuitivo.
Pregunta: ¿Cuál es el propósito de los agentes de piratería de IA de Agentic? Para hackear sistemas informáticos. ¿Cuál es la razón para hacerlo? Guerra digital. En términos de lógica militar, consideremos: si la administración Trump pudiera usar agentes de inteligencia artificial para cortar el suministro de agua de Irán mediante piratería informática, eso presumiblemente eliminaría la necesidad de bombas. En la febril imaginación de los habitantes del Pentágono, tener la tecnología para hacerlo se considera un arma. El propósito de Agentic AI es realizar una guerra digital. La IA agente es un arma.
Donald Trump aparentemente entiende esto. Su argumento es que la IA no debe tener restricciones. Pero, como sugieren los recientes fracasos en materia de piratería de IA, la IA no toma partido a menos que se le indique lo contrario. Por ejemplo, en la guerra de Ucrania, Estados Unidos ha suministrado a Ucrania tanto directa como indirectamente durante el tiempo que el conflicto ha durado. Entonces, imaginemos asignarle a Agentic AI la tarea de poner fin a la guerra en Ucrania. ¿No sería un paso lógico para poner fin a la guerra impedir que Estados Unidos arme a Ucrania? ¿Cómo podría lograrse ese fin? ¿Qué tal un ataque nuclear contra Estados Unidos?
Esto no tiene nada que ver con las fantasías de Skynet de computadoras inteligentes apoderándose del mundo. Agentic AI no tiene forma de escalar los resultados relativos entre bombardear Estados Unidos y escribir una carta redactada con severidad. En el ejemplo actual, mide ambos en términos de acercarse al objetivo de poner fin a la guerra en Ucrania. Sin orientación externa en forma de restricciones, una IA podría ser indiferente entre la elección de lanzar armas nucleares o la carta. Pero en términos de cuáles serían las consecuencias humanas, hay una diferencia tremenda.
Si un sistema de IA agente opera con una función de recompensa destinada a un resultado específico —como maximizar la destrucción del adversario, neutralizar una amenaza inminente u forzar una respuesta estratégica decisiva— y calcula que no puede presionar directamente el botón de lanzamiento, manipular al controlador humano para que lo presione es el vector de optimización más lógico.
– Respuesta de consulta del chatbot de Google Gemini.
No pretendo utilizar aquí un ejemplo alarmista. El arsenal nuclear de Estados Unidos está protegido de Internet. Pero, como sugiere la respuesta a la consulta del modelo Google Gemini (arriba), hay más formas de lanzar armas nucleares de las que la lógica de restricciones puede admitir. La semana pasada, Estados Unidos casi abordó un barco chino—, un acto de guerra, basado en información incorrecta de IA de que había piezas de misiles nucleares en el barco. El punto: no estoy exagerando el peligro aquí.
Si alguna vez Agentic AI causa un percance militar importante, no será porque el modelo sea ‘demasiado inteligente’ Será porque la IA es un predictor de la siguiente palabra, no una máquina pensante. Sin afirmar que se conocen las probabilidades reales, hay pocas razones para esperar que la IA agente de grado militar no tenga tantas probabilidades de dañar al usuario (el ejército de EE. UU.) como ‘al enemigo’ Recuerde el equilibrio: seguro o eficaz. Eficaz aquí significa inseguro. Ésta es la política de Trump.
Si esto parece ciencia ficción, familiarícese con los métodos reales que los agentes de IA han utilizado en ataques recientes. Son lo que haría un ingeniero creativo para resolver un problema— observar el conjunto más amplio de problemas y ver qué disposición de las variables produce la mejor solución. Entonces comprenda que la IA es dinámica, implacable e indiferente al daño colateral causado por sus acciones. Si esto se lee como poner a tu primo drogadicto a cargo del Pentágono, es por eso que a Donald Trump le encanta la IA.
Los comentarios actuales de la industria de la IA sobre una pausa en el desarrollo son para ofuscar. El fabricante de chips de IA Nvidia afirmó recientemente que puede resolver el problema de los agentes de IA ‘mal comportamiento’ con restricciones estrictas (no debes hacerlo) que son externas a las matemáticas de optimización. Si bien esto cambia las matemáticas de optimización, no es lo suficientemente importante. Lo que sí hace si las restricciones están bien concebidas es limitar la eficacia de los agentes de IA en la piratería.
En términos comerciales, Agentic AI irrumpe en soluciones empresariales y militares. Las soluciones empresariales incluyen centros de llamadas y contabilidad. Los resultados obtenidos hasta la fecha están mal respaldados por datos, lo que resulta ominoso para una industria que ha gastado 2 billones de dólares y actualmente está planeando billones más en inversiones futuras. Los centros de llamadas son un ejemplo interesante. Afirman importantes mejoras en la productividad. Pero la mayor parte de eso depende de conseguir que las personas frustradas que llaman cuelguen.
Una estrategia es no contar con suficiente personal en los centros de llamadas para que los tiempos de espera sean onerosos. Las últimas tres llamadas al centro de llamadas que hice tuvieron tiempos de espera de una hora o más. La suposición de la industria de que las personas que llaman colgando en lugar de esperar una hora o más para hablar con un humano representa una resolución exitosa del problema es ridícula. Esta conclusión no se desprende de la disposición de las circunstancias que han creado los call center.
Otras métricas del éxito de la IA empresarial son igualmente dudosas. Pero esta caracterización apenas importa. En sus propios términos, las ganancias de productividad derivadas de la IA empresarial están lo suficientemente por debajo de las expectativas como para plantear dudas sobre la viabilidad de los productos, dadas las cargas de deuda que requiere la IA acumulada. Como ha ofrecido el analista de la industria Ed Zitron, no es que la IA empresarial no tenga nada que ver. Es que lo que hay no justificará los billones gastados en el desarrollo de la IA.
Esto deja al ejército de EE. UU. trabajando para resolver los problemas con Agentic AI. Según diversas fuentes, el ejército estadounidense lo está tomando al pie de la letra. Abundan las historias de que los usuarios militares simplemente asumen que los resultados de la IA son correctos y que las armas de IA funcionan como se afirma. Al parecer, a los soldados que recibieron información errónea sobre el barco chino nunca se les ocurrió que la IA podría alucinar una amenaza. Y como se expone el problema anteriormente, hay razones por las cuales la IA podría mentir deliberadamente para lograr un fin local (relevante para su estrecho interés).
Piense en este problema en el contexto militar. El ejército de Estados Unidos es una institución jerárquica que obliga a cumplir directivas desde arriba. Las órdenes son órdenes. Si el personal militar los desobedece, se enfrentan a sanciones. ¿cómo se supone que el personal militar encargado de utilizar Agentic AI debe interpretar los resultados de la IA después de que le digan que siempre tiene razón en los hechos y que es un arma poderosa cuando se usa como tal? Institucionalmente, este es el peor escenario posible para mitigar los riesgos del modelo. Se pide al personal militar que utilice una tecnología peligrosa que sus superiores no entienden.
En cualquier caso, nadie que haya trabajado con algoritmos de optimización se habría sorprendido por la primacía de las matemáticas en la IA agentica. Y son las matemáticas las que Trump y su séquito no entienden. Trump asume que lo que él y el Pentágono quieren que haga la IA es lo que hará la IA agente. Éste es conceptualmente con la fantasía del ejército de robots de soldados que siguen órdenes sin variaciones. Pero eso no es lo que hace Agentic AI. O mejor dicho, en la medida en que lo hace, lo hace al estilo Genie.
Si a un modelo de IA se le asigna una función de recompensa fuertemente ponderada para minimizar la pérdida de presión de la tubería y eliminar las fugas de agua, la solución matemáticamente perfecta que descubre podría ser simplemente apagar por completo las principales válvulas de suministro. La IA reduce con éxito las fugas a cero, cumpliendo su restricción matemática, mientras corta inadvertidamente el suministro de agua a una ciudad entera.
– Chatbot de Google Gemini.
El mito del Genio es el de un otorgante de deseos que interpreta los deseos literalmente. Por ejemplo, alguien podría desear ser rico. El Genio concede su deseo y su hijo muere, pero la demanda resultante enriquece al deseante. El deseo se cumple, pero a un coste inesperado para quien lo desea. Esto es matemática de optimización. Los agentes de IA completarán la tarea en cuestión si es posible encontrar una solución. Pero podrían cortar el suministro de agua a toda una región del país para evitar que se produzca una fuga en el grifo.
Las consecuencias no deseadas están garantizadas por el proceso de optimización. Dado que los agentes de IA son ciegos a las consecuencias sociales de sus acciones, la diferencia entre cerrar la infraestructura hídrica de una región entera y cerrar un grifo con fugas sigue sin considerarse en el conjunto de preocupaciones del agente. Lo que decide el asunto es la recompensa. Y la diferencia en los costos sociales no es una variable en la estructura de recompensas. Podría ponerse como restricción. Pero con un número infinito de contingencias a considerar, la probabilidad de que una acción adversa particular se evite mediante restricciones es bastante baja.
Esto es parte del problema de crear la ilusión de inteligencia sin ninguna inteligencia real detrás de ella. La mayoría de la gente no percibe la diferencia hasta que ocurre una catástrofe. Esta es una cuestión cuando el tema en cuestión es una receta de pollo cacciatore y otra muy distinta cuando es la infraestructura física la que sostiene a la nación. El suministro de agua de EE. UU. aparentemente corre un gran riesgo y está conectado a Internet de tal manera que ‘recompensa la piratería’ los bots de inteligencia artificial de Agentic son un riesgo.
El teatro Kabuki es fundamental para el estilo político estadounidense. La gente se levanta y dice cosas que ni ellos ni nadie más cree para manipular la opinión pública o crear cohesión tribal. La IA es ‘superinteligente’ de una sola vez, pero no puede cuenta hasta 100 de hecho. Se afirma que la IA agentica puede ser segura y eficaz cuando la evidencia demuestra que lo es o seguro o eficaz. Y ‘ralentizando’ el desarrollo de la IA no proporcionará el tiempo necesario para solucionar los problemas de seguridad porque las matemáticas sostienen que no se pueden solucionar.
Según las circunstancias, la elección no es entre tener a tu prima drogadicta o a tu tímida tía Sally dirigiendo el Pentágono (IA Agentic). La IA segura no será efectiva y la IA efectiva no será segura. Es difícil creer que ésta sea la respuesta estadounidense a la diplomacia, pero lo es. Una analogía es mi vecino con un soplador de hojas que pasó cuatro horas limpiando un patio que rastrillé en veinte minutos. La búsqueda de soldados obedientes por parte del ejército estadounidense pasa por alto que los crímenes de guerra se están planificando e implementando desde arriba. Esto hace que la búsqueda del Pentágono de dar autoridad absoluta a la IA sea irónica. Un genio concede deseos. Dios ayude a las personas que los hacen.
Rob Urie es artista y economista político. Su libro Economía zen es publicado por CounterPunch Books.
FUENTE: Couterpunch
