La inteligencia artificial debe seguir al servicio de los humanos
La inteligencia artificial progresa a una velocidad notable. Puede analizar volúmenes considerables de información, escribir software, asistir a investigadores, automatizar tareas complejas, contribuir al descubrimiento científico y convertirse progresivamente en una verdadera capacidad operativa dentro de las organizaciones. Con la llegada de los agentes de IA se franquea una nueva etapa, puesto que ahora puede utilizar herramientas, interactuar con sistemas y realizar ciertas tareas con un grado creciente de autonomía.
Estos avances abren posibilidades extraordinarias. También aumentan nuestra responsabilidad: cuantas más capacidades le damos a la inteligencia artificial, más deben progresar con ella nuestras propias capacidades de comprender su funcionamiento, gobernar su uso, asegurar sus interacciones e intervenir cuando aparece un resultado inesperado.
Esa es precisamente una de las preocupaciones del Center for AI Safety (CAIS), un organismo de investigación sin fines de lucro establecido en San Francisco que trabaja sobre los riesgos asociados a los sistemas de inteligencia artificial avanzados. Su enfoque se basa en una idea fundamental: el potencial considerable de la IA puede beneficiar a la sociedad si su desarrollo y su uso van acompañados de una atención suficientemente seria a la seguridad.
Quantum Beyond comparte esta convicción. Creemos profundamente en el potencial de la inteligencia artificial y en su capacidad de aumentar lo que las organizaciones y sus equipos pueden lograr. Esta ambición viene acompañada de un principio que debe permanecer en el centro de la transformación: la tecnología debe seguir al servicio y en beneficio de los humanos.
El Center for AI Safety ocupa una posición particular en el ecosistema de la inteligencia artificial. Su papel no consiste en comercializar un modelo ni en favorecer la adopción de una plataforma en particular. El organismo trabaja sobre las condiciones que permiten a los sistemas de IA progresar reduciendo al mismo tiempo los riesgos que pueden acompañar a capacidades cada vez más importantes.
Sus trabajos abordan la seguridad de la IA desde varios ángulos. La investigación técnica busca en particular comprender mejor ciertos comportamientos peligrosos o indeseables, mientras que otros trabajos se apoyan en la ingeniería de seguridad, los sistemas complejos, las relaciones internacionales o incluso la filosofía. El CAIS también contribuye al desarrollo del campo apoyando la formación, la investigación y el acceso a distintos recursos.
Este enfoque multidisciplinario es especialmente pertinente porque los desafíos vinculados a la inteligencia artificial no pueden resolverse únicamente con más potencia de cómputo o con mejores modelos. También afectan la ciberseguridad, las organizaciones, los comportamientos humanos, las responsabilidades, la gobernanza y los mecanismos que decidimos construir alrededor de estas tecnologías.
El CAIS es conocido, entre otras cosas, por haber contribuido a poner de relieve ciertos escenarios de riesgo extremo asociados al desarrollo futuro de la IA. Su declaración sobre el riesgo vinculado a la inteligencia artificial, respaldada por cientos de investigadores, directivos tecnológicos y personalidades públicas, propone que el riesgo de extinción asociado a la IA se considere una prioridad mundial comparable a otros riesgos sociales de gran magnitud. Entre los firmantes figuran varias personalidades importantes del campo, como Geoffrey Hinton, Yoshua Bengio, Demis Hassabis, Sam Altman y Dario Amodei.
La probabilidad de escenarios tan extremos sigue siendo, naturalmente, motivo de debate. Esa discusión es necesaria y no debería impedir que las organizaciones extraigan una lección mucho más inmediata de esta reflexión: cuando aumenta la capacidad de una tecnología, nuestra capacidad de comprender sus comportamientos, de limitar su autoridad y de retomar el control cuando una situación lo exige debe progresar al mismo ritmo.
Esta cuestión ya resulta muy concreta en las empresas. Una organización no necesita en absoluto enfrentarse a un escenario existencial para sufrir las consecuencias de un mal uso de la IA. Un agente que dispone de permisos excesivos puede provocar un incidente. Una información confidencial enviada a un entorno inadecuado puede producir una fuga de datos. Una recomendación errónea utilizada sin suficiente validación puede llevar a una mala decisión, mientras que una automatización mal diseñada puede reproducir un error a una velocidad y a una escala que un humano difícilmente podría alcanzar.
La inteligencia artificial aumenta nuestra capacidad de actuar. Ese aumento puede amplificar simultáneamente el valor creado y las consecuencias de un error. La seguridad, la gobernanza y la capacidad de supervisión deben, por lo tanto, progresar junto con la autonomía otorgada.
Esta lógica explica por qué varias disciplinas que a veces parecen distintas deben considerarse ahora en conjunto. Gobernanza de la IA, AI Onboarding, IAM, Zero Trust y Continuous Trust, gobernanza de los datos y del conocimiento, ciberseguridad, transformación organizacional, resiliencia y soberanía digital contribuyen todas a una misma capacidad: permitir que la organización utilice sistemas cada vez más potentes manteniendo suficiente comprensión y control sobre sus acciones.
La Hiperseguridad adquiere aquí un significado particular. Los agentes de IA ya no son únicamente aplicaciones que hay que proteger. Se convierten en actores digitales que utilizan identidades, acceden a conocimientos, invocan API, se comunican con sistemas, eventualmente colaboran con otros agentes y pueden tomar ciertas iniciativas. La ciberseguridad sigue siendo esencial para proteger cada uno de esos componentes, mientras que la Hiperseguridad permite observar sus interacciones dentro de una arquitectura global y evolutiva.
El objetivo es diseñar un entorno capaz de anticipar, resistir, detectar, contener, recuperarse y aprender cuando algo no se desarrolla como estaba previsto. Cuanto más aumentan las capacidades de la IA, más importante se vuelve esta visión transversal, puesto que el riesgo puede surgir de la combinación de varios elementos que, individualmente, parecían perfectamente razonables.
Mantener la inteligencia artificial al servicio de los humanos no significa, sin embargo, poner a una persona detrás de cada acción de un sistema automatizado. Una supervisión humana omnipresente eliminaría gran parte de los beneficios buscados e incluso podría crear una ilusión de control cuando las personas terminan aprobando mecánicamente las recomendaciones producidas por los sistemas.
La verdadera cuestión consiste en determinar dónde el juicio humano aporta un valor esencial. Algunas tareas pueden automatizarse por completo cuando su nivel de riesgo y sus consecuencias potenciales son bajos. Otras pueden confiarse a la IA con una supervisión periódica. Ciertas decisiones justifican una aprobación humana explícita cuando pueden producir consecuencias financieras, jurídicas, operativas o humanas importantes.
Este reparto debe diseñarse intencionalmente. La autonomía no es una característica que la organización deba conceder indistintamente a todos sus agentes. Constituye una capacidad que puede aumentarse progresivamente según el rol, el nivel de riesgo, la calidad de los resultados observados y las consecuencias potenciales de un error.
Esa es precisamente una de las funciones del AI Onboarding. Antes de que un agente pueda participar plenamente en las operaciones, la organización debe definir su rol, los conocimientos necesarios para su trabajo, su identidad, sus permisos, los sistemas a los que puede acceder, las acciones que puede realizar y las situaciones en las que una persona debe intervenir. La autonomía se convierte entonces en algo que la organización gobierna, y no en una consecuencia implícita de la tecnología que compró.
La misma atención debe prestarse a las personas que trabajarán con estos sistemas. Una transformación organizacional exitosa no se mide por el número máximo de tareas humanas que pueden automatizarse. Busca más bien determinar cómo la tecnología puede aumentar la capacidad colectiva de la organización y dónde las cualidades humanas siguen siendo especialmente importantes: juicio, creatividad, responsabilidad, relaciones, experiencia, intuición, empatía y comprensión del contexto.
Las organizaciones deberán aprender progresivamente a construir equipos híbridos en los que personas y agentes tengan roles complementarios. Los empleados deberán comprender las capacidades de los agentes con los que trabajan, así como sus límites. Los gerentes deberán aprender a distribuir las responsabilidades entre distintas formas de inteligencia, a determinar qué puede delegarse y a medir el valor realmente producido.
Esta transformación será, por lo tanto, tecnológica y profundamente organizacional. Modificará ciertos procesos, hará evolucionar responsabilidades y podría desplazar una parte del trabajo humano hacia el análisis, la validación, el juicio, la creación y la gestión de excepciones. El valor de la IA dependerá en gran medida de la calidad con la que se diseñe esta nueva distribución del trabajo.
Otra dimensión merece la misma atención: los conocimientos que transmitimos a los sistemas de inteligencia artificial. Para ser verdaderamente útiles, los agentes deben comprender progresivamente los productos, los procesos, las políticas, los clientes, las reglas de negocio y los métodos de trabajo de la organización. Ese conocimiento les permite volverse mucho más pertinentes en sus intervenciones.
También constituye un activo organizacional considerable. Una parte de ese conocimiento representa varias décadas de experiencia acumulada por empleados, directivos y especialistas. Forma parte del capital intelectual de la empresa y merece una gobernanza acorde con su valor.
El Qb Knowledge Standard – AI Readiness & Knowledge Governance responde precisamente a este desafío. Antes de hacer una organización inteligible para las máquinas, hay que comprender qué conocimientos existen, cuáles son autorizados, quién puede acceder a ellos, cómo se mantienen y en qué entornos pueden utilizarse. La inteligencia artificial puede entonces amplificar el conocimiento humano respetando y protegiendo al mismo tiempo lo que las personas han contribuido a construir.
Esta gobernanza del conocimiento se conecta directamente con la de las identidades. Cuando un sistema de inteligencia artificial accede a los datos, a las aplicaciones y a las infraestructuras, se convierte en un componente activo del sistema de información. En cuanto empieza a actuar, su identidad, sus permisos y su comportamiento se vuelven desafíos operativos de ciberseguridad.
Los principios del mínimo privilegio, de Zero Trust, de segmentación, de identidad distinta, de trazabilidad y de revocación adquieren entonces toda su importancia. Un agente debería disponer de los accesos necesarios para su rol, sus acciones deberían poder distinguirse de las de las personas y sus permisos deberían evolucionar con sus responsabilidades. Cuando estas desaparecen, sus accesos deben poder desaparecer con ellas.
Esta arquitectura no busca impedir que la IA actúe. Busca permitirle actuar en un entorno diseñado para contener las consecuencias cuando aparece un comportamiento inesperado. Esta distinción es esencial, puesto que una arquitectura madura no exige creer que jamás se producirá un error. Más bien contempla la posibilidad de un error y construye los mecanismos necesarios para que siga siendo manejable.
Este enfoque permite además superar una oposición a veces artificial entre innovación y seguridad. Una organización que experimenta rápidamente con la inteligencia artificial sin comprender sus datos, sus permisos, sus responsabilidades o sus dependencias puede obtener resultados impresionantes a corto plazo. Sin embargo, corre el riesgo de tener que frenar bruscamente cuando un incidente, una exigencia regulatoria o una arquitectura que se ha vuelto difícil de gobernar imponen una reconstrucción.
En cambio, unos cimientos suficientemente sólidos pueden facilitar la aceleración. Cuando la organización conoce sus datos, gobierna sus agentes, domina sus identidades y posee mecanismos que permiten ajustar su autonomía, puede experimentar más sabiendo dónde están los límites.
La seguridad y la gobernanza se convierten así en capacidades de innovación. Dan a los directivos suficiente visibilidad para decidir hasta dónde llegar, a los equipos suficientes reglas para experimentar y a los agentes suficiente autonomía para crear valor en un entorno cuyos límites se comprenden.
Quantum Beyond quiere aplicar esta filosofía a la realidad cotidiana de las organizaciones. Nuestro objetivo es permitir que los clientes utilicen más la inteligencia artificial cuando aporta un valor verdadero, automaticen inteligentemente ciertas actividades, aumenten las capacidades de sus equipos y descubran nuevas maneras de trabajar. Esta progresión debe permitir simultáneamente saber qué hacen los sistemas, por qué lo hacen, qué información utilizan, hasta dónde pueden actuar y cómo una persona puede retomar el control cuando una situación lo exige.
Detrás de estas consideraciones técnicas queda finalmente una pregunta mucho más fundamental: ¿por qué desarrollamos y desplegamos estas tecnologías? Su capacidad de analizar, automatizar y actuar constituye un medio. El número de tareas automatizadas, el desempeño de un modelo o el nivel de autonomía de un agente nunca deberían convertirse en fines en sí mismos.
La inteligencia artificial se vuelve realmente interesante cuando contribuye a resolver problemas complejos, acelerar la investigación, mejorar los servicios, ampliar el acceso al conocimiento, apoyar a los trabajadores, reducir ciertas tareas repetitivas y permitir que las organizaciones logren cosas que antes eran difíciles o imposibles.
El progreso tecnológico cobra así todo su sentido cuando aumenta nuestra capacidad de mejorar las condiciones humanas. Esta orientación exige conservar una intención clara detrás de la innovación y seguir evaluando la tecnología según el valor que crea para las personas, las organizaciones y la sociedad.
El Center for AI Safety plantea una pregunta cuya importancia crecerá con las capacidades de la inteligencia artificial: ¿cómo podemos beneficiarnos plenamente de esta tecnología mientras desarrollamos simultáneamente nuestra capacidad de comprender y reducir los riesgos que puede crear?
Esta pregunta va mucho más allá de los escenarios más extremos asociados al futuro de la IA. Ya se aplica a las decisiones cotidianas de las organizaciones que despliegan modelos, conectan agentes a sus sistemas, les transmiten conocimientos y les otorgan progresivamente más autonomía. Cada nueva capacidad debería ir acompañada de una reflexión comparable sobre la gobernanza, las identidades, los permisos, los conocimientos, la resiliencia y el papel que los humanos deben seguir ejerciendo.
Quantum Beyond busca acompañar esta evolución junto a los equipos internos y a sus socios tecnológicos. El AI Governance Office, el AI Onboarding, el Qb Knowledge Standard, el IAM, Zero Trust y Continuous Trust, la ciberresiliencia y la Hiperseguridad constituyen distintas dimensiones de un mismo enfoque: aumentar las capacidades tecnológicas de la organización aumentando simultáneamente su capacidad de comprenderlas, gobernarlas y dominarlas.
Este enfoque permite conservar al ser humano en un lugar intencional. No se trata de pedirle que apruebe mecánicamente cada operación realizada por una máquina. Se trata de preservar su autoridad sobre las decisiones que cuentan, su juicio cuando el contexto lo exige, su capacidad de intervenir cuando se alcanzan los límites y su responsabilidad en la definición de los objetivos a los que la tecnología debe servir.
Creemos profundamente en el potencial de la inteligencia artificial. Esa confianza justifica precisamente construir las condiciones que permitan utilizarla con ambición, vigilancia y responsabilidad. Cuanto más aumenten sus capacidades, más deberán progresar con ellas nuestras propias capacidades de gobernanza, seguridad y discernimiento.
En Quantum Beyond, la tecnología no es, por lo tanto, el destino. Es un medio para aumentar lo que los humanos pueden comprender, crear, proteger y lograr. Y si la inteligencia artificial se convierte efectivamente en una de las tecnologías más poderosas que hayamos desarrollado, esa finalidad humana merece permanecer en el centro de su evolución.