Inteligencia artificial: ¿somos tan ambiciosos con sus posibilidades como vigilantes frente a sus riesgos?
Los debates en torno a la inteligencia artificial dan a veces la impresión de que habría que elegir entre entusiasmo y prudencia. Algunos insisten en su capacidad para transformar la economía, la ciencia, las organizaciones y el trabajo, mientras que otros subrayan los riesgos que pueden crear unos sistemas cada vez más potentes. Para los directivos, sin embargo, esa oposición resulta mucho menos útil que la pregunta de cómo avanzar simultáneamente en ambas dimensiones.
En una entrevista concedida a Fortune, Lila Ibrahim, Chief AI Readiness Officer de Google DeepMind, lleva precisamente la reflexión a dos preocupaciones especialmente pertinentes para las organizaciones: ¿estamos haciendo todo lo que podemos para reducir los riesgos vinculados a la inteligencia artificial y estamos haciendo también todo lo que podemos para maximizar las posibilidades que nos ofrece?
Ambas preguntas deberían plantearse juntas. La IA se está volviendo lo bastante potente como para transformar profundamente la manera en que las organizaciones trabajan, toman decisiones, utilizan sus conocimientos y desarrollan sus capacidades. Esa potencia exige al mismo tiempo una gobernanza, una arquitectura de seguridad y una reflexión organizacional a la altura de lo que hoy permite lograr.
En Quantum Beyond consideramos que ese doble avance constituye uno de los mejores indicadores de madurez en materia de inteligencia artificial. Una organización madura busca aumentar el valor que puede crear gracias a la IA y, al mismo tiempo, desarrollar su capacidad para comprender, gobernar y asegurar esa nueva potencia operativa.
Las posibilidades que ofrece la inteligencia artificial ya son considerables. Puede acelerar la investigación, analizar volúmenes de información que superan ampliamente las capacidades humanas, automatizar ciertas tareas, asistir a especialistas, mejorar la toma de decisiones y permitir que organizaciones relativamente pequeñas accedan a capacidades que antes exigían recursos mucho mayores.
La llegada de los agentes de IA amplifica esta transformación. Los sistemas pueden ahora recibir un objetivo, utilizar herramientas, consultar varias fuentes de información, interactuar con aplicaciones y ejecutar una sucesión de acciones para alcanzar un resultado. Google DeepMind destaca en particular el desarrollo de capacidades agénticas en ámbitos tan variados como la ciberdefensa, el descubrimiento científico y el desarrollo de productos.
Para las organizaciones, esta evolución abre un espacio considerable. Una parte del trabajo administrativo puede automatizarse, los especialistas pueden recibir asistencia en sus investigaciones, conocimientos dispersos pueden volverse accesibles mucho más rápidamente y ciertos procesos pueden ejecutarse a una velocidad difícilmente imaginable antes. Los equipos pueden aprender progresivamente a trabajar con capacidades digitales disponibles de manera permanente para buscar, analizar, preparar, verificar o ejecutar determinadas actividades.
Maximizar esas posibilidades exige, sin embargo, mucho más que comprar licencias o añadir un asistente de IA a las herramientas ya utilizadas. La organización debe determinar dónde puede la inteligencia artificial crear valor realmente, qué procesos merecen repensarse, qué conocimientos deben estructurarse, qué competencias deben evolucionar y qué actividades pueden automatizarse, asistirse o transformarse profundamente.
También debe medir lo que obtiene. Un aumento del número de consultas, de agentes, de licencias o de automatizaciones no constituye automáticamente una mejora del desempeño. La madurez exige vincular el uso de la tecnología a resultados: calidad, productividad, rapidez, capacidad de decisión, experiencia del cliente, reducción del trabajo sin valor añadido, mejora de los conocimientos disponibles o creación de nuevas capacidades organizacionales.
Es desde esta perspectiva que Quantum Beyond aborda la AI Adoption y la AI Organizational Transformation. El Qb Knowledge Standard – AI Readiness & Knowledge Governance prepara los conocimientos necesarios para los sistemas, mientras que el AI Onboarding estructura la integración operativa de los agentes. Estas disciplinas persiguen un mismo objetivo: permitir que la organización aproveche más las capacidades de la inteligencia artificial de manera concreta y productiva.
Esta ambición se vuelve inseparable de la segunda pregunta planteada por Lila Ibrahim: ¿estamos desarrollando lo suficiente nuestra capacidad para dominar los riesgos que acompañan a esta potencia?
Estos riesgos ya existen a una escala perfectamente familiar para las empresas. Una IA puede recibir información confidencial. Un agente puede acceder a un buzón de correo electrónico, un CRM, un entorno cloud o datos financieros. Un sistema puede producir una recomendación errónea que influya en una decisión importante. Una automatización puede reproducir un error miles de veces antes de que una persona lo detecte, mientras que un agente con permisos demasiado amplios puede ejecutar una acción que supere ampliamente la intención inicial de su usuario.
Cuanto más aumentamos las capacidades de un sistema, más importante se vuelve la distinción entre lo que puede hacer y lo que está autorizado a hacer. Una organización podría disponer de un agente técnicamente capaz de enviar correos electrónicos, modificar datos financieros o eliminar archivos sin que por ello desee concederle automáticamente cada una de esas atribuciones.
Esta distinción entre capacidad y autoridad debería volverse fundamental en la gobernanza de la IA agéntica. La tecnología determina lo que es posible. La organización debe determinar lo que está permitido, en qué circunstancias, bajo qué condiciones y con qué nivel de supervisión.
Los trabajos actuales sobre la seguridad de la IA reflejan esta evolución. Google DeepMind utiliza en particular su Frontier Safety Framework para identificar la aparición de capacidades susceptibles de crear riesgos severos y prever distintas medidas cuando se alcanzan determinados umbrales. Las interacciones entre agentes constituyen también un ámbito importante, ya que sistemas controlados individualmente pueden producir, cuando colaboran, comportamientos o cadenas de acciones más difíciles de anticipar.
A escala de las organizaciones, el NIST AI Risk Management Framework propone un enfoque complementario al integrar las cuestiones de fiabilidad y de gestión del riesgo en el diseño, el desarrollo, el uso y la evaluación de los sistemas de inteligencia artificial. El principio que de ahí se desprende es particularmente útil: la seguridad de la IA debe avanzar junto con su adopción, en lugar de añadirse cuando los sistemas ya están profundamente integrados en las operaciones.
Es precisamente ahí donde la ambición y la vigilancia dejan de ser contradictorias. Una organización que domina mejor su entorno puede razonablemente permitir más cosas a sus sistemas.
Un agente debe poder acceder a la información necesaria para su trabajo sin obtener automáticamente acceso a todo el conocimiento de la empresa. Puede utilizar las herramientas necesarias para su misión sin recibir privilegios administrativos permanentes. Algunas operaciones pueden automatizarse, mientras que otras activan una validación humana en función de sus consecuencias potenciales.
La identidad propia de los agentes, el mínimo privilegio, Zero Trust, Continuous Trust, la segmentación, el registro de actividad, la vigilancia del comportamiento y la capacidad de retirar rápidamente accesos no sirven, por lo tanto, únicamente para restringir la IA. Estos mecanismos crean las condiciones que permiten concederle más capacidades cuando el nivel de dominio es suficiente.
Esta relación entre control y capacidad merece subrayarse. Una organización que sabe con precisión qué puede consultar un agente, qué herramientas puede utilizar, qué acciones puede ejecutar y cómo interrumpir su funcionamiento tiene más margen para confiarle responsabilidades que una organización que desconoce estos elementos.
La Hiperseguridad permite extender esta reflexión al ecosistema en el que operan los agentes. Con la IA agéntica, el riesgo ya no reside únicamente en el modelo. También se encuentra en las identidades, los conocimientos, las API, las aplicaciones, los proveedores, los datos, los permisos y las interacciones entre varios sistemas. Cada uno de estos elementos puede estar razonablemente asegurado de forma individual, mientras que su combinación crea nuevas rutas de acción.
El desafío consiste, por lo tanto, en observar el conjunto de la arquitectura y su evolución. La Hiperseguridad vincula las disciplinas de ciberseguridad con la gobernanza, la resiliencia, los conocimientos, las dependencias tecnológicas y la soberanía, a fin de mantener una capacidad continua de anticipar, resistir, detectar, contener, recuperar y adaptarse. En un entorno agéntico, esta visión se vuelve especialmente importante, ya que las capacidades de un sistema pueden evolucionar sin que su rol oficial haya cambiado.
Se actualiza un modelo, se conecta una aplicación, evoluciona una API, un agente recibe una nueva herramienta, una fuente de datos se vuelve disponible o dos agentes antes independientes empiezan a colaborar. Un permiso apropiado en el momento del despliegue puede así volverse excesivo unos meses más tarde.
La gobernanza debe, en consecuencia, volverse dinámica. Es lo que Quantum Beyond denomina la cibervigilancia agéntica: mantener un conocimiento suficientemente preciso de lo que los agentes pueden realmente hacer, observar su comportamiento y reevaluar sus identidades, permisos, interacciones y capacidades a medida que su entorno evoluciona.
Esta vigilancia será tanto más importante cuando las organizaciones pasen de unos pocos agentes fácilmente identificables a decenas, centenares o eventualmente más capacidades agénticas distribuidas en sus operaciones. La pregunta ya no será entonces únicamente si cada modelo es suficientemente seguro. Habrá que comprender si el ecosistema en el que se han colocado todos esos sistemas sigue estando él mismo bajo control.
La otra condición esencial para un uso ambicioso de la IA tiene que ver con el conocimiento organizacional. Una empresa puede poseer décadas de experiencia dispersas en sus documentos, bases de datos, procedimientos, correos electrónicos y, sobre todo, en la memoria de sus empleados. Ese conocimiento puede contener contradicciones, haber quedado obsoleto, seguir siendo implícito o resultar difícilmente accesible.
Conectar una inteligencia artificial a ese entorno no transforma automáticamente toda esa información en conocimiento fiable. Una IA capaz de acceder más rápidamente a una información equivocada puede simplemente producir más rápidamente una respuesta equivocada.
El Qb Knowledge Standard – AI Readiness & Knowledge Governance busca precisamente preparar esa capa esencial. Antes de pedir a los sistemas de IA que comprendan una organización, hay que hacer que sus activos informativos sean lo bastante estructurados, fiables y gobernados para que puedan utilizarse correctamente. Este enfoque aumenta simultáneamente el potencial de la inteligencia artificial y reduce los riesgos asociados a informaciones erróneas, contradictorias, obsoletas o inapropiadas.
Encontramos de nuevo la misma relación: la calidad de la gobernanza permite aumentar la capacidad. Un mejor conocimiento organizacional mejora la pertinencia de los sistemas y refuerza al mismo tiempo el control sobre lo que pueden saber y utilizar.
Esta lógica se aplica igualmente a la autonomía. En Quantum Beyond, el AI Onboarding considera la autonomía como una capacidad que debe ser proporcional al rol, al riesgo y a los resultados observados. El agente puede empezar trabajando en un entorno controlado, observar un proceso, asistir a una persona o producir recomendaciones. Después se le pueden conceder ciertas acciones con aprobación humana, antes de contemplar una autonomía mayor cuando su comportamiento y sus resultados lo justifiquen.
Esta progresión permite evitar dos situaciones igualmente improductivas: mantener de forma duradera sistemas potentes en roles tan limitados que crean poco valor, o concederles de inmediato una autonomía que la organización aún no tiene los medios de gobernar.
El objetivo no es, por lo tanto, la autonomía máxima. Consiste en determinar el nivel de autonomía óptimo para cada responsabilidad. Una tarea repetitiva, reversible y de bajo riesgo puede justificar una automatización importante, mientras que una decisión con consecuencias jurídicas, financieras o humanas mayores puede exigir una intervención explícita. Entre ambas existe todo un continuo de supervisión y de autoridad que la organización puede adaptar.
Este enfoque nos devuelve a la noción misma de madurez en IA. Una organización madura no debería medirse únicamente por la sofisticación de las tecnologías que despliega. También debería evaluarse por su capacidad para transformar sus procesos, preparar sus conocimientos, desarrollar las competencias de sus equipos, medir el valor producido, gobernar sus agentes, controlar sus identidades y hacer evolucionar su autonomía.
La madurez reside precisamente en la capacidad de hacer avanzar juntas esas dimensiones. Cuanto más capaz se vuelve la organización de gobernar la IA, más puede razonablemente ser ambiciosa en su uso. Y cuanto más ambiciosa se vuelve, más debe reforzar los mecanismos que le permiten conservar ese dominio.
Esta progresión debe, finalmente, seguir orientada hacia las personas. Lila Ibrahim subraya la importancia de utilizar estas tecnologías para mejorar el mundo en el que vivimos y aumentar el potencial humano. Esta perspectiva coincide directamente con la manera en que Quantum Beyond concibe la transformación mediante la inteligencia artificial.
No queremos simplemente ayudar a las organizaciones a acumular herramientas de IA. Queremos ayudarlas a volverse mejores gracias a ellas: permitir que los empleados logren más, hacer el conocimiento más accesible, reducir ciertas tareas sin valor añadido, dar a los especialistas más tiempo para ejercer su experiencia, acelerar la resolución de problemas y crear nuevas capacidades organizacionales.
Esta ambición implica también proteger a las personas, su información, su autonomía y su capacidad de juicio. Los trabajos de Google DeepMind sobre los riesgos de manipulación por parte de sistemas de inteligencia artificial recuerdan, por otra parte, que la seguridad no concierne únicamente a los datos y las infraestructuras. A medida que los sistemas conversacionales se vuelven más convincentes y personalizados, comprender su capacidad para influir en los comportamientos humanos se convierte también en un desafío de seguridad y de gobernanza.
La tecnología se vuelve verdaderamente útil cuando amplía las posibilidades humanas y preserva al mismo tiempo nuestra capacidad de decidir los objetivos que debe perseguir y los límites dentro de los cuales puede actuar. El desempeño de un modelo, el número de agentes desplegados o la proporción de tareas automatizadas siguen siendo medios. El valor creado para las personas y para la organización constituye la finalidad.
Las dos preguntas propuestas por Lila Ibrahim ofrecen, en definitiva, una excelente prueba de madurez para las organizaciones que invierten hoy en inteligencia artificial: ¿estamos haciendo lo suficiente para aprovechar sus posibilidades y estamos haciendo lo suficiente para dominar los riesgos que acompañan a esta nueva capacidad?
Estas preguntas ganan al examinarse juntas porque se refuerzan mutuamente. Una organización que estructura sus conocimientos puede obtener mejores resultados y reducir al mismo tiempo los errores. Una organización que domina las identidades y los permisos de sus agentes puede concederles más responsabilidades. Una organización que mide el desempeño puede identificar los ámbitos donde la autonomía produce realmente valor. Una arquitectura capaz de detectar y contener los comportamientos inesperados permite experimentar con más confianza.
En Quantum Beyond, esta relación entre ambición y vigilancia conecta directamente la AI Adoption, la AI Organizational Transformation, el AI Onboarding, la AI Governance Office, el Qb Knowledge Standard, la IAM, Zero Trust y Continuous Trust, la cibervigilancia agéntica, la ciberresiliencia y la Hiperseguridad. Estas disciplinas no constituyen una acumulación de controles alrededor de la inteligencia artificial. Forman la arquitectura que permite a la organización aprovechar progresivamente más sus capacidades conservando la comprensión y el control necesarios.
La pregunta determinante no será, por lo tanto, probablemente saber hasta dónde puede llegar la inteligencia artificial. Sus capacidades seguirán evolucionando y descubriremos regularmente nuevas. Para las organizaciones, la pregunta mucho más útil consiste en determinar hasta dónde pueden llegar con ella desarrollando al mismo tiempo su propia capacidad para comprenderla, gobernarla e integrarla inteligentemente al trabajo humano.
Es en esa progresión común donde se encuentra probablemente la verdadera madurez: volvernos más ambiciosos porque estamos mejor preparados, y volvernos más vigilantes precisamente porque queremos ir más lejos. La inteligencia artificial puede aumentar considerablemente las posibilidades de las organizaciones. Nuestra responsabilidad es hacer progresar con ella nuestra capacidad de asegurarnos de que los seres humanos sigan siendo los beneficiarios de esta transformación.