Inteligência artificial: somos tão ambiciosos com suas possibilidades quanto vigilantes diante de seus riscos?

As discussões em torno da inteligência artificial dão por vezes a impressão de que seria preciso escolher entre entusiasmo e prudência. Alguns enfatizam sua capacidade de transformar a economia, a ciência, as organizações e o trabalho, enquanto outros insistem nos riscos que sistemas cada vez mais poderosos podem criar. Para os executivos, essa oposição é, no entanto, muito menos útil do que a questão de saber como progredir simultaneamente nessas duas dimensões.

Em uma entrevista concedida à Fortune, Lila Ibrahim, Chief AI Readiness Officer do Google DeepMind, traz justamente a reflexão de volta a duas preocupações particularmente pertinentes para as organizações: estamos fazendo tudo o que podemos para reduzir os riscos ligados à inteligência artificial e estamos também fazendo tudo o que podemos para maximizar as possibilidades que ela nos oferece?

Essas duas perguntas deveriam ser feitas em conjunto. A IA torna-se suficientemente poderosa para transformar profundamente a maneira como as organizações trabalham, tomam decisões, utilizam seus conhecimentos e desenvolvem suas capacidades. Esse poder exige simultaneamente uma governança, uma arquitetura de segurança e uma reflexão organizacional à altura daquilo que ela agora permite realizar.

Na Quantum Beyond, consideramos que essa dupla progressão constitui um dos melhores indicadores de maturidade em matéria de inteligência artificial. Uma organização madura busca aumentar o valor que pode criar graças à IA desenvolvendo ao mesmo tempo sua capacidade de compreender, governar e proteger esse novo poder operacional.

As possibilidades oferecidas pela inteligência artificial já são consideráveis. Ela pode acelerar a pesquisa, analisar volumes de informação que ultrapassam amplamente as capacidades humanas, automatizar certas tarefas, assistir especialistas, melhorar a tomada de decisão e permitir que organizações relativamente pequenas acessem capacidades que antes exigiam recursos bem mais significativos.

A chegada dos agentes de IA amplifica essa transformação. Os sistemas podem agora receber um objetivo, utilizar ferramentas, consultar várias fontes de informação, interagir com aplicações e realizar uma sucessão de ações a fim de alcançar um resultado. O Google DeepMind destaca notadamente o desenvolvimento de capacidades agênticas em domínios tão variados quanto a ciberdefesa, a descoberta científica e o desenvolvimento de produtos.

Para as organizações, essa evolução abre um espaço considerável. Parte do trabalho administrativo pode ser automatizada, os especialistas podem ser assistidos em suas pesquisas, conhecimentos dispersos podem tornar-se acessíveis muito mais rapidamente e certos processos podem ser executados a uma velocidade dificilmente imaginável antes. Equipes podem progressivamente aprender a trabalhar com capacidades digitais disponíveis permanentemente para pesquisar, analisar, preparar, verificar ou executar certas atividades.

Maximizar essas possibilidades exige, contudo, muito mais do que a compra de licenças ou o acréscimo de um assistente de IA às ferramentas já utilizadas. A organização deve determinar onde a inteligência artificial pode realmente criar valor, quais processos merecem ser repensados, quais conhecimentos devem ser estruturados, quais competências devem evoluir e quais atividades podem ser automatizadas, assistidas ou profundamente transformadas.

Ela deve igualmente medir o que obtém. Um aumento do número de consultas, de agentes, de licenças ou de automações não constitui automaticamente uma melhoria de desempenho. A maturidade exige conectar o uso da tecnologia a resultados: qualidade, produtividade, rapidez, capacidade decisória, experiência do cliente, redução do trabalho sem valor agregado, melhoria dos conhecimentos disponíveis ou criação de novas capacidades organizacionais.

É nessa perspectiva que a Quantum Beyond aborda a AI Adoption e a AI Organizational Transformation. O Qb Knowledge Standard – AI Readiness & Knowledge Governance prepara os conhecimentos necessários aos sistemas, enquanto o AI Onboarding estrutura a integração operacional dos agentes. Essas disciplinas perseguem um mesmo objetivo: permitir à organização explorar mais amplamente as capacidades da inteligência artificial de maneira concreta e produtiva.

Essa ambição torna-se inseparável da segunda pergunta levantada por Lila Ibrahim: estamos desenvolvendo suficientemente nossa capacidade de dominar os riscos que acompanham esse poder?

Esses riscos já existem em uma escala perfeitamente familiar às empresas. Uma IA pode receber informação confidencial. Um agente pode acessar uma caixa de e-mail, um CRM, um ambiente de nuvem ou dados financeiros. Um sistema pode produzir uma recomendação equivocada que influencia uma decisão importante. Uma automação pode reproduzir um erro milhares de vezes antes que alguém o detecte, enquanto um agente que dispõe de permissões amplas demais pode realizar uma ação que ultrapassa largamente a intenção inicial de seu usuário.

Quanto mais aumentamos as capacidades de um sistema, mais a distinção entre o que ele pode fazer e o que está autorizado a fazer torna-se importante. Uma organização poderia dispor de um agente tecnicamente capaz de enviar e-mails, modificar dados financeiros ou excluir arquivos sem, no entanto, desejar conceder-lhe automaticamente cada uma dessas autoridades.

Essa distinção entre capacidade e autoridade deveria tornar-se fundamental na governança da IA agêntica. A tecnologia determina o que é possível. A organização deve determinar o que é permitido, em quais circunstâncias, sob quais condições e com qual nível de supervisão.

Os trabalhos atuais sobre a segurança da IA refletem essa evolução. O Google DeepMind utiliza notadamente seu Frontier Safety Framework a fim de identificar o surgimento de capacidades suscetíveis de criar riscos severos e de prever diferentes medidas quando certos limiares são atingidos. As interações entre agentes constituem igualmente um domínio importante, já que sistemas individualmente dominados podem produzir, quando colaboram, comportamentos ou cadeias de ações mais difíceis de antecipar.

Na escala das organizações, o NIST AI Risk Management Framework propõe uma abordagem complementar ao integrar as questões de confiabilidade e de gestão de risco na concepção, no desenvolvimento, no uso e na avaliação dos sistemas de inteligência artificial. O princípio que dele emerge é particularmente útil: a segurança da IA deve progredir junto com sua adoção, em vez de ser acrescentada quando os sistemas já estão profundamente integrados às operações.

É precisamente aí que a ambição e a vigilância deixam de ser contraditórias. Uma organização que domina melhor seu ambiente pode razoavelmente permitir mais coisas a seus sistemas.

Um agente deve poder acessar as informações necessárias a seu trabalho sem obter automaticamente acesso a todo o conhecimento da empresa. Ele pode utilizar as ferramentas necessárias à sua missão sem receber privilégios administrativos permanentes. Certas operações podem ser automatizadas, enquanto outras acionam uma validação humana em função de suas consequências potenciais.

A identidade própria dos agentes, o menor privilégio, o Zero Trust, o Continuous Trust, a segmentação, o registro de logs, o monitoramento comportamental e a capacidade de retirar acessos rapidamente não servem, portanto, unicamente para restringir a IA. Esses mecanismos criam as condições que permitem conceder-lhe mais capacidades quando o nível de domínio é suficiente.

Essa relação entre controle e capacidade merece ser destacada. Uma organização que sabe precisamente o que um agente pode consultar, quais ferramentas pode utilizar, quais ações pode realizar e como interromper seu funcionamento tem mais margem para confiar-lhe responsabilidades do que uma organização que desconhece esses elementos.

A Hipersegurança permite estender essa reflexão ao ecossistema no qual os agentes evoluem. Com a IA agêntica, o risco não reside mais unicamente no modelo. Ele se encontra também nas identidades, nos conhecimentos, nas APIs, nas aplicações, nos fornecedores, nos dados, nas permissões e nas interações entre vários sistemas. Cada um desses elementos pode estar razoavelmente protegido individualmente, ao passo que sua combinação cria novos caminhos de ação.

O desafio consiste, portanto, em observar o conjunto da arquitetura e sua evolução. A Hipersegurança conecta as disciplinas de cibersegurança à governança, à resiliência, aos conhecimentos, às dependências tecnológicas e à soberania a fim de manter uma capacidade contínua de antecipar, resistir, detectar, conter, recuperar e adaptar-se. Em um ambiente agêntico, essa visão torna-se particularmente importante, já que as capacidades de um sistema podem evoluir sem que seu papel oficial tenha mudado.

Um modelo é atualizado, uma aplicação é conectada, uma API evolui, um agente recebe uma nova ferramenta, uma fonte de dados torna-se disponível ou dois agentes antes independentes começam a colaborar. Uma permissão apropriada no momento da implantação pode assim tornar-se excessiva alguns meses depois.

A governança deve, por consequência, tornar-se dinâmica. É o que a Quantum Beyond designa como a cibervigilância agêntica: manter um conhecimento suficientemente preciso do que os agentes podem realmente realizar, observar seu comportamento e reavaliar suas identidades, permissões, interações e capacidades à medida que seu ambiente evolui.

Essa vigilância tornar-se-á tanto mais importante quando as organizações passarem de alguns agentes facilmente identificáveis a dezenas, centenas ou eventualmente mais capacidades agênticas distribuídas em suas operações. A questão não será então apenas saber se cada modelo é suficientemente seguro. Será preciso compreender se o ecossistema no qual todos esses sistemas foram colocados permanece ele próprio sob controle.

A outra condição essencial para um uso ambicioso da IA diz respeito ao conhecimento organizacional. Uma empresa pode possuir décadas de experiência dispersas em seus documentos, bancos de dados, procedimentos, e-mails e, sobretudo, na memória de seus funcionários. Esse conhecimento pode conter contradições, ter se tornado obsoleto, permanecer implícito ou ser de difícil acesso.

Conectar uma inteligência artificial a esse ambiente não transforma automaticamente toda essa informação em conhecimento confiável. Uma IA capaz de acessar mais rapidamente uma informação ruim pode simplesmente produzir mais rapidamente uma resposta ruim.

O Qb Knowledge Standard – AI Readiness & Knowledge Governance visa precisamente preparar essa camada essencial. Antes de pedir aos sistemas de IA que compreendam uma organização, é preciso tornar seus ativos informacionais suficientemente estruturados, confiáveis e governados para que possam ser utilizados corretamente. Essa abordagem aumenta simultaneamente o potencial da inteligência artificial e reduz os riscos associados a informações equivocadas, contraditórias, obsoletas ou inapropriadas.

Encontramos novamente a mesma relação: a qualidade da governança permite aumentar a capacidade. Um melhor conhecimento organizacional melhora a pertinência dos sistemas ao mesmo tempo que reforça o controle sobre o que eles podem saber e utilizar.

Essa lógica aplica-se igualmente à autonomia. Na Quantum Beyond, o AI Onboarding considera a autonomia como uma capacidade que deve ser proporcional ao papel, ao risco e aos resultados observados. O agente pode começar trabalhando em um ambiente controlado, observar um processo, assistir uma pessoa ou produzir recomendações. Certas ações podem em seguida ser-lhe concedidas com aprovação humana, antes que uma autonomia maior seja considerada quando seu comportamento e seus resultados a justifiquem.

Essa progressão permite evitar duas situações igualmente improdutivas: manter duradouramente sistemas poderosos em papéis tão limitados que criam pouco valor, ou conceder-lhes imediatamente uma autonomia que a organização ainda não tem meios de governar.

O objetivo não é, portanto, a autonomia máxima. Ele consiste em determinar o nível de autonomia ideal para cada responsabilidade. Uma tarefa repetitiva, reversível e de baixo risco pode justificar uma automação importante, enquanto uma decisão que produz consequências jurídicas, financeiras ou humanas relevantes pode exigir uma intervenção explícita. Entre as duas existe todo um continuum de supervisão e de autoridade que a organização pode adaptar.

Essa abordagem nos traz de volta à própria noção de maturidade em IA. Uma organização madura não deveria ser medida unicamente segundo a sofisticação das tecnologias que implanta. Ela deveria também ser avaliada segundo sua capacidade de transformar seus processos, preparar seus conhecimentos, desenvolver as competências de suas equipes, medir o valor produzido, governar seus agentes, controlar suas identidades e fazer evoluir sua autonomia.

A maturidade reside precisamente na capacidade de fazer essas dimensões progredirem juntas. Quanto mais a organização se torna capaz de governar a IA, mais ela pode razoavelmente ser ambiciosa em seu uso. E quanto mais ambiciosa se torna, mais deve reforçar os mecanismos que lhe permitem conservar esse domínio.

Essa progressão deve, por fim, permanecer orientada para as pessoas. Lila Ibrahim destaca a importância de utilizar essas tecnologias para melhorar o mundo em que vivemos e aumentar o potencial humano. Essa perspectiva conecta-se diretamente à maneira como a Quantum Beyond concebe a transformação pela inteligência artificial.

Não queremos simplesmente ajudar as organizações a acumular ferramentas de IA. Queremos ajudá-las a tornar-se melhores graças a elas: permitir aos funcionários realizar mais, tornar o conhecimento mais acessível, reduzir certas tarefas sem valor agregado, dar aos especialistas mais tempo para exercer sua expertise, acelerar a resolução de problemas e criar novas capacidades organizacionais.

Essa ambição implica igualmente proteger as pessoas, suas informações, sua autonomia e sua capacidade de julgamento. Os trabalhos do Google DeepMind sobre os riscos de manipulação por sistemas de inteligência artificial lembram, aliás, que a segurança não diz respeito unicamente aos dados e às infraestruturas. À medida que os sistemas conversacionais tornam-se mais convincentes e personalizados, compreender sua capacidade de influenciar os comportamentos humanos torna-se igualmente um desafio de segurança e de governança.

A tecnologia torna-se verdadeiramente útil quando aumenta as possibilidades humanas preservando ao mesmo tempo nossa capacidade de decidir os objetivos que ela deve perseguir e os limites dentro dos quais pode agir. O desempenho de um modelo, o número de agentes implantados ou a proporção de tarefas automatizadas permanecem meios. O valor criado para as pessoas e para a organização constitui a finalidade.

As duas perguntas propostas por Lila Ibrahim oferecem, por fim, um excelente teste de maturidade para as organizações que investem hoje em inteligência artificial: estamos fazendo o suficiente para explorar suas possibilidades e estamos fazendo o suficiente para dominar os riscos que acompanham essa nova capacidade?

Essas perguntas ganham ao serem examinadas em conjunto porque se reforçam mutuamente. Uma organização que estrutura seus conhecimentos pode obter melhores resultados ao mesmo tempo que reduz os erros. Uma organização que domina as identidades e as permissões de seus agentes pode conceder-lhes mais responsabilidades. Uma organização que mede o desempenho pode identificar os domínios nos quais a autonomia produz realmente valor. Uma arquitetura capaz de detectar e conter os comportamentos inesperados permite experimentar com mais confiança.

Na Quantum Beyond, essa relação entre ambição e vigilância conecta diretamente a AI Adoption, a AI Organizational Transformation, o AI Onboarding, o AI Governance Office, o Qb Knowledge Standard, o IAM, o Zero Trust e o Continuous Trust, a cibervigilância agêntica, a ciberresiliência e a Hipersegurança. Essas disciplinas não constituem um acúmulo de controles em torno da inteligência artificial. Elas formam a arquitetura que permite à organização explorar progressivamente mais suas capacidades conservando ao mesmo tempo a compreensão e o controle necessários.

A questão determinante não será, portanto, provavelmente, saber até onde a inteligência artificial pode ir. Suas capacidades continuarão a evoluir e descobriremos regularmente novas. Para as organizações, a pergunta muito mais útil consiste em determinar até onde elas podem ir com ela, desenvolvendo simultaneamente sua própria capacidade de compreendê-la, de governá-la e de integrá-la inteligentemente ao trabalho humano.

É nessa progressão comum que se encontra provavelmente a verdadeira maturidade: tornar-se mais ambicioso porque estamos mais bem preparados, e tornar-se mais vigilante precisamente porque queremos ir mais longe. A inteligência artificial pode aumentar consideravelmente as possibilidades das organizações. Nossa responsabilidade é fazer progredir junto com ela nossa capacidade de garantir que os humanos permaneçam os beneficiários dessa transformação.