A inteligência artificial deve permanecer a serviço dos humanos

A inteligência artificial avança a uma velocidade notável. Ela pode analisar volumes consideráveis de informação, escrever software, auxiliar pesquisadores, automatizar tarefas complexas, contribuir para a descoberta científica e tornar-se progressivamente uma verdadeira capacidade operacional dentro das organizações. Com a chegada dos agentes de IA, uma nova etapa é alcançada, pois ela pode agora utilizar ferramentas, interagir com sistemas e realizar certas tarefas com um grau crescente de autonomia.

Esses avanços abrem possibilidades extraordinárias. Eles aumentam igualmente nossa responsabilidade: quanto mais capacidades damos à inteligência artificial, mais nossas próprias capacidades de compreender seu funcionamento, de governar seu uso, de proteger suas interações e de intervir quando um resultado inesperado aparece devem progredir junto com ela.

É precisamente uma das preocupações do Center for AI Safety (CAIS), uma organização de pesquisa sem fins lucrativos estabelecida em São Francisco que trabalha sobre os riscos associados aos sistemas de inteligência artificial avançados. Sua abordagem repousa sobre uma ideia fundamental: o potencial considerável da IA pode beneficiar a sociedade se seu desenvolvimento e seu uso forem acompanhados de uma atenção suficientemente séria à segurança.

A Quantum Beyond compartilha essa convicção. Acreditamos profundamente no potencial da inteligência artificial e em sua capacidade de ampliar o que as organizações e suas equipes podem realizar. Essa ambição vem acompanhada de um princípio que deve permanecer no centro da transformação: a tecnologia deve permanecer a serviço e em benefício dos humanos.

O Center for AI Safety ocupa uma posição particular no ecossistema da inteligência artificial. Seu papel não consiste em comercializar um modelo ou em favorecer a adoção de uma plataforma específica. A organização trabalha sobre as condições que permitem aos sistemas de IA progredir reduzindo ao mesmo tempo os riscos suscetíveis de acompanhar capacidades cada vez mais importantes.

Seus trabalhos abordam a segurança da IA sob vários ângulos. A pesquisa técnica busca notadamente compreender melhor certos comportamentos perigosos ou indesejáveis, enquanto outros trabalhos se apoiam na engenharia de segurança, nos sistemas complexos, nas relações internacionais ou ainda na filosofia. O CAIS contribui igualmente para o desenvolvimento da área apoiando a formação, a pesquisa e o acesso a diferentes recursos.

Essa abordagem multidisciplinar é particularmente pertinente porque os desafios ligados à inteligência artificial não podem ser resolvidos unicamente com mais poder computacional ou com modelos melhores. Eles tocam igualmente a cibersegurança, as organizações, os comportamentos humanos, as responsabilidades, a governança e os mecanismos que escolhemos construir em torno dessas tecnologias.

O CAIS é notadamente conhecido por ter contribuído para trazer à luz certos cenários de risco extremo associados ao desenvolvimento futuro da IA. Sua declaração sobre o risco ligado à inteligência artificial, apoiada por centenas de pesquisadores, executivos de tecnologia e personalidades públicas, propõe que o risco de extinção associado à IA seja considerado uma prioridade mundial comparável a outros riscos sociais de grande porte. Entre os signatários figuram várias personalidades importantes da área, entre elas Geoffrey Hinton, Yoshua Bengio, Demis Hassabis, Sam Altman e Dario Amodei.

A probabilidade de cenários tão extremos permanece naturalmente objeto de debate. Essa discussão é necessária e não deveria impedir as organizações de extrair uma lição muito mais imediata da reflexão: quando a capacidade de uma tecnologia aumenta, nossa capacidade de compreender seus comportamentos, de limitar sua autoridade e de retomar o controle quando uma situação o exige deve progredir no mesmo ritmo.

Essa questão já se torna muito concreta nas empresas. Uma organização não precisa de modo algum ser confrontada com um cenário existencial para sofrer as consequências de um mau uso da IA. Um agente que disponha de permissões excessivas pode provocar um incidente. Uma informação confidencial enviada para um ambiente inadequado pode produzir um vazamento de dados. Uma recomendação equivocada utilizada sem validação suficiente pode conduzir a uma má decisão, ao passo que uma automação mal concebida pode reproduzir um erro a uma velocidade e a uma escala que um humano dificilmente alcançaria.

A inteligência artificial aumenta nossa capacidade de agir. Esse aumento pode amplificar simultaneamente o valor criado e as consequências de um erro. A segurança, a governança e a capacidade de supervisão devem, portanto, progredir junto com a autonomia concedida.

Essa lógica explica por que várias disciplinas que às vezes parecem distintas devem agora ser consideradas em conjunto. Governança da IA, AI Onboarding, IAM, Zero Trust e Continuous Trust, governança dos dados e dos conhecimentos, cibersegurança, transformação organizacional, resiliência e soberania digital contribuem todas para uma mesma capacidade: permitir que a organização utilize sistemas cada vez mais poderosos mantendo compreensão e controle suficientes sobre suas ações.

A Hipersegurança assume aqui um significado particular. Os agentes de IA não constituem mais apenas aplicações a proteger. Eles se tornam atores digitais que utilizam identidades, acessam conhecimentos, chamam APIs, comunicam-se com sistemas, colaboram eventualmente com outros agentes e podem tomar certas iniciativas. A cibersegurança permanece essencial para proteger cada um desses componentes, enquanto a Hipersegurança permite observar suas interações dentro de uma arquitetura global e evolutiva.

O objetivo é conceber um ambiente capaz de antecipar, de resistir, de detectar, de conter, de recuperar e de aprender quando algo não ocorre conforme o previsto. Quanto mais as capacidades da IA aumentam, mais essa visão transversal se torna importante, pois o risco pode emergir da combinação de vários elementos que, individualmente, pareciam perfeitamente razoáveis.

Manter a inteligência artificial a serviço dos humanos não significa, contudo, colocar uma pessoa por trás de cada ação de um sistema automatizado. Uma supervisão humana onipresente eliminaria grande parte dos benefícios buscados e poderia até criar uma ilusão de controle quando as pessoas acabam por aprovar mecanicamente as recomendações produzidas pelos sistemas.

A verdadeira questão consiste em determinar onde o julgamento humano traz um valor essencial. Certas tarefas podem ser inteiramente automatizadas quando seu nível de risco e suas consequências potenciais são baixos. Outras podem ser confiadas à IA com uma supervisão periódica. Certas decisões justificam uma aprovação humana explícita quando podem produzir consequências financeiras, jurídicas, operacionais ou humanas importantes.

Essa repartição deve ser concebida intencionalmente. A autonomia não é uma característica que a organização deveria conceder indistintamente a todos os seus agentes. Ela constitui uma capacidade que pode ser ampliada progressivamente conforme o papel, o nível de risco, a qualidade dos resultados observados e as consequências potenciais de um erro.

É precisamente uma das funções do AI Onboarding. Antes que um agente possa participar plenamente das operações, a organização deve definir seu papel, os conhecimentos necessários ao seu trabalho, sua identidade, suas permissões, os sistemas aos quais ele pode acessar, as ações que ele pode realizar e as situações nas quais uma pessoa deve intervir. A autonomia torna-se então algo que a organização governa em vez de uma consequência implícita da tecnologia que ela comprou.

A mesma atenção deve ser dada às pessoas que trabalharão com esses sistemas. Uma transformação organizacional bem-sucedida não se mede pelo número máximo de tarefas humanas passíveis de automação. Ela busca antes determinar como a tecnologia pode aumentar a capacidade coletiva da organização e onde as qualidades humanas permanecem particularmente importantes: julgamento, criatividade, responsabilidade, relações, experiência, intuição, empatia e compreensão do contexto.

As organizações deverão progressivamente aprender a construir equipes híbridas nas quais pessoas e agentes possuem papéis complementares. Os colaboradores deverão compreender as capacidades dos agentes com os quais trabalham, assim como seus limites. Os gestores deverão aprender a distribuir as responsabilidades entre diferentes formas de inteligência, a determinar o que pode ser delegado e a medir o valor realmente produzido.

Essa transformação será, portanto, tecnológica e profundamente organizacional. Ela modificará certos processos, fará evoluir responsabilidades e poderá deslocar uma parte do trabalho humano para a análise, a validação, o julgamento, a criação e a gestão das exceções. O valor da IA dependerá em grande parte da qualidade com que essa nova repartição do trabalho for concebida.

Outra dimensão merece a mesma atenção: os conhecimentos que transmitimos aos sistemas de inteligência artificial. Para serem verdadeiramente úteis, os agentes devem progressivamente compreender os produtos, os processos, as políticas, os clientes, as regras de negócio e os métodos de trabalho da organização. Esse conhecimento lhes permite tornar-se muito mais pertinentes em suas intervenções.

Ele constitui igualmente um ativo organizacional considerável. Uma parte desse conhecimento representa várias décadas de experiência acumulada por colaboradores, executivos e especialistas. Ele faz parte do capital intelectual da empresa e merece uma governança à altura de seu valor.

O Qb Knowledge Standard – AI Readiness & Knowledge Governance responde precisamente a esse desafio. Antes de tornar uma organização inteligível às máquinas, é preciso compreender quais conhecimentos existem, quais têm autoridade, quem pode acessá-los, como são mantidos e em quais ambientes podem ser utilizados. A inteligência artificial pode então amplificar o conhecimento humano respeitando e protegendo ao mesmo tempo aquilo que as pessoas contribuíram para construir.

Essa governança do conhecimento se conecta diretamente à das identidades. Quando um sistema de inteligência artificial acessa os dados, as aplicações e as infraestruturas, ele se torna um componente ativo do sistema de informação. Assim que começa a agir, sua identidade, suas permissões e seu comportamento tornam-se desafios operacionais de cibersegurança.

Os princípios do menor privilégio, de Zero Trust, de segmentação, de identidade distinta, de rastreabilidade e de revogação assumem então toda a sua importância. Um agente deveria dispor dos acessos necessários ao seu papel, suas ações deveriam poder ser distinguidas das das pessoas e suas permissões deveriam evoluir com suas responsabilidades. Quando estas desaparecem, seus acessos devem poder desaparecer com elas.

Essa arquitetura não visa impedir a IA de agir. Ela busca permitir-lhe agir em um ambiente concebido para conter as consequências quando um comportamento inesperado aparece. Essa distinção é essencial, pois uma arquitetura madura não exige acreditar que nenhum erro jamais ocorrerá. Ela considera antes a possibilidade de um erro e constrói os mecanismos necessários para que ele permaneça controlável.

Essa abordagem permite igualmente superar uma oposição por vezes artificial entre inovação e segurança. Uma organização que experimenta rapidamente a inteligência artificial sem compreender seus dados, suas permissões, suas responsabilidades ou suas dependências pode obter resultados impressionantes no curto prazo. Ela corre, contudo, o risco de ter que desacelerar bruscamente quando um incidente, uma exigência regulatória ou uma arquitetura que se tornou difícil de governar impõe uma reconstrução.

Fundações suficientemente sólidas podem, ao contrário, facilitar a aceleração. Quando a organização conhece seus dados, governa seus agentes, domina suas identidades e possui mecanismos que permitem ajustar sua autonomia, ela pode experimentar mais sabendo onde estão os limites.

A segurança e a governança tornam-se assim capacidades de inovação. Elas dão aos executivos visibilidade suficiente para decidir até onde ir, às equipes regras suficientes para experimentar e aos agentes autonomia suficiente para criar valor em um ambiente cujos limites são compreendidos.

A Quantum Beyond quer aplicar essa filosofia à realidade cotidiana das organizações. Nosso objetivo é permitir que os clientes utilizem mais a inteligência artificial quando ela traz um valor verdadeiro, automatizem inteligentemente certas atividades, ampliem as capacidades de suas equipes e descubram novas maneiras de trabalhar. Esse avanço deve simultaneamente permitir saber o que os sistemas fazem, por que o fazem, quais informações utilizam, até onde podem agir e como uma pessoa pode retomar o controle quando uma situação o exige.

Por trás dessas considerações técnicas permanece, afinal, uma questão muito mais fundamental: por que desenvolvemos e implantamos essas tecnologias? Sua capacidade de analisar, automatizar e agir constitui um meio. O número de tarefas automatizadas, o desempenho de um modelo ou o nível de autonomia de um agente jamais deveriam tornar-se finalidades em si mesmos.

A inteligência artificial torna-se realmente interessante quando contribui para resolver problemas complexos, acelerar a pesquisa, melhorar os serviços, ampliar o acesso ao conhecimento, apoiar os trabalhadores, reduzir certas tarefas repetitivas e permitir que as organizações realizem coisas que antes eram difíceis ou impossíveis.

O progresso tecnológico assume assim todo o seu sentido quando amplia nossa capacidade de melhorar as condições humanas. Essa orientação exige conservar uma intenção clara por trás da inovação e continuar a avaliar a tecnologia conforme o valor que ela cria para as pessoas, as organizações e a sociedade.

O Center for AI Safety coloca uma questão cuja importância aumentará com as capacidades da inteligência artificial: como podemos nos beneficiar plenamente dessa tecnologia desenvolvendo simultaneamente nossa capacidade de compreender e de reduzir os riscos que ela pode criar?

Essa questão ultrapassa amplamente os cenários mais extremos associados ao futuro da IA. Ela já se aplica às decisões cotidianas das organizações que implantam modelos, conectam agentes aos seus sistemas, lhes transmitem conhecimentos e lhes concedem progressivamente mais autonomia. Cada nova capacidade deveria vir acompanhada de uma reflexão comparável sobre a governança, as identidades, as permissões, os conhecimentos, a resiliência e o papel que os humanos devem continuar a exercer.

A Quantum Beyond busca acompanhar essa evolução ao lado das equipes internas e de seus parceiros tecnológicos. O AI Governance Office, o AI Onboarding, o Qb Knowledge Standard, o IAM, Zero Trust e Continuous Trust, a ciber-resiliência e a Hipersegurança constituem diferentes dimensões de uma mesma abordagem: aumentar as capacidades tecnológicas da organização aumentando simultaneamente sua capacidade de compreendê-las, governá-las e dominá-las.

Essa abordagem permite conservar o humano em um lugar intencional. Não se trata de lhe pedir que aprove mecanicamente cada operação efetuada por uma máquina. Trata-se de preservar sua autoridade sobre as decisões que importam, seu julgamento quando o contexto o exige, sua capacidade de intervir quando os limites são atingidos e sua responsabilidade na definição dos objetivos que a tecnologia deve servir.

Acreditamos profundamente no potencial da inteligência artificial. Essa confiança justifica precisamente construir as condições que permitam utilizá-la com ambição, vigilância e responsabilidade. Quanto mais suas capacidades aumentarem, mais nossas próprias capacidades de governança, de segurança e de discernimento deverão progredir com elas.

Na Quantum Beyond, a tecnologia não é, portanto, o destino. Ela é um meio de ampliar o que os humanos podem compreender, criar, proteger e realizar. E se a inteligência artificial se tornar efetivamente uma das tecnologias mais poderosas que já desenvolvemos, essa finalidade humana merece permanecer no centro de sua evolução.