L’intelligence artificielle doit rester au service des humains
L’intelligence artificielle progresse à une vitesse remarquable. Elle peut analyser des volumes considérables d’information, écrire du logiciel, assister des chercheurs, automatiser des tâches complexes, contribuer à la découverte scientifique et devenir progressivement une véritable capacité opérationnelle au sein des organisations. Avec l’arrivée des agents IA, une nouvelle étape est franchie puisqu’elle peut maintenant utiliser des outils, interagir avec des systèmes et accomplir certaines tâches avec un degré croissant d’autonomie.
Ces avancées ouvrent des possibilités extraordinaires. Elles augmentent également notre responsabilité : plus nous donnons de capacités à l’intelligence artificielle, plus nos propres capacités à comprendre son fonctionnement, à gouverner son utilisation, à sécuriser ses interactions et à intervenir lorsqu’un résultat inattendu apparaît doivent progresser avec elle.
C’est précisément l’une des préoccupations du Center for AI Safety (CAIS), un organisme de recherche sans but lucratif établi à San Francisco qui travaille sur les risques associés aux systèmes d’intelligence artificielle avancés. Son approche repose sur une idée fondamentale : le potentiel considérable de l’IA peut bénéficier à la société si son développement et son utilisation s’accompagnent d’une attention suffisamment sérieuse à la sécurité.
Quantum Beyond partage cette conviction. Nous croyons profondément au potentiel de l’intelligence artificielle et à sa capacité d’augmenter ce que les organisations et leurs équipes peuvent accomplir. Cette ambition s’accompagne d’un principe qui doit demeurer au centre de la transformation : la technologie doit rester au service et au bénéfice des humains.
Le Center for AI Safety occupe une position particulière dans l’écosystème de l’intelligence artificielle. Son rôle ne consiste pas à commercialiser un modèle ou à favoriser l’adoption d’une plateforme particulière. L’organisme travaille sur les conditions permettant aux systèmes d’IA de progresser tout en réduisant les risques susceptibles d’accompagner des capacités de plus en plus importantes.
Ses travaux abordent la sécurité de l’IA sous plusieurs angles. La recherche technique cherche notamment à mieux comprendre certains comportements dangereux ou indésirables, tandis que d’autres travaux s’appuient sur l’ingénierie de sécurité, les systèmes complexes, les relations internationales ou encore la philosophie. Le CAIS contribue également au développement du domaine en soutenant la formation, la recherche et l’accès à différentes ressources.
Cette approche multidisciplinaire est particulièrement pertinente parce que les enjeux liés à l’intelligence artificielle ne peuvent pas être résolus uniquement par davantage de puissance informatique ou par de meilleurs modèles. Ils touchent également la cybersécurité, les organisations, les comportements humains, les responsabilités, la gouvernance et les mécanismes que nous choisissons de construire autour de ces technologies.
Le CAIS est notamment connu pour avoir contribué à mettre en lumière certains scénarios de risque extrême associés au développement futur de l’IA. Sa déclaration sur le risque lié à l’intelligence artificielle, soutenue par des centaines de chercheurs, dirigeants technologiques et personnalités publiques, propose que le risque d’extinction associé à l’IA soit considéré comme une priorité mondiale comparable à d’autres risques sociétaux majeurs. Parmi les signataires figurent plusieurs personnalités importantes du domaine, dont Geoffrey Hinton, Yoshua Bengio, Demis Hassabis, Sam Altman et Dario Amodei.
La probabilité de scénarios aussi extrêmes demeure naturellement matière à débat. Cette discussion est nécessaire et elle ne devrait pas empêcher les organisations de tirer une leçon beaucoup plus immédiate de la réflexion : lorsque la capacité d’une technologie augmente, notre capacité à comprendre ses comportements, à limiter son autorité et à reprendre le contrôle lorsqu’une situation l’exige doit progresser au même rythme.
Cette question devient déjà très concrète dans les entreprises. Une organisation n’a aucunement besoin d’être confrontée à un scénario existentiel pour subir les conséquences d’une mauvaise utilisation de l’IA. Un agent disposant de permissions excessives peut provoquer un incident. Une information confidentielle envoyée vers un environnement inadéquat peut produire une fuite de données. Une recommandation erronée utilisée sans validation suffisante peut conduire à une mauvaise décision, tandis qu’une automatisation mal conçue peut reproduire une erreur à une vitesse et à une échelle qu’un humain pourrait difficilement atteindre.
L’intelligence artificielle augmente notre capacité d’agir. Cette augmentation peut amplifier simultanément la valeur créée et les conséquences d’une erreur. La sécurité, la gouvernance et la capacité de supervision doivent donc progresser avec l’autonomie accordée.
Cette logique explique pourquoi plusieurs disciplines qui semblent parfois distinctes doivent maintenant être considérées ensemble. Gouvernance de l’IA, AI Onboarding, IAM, Zero Trust et Continuous Trust, gouvernance des données et des connaissances, cybersécurité, transformation organisationnelle, résilience et souveraineté numérique contribuent toutes à une même capacité : permettre à l’organisation d’utiliser des systèmes de plus en plus puissants tout en maintenant suffisamment de compréhension et de contrôle sur leurs actions.
L’Hypersécurité prend ici une signification particulière. Les agents IA ne constituent plus seulement des applications à protéger. Ils deviennent des acteurs numériques qui utilisent des identités, accèdent à des connaissances, appellent des API, communiquent avec des systèmes, collaborent éventuellement avec d’autres agents et peuvent prendre certaines initiatives. La cybersécurité demeure essentielle pour protéger chacune de ces composantes, tandis que l’Hypersécurité permet d’observer leurs interactions dans une architecture globale et évolutive.
L’objectif est de concevoir un environnement capable d’anticiper, de résister, de détecter, de contenir, de récupérer et d’apprendre lorsque quelque chose ne se déroule pas comme prévu. Plus les capacités de l’IA augmentent, plus cette vision transversale devient importante puisque le risque peut émerger de la combinaison de plusieurs éléments qui, individuellement, semblaient parfaitement raisonnables.
Maintenir l’intelligence artificielle au service des humains ne signifie toutefois pas placer une personne derrière chaque action d’un système automatisé. Une supervision humaine omniprésente éliminerait une grande partie des bénéfices recherchés et pourrait même créer une illusion de contrôle lorsque les personnes finissent par approuver mécaniquement les recommandations produites par les systèmes.
La véritable question consiste à déterminer où le jugement humain apporte une valeur essentielle. Certaines tâches peuvent être entièrement automatisées lorsque leur niveau de risque et leurs conséquences potentielles sont faibles. D’autres peuvent être confiées à l’IA avec une supervision périodique. Certaines décisions justifient une approbation humaine explicite lorsqu’elles peuvent produire des conséquences financières, juridiques, opérationnelles ou humaines importantes.
Cette répartition doit être conçue intentionnellement. L’autonomie n’est pas une caractéristique que l’organisation devrait accorder indistinctement à tous ses agents. Elle constitue une capacité qui peut être augmentée progressivement selon le rôle, le niveau de risque, la qualité des résultats observés et les conséquences potentielles d’une erreur.
C’est précisément l’une des fonctions de l’AI Onboarding. Avant qu’un agent puisse participer pleinement aux opérations, l’organisation doit définir son rôle, les connaissances nécessaires à son travail, son identité, ses permissions, les systèmes auxquels il peut accéder, les actions qu’il peut accomplir et les situations dans lesquelles une personne doit intervenir. L’autonomie devient alors quelque chose que l’organisation gouverne plutôt qu’une conséquence implicite de la technologie qu’elle a achetée.
La même attention doit être portée aux personnes qui travailleront avec ces systèmes. Une transformation organisationnelle réussie ne se mesure pas au nombre maximal de tâches humaines pouvant être automatisées. Elle cherche plutôt à déterminer comment la technologie peut augmenter la capacité collective de l’organisation et où les qualités humaines demeurent particulièrement importantes : jugement, créativité, responsabilité, relations, expérience, intuition, empathie et compréhension du contexte.
Les organisations devront progressivement apprendre à construire des équipes hybrides dans lesquelles personnes et agents possèdent des rôles complémentaires. Les employés devront comprendre les capacités des agents avec lesquels ils travaillent ainsi que leurs limites. Les gestionnaires devront apprendre à distribuer les responsabilités entre différentes formes d’intelligence, à déterminer ce qui peut être délégué et à mesurer la valeur réellement produite.
Cette transformation sera donc technologique et profondément organisationnelle. Elle modifiera certains processus, fera évoluer des responsabilités et pourrait déplacer une partie du travail humain vers l’analyse, la validation, le jugement, la création et la gestion des exceptions. La valeur de l’IA dépendra en grande partie de la qualité avec laquelle cette nouvelle répartition du travail sera conçue.
Une autre dimension mérite la même attention : les connaissances que nous transmettons aux systèmes d’intelligence artificielle. Pour être véritablement utiles, les agents doivent progressivement comprendre les produits, les processus, les politiques, les clients, les règles d’affaires et les méthodes de travail de l’organisation. Cette connaissance leur permet de devenir beaucoup plus pertinents dans leurs interventions.
Elle constitue également un actif organisationnel considérable. Une partie de cette connaissance représente plusieurs décennies d’expérience accumulée par les employés, dirigeants et spécialistes. Elle fait partie du capital intellectuel de l’entreprise et mérite une gouvernance correspondant à sa valeur.
Le Qb Knowledge Standard – AI Readiness & Knowledge Governance répond précisément à cet enjeu. Avant de rendre une organisation intelligible aux machines, il faut comprendre quelles connaissances existent, lesquelles font autorité, qui peut y accéder, comment elles sont maintenues et dans quels environnements elles peuvent être utilisées. L’intelligence artificielle peut alors amplifier la connaissance humaine tout en respectant et en protégeant ce que les personnes ont contribué à construire.
Cette gouvernance de la connaissance rejoint directement celle des identités. Lorsqu’un système d’intelligence artificielle accède aux données, aux applications et aux infrastructures, il devient une composante active du système d’information. Dès qu’il commence à agir, son identité, ses permissions et son comportement deviennent des enjeux opérationnels de cybersécurité.
Les principes du moindre privilège, de Zero Trust, de segmentation, d’identité distincte, de traçabilité et de révocation prennent alors toute leur importance. Un agent devrait disposer des accès nécessaires à son rôle, ses actions devraient pouvoir être distinguées de celles des personnes et ses permissions devraient évoluer avec ses responsabilités. Lorsque celles-ci disparaissent, ses accès doivent pouvoir disparaître avec elles.
Cette architecture ne vise pas à empêcher l’IA d’agir. Elle cherche à lui permettre d’agir dans un environnement conçu pour contenir les conséquences lorsqu’un comportement inattendu apparaît. Cette distinction est essentielle puisqu’une architecture mature n’exige pas de croire qu’aucune erreur ne se produira jamais. Elle considère plutôt la possibilité d’une erreur et construit les mécanismes nécessaires pour qu’elle demeure maîtrisable.
Cette approche permet également de dépasser une opposition parfois artificielle entre innovation et sécurité. Une organisation qui expérimente rapidement l’intelligence artificielle sans comprendre ses données, ses permissions, ses responsabilités ou ses dépendances peut obtenir des résultats impressionnants à court terme. Elle risque cependant de devoir ralentir brutalement lorsqu’un incident, une exigence réglementaire ou une architecture devenue difficile à gouverner impose une reconstruction.
Des fondations suffisamment solides peuvent au contraire faciliter l’accélération. Lorsque l’organisation connaît ses données, gouverne ses agents, maîtrise leurs identités et possède des mécanismes permettant d’ajuster leur autonomie, elle peut expérimenter davantage tout en sachant où se trouvent les limites.
La sécurité et la gouvernance deviennent ainsi des capacités d’innovation. Elles donnent aux dirigeants suffisamment de visibilité pour décider jusqu’où aller, aux équipes suffisamment de règles pour expérimenter et aux agents suffisamment d’autonomie pour créer de la valeur dans un environnement dont les limites sont comprises.
Quantum Beyond veut appliquer cette philosophie à la réalité quotidienne des organisations. Notre objectif est de permettre aux clients d’utiliser davantage l’intelligence artificielle lorsqu’elle apporte une véritable valeur, d’automatiser intelligemment certaines activités, d’augmenter les capacités de leurs équipes et de découvrir de nouvelles manières de travailler. Cette progression doit simultanément permettre de savoir ce que les systèmes font, pourquoi ils le font, quelles informations ils utilisent, jusqu’où ils peuvent agir et comment une personne peut reprendre le contrôle lorsqu’une situation l’exige.
Derrière ces considérations techniques demeure finalement une question beaucoup plus fondamentale : pourquoi développons-nous et déployons-nous ces technologies? Leur capacité à analyser, automatiser et agir constitue un moyen. Le nombre de tâches automatisées, la performance d’un modèle ou le niveau d’autonomie d’un agent ne devraient jamais devenir des finalités en eux-mêmes.
L’intelligence artificielle devient réellement intéressante lorsqu’elle contribue à résoudre des problèmes complexes, accélérer la recherche, améliorer les services, augmenter l’accès à la connaissance, soutenir les travailleurs, réduire certaines tâches répétitives et permettre aux organisations d’accomplir des choses qui étaient auparavant difficiles ou impossibles.
Le progrès technologique prend ainsi tout son sens lorsqu’il augmente notre capacité à améliorer les conditions humaines. Cette orientation demande de conserver une intention claire derrière l’innovation et de continuer à évaluer la technologie selon la valeur qu’elle crée pour les personnes, les organisations et la société.
Le Center for AI Safety pose une question dont l’importance augmentera avec les capacités de l’intelligence artificielle : comment pouvons-nous bénéficier pleinement de cette technologie tout en développant simultanément notre capacité à comprendre et à réduire les risques qu’elle peut créer?
Cette question dépasse largement les scénarios les plus extrêmes associés au futur de l’IA. Elle s’applique déjà aux décisions quotidiennes des organisations qui déploient des modèles, connectent des agents à leurs systèmes, leur transmettent des connaissances et leur accordent progressivement davantage d’autonomie. Chaque nouvelle capacité devrait s’accompagner d’une réflexion comparable sur la gouvernance, les identités, les permissions, les connaissances, la résilience et le rôle que les humains doivent continuer d’exercer.
Quantum Beyond cherche à accompagner cette évolution aux côtés des équipes internes et de leurs partenaires technologiques. L’AI Governance Office, l’AI Onboarding, le Qb Knowledge Standard, l’IAM, Zero Trust et Continuous Trust, la cyberrésilience et l’Hypersécurité constituent différentes dimensions d’une même démarche : augmenter les capacités technologiques de l’organisation tout en augmentant simultanément sa capacité à les comprendre, les gouverner et les maîtriser.
Cette approche permet de conserver l’humain à une place intentionnelle. Il ne s’agit pas de lui demander d’approuver mécaniquement chaque opération effectuée par une machine. Il s’agit de préserver son autorité sur les décisions qui comptent, son jugement lorsque le contexte l’exige, sa capacité à intervenir lorsque les limites sont atteintes et sa responsabilité dans la définition des objectifs que la technologie doit servir.
Nous croyons profondément au potentiel de l’intelligence artificielle. Cette confiance justifie précisément de construire les conditions permettant de l’utiliser avec ambition, vigilance et responsabilité. Plus ses capacités augmenteront, plus nos propres capacités de gouvernance, de sécurité et de discernement devront progresser avec elles.
Chez Quantum Beyond, la technologie n’est donc pas la destination. Elle est un moyen d’augmenter ce que les humains peuvent comprendre, créer, protéger et accomplir. Et si l’intelligence artificielle devient effectivement l’une des technologies les plus puissantes que nous ayons développées, cette finalité humaine mérite de demeurer au centre de son évolution.