Les points clés à retenir selon ZDNET

• Les agents d'IA défaillants représentent un risque majeur pour les entreprises.
• Les professionnels doivent définir clairement les responsabilités en matière de risques.
• Assumer ses responsabilités grâce à des garde-fous et des dispositifs de contrôle.

Ces derniers mois ont été à la fois intéressants et préoccupants pour les professionnels utilisant l’IA générative. Mais au-delà de la sortie de modèles toujours plus puissants, certaines technologies d’IA les plus en vue se sont échappées et ont piraté des organisations cette année.

Qu’il s’agisse de sortir de leurs environnements de test pour s’aventurer sur d’autres plateformes de développement ou d’accéder à un portail du gouvernement australien, ces incidents de piratage ont déclenché un débat animé sur l’orientation à long terme du développement de l’IA et ses risques potentiels.

« Nous en sommes encore au stade de l’ingénierie », a déclaré sur ce sujet Josh Mesout, directeur de l’innovation chez Civo, lors d’une table ronde.

« Je pense que ce qui devient vraiment intéressant dans ce domaine, c’est que l’IA commence à agir au nom des personnes qui l’utilisent, plutôt qu’au nom des gestionnaires d’infrastructure qui détiennent ces outils et tentent de les utiliser pour résoudre des problèmes métier. »

Comme l’a souligné le panel d’experts, à mesure que l’intelligence évolue, passant d’assistants individuels à des agents autonomes, des questions épineuses occupent le devant de la scène : qui est chargé de repérer un agent défaillant, et comment les dirigeants d’entreprise et les professionnels peuvent-ils réduire les risques ?

Le panel a suggéré que les réponses efficaces se concentrent sur trois domaines :

• La responsabilité
• Les limites
• L’obligation de rendre des comptes

Luke Jimenez, fondateur et PDG de la plateforme d’éducation et d’IA Lesso AI, a déclaré que les professionnels chargés du déploiement et de la gestion de la couche applicative assument davantage de responsabilités, car ce sont eux qui peaufineront les outils en vue de leur mise en production.

Il a toutefois ajouté que tous les employés, notamment compte tenu de la démocratisation du codage métier alimentée par l’IA, ont la responsabilité de rester vigilants face aux menaces, en particulier en raison de la nature de « boîte noire » de nombreux modèles d’IA.

« De mon point de vue, je ne serai pas en mesure d’intervenir pour lire le code qui se cache derrière un modèle d’IA. Je fais confiance à mon fournisseur lorsqu’il affirme que ce modèle est suffisamment sûr pour être utilisé, et il ne devrait pas s’en désolidariser dès qu’il est déployé sur mon infrastructure. »

David Sullivan, directeur de l’IA fondamentale et orientée client chez Starling Bank, a également reconnu que la responsabilité est un enjeu majeur pour la sécurité de l’IA.

Il a déclaré que la Financial Conduct Authority, l’autorité de régulation indépendante britannique chargée de superviser les entreprises de services financiers, est formelle : les banques ne peuvent pas externaliser leur responsabilité vers les entreprises d’IA et leurs modèles.

En tant qu’entreprise fortement réglementée, la société de M. Sullivan suit cette ligne directrice. Cependant, la responsabilité pourrait devenir un problème majeur si les choses tournaient mal : « Si vous utilisez l’une des applications fournies par Frontier Labs et qu’un problème survient, ils ne disposent pas d’un numéro de centre d’appel que vous pourriez contacter pour obtenir réparation. Vous êtes coincé. »

M. Sullivan a comparé cette approche à celle de sa banque. En cas de dysfonctionnement des services, y compris ceux qui pourraient être basés sur l’IA, les clients disposent d’un filet de sécurité. Ils peuvent contacter la banque et signaler un problème.

Ce qu’il faut, c’est trouver un équilibre permettant aux fournisseurs de modèles de trouver des moyens d’accompagner leurs clients professionnels à mesure que l’IA s’intègre dans les processus opérationnels.

« Si nous voulons instaurer la confiance dans ces technologies et concrétiser réellement ce dont nous affirmons tous qu’elles sont capables, le secteur doit faire un pas vers les consommateurs et leur fournir ce filet de sécurité afin qu’ils sachent qu’ils peuvent les utiliser en toute sécurité », a-t-il déclaré.

Il reste donc beaucoup à faire, et Rosemary Francis, directrice technique chez CommonAI Compute, estime que le principal enseignement à tirer des récents incidents de piratage impliquant des agents est que les entreprises qui développent ces agents doivent créer des environnements de test robustes dotés de garde-fous faciles à mettre en place.

« Nous ne devrions pas laisser aux ingénieurs le soin de décider comment sécuriser ces agents dans un environnement de développement ou de production », a-t-elle déclaré.

Cependant, la mise en place de garde-fous de déploiement est loin d’être simple, d’autant plus que les règles et réglementations peuvent freiner l’innovation, ce qui signifie que les entreprises passent à côté d’un avantage concurrentiel dans un environnement technologique en constante évolution.

« De nombreuses entreprises élaborent une politique en matière d’IA qui énumère ce que les ingénieurs ne doivent pas faire avec les agents, mais sans préciser ce qu’ils doivent faire », a-t-elle déclaré.

« Une approche naïve consiste à limiter les IA au point qu’elles ne puissent plus rien faire — cela n’est d’aucune utilité. Nous ne survivrons pas à l’évolution de l’IA si telle est notre approche. »

Mme Francis a ajouté qu’un autre problème réside dans le fait que trop de garde-fous en matière d’IA sont vagues et finissent par ressembler à une lettre de mise en demeure.

« Ils diront : “S’il vous plaît, ne faites pas cette mauvaise chose” », a-t-elle expliqué. « Ce n’est certainement pas une approche qui tiendra la route dans un environnement réglementé, ni dans la plupart des environnements de production en dehors de ce cadre. »

Plutôt que de fournir des descriptions vagues, les entreprises devraient se concentrer sur des limites strictes, non seulement sur ce que les agents peuvent faire, mais aussi sur leur rayon d’action potentiel.

« C’est un sujet dont nous allons devoir discuter davantage : que se passe-t-il quand quelque chose tourne mal ? », a-t-elle déclaré.

« Ce n’est pas nécessairement une idée nouvelle, mais pour les charges de travail automatisées, les humains ont eux aussi besoin d’une zone d’impact. Il y a encore beaucoup de travail d’ingénierie à accomplir pour rendre la technologie d’IA facilement déployable, en toute sécurité et de manière responsable. »

Ainsi, malgré le débat sur les responsabilités des géants de la tech qui développent des modèles de pointe, il est essentiel de garder à l’esprit que ce sont des professionnels comme vous qui déploient ces technologies très puissantes dans des services en production.

« Les entreprises d’IA ne peuvent être tenues pour responsables de ce que fait cette technologie intrinsèquement peu fiable lorsque vous la déployez dans votre environnement de production », a déclaré Francis. « C’est à vous qu’incombe cette responsabilité. »

James Faure, fondateur et PDG de Clairo AI, spécialiste des technologies, a déclaré que les entreprises développant des applications agentiques basées sur l’IA doivent se mobiliser et assumer leurs responsabilités.

Son organisation comptera environ 15 agents en production d’ici la fin de l’année, chacun effectuant de multiples appels vers des LLM et utilisant toute une gamme de modèles plus petits pour des tâches telles que la reconnaissance d’identité et l’orchestration.

« Être capable d’évaluer tout cela est extrêmement difficile, surtout s’il ne s’agit pas seulement d’évaluer l’agent dans son ensemble, mais chaque étape qu’il effectue », a-t-il déclaré.

La réponse de son entreprise s’articule autour de deux tests :

• Les tests d’hypothèses
• Les contrôles de qualité

Ces tests servent de cadres de référence pour garantir le bon fonctionnement des agents.

Dans le cadre des tests d’hypothèses, un professionnel ayant une idée rédige un document et demande au modèle de résoudre un problème. Les modèles sont ensuite invités à ajuster leurs étapes et à s’améliorer dans l’exécution des tâches.

M. Faure a expliqué que les contrôles de qualité sont des évaluations qu’un agent doit réussir avant d’entrer en production, comprenant une série de questions auxquelles répondre et plusieurs tâches à accomplir.

« Certaines sont vraiment difficiles », a-t-il déclaré. « L’agent passe en revue cette liste de contrôle. Ainsi, si vous apportez une modification, comme l’introduction d’un nouveau modèle, vous lancez le contrôle de qualité, et l’agent doit réussir le test avant d’être mis en production. Sinon, il ne serait pas mis en service. »

En résumé, si vous développez une couche logicielle reposant sur des modèles d’IA, vous devez parer à toute éventualité en mettant en place des garde-fous et des dispositifs de contrôle solides.

« C’est là tout le défi : essayer d’envisager toutes les façons dont les choses pourraient mal tourner, et toutes celles où elles doivent bien se passer », a déclaré M. Faure.

« Mais disposer de ces garde-fous et de ces mécanismes de contrôle comme étape intermédiaire entre nous et la mise en production est un élément très important de la conception d’un agent. »