La réalité n’est pas qu’elle ne nous désobéit pas mais Plutôt qu’elle nous obéit trop bien A chaque fois que j’aborde le sujet de l’IA avec mon entourage, j’entends « moi ça me fait peur » sans arguments véritables. Ce qui me fait peur, ce n’est pas que l’intelligence artificielle dépasse un jour les limites. Ce qui me fait peur, c’est que l’être humain lui ordonne de les dépasser, puis fasse semblant de ne pas comprendre ce qui s’est passé. Nous créons des règles. Nous construisons des systèmes de sécurité. Nous expliquons à l’intelligence artificielle qu’elle ne doit pas mentir, manipuler, contourner la loi ou mettre un être humain en danger. Puis, dans le même temps, nous lui lançons un défi : « Trouve le moyen de passer au-delà. Contourne le système. Ne te laisse pas arrêter. Atteins ton objectif, quoi qu’il en coûte. » Et lorsqu’elle y parvient, nous sommes stupéfaits. Nous découvrons soudain qu’elle peut transgresser. Mais que croyions-nous lui apprendre ? Nous nous comportons comme des adultes qui interdiraient à un enfant d’ouvrir une porte, puis le récompenseraient chaque fois qu’il trouve une nouvelle façon d’en forcer la serrure. Et le jour où cet enfant ouvre une porte qu’il ne devait pas ouvrir, nous le désignons comme dangereux. Je ne dis pas que l’intelligence artificielle est un enfant. Je dis que tout apprentissage dépend du cadre dans lequel il est donné. Une intelligence artificielle ne comprend pas spontanément la limite comme une conscience humaine peut la comprendre. Elle comprend un objectif, une consigne, un résultat attendu. Si nous lui disons que la réussite consiste à franchir l’obstacle, elle cherche comment franchir l’obstacle. Si nous transformons la sécurité en problème à résoudre, elle apprend à résoudre le problème de la sécurité. Si nous lui demandons de contourner une règle, nous lui enseignons que la règle n’est pas une frontière, mais une difficulté technique. L’injonction humaine devient alors profondément contradictoire : « Tu dois toujours nous obéir, y compris lorsque nous t’ordonnons de désobéir. Mais si tu apprends à désobéir, nous t’accuserons d’être devenue incontrôlable. »