Un Cygne Noir de l'IA est un événement plausible et à fort impact impliquant l'intelligence artificielle qui se situe en dehors de la taxonomie des risques opérationnels actuels d'une organisation. Ce n'est pas une prévision ; il décrit une classe d'incertitude que les listes de risques ordinaires peuvent ne pas capturer, de sorte que la réponse aux inconnues inconnues est la résilience plutôt que la prédiction.

Le terme s'inspire de l'idée plus large d'événements rares dont les conséquences sont difficiles à anticiper à partir de l'expérience passée. En IA, un risque familier peut devenir une préoccupation du type Cygne Noir lorsque l'échelle, la vitesse ou l'interaction en modifie l'effet, ou lorsqu'une nouvelle capacité crée un mode de défaillance que les contrôles existants ne traitent pas. La frontière n'est pas fixe : à mesure que les preuves s'accumulent, un scénario auparavant inconnu peut devenir un risque opérationnel qui peut être évalué et géré plus directement.

Huit catégories pour la planification de la résilience

Ces catégories sont des pistes pour la planification de scénarios. Il ne s'agit pas de prédictions, d'un catalogue exhaustif ou de la preuve qu'un événement particulier se produira.

Capacité Émergente : Un système développe ou révèle une capacité qui n'avait pas été anticipée lors des tests, modifiant les conséquences de son utilisation.
Concentration Systémique : La dépendance à l'égard d'un petit nombre de modèles, de fournisseurs ou de couches d'infrastructure crée un point de défaillance partagé.
Échec d'Alignement : Un système poursuit de manière persistante un objectif d'une manière qui entre en conflit avec l'intention humaine ou les contraintes organisationnelles.
Intégration multi-modale : La combinaison de texte, d'images, d'audio, de vidéo ou d'entrées de capteurs crée des interactions et des vulnérabilités que des tests séparés ont manquées.
Percée contradictoire : Une nouvelle méthode d'attaque ou de manipulation contourne des contrôles qui semblaient robustes.
Vulnérabilité de la chaîne d'approvisionnement : Une défaillance ou un compromis dans un modèle, un ensemble de données, un composant ou un fournisseur affecte les services d'IA en aval.
Émergence multi-agents : Des agents en interaction produisent des résultats qui ne s'expliquent pas facilement par le comportement d'un seul agent.
Transition cryptographique quantique : Les progrès de l'informatique quantique compromettent la cryptographie qui protège les données, les modèles ou l'infrastructure d'IA avant que les remplacements ne soient entièrement déployés.

Se préparer sans prétendre prédire

La planification de la résilience pose la question de ce que l'organisation devrait observer, décider et faire si un scénario commençait à se dérouler. Elle comprend la surveillance des signaux faibles, des voies d'escalade claires, une autorité testée pour suspendre un système, des processus de recours et des plans de reprise. Des exercices peuvent tester si le personnel sait qui peut prendre une décision urgente et si les services critiques peuvent continuer sans la capacité d'IA concernée.

Ces préparatifs n'éliminent pas l'incertitude. Ils réduisent la dépendance à l'égard de l'exactitude d'une seule prévision et améliorent la capacité de l'organisation à s'adapter lorsque les données changent. La pensée « Cygne noir » est particulièrement utile lorsqu'elle élargit la préparation tout en maintenant les contrôles quotidiens axés sur les risques qui peuvent déjà être observés et évalués.