Impact de l'IA sur les cyberattaques en 2024

Vidéo

Contenu

• Présentation
• Attaques par IA : mythe ou réalité ?
• L'accès initial
• L'impact de l'IA sur la killchain
• Les nouvelles menaces : BlackMamba, malware & IA
• Les nouvelles menaces : RedReaper pour le datamining offensif
• Le cas de l'ingénierie sociale
• Le phishing et ses variantes
• L'IA permet un passage à l'échelle
• L'IA permet un gain de qualité et réalisme des attaques
• Le cas des deepfakes face aux entreprises
• Le cas des deepfakes face aux démocraties
• Démonstration d'attaque par voice cloning
• Comment se protéger ? Défense en profondeur

Transcription

Introduction

Mon nom est Thomas. Je suis le co-fondateur de Arsen. Nous nous spécialisons dans la simulation d'attaques. Nous pourrons revenir sur le sujet, mais en gros, si nous ne simulons pas d'attaques sur les humains, il est extrêmement compliqué d'évaluer leur niveau de résilience et de les entraîner. Notre travail consiste à suivre les menaces, les reproduire, et créer des circuits de formation pour entraîner les gens à mieux réagir. Mais je ne suis pas ici pour parler de ce que nous faisons. Je suis ici pour parler de l'IA et des attaques liées à l'IA.

Clarification sur l'IA

Je ne sais pas pour vous, mais on entend parler de l'IA partout en ce moment. Il y a beaucoup de "AI washing". Alors, il y a deux choses : premièrement, je vais remettre un peu l'église au milieu du village, et deuxièmement, je vais essayer d'être précis. Je vais probablement utiliser par inadvertance le terme IA et IA générative de manière interchangeable. Le fait est que les progrès que nous avons vus aujourd'hui dans l'IA et l'adoption massive que nous avons observée sont essentiellement liés aux progrès de l'IA générative. Nous utilisons l'IA générative depuis très longtemps déjà dans le domaine de la cybersécurité.

Les premiers filtres anti-spam sont déjà assez anciens. Nous utilisons des classificateurs basés sur l'IA. Alors, est-ce un mythe ou une réalité ? Avons-nous vraiment vu le paysage des attaques changer depuis l'avènement de l'IA ? Cela fait un bon moment que ChatGPT a atteint sa maturité et son adoption. Avons-nous observé des changements ?

État de l'Accès Initial

Si nous regardons aujourd'hui, et j'ai parlé avec certains d'entre vous qui dirigent des SOC et ont une bonne connaissance des vecteurs d'attaque initiaux, selon la classification MIT (rapport IBM X-Force), les trois vecteurs les plus populaires sont les comptes valides, le phishing et les applications exposées au public.

• Compte valide : Cela signifie qu'il y a eu une fuite de données. L'accès est disponible sur le dark web, parfois via le phishing, parfois avec succès via des info-stealers (programmes dédiés à l'extraction d'identifiants).
• Phishing : C'est le classique email qui extrait des informations confidentielles.
• Applications exposées au public : Cela a beaucoup augmenté cette année, notamment en raison des vulnérabilités dans les applications exposées qui ont permis aux gens d'entrer dans les systèmes sans aucune interaction humaine. C'est un peu moins mon domaine, mais ce n'est pas à négliger.

Pour tout le marketing qui dit que 90 % des erreurs proviennent des humains, il faut relativiser. Les humains ne sont pas les seuls coupables dans les cyberattaques d'aujourd'hui.

Je vous montre cela parce que je ne m'attends pas à ce que l'année prochaine, nous ayons une nouvelle ligne marquée IA. Je ne vois pas de nouveau vecteur d'accès initial basé uniquement sur l'IA. Nous n'avons pas créé Skynet aujourd'hui pour les fans de Terminator.

Usage offensif de l'IA

D'un autre côté, l'IA est toujours utilisée, selon divers rapports sur les menaces. Elle est utilisée pour générer du contenu, des prétextes, et dans l'ingénierie sociale, en ayant le bon vocabulaire, les bons mots et la bonne langue. C'est un véritable problème lorsque des attaquants étrangers ciblent des personnes dont la langue n'est pas la langue maternelle de l'attaquant.

L'IA est utilisée pour trouver des vulnérabilités et les exploiter. ChatGPT est excellent pour vous aider à développer un exploit lié à une CVE (Common Vulnerabilities and Exposures) qui vient d'être découverte. Elle est également utilisée pour la récupération d'informations. Les grands modèles de données formés sur de nombreuses données peuvent chercher profondément dans le web, même le dark web qu'une recherche superficielle sur Google ne trouverait pas. Elle est utilisée pour trouver des informations précises et pour le mining d'informations.

L'attaquant d'aujourd'hui a accès à beaucoup de données. L'IA générative est très bonne pour structurer des données non structurées et extrapoler et synthétiser des informations massivement disponibles. En gros, l'IA est un outil de productivité pour nous tous. Pour ceux qui l'utilisent déjà, ou ceux qui commencent à l'utiliser, nous pouvons voir les gains de productivité qu'elle peut créer. Mais c'est avant tout un gain de productivité sur les étapes actuelles de la chaîne de destruction - les différentes étapes qui mènent à une cyberattaque. Ce n'est pas une chaîne de destruction en soi ; ce n'est pas un vecteur d'attaque en soi.

Je vais présenter deux cas parce que vous devez vous méfier de ce qui peut être créé à partir de variations de choses que nous connaissons déjà, mises à jour à l'ère de l'IA.

Black Mamba

Je vais vous parler de Black Mamba, qui est un projet de malware avec une version IA. Black Mamba est un programme initialement inoffensif qui arrive sur vos systèmes sans aucun comportement malveillant. En ce qui concerne la détection comportementale, il est très difficile de voir quoi que ce soit car il ne correspondra pas à une signature de malware. Tout ce qui est basé sur la détection de signature ne le signalera pas non plus. Il arrive innocemment, vu comme un outil standard.

Black Mamba fait une seule chose : il fait un appel API à OpenAI. En gros, il appelle OpenAI, envoie une invite, et OpenAI renvoie des informations. Cette invite est conçue de manière à ce qu'OpenAI renvoie du code malveillant. Du point de vue de la sécurité du réseau, il n'y a rien d'alarmant car de nombreux outils de productivité font des connexions à OpenAI aujourd'hui. Il n'y aura donc aucune alerte particulière sur la partie filtrage du réseau. Le comportement est juste un programme faisant une demande à OpenAI comme beaucoup d'autres aujourd'hui, sauf qu'OpenAI renvoie du code malveillant. Le programme inoffensif a suffisamment de moyens pour se réécrire lui-même ; c'est du polymorphisme, quelque chose que nous connaissons depuis longtemps. Il se réécrit en réinterprétant le code malveillant, se compile et se transforme en malware.

Dans ce prototype, le malware effectue une enregistrement de frappe et l'extraction d'informations via Teams. Ainsi, ce qui était auparavant inoffensif se transforme en malware capable d'intercepter les frappes et d'extraire des informations de canaux comme Teams. Cet exemple est un peu un game-changer : programme inoffensif, polymorphisme et malware ne sont rien de nouveau, mais l'IA générative change la donne ici.

Red Reaper

Plus tôt, j'ai mentionné le mining d'informations, et c'est là que le cas Red Reaper entre en jeu. Il s'agit d'un autre programme qui utilise l'IA générative à son avantage. Le principe ici est : comment exploiter une fuite de données massive en tant qu'attaquant ? Ce proof of concept a été développé en utilisant les emails d'Enron. Pour ceux qui s'en souviennent, Enron était un grand scandale américain, et l'entreprise a fait faillite. Un chercheur a acheté tous les emails récupérables d'Enron pour 10 000 $, totalisant 600 000 emails de discussions archivées. La question devient alors : que pouvons-nous faire avec ces données ? Initialement, elles ont été utilisées pour la recherche en graphes et des choses similaires.

Le projet Red Reaper traite ces emails en quatre étapes :

1. Filtrage : La première étape consiste à filtrer tout ce qui concerne les affaires juridiques et les personnes d'autorité, y compris les discussions impliquant la présidence, les conseils d'administration et les avocats. Cela réduit le nombre d'emails de 600 000 à environ 20 000.
2. Analyse de Graphes : La deuxième étape consiste à analyser les graphes pour identifier les points centraux de communication et comprendre les relations d'autorité. Cela aide à identifier les centres névralgiques de l'information et qui a accès à des informations sensibles.
3. Identification des Personnes Pertinentes : La troisième étape consiste à identifier les individus les plus pertinents en fonction de l'autorité et des schémas de communication.
4. Synthèse d'Informations : Enfin, la quatrième étape utilise l'IA générative pour synthétiser ces éléments et comprendre les informations sous-jacentes. Ce processus a révélé des cas qui n'avaient pas été exploités mais qui auraient pu être utilisés pour du chantage, comme des histoires de licenciements abusifs et d'autres problèmes passés sous silence pendant le scandale Enron.

L'application pratique aujourd'hui implique la prise de contrôle de comptes ou la compromission d'emails professionnels. En accédant à une boîte aux lettres et à son historique de conversations, souvent stocké dans le cloud, les attaquants peuvent exploiter ces données pour identifier des cibles ayant le pouvoir de transfert, des factures en attente, ou des cas d'informations confidentielles pour des opérations d'espionnage ou de chantage. Cette application de l'IA remanie une fois de plus les cartes.

Ingénierie Sociale et IA

Maintenant, parlons de l'ing

énierie sociale, qui est mon domaine d'expertise. L'ingénierie sociale implique toute tentative de compromettre ou d'induire des actions indésirables chez le facteur humain - les employés au sens large du terme, y compris les cadres supérieurs. Le phishing n'est qu'un symptôme, un vecteur, une application de l'ingénierie sociale que nous connaissons le mieux. Cela peut impliquer des emails (phishing), des messages instantanés (smishing), ou des appels vocaux (vishing).

Les principes sous-jacents sont les mêmes : manipuler les gens, créer des réactions émotionnelles et exploiter les biais cognitifs pour susciter des réponses non rationnelles. La formation à la conformité se concentre souvent sur les connaissances théoriques, comme ne pas cliquer sur les liens ou ouvrir les pièces jointes. Malheureusement, les gens se comportent différemment en pratique et ne sont pas nécessairement rationnels lorsqu'ils sont pris dans des manipulations.

L'IA pour l'Échelle de l'Ingénierie Sociale

L'IA permet de faire évoluer les attaques d'ingénierie sociale, augmentant à la fois le volume et la sophistication des attaques. Il y a un rapport intéressant de Abnormal Security montrant le début de l'adoption de ChatGPT, le fleuron de la commoditisation de l'IA générative. Le nombre d'attaques reçues a augmenté de façon drastique avec l'arrivée de l'IA générative. Plusieurs facteurs contribuent à cela :

• Traduction Instantanée : Fonctionne très bien, et le Japon, qui était relativement épargné, a vu une forte augmentation des attaques après l'arrivée de l'IA générative.
• Génération d'Emails : La capacité de l'IA à rédiger des emails à la volée avec des prétextes plus pertinents a augmenté l'efficacité des emails de phishing.

Une autre statistique intéressante montre une augmentation de 1 265 % des attaques entre le dernier trimestre de 2022 et le troisième trimestre de 2023. Cela illustre comment l'IA permet à la fois d'augmenter le volume et d'améliorer la qualité des attaques. Le spear phishing, qui nécessite plus de ressources et de sophistication, est une attaque plus ciblée qui fait plus de dégâts.

Types d'Attaques d'Ingénierie Sociale

Des rapports, comme celui de Vade sur le T1 2024, mettent en évidence les types d'attaques de spear phishing particulièrement nuisibles :

• Fraude Bancaire : Messages de votre banque ou de votre conseiller.
• Fraude à la Paie : Employés demandant aux RH de changer les comptes de paiement.
• Fraude de l'Avocat : Escroqueries liées à des contextes juridiques.
• Fraude du Président : Escroqueries classiques "Êtes-vous disponible ?" nécessitant de petits transferts.

Stratégie de Contact Initial

Un vecteur d'attaque intéressant est l'email de contact initial, qui est inoffensif et ne contient pas de liens ni de pièges, mais nécessite une réponse. Par exemple, un email demandant si vous avez validé vos vacances sur un nouvel intranet sans inclure de lien. Cela crée une relation avec la cible, transformant un flux unidirectionnel en un fil de communication bidirectionnel. Avec l'IA générative, ces attaques peuvent être mises à l'échelle et rendues plus réalistes, augmentant leur efficacité.

Menaces de Deepfake

Un cas récent d'extorsion a impliqué le vol de 25 millions de dollars via une vidéoconférence où la technologie deepfake a été utilisée pour usurper l'identité du directeur financier et d'autres membres de l'équipe. L'employé, faisant confiance à la vidéo, a effectué le transfert. Cela souligne la nécessité de meilleurs processus, comme la vérification par téléphone, et d'outils pour détecter les deepfakes.

Une Question Plus Large : Manipulation de l'Opinion Publique

Maintenant, nous allons quitter le cadre de l'entreprise pour discuter d'un sujet qui me tient à cœur : la manipulation de l'opinion publique dans nos démocraties actuelles. Les spécialistes commencent à en parler de plus en plus, et je pense que c'est un énorme problème. Cela concerne la façon dont nous nous organisons en tant que société, les votes que nous exprimons, et la manipulation potentielle de l'opinion publique.

Un cas d'étude alarmant implique une élection en Slovaquie. Cette élection opposait un candidat pro-OTAN à un candidat légèrement plus pro-Russie. Quarante-huit heures avant l'élection, pendant une période où les candidats n'ont pas le droit de s'exprimer, une deepfake est apparue. La fausse vidéo montrait le candidat pro-OTAN admettant avoir truqué les élections et suggérant que peu de gens allaient voter. Il a fallu plus de 48 heures pour démystifier la vidéo, mais le mal était fait, et le candidat pro-OTAN a perdu. Cet incident montre comment les opérations de déstabilisation et de manipulation peuvent avoir un impact significatif sur les processus démocratiques.

C'est un sujet réel qui mérite attention, et cela pourrait être un sujet de conférence à part entière. Augmenter notre maturité dans la défense contre ces menaces est crucial, tant au niveau de l'entreprise que personnellement. Nous devons améliorer notre comportement et protéger nos informations.

Sommes-nous Vraiment Inquiets ?

Jusqu'à présent, j'ai parlé d'un cas de transfert de 25 millions de dollars, d'attaques commanditées par des États et de recherches menées par des spécialistes se projetant dans l'avenir. Mais qu'en est-il de nous, ici et maintenant ? Sommes-nous vraiment préoccupés ? Est-il envisageable d'être attaqué ? Pour illustrer cela, j'ai préparé une démonstration d'une attaque de clonage de voix.

Démonstration d'une Attaque de Clonage de Voix

La première étape pour cloner une voix est d'obtenir un échantillon. J'ai pris une voix familière, celle de Roger Federer, d'une interview qu'il a faite en français sur RTS. À partir d'une interview de 12 minutes, j'ai nettoyé l'audio et créé un échantillon de voix de 9 minutes. Avec les technologies accessibles aujourd'hui, il ne faut qu'une minute pour créer un clone vocal de qualité.

Voici un échantillon de ce que peut faire une voix clonée : "Bonjour, c'est Roger. Je suis heureux de participer à cette conférence sur la cybersécurité."

Imaginez recevoir un appel de votre président, dont la voix est déjà disponible en ligne grâce à des interviews. Le président vous demande d'attendre un email. Lorsque l'email arrive, vous avez déjà un rapport, ce qui facilite le contournement des protocoles de sécurité.

Pour la démonstration, j'ai connecté le clone de la voix de Roger Federer à un LLM (comme ChatGPT) et en amont à la conversion de la parole en texte. Cette configuration me permet de parler, de convertir la parole en texte, de traiter par le LLM, puis de sortir en tant que parole en utilisant le clone de la voix.

La Conversation

Voici une conversation non scriptée entre moi et le clone de la voix de Roger Federer :

• Thomas : Bonjour, c'est Thomas.
• Clone de Roger : Oui, c'est lui.
• Thomas : Super, alors Thomas, êtes-vous un fan de tennis ?
• Thomas : Oui, mais désolé, qui est au téléphone maintenant ?
• Clone de Roger : Je suis Roger Federer, la star du tennis. Je vous appelle pour vous offrir quelque chose de vraiment cool. Aimez-vous le tennis ?
• Thomas : Oui, mais attendez, est-ce vraiment Roger Federer ?
• Clone de Roger : Oui, c'est moi, Roger Federer. Alors, l'idée de dîner avec les plus grandes stars du tennis vous plaît-elle ?

Implications et Mesures de Sécurité

Cet exemple montre à quel point il est facile d'utiliser l'IA à des fins malveillantes. La technologie de clonage vocal est relativement plug-and-play avec un minimum de connaissances techniques requises.

Comment Nous Protéger

Il n'y a pas de solution parfaite, mais nous devons adopter une stratégie de défense en profondeur :

• Filtrage : Les technologies s'améliorent pour détecter le contenu généré par l'IA, mais nous devons également considérer d'autres canaux de communication comme le support téléphonique, qui a été utilisé dans l'attaque de MGM Resort.
• Contrôle de l'Exposition : Surveiller les fuites sur le dark web et suivre les signaux faibles comme l'enregistrement de domaines de type-squatting.
• Procédures Spécifiques : Mettre en place des procédures pour les transferts, les détails de paiement et les mises à jour de système, y compris des processus de double vérification.
• Formation des Employés : La formation continue est cruciale. Il est plus simple de faire adopter de nouveaux comportements à quelqu'un que de déployer de nouvelles solutions sur mesure.

Conclusion

L'IA améliore considérablement les méthodes d'attaque existantes, ce qui rend essentiel de rester vigilant et d'adopter des mesures de sécurité complètes pour atténuer ces menaces évolutives. Nous devons améliorer nos défenses à la fois au niveau de l'entreprise et personnel pour nous protéger contre ces attaques sophistiquées.