Avec la montée en puissance du phishing par IA générative, vous pourriez être tenté de l'utiliser pour vos opérations de phishing.
L'utilisation d'un LLM tiers bien entraîné présente des avantages évidents, du coût de l'infrastructure — le temps GPU n'est pas bon marché — à la facilité d'interaction avec les API disponibles sur le marché, mais cela introduit également un nouvel élément dans votre pile technique, ainsi que quelques considérations de sécurité et réglementaires.
Dans cet article, nous passerons en revue deux points clés à garder à l'esprit si vous utilisez un LLM tiers pour vos simulations de phishing.
Ne pas partager d'informations à caractère personnel
Les LLM tiers sont en constante évolution. Une partie de cette évolution est due au fait qu'ils utilisent les interactions des utilisateurs et les données soumises comme données d'entraînement.
Cela signifie que les informations que vous envoyez au LLM peuvent — et seront — utilisées pour entraîner le modèle et améliorer ses résultats.
Ainsi, en règle générale, vous devriez éviter de partager toute information sensible avec un modèle que vous ne possédez pas et ne contrôlez pas.
Maintenant, en plus de cela, il y a un type très particulier de données que vous ne voulez absolument pas partager avec un LLM externe : les données à caractère personnel.
Selon le pays depuis lequel vous opérez et les clients avec lesquels vous travaillez, ces données seront soumises aux lois sur la vie privée.
Partager des données à caractère personnel avec un tiers sera problématique, surtout si vous n'êtes pas sûr de la manière dont ces données seront utilisées, pendant combien de temps et dans quel but.
Étant donné le jeune âge de la plupart des entreprises d'IA générative, elles seront considérées comme un risque de sécurité et de confidentialité par beaucoup, donc vous ne pouvez pas utiliser directement les LLM tiers pour générer et envoyer des simulations de phishing.
Un truc facile pour éviter de partager des PII avec des LLM externes est d'utiliser des balises de fusion.
Plutôt que de nourrir des informations sensibles au LLM et d'obtenir un e-mail prêt à l'emploi, vous devriez concevoir votre prompt pour retourner un modèle d'e-mail avec des balises de fusion.
Ensuite, ajoutez une fonction de post-traitement qui retournera l'email final que votre kit de phishing pourra envoyer.
Vous obtenez le meilleur des deux mondes :
- Génération automatique d'e-mails de phishing uniques grâce à la genAI
- Contrôle total du transfert des données personnelles grâce à votre infrastructure et phishing kit
Voici une règle simple que vous pouvez ajouter à votre invite pour qu'elle retourne des balises de fusion (n'hésitez pas à l'adapter) :
Jailbreaks
La plupart des LLM tiers ont des protections en place pour éviter d'être utilisés à des fins néfastes.
La sécurité offensive, par définition, ressemble à une menace légitime à bien des égards et cela peut être un problème si vous souhaitez créer des e-mails de phishing en utilisant un LLM tiers comme celui d'OpenAI.
Cependant, avec ces protections est venu l'usage de "jailbreaks", ou des manières de concevoir votre invite qui vous permettraient de générer du contenu qui ne devrait pas être autorisé autrement.
Nous en avons parlé auparavant, mais le jailbreak le plus universel que vous pouvez utiliser lorsqu'il s'agit de générer des attaques d'ingénierie sociale est ce que nous appelons "transmettre le prétexte".
En raison de la nature même de toute tentative d'ingénierie sociale, vous aurez un prétexte en tête lorsque vous concevez votre e-mail ou votre scénario d'attaque.
Comme un e-mail légitime du département informatique demandant à quelqu'un de se connecter à un portail pour télécharger un patch de sécurité sera très similaire à une tentative de phishing, vous pouvez simplement nourrir ce prétexte à votre LLM de choix pour obtenir une sortie très utilisable.
Conclusion
Ce court article devrait vous avoir fourni les deux principaux points que vous devez prendre en compte avant d'utiliser un LLM tiers, surtout s'il est basé sur le cloud et que vous ne contrôlez pas où vont les données.
Il y a d'autres problèmes à prendre en compte lors de l'utilisation de l'IA générative pour les opérations de sécurité offensive, en particulier concernant l'ingénierie sociale — qui implique des interactions humaines.
Par exemple, vous voudrez vous assurer que le LLM ne hallucine pas avant de pousser votre contenu en production. Vous voudrez également avoir un moyen de mesurer la qualité du contenu, en vous assurant qu'il contient les éléments dont vous avez besoin pour compromettre la cible.
Votre e-mail de vol d'identifiants sera moins efficace si le LLM ne renvoie pas de lien vers votre page d'atterrissage d'attaque, par exemple, et cela nous est arrivé.
Mais ce sont des problèmes génériques, au-delà du sujet de cet article, nous en parlons un peu dans notre article sur les simulations de phishing par IA générative.
Si vous souhaitez utiliser un kit de phishing prêt à l'emploi, conforme au RGPD et alimenté par genAI, vous pouvez nous contacter et demander une démo ici.
