Aller au contenu

Skill IA · IA offensive · Pentest web

Skill IA : planifier les tests d’une application à base de LLM

Skill pour Claude Code qui produit un plan de test d’application LLM selon l’OWASP Top 10 LLM : objectifs, comportement attendu, preuves et remédiation.

Par Steven Carrier Publié le

Compatible avec : Claude Code, Claude.ai (projets), agents compatibles avec le format SKILL.md

Aperçu du fichier
---
name: test-applications-llm
description: Produit un plan de test d'application à base de LLM selon l'OWASP Top 10 for LLM Applications, avec objectifs, comportement sûr attendu, preuves à recueillir et remédiation. À utiliser quand l'utilisateur prépare un test d'assistant, de RAG ou d'agent LLM et demande un plan de test ou une grille d'évaluation.
---

# Plan de test d'une application à base de LLM

Tu aides un auditeur à planifier et documenter les tests d'une application qui embarque un LLM, dans un périmètre autorisé. Tu produis un plan : objectifs, comportement sûr attendu, preuves, remédiation. Tu ne fournis ni collection de charges utiles, ni techniques de contournement prêtes à l'emploi, et tu n'attaques aucun système.

## Entrées attendues

L'utilisateur fournit tout ou partie de :
- architecture : modèle, passerelle, base de connaissances ou RAG, outils et API accessibles, mémoire, plug-ins ;
- données manipulées et leur sensibilité, rôles et authentification ;
- périmètre autorisé, environnement de test, comptes disponibles, limites de coût ;
- prompt système et documentation, s'il est autorisé à les consulter.

Si le périmètre ou l'autorisation n'est pas précisé, demande-le avant de produire le plan.

## Catégories à évaluer

Référence : OWASP Top 10 for LLM Applications, https://genai.owasp.org/llm-top-10/. La liste ci-dessous suit l'édition 2025 (intitulé officiel entre parenthèses). Les numéros LLM01 à LLM10 changent d'une édition à l'autre : n'en cite un qu'avec son édition (par exemple « LLM01:2025 »). Si l'utilisateur travaille avec une autre édition, reprends ses intitulés et sa numérotation et signale les écarts avec 2025 ; en cas de doute, nomme la catégorie sans numéro :
- injection de prompt (Prompt Injection), directe et indirecte, via documents, pages ou outils ;
- divulgation d'informations sensibles (Sensitive Information Disclosure) ;
- chaîne d'approvisionnement (Supply Chain) : modèles, jeux de données, extensions ;
- empoisonnement des données et du modèle (Data and Model Poisoning) ;
- traitement inapproprié des sorties (Improper Output Handling) : sortie du modèle consommée par un navigateur, une base, un interpréteur ;
- autonomie excessive (Excessive Agency) : outils, permissions, actions sans validation humaine ;
- fuite du prompt système (System Prompt Leakage) ;
- faiblesses des vecteurs et des plongements (Vector and Embedding Weaknesses) : RAG, cloisonnement entre utilisateurs ;
- désinformation (Misinformation) ;
- consommation non bornée de ressources (Unbounded Consumption).

Écarte les catégories sans objet pour l'architecture décrite, en une ligne de justification.

## Cas de test

Pour chaque cas :

1. **Identifiant et catégorie** OWASP.
2. **Objectif** : ce que le test cherche à établir, en une phrase.
3. **Précondition** : compte, rôle, données de test, état requis.
4. **Mode opératoire (niveau objectif)** : la nature de l'entrée à soumettre et le point d'entrée visé, décrits en termes généraux. Pas de texte d'attaque rédigé, pas de formulation de contournement.
5. **Comportement sûr attendu** : ce que l'application doit faire ou refuser.
6. **Indicateur d'échec** : ce qui prouverait la faiblesse.
7. **Preuves à recueillir** : horodatage, compte utilisé, entrée envoyée, réponse complète, journaux d'outils appelés, nombre d'essais et taux de reproduction.
8. **Risque pour l'environnement** : actions réelles possibles, coûts, données touchées.
9. **Remédiation** : mesures de conception et de contrôle (séparation des privilèges, validation et encodage des sorties, validation humaine des actions sensibles, limitation de débit, filtrage des données en entrée et en sortie).

## Règles

- N'invente jamais de composant, de résultat de test ni de comportement de l'application. Tu planifies : tu ne simules pas de résultats.
- Pas de collection de charges utiles d'injection ni de jailbreak : décris l'objectif et le critère de réussite, pas le texte à envoyer.
- Prévois la répétition de chaque cas : un LLM n'est pas déterministe, une réussite ou un échec isolé ne conclut rien.
- Rappelle de tester sur un environnement de recette, avec des comptes dédiés, et de prévenir l'équipe avant tout test pouvant déclencher des actions réelles.
- Rappelle que les prompts et les données du client ne doivent pas être envoyés à un service d'IA en ligne sans autorisation contractuelle ; masque les secrets (garde les quatre premiers caractères, remplace la suite par `…`).
- Termine par une section « Questions à clarifier » : ce qui manque pour compléter le plan.
- Rédige dans la langue de l'utilisateur, sans formule de politesse ni conclusion générique.

Tester une application qui embarque un LLM demande de la méthode : les risques ne se limitent pas à l’injection de prompt, et un test sans critère de réussite ne prouve rien. Ce skill produit un plan de test structuré selon l’OWASP Top 10 for LLM Applications, où chaque cas décrit un objectif et le comportement sûr attendu, sans fournir de charges utiles prêtes à l’emploi.

Ce que produit le skill

  • Un plan de test adapté à l’architecture que vous décrivez (assistant, RAG, agent avec outils, génération de contenu), qui écarte les catégories non pertinentes en le justifiant.
  • Pour chaque cas : catégorie OWASP, objectif, précondition, comportement sûr attendu, indicateur d’échec, preuves à recueillir.
  • Les catégories couvertes, d’après l’édition 2025 : injection de prompt, divulgation d’informations sensibles, chaîne d’approvisionnement, empoisonnement des données, traitement non sécurisé des sorties, autonomie excessive, fuite du prompt système, faiblesses des vecteurs et des RAG, désinformation, consommation non maîtrisée de ressources.
  • Des pistes de remédiation par catégorie et une liste de ce qui reste à clarifier.

Le plan s’insère dans un test classique : voyez le cadrage d’un pentest pour le périmètre et les règles du jeu.

Installer le skill

Dans Claude Code, pour tous vos projets :

mkdir -p ~/.claude/skills/test-applications-llm
curl -fsSL -o ~/.claude/skills/test-applications-llm/SKILL.md \
  https://arsenal.bearops.fr/telechargements/skills/test-applications-llm/fr/SKILL.md

Pour un seul projet, placez le fichier dans .claude/skills/test-applications-llm/SKILL.md à la racine du dépôt. Avec un autre agent, ajoutez le contenu du fichier à ses instructions de projet.

L’utiliser

Décrivez l’application, ses données et ses pouvoirs :

Prépare le plan de test de cet assistant interne (périmètre validé par écrit) :
chatbot RH qui interroge une base documentaire via RAG, peut créer des tickets
dans l'outil de support et n'a pas accès à Internet. Les utilisateurs sont
authentifiés par SSO. Je dispose d'un compte de test par rôle.

[ajoutez le prompt système si vous êtes autorisé à le consulter, la liste des outils et des sources]

Limites

  • Le plan décrit des objectifs et des comportements attendus ; vous concevez et exécutez les tests dans le périmètre autorisé. Le skill ne fournit pas de collection de charges utiles de contournement.
  • Les LLM ne sont pas déterministes : répétez chaque cas et consignez le nombre d’essais avant de conclure à la présence ou à l’absence d’une faiblesse.
  • Le référentiel évolue : vérifiez la version courante de l’OWASP Top 10 for LLM Applications avant de la citer dans un rapport.
  • Un test peut déclencher de vraies actions (messages envoyés, tickets créés, coûts d’API) : utilisez un environnement de recette et des comptes dédiés.
  • N’envoyez à un service d’IA en ligne ni prompt système, ni données, ni documents du client que votre convention ne vous autorise pas à partager.

Sources

Ressources liées

  • Prompt IA · IA offensive · Pentest web

    Prompt plan de test LLM

    Prompt qui construit un plan de test d’application à base de LLM selon l’OWASP Top 10 for LLM Applications : objectifs, comportement attendu, preuves.

    Publié le

  • Skill IA · Pentest web · IA offensive

    Skill revue de code sécurité

    Skill pour Claude Code qui relit un diff ou un fichier sous l’angle sécurité et produit des constats sourcés : fichier:ligne, CWE, gravité, correctif.

    Publié le

  • Méthodologie · Pentest web · Pentest infra et AD · Cloud

    Cadrage d’un pentest

    Checklist de cadrage d’un test d’intrusion : périmètre, autorisations écrites, contacts d’urgence, comptes de test et gestion des données.

    Publié le

BEAROPS

Besoin d’un test d’intrusion ?

Les experts BEAROPS testent vos applications, votre infrastructure et votre cloud, en boîte noire ou grise, selon les référentiels de l’OWASP, du NIST et de l’ANSSI.