Contrôle de contenu

Le contrôle de contenu applique des règles aux messages des utilisateurs et aux réponses de l'assistant. Il sert à faire respecter une politique interne : empêcher la saisie de données qui n'ont rien à faire dans une conversation, masquer des informations sensibles, écarter des sujets hors périmètre.

Fonction désactivée par défaut. Réglages → Sécurité → Contrôle du contenu.

Il s'applique au chat de l'interface, à l'API, au widget web et à Telegram. Pour un message @agent, seul le message de l'utilisateur est contrôlé : ni les réponses de l'agent ni les résultats de ses outils ne le sont.


Comment une règle est définie

Chaque règle comporte :

  • un nom, qui apparaît dans le suivi des infractions ;
  • une portée : tous les espaces de travail, ou un seul ;
  • un motif : soit une liste de termes séparés par des virgules, soit une expression régulière pour les cas structurés ;
  • une sensibilité à la casse, activable ;
  • une cible : les messages entrants, les réponses sortantes, ou les deux ;
  • une action.

Les actions

Si plusieurs règles se déclenchent, le blocage l'emporte sur le masquage, et le masquage sur le signalement.

Bloquer. Le message est rejeté et un message d'explication est affiché. Rien n'est transmis au modèle. Sur une réponse, le texte est remplacé par ce message ; en affichage progressif, la réponse peut apparaître avant d'être remplacée.

Masquer. Les passages correspondants sont remplacés par la marque [REDACTED], et le traitement se poursuit. Utile pour laisser passer une question tout en retirant une donnée sensible.

Signaler. Le traitement se poursuit normalement, mais l'occurrence est enregistrée. Le bon mode pour tester une règle avant de l'appliquer réellement.


Écrire des règles utiles

Par liste de termes

Chaque terme est recherché comme un mot entier — un terme court ne déclenchera donc pas sur une syllabe à l'intérieur d'un autre mot. Un terme contenant des espaces est recherché comme une expression complète.

Convient au vocabulaire : noms de projets confidentiels, appellations internes, sujets hors périmètre.

Attention aux accents : un terme qui commence ou finit par une lettre accentuée (« clé », « été ») peut ne pas être reconnu. Testez-le, et passez au besoin par une expression régulière.

Par expression régulière

Convient aux formats : numéros structurés, identifiants internes, références normalisées, adresses de messagerie d'un domaine donné.

Une expression invalide est refusée à l'enregistrement. Le formulaire permet de tester une règle sur un texte d'exemple, sans rien enregistrer. Commencez par l'action Signaler pour observer ce que vos motifs capturent réellement avant de bloquer.


Le message affiché

Un message par défaut explique qu'un contenu a été bloqué par la politique de l'organisation. Il est personnalisable au niveau de l'instance, et chaque règle peut en outre porter son propre message.

Écrivez-le pour un utilisateur, pas pour un administrateur. « Ce message contient une donnée qui ne doit pas être saisie ici. Contactez le service X pour la marche à suivre » est utile ; « Violation de la règle 7 » ne l'est pas.


Suivi des infractions

Chaque déclenchement est enregistré dans l'onglet Journal des infractions, avec la règle concernée, l'action, l'utilisateur, l'espace, le canal, la date et un court extrait de contexte — jamais le message entier. Cet extrait contient le texte détecté et quelques dizaines de caractères autour : ce journal peut donc lui-même contenir la donnée que la règle visait. Il peut être vidé par un administrateur.

Ce suivi permet de :

  • repérer une règle trop large qui gêne le travail ;
  • repérer une règle trop étroite qui laisse passer ce qu'elle devrait attraper ;
  • documenter les incidents.

Ce que le contrôle de contenu n'est pas

Ce n'est pas une protection contre l'exfiltration. Un utilisateur déterminé contourne un filtre par motifs. Le contrôle de contenu sert à empêcher les erreurs, pas les intentions.

Ce n'est pas une modération sémantique. Il fonctionne sur des motifs, pas sur le sens. Une formulation détournée passe.

Ce n'est pas une défense contre l'injection de prompt. Il ne regarde ni les documents fournis au modèle ni les consignes qui pourraient s'y cacher.

Ce n'est pas un substitut aux droits d'accès. Ce qui ne doit pas être vu ne doit pas se trouver dans l'espace de travail, ou doit y être réservé par des droits par document. → Utilisateurs, rôles et organisations


Mise en place recommandée

  • Commencez par observer. Créez vos règles en action Signaler et laissez tourner quelques jours.
  • Analysez le suivi. Combien de déclenchements ? Légitimes ou faux positifs ?
  • Ajustez les motifs, puis passez en Masquer ou Bloquer.
  • Communiquez. Une règle de blocage inconnue des utilisateurs est vécue comme une panne.
  • Réexaminez périodiquement. Le vocabulaire d'une organisation évolue.