Inhaltskontrolle

Die Inhaltskontrolle wendet Regeln auf die Nachrichten der Benutzer und die Antworten des Assistenten an. Sie dient dazu, eine interne Richtlinie durchzusetzen: die Eingabe von Daten verhindern, die in einem Gespräch nichts zu suchen haben, sensible Informationen maskieren, Themen ausserhalb des Umfangs fernhalten.

Die Funktion ist standardmässig deaktiviert. Einstellungen → Sicherheit → Inhaltskontrolle.

Sie gilt für den Chat der Oberfläche, die API, das Web-Widget und Telegram. Bei einer Nachricht mit @agent wird nur die Nachricht des Benutzers kontrolliert: weder die Antworten des Agenten noch die Ergebnisse seiner Tools.


Wie eine Regel definiert wird

Jede Regel umfasst:

  • einen Namen, der in der Verstossüberwachung erscheint;
  • einen Geltungsbereich: alle Arbeitsbereiche oder einen einzigen;
  • ein Muster: entweder eine kommagetrennte Liste von Begriffen oder ein regulärer Ausdruck für strukturierte Fälle;
  • die Beachtung von Gross- und Kleinschreibung, zuschaltbar;
  • ein Ziel: eingehende Nachrichten, ausgehende Antworten oder beides;
  • eine Aktion.

Die Aktionen

Lösen mehrere Regeln aus, hat Blockieren Vorrang vor Maskieren und Maskieren vor Melden.

Blockieren. Die Nachricht wird abgewiesen, und eine Erklärung wird angezeigt. Nichts wird an das Modell übermittelt. Bei einer Antwort wird der Text durch diese Meldung ersetzt; bei fortlaufender Anzeige kann die Antwort erscheinen, bevor sie ersetzt wird.

Maskieren. Die betreffenden Passagen werden durch die Markierung [REDACTED] ersetzt, und die Verarbeitung läuft weiter. Nützlich, um eine Frage durchzulassen und dabei eine sensible Information zu entfernen.

Melden. Die Verarbeitung läuft normal weiter, aber das Vorkommen wird erfasst. Der richtige Modus, um eine Regel zu testen, bevor sie tatsächlich angewendet wird.


Nützliche Regeln schreiben

Mit einer Begriffsliste

Jeder Begriff wird als ganzes Wort gesucht; ein kurzer Begriff löst also nicht bei einer Silbe innerhalb eines anderen Wortes aus. Ein Begriff mit Leerzeichen wird als vollständiger Ausdruck gesucht.

Geeignet für Vokabular: Namen vertraulicher Projekte, interne Bezeichnungen, Themen ausserhalb des Umfangs.

Achtung bei Sonderzeichen: Ein Begriff, der mit einem Buchstaben mit Akzent oder Umlaut beginnt oder endet («Öl», «Büro»), wird möglicherweise nicht erkannt. Testen Sie ihn und weichen Sie bei Bedarf auf einen regulären Ausdruck aus.

Mit einem regulären Ausdruck

Geeignet für Formate: strukturierte Nummern, interne Kennungen, normierte Referenzen, E-Mail-Adressen einer bestimmten Domain.

Ein ungültiger Ausdruck wird beim Speichern abgelehnt. Das Formular erlaubt, eine Regel an einem Beispieltext zu testen, ohne etwas zu speichern. Beginnen Sie mit der Aktion Melden, um zu beobachten, was Ihre Muster tatsächlich erfassen, bevor Sie blockieren.


Die angezeigte Meldung

Eine Standardmeldung erklärt, dass ein Inhalt durch die Richtlinie der Organisation blockiert wurde. Sie ist auf Instanzebene anpassbar, und jede Regel kann zusätzlich ihre eigene Meldung tragen.

Schreiben Sie sie für Benutzer, nicht für Administratoren. «Diese Nachricht enthält eine Angabe, die hier nicht eingegeben werden darf. Wenden Sie sich für das weitere Vorgehen an die Abteilung X» ist nützlich; «Verstoss gegen Regel 7» nicht.


Verstossüberwachung

Jede Auslösung wird in der Registerkarte Verstossprotokoll erfasst, mit der betroffenen Regel, der Aktion, dem Benutzer, dem Bereich, dem Kanal, dem Datum und einem kurzen Kontextauszug, nie der ganzen Nachricht. Dieser Auszug enthält den erkannten Text und einige Dutzend Zeichen darum herum: Dieses Protokoll kann also selbst die Information enthalten, auf die die Regel zielte. Ein Administrator kann es leeren.

Diese Überwachung erlaubt:

  • eine zu breite Regel zu erkennen, die die Arbeit behindert;
  • eine zu enge Regel zu erkennen, die durchlässt, was sie erfassen sollte;
  • Vorfälle zu dokumentieren.

Was die Inhaltskontrolle nicht ist

Sie ist kein Schutz gegen Datenabfluss. Ein entschlossener Benutzer umgeht einen Musterfilter. Die Inhaltskontrolle soll Fehler verhindern, nicht Absichten.

Sie ist keine semantische Moderation. Sie arbeitet mit Mustern, nicht mit Bedeutung. Eine umschriebene Formulierung kommt durch.

Sie ist keine Abwehr gegen Prompt Injection. Sie prüft weder die dem Modell gelieferten Dokumente noch die Anweisungen, die sich darin verbergen könnten.

Sie ist kein Ersatz für Zugriffsrechte. Was nicht gesehen werden darf, gehört nicht in den Arbeitsbereich oder muss dort über Rechte pro Dokument reserviert werden. → Benutzer, Rollen und Organisationen


Empfohlene Einführung

  • Beginnen Sie mit Beobachten. Erstellen Sie Ihre Regeln mit der Aktion Melden und lassen Sie sie einige Tage laufen.
  • Werten Sie die Überwachung aus. Wie viele Auslösungen? Berechtigte oder Fehlalarme?
  • Passen Sie die Muster an und wechseln Sie dann zu Maskieren oder Blockieren.
  • Kommunizieren Sie. Eine Blockierregel, die den Benutzern unbekannt ist, wird als Störung erlebt.
  • Überprüfen Sie regelmässig. Das Vokabular einer Organisation entwickelt sich.