Modell-Router

Ein Router wählt automatisch, Nachricht für Nachricht, welches Modell antworten soll. So lässt sich die übliche Nutzung mit einem günstigen Modell bedienen, während ein leistungsfähigeres Modell den von Ihnen beschriebenen Fällen vorbehalten bleibt.


Wozu das dient

  • Teure Modelle reservieren – ein kleines Modell erledigt das Übliche, ein grosses die durch Ihre Regeln bezeichneten Fälle.
  • Fähigkeiten steuern – Nachrichten mit einem Bild gehen an ein Modell, das sie verarbeiten kann; ein langes Gespräch an ein Modell mit grossem Kontextfenster.
  • Sich der Uhrzeit anpassen – ein anderes Modell ausserhalb der Geschäftszeiten.

Was der Router nicht tut. Er hat keine Kriterien zu Vertraulichkeit, Kosten oder Antwortzeit: Er kennt weder den sensiblen Charakter einer Nachricht noch den Preis eines Modells noch seine Antwortzeit. Er garantiert nicht, dass eine Nachricht auf einem lokalen Modell bleibt. Und er schaltet bei einem Ausfall nicht um: Ist das gewählte Modell nicht erreichbar, schlägt die Nachricht fehl.


Funktionsweise

Ein Router umfasst:

  • ein Ausweichmodell, bei der Erstellung «Hauptanbieter und Modell» und in der Liste «Notfallplan» genannt: das Modell, das verwendet wird, wenn keine Regel greift. Es dient auch zur Auswertung der Klassifizierungsregeln;
  • eine Liste von Regeln, die bei jeder Nachricht ausgewertet werden;
  • eine Haftdauer, «Abklingzeit» genannt: die Zeitspanne, während der ein Gespräch beim gewählten Modell bleibt. Standardmässig 30 Sekunden, 0, um sie zu deaktivieren.

Bei jeder Nachricht wertet der Router zuerst die berechneten Regeln aus, dann die Klassifizierungsregeln. Passt keine, gilt die Haftung, solange sie läuft; andernfalls das Ausweichmodell.

Die Haftung

Ohne sie würde ein Gespräch je nach Nachricht von Modell zu Modell springen, mit Brüchen in Stil und Kohärenz.

Hat eine Regel ein Gespräch einmal zu einem Modell geleitet, bleibt es dort für die konfigurierte Dauer, auch wenn die folgenden Nachrichten keiner Regel mehr entsprechen. Jede Nachricht erneuert diese Dauer. Das macht das Routing in einer echten Diskussion brauchbar.

Eine passende Regel hat immer Vorrang vor der Haftung.


Die zwei Regeltypen

Berechnete Regeln

Sie stützen sich auf messbare Kriterien, die ohne Modellaufruf ausgewertet werden, also sofort und kostenlos.

Kriterium Anwendungsbeispiele
Angefragter Inhalt Enthält einen bestimmten Begriff oder entspricht einem regulären Ausdruck
Anzahl Tokens im Gespräch Ab einem bestimmten Volumen zu einem Modell mit grossem Kontextfenster wechseln
Anzahl Nachrichten im Gespräch Nach mehreren Austauschen das Modell wechseln
Aktuelle Stunde (0 bis 23) Ein anderes Modell in der Nacht, nach der Serverzeit. Der Wochentag ist kein Kriterium
Hat ein zugehöriges Bild An ein multimodales Modell leiten

Verfügbare Vergleichsoperatoren: enthält und regulärer Ausdruck für den Inhalt; gleich und ungleich; für Zahlen grösser als, grösser oder gleich, kleiner als, kleiner oder gleich, zwischen. Mehrere Bedingungen lassen sich kombinieren: Sie müssen dann alle erfüllt sein.

«Enthält» akzeptiert eine kommagetrennte Liste, unabhängig von Gross- und Kleinschreibung, und sucht eine Buchstabenfolge, nicht ein ganzes Wort: «test» passt auch auf «Attest».

Klassifizierungsregeln

Bezeichnung im Bildschirm: LLM-Kategorisierung. Sie beschreiben in natürlicher Sprache die Art der betroffenen Nachricht, und das Ausweichmodell des Routers klassifiziert jede Nachricht. Die Nachricht wird ihm also übermittelt, unabhängig davon, welche Regel danach gewählt wird.

Beispiel einer Beschreibung: «Die Nachricht verlangt eine vertiefte rechtliche Analyse, den Vergleich mehrerer Verträge oder das Verfassen eines formellen Dokuments.»

Flexibler als eine berechnete Regel, aber jede Klassifizierung hat ihren Preis. Eine Übereinstimmung wird daher für die Haftdauer zwischengespeichert, eine Nichtübereinstimmung für 30 Sekunden, damit nicht jede Nachricht desselben Gesprächs neu klassifiziert wird.


Konfigurieren (Administrator)

Einstellungen → Agent → Modell-Router.

  • Einen Router erstellen (Neuer Router): Name, Beschreibung, Hauptanbieter und Modell, Abklingzeit.
  • Regeln hinzufügen, jede mit Typ, Bedingungen und Ziel.
  • Den Router einem Arbeitsbereich zuweisen, in dessen Chat-Einstellungen: Dieser nutzt dann kein festes Modell mehr, sondern den Router.

Ein Router kann auch als Standardanbieter der Instanz dienen: Wählen Sie ihn unter Einstellungen → Agent → LLM-Präferenz.


Konfigurationsbeispiele

Sparen ohne Qualitätsverlust

  • Ausweichmodell: schnelles lokales Modell.
  • Klassifizierungsregel: «Komplexe Analyse, mehrstufiges Denken oder langer Text» → leistungsfähiges Modell.
  • Berechnete Regel: Gespräch, das ein grosses Volumen übersteigt → Modell mit grossem Kontextfenster.

Begrenzen, was an einen externen Anbieter geht

Der Router ist keine Vertraulichkeitskontrolle. Eine Stichwortregel lässt jede anders formulierte Nachricht durch, eine Klassifizierung kann sich irren, und mit einem externen Ausweichmodell geht jede zu klassifizierende Nachricht bereits an diesen Anbieter. Darf eine Information nicht hinaus, setzen Sie im Router dieses Bereichs keinen externen Anbieter ein.

Um das Risiko zu verringern, ohne es auszuschliessen:

  • Ausweichmodell: lokales Modell, damit die Klassifizierung lokal bleibt.
  • Klassifizierungsregel: «Allgemeinwissensfrage, ohne Kunden- oder Personendaten» → externer Anbieter.

Um zu pseudonymisieren, was hinausgeht, aktivieren Sie den PII-Schutz; um Ausgänge zu blockieren, den souveränen Modus Strikt. → Sicherheit und Vertraulichkeit

Bilder handhaben

  • Ausweichmodell: Textmodell.
  • Berechnete Regel: «Hat ein zugehöriges Bild» gleich Wahr → multimodales Modell.

Worauf Sie achten sollten

Eine schlecht geschriebene Regel bleibt unbemerkt. Ein Router, der nie etwas umleitet, verhält sich wie ein einzelnes Modell, ohne es zu melden. Testen Sie jede Regel nach der Erstellung.

Die Reihenfolge zählt. Berechnete Regeln kommen immer vor Klassifizierungsregeln. Innerhalb jeder Gruppe gewinnt die erste passende. Setzen Sie die spezifischsten an den Anfang.

Eine Klassifizierung kostet. Jede Klassifizierung ist ein zusätzlicher Aufruf des Ausweichmodells. Bei einem Router mit ausschliesslich Klassifizierungsregeln kann der wirtschaftliche Gewinn durch die Kosten der Einordnung aufgehoben werden.

Die Haftung ist ein Kompromiss. Zu kurz, und das Gespräch wechselt unterwegs das Modell; zu lang, und eine Nachricht, die das grosse Modell verdient hätte, bleibt beim kleinen. Einige Dutzend Sekunden passen für die meisten Fälle.

Informieren Sie die Benutzer. Die Oberfläche zeigt das gewählte Modell an, wenn es wechselt («Geleitet an…»), aber eine von Nachricht zu Nachricht unterschiedliche Antwortqualität verwirrt, wenn man nicht weiss, dass ein Router im Einsatz ist.