This page is machine-translated from French. Read the French original.

Model router

Un routeur choisit automatiquement, message par message, quel modèle doit répondre. Il permet de servir l'usage courant avec un modèle économique, tout en réservant un modèle plus puissant aux cas que vous décrivez.


What is it for?

  • Réserver les modèles coûteux — un petit modèle traite le courant, un grand modèle les cas désignés par vos règles.
  • Managing capacities — les messages comportant une image vont vers un modèle qui sait les traiter ; une longue conversation, vers un modèle à grande fenêtre de contexte.
  • S'adapter à l'heure — a different model outside of working hours.

Ce que le routeur ne fait pas. Il n'a aucun critère de confidentialité, de coût ni de délai : il ne connaît ni le caractère sensible d'un message, ni le prix d'un modèle, ni son temps de réponse. Il ne garantit pas qu'un message reste sur un modèle local. Et il ne bascule pas en cas de panne : si le modèle choisi est injoignable, le message échoue.


Functioning

A router consists of:

  • un modèle de repli, appelé « Prestataire principal et modèle » à la création et « Plan de secours » dans la liste — le modèle utilisé quand aucune règle ne s'applique. Il sert aussi à évaluer les règles par classification ;
  • une liste de règles, évaluées à chaque message ;
  • une durée d'adhérence, appelée « Durée de recharge » — la période pendant laquelle une conversation reste sur le modèle choisi. 30 secondes par défaut, 0 pour la désactiver.

À chaque message, le routeur évalue d'abord les règles calculées, puis les règles par classification. Si aucune ne correspond, l'adhérence s'applique tant qu'elle court ; sinon, le repli.

Adhesion

Sans elle, une conversation rebondirait d'un modèle à l'autre au gré des messages, avec des ruptures de style et de cohérence.

Une fois qu'une règle a dirigé une conversation vers un modèle, celle-ci y reste pendant la durée configurée, même si les messages suivants ne correspondent plus à aucune règle. Chaque message renouvelle cette durée. C'est ce qui rend le routage utilisable dans une vraie discussion.

Une règle qui correspond l'emporte toujours sur l'adhérence.


The two types of rules

Calculated rules

Elles s'appuient sur des critères mesurables, évalués sans appel au modèle — donc instantanément et gratuitement.

Criteria Examples of use
Contenu demandé Contient un terme donné, ou correspond à une expression régulière
Nombre de jetons de conversation Beyond a certain volume, switch to a model with a large context window.
Nombre de messages de conversation After several exchanges, change the model
Heure actuelle (de 0 à 23) Un modèle différent la nuit, d'après l'heure du serveur. Le jour de la semaine n'est pas un critère
Possède une image associée Moving towards a multimodal model

Comparateurs disponibles : contient et expression régulière pour le contenu ; égale à et n'est pas égal à ; pour les nombres, supérieur à, supérieur ou égal, inférieur à, inférieur ou égal, entre. Plusieurs conditions peuvent être combinées : elles doivent alors toutes être vraies.

« Contient » accepte une liste séparée par des virgules, sans tenir compte de la casse, et cherche une suite de lettres et non un mot entier : « test » correspond aussi à « contestation ».

Rules by classification

Libellé dans l'écran : Catégorisation LLM. Vous décrivez en langage naturel le type de message concerné, et le modèle de repli du routeur classe chaque message. Le message lui est donc transmis, quelle que soit la règle retenue ensuite.

Example description: « Le message demande une analyse juridique approfondie, la comparaison de plusieurs contrats, ou la rédaction d'un document formel. »

Plus souple qu'une règle calculée, mais chaque classification a un coût. Une correspondance est donc mise en cache pendant la durée d'adhérence, et une absence de correspondance pendant 30 secondes, ce qui évite de reclasser chaque message d'une même conversation.


Configurer — administrateur

Settings → Agent → Model router.

  • Créer un routeur (Nouveau routeur) : nom, description, prestataire principal et modèle, durée de recharge.
  • Ajouter des règles, chacune avec son type, ses conditions et sa destination.
  • Affecter le routeur à un espace de travail, dans ses paramètres du chat — celui-ci n'utilise alors plus un modèle fixe, mais le routeur.

Un routeur peut aussi servir de fournisseur par défaut de l'instance : choisissez-le dans Réglages → Agent → Préférence LLM.


Configuration examples

Save money without harming the environment

  • Retreat: fast local model.
  • Rule by classification: « Analyse complexe, raisonnement en plusieurs étapes, ou rédaction longue » → modèle puissant.
  • Calculated rule: conversation dépassant un volume important → modèle à grande fenêtre de contexte.

Limiter ce qui part vers un fournisseur externe

Le routeur n'est pas un contrôle de confidentialité. Une règle par mots-clés laisse passer tout message formulé autrement, une classification peut se tromper, et avec un repli externe chaque message à classer part déjà chez ce fournisseur. Si une donnée ne doit pas sortir, ne mettez pas de fournisseur externe dans le routeur de cet espace.

Pour réduire le risque sans l'écarter :

  • Retreat: modèle local, pour que la classification reste locale.
  • Rule by classification: « Question de culture générale, sans donnée de client ni de personne » → fournisseur externe.

Pour pseudonymiser ce qui sort, activez le bouclier de données personnelles ; pour bloquer les sorties, le mode souverain en strict. → Security and confidentiality

Manage images

  • Retreat: text model.
  • Calculated rule: « Possède une image associée » égale à Vrai → modèle multimodal.

Points to consider

A poorly written rule goes unnoticed. Un routeur qui n'oriente jamais rien se comporte comme un modèle unique, sans le signaler. Testez chaque règle après création.

Order matters. Les règles calculées passent toujours avant les règles par classification. Au sein de chaque groupe, la première qui correspond l'emporte. Placez les plus spécifiques en premier.

Classification costs money. Chaque classification est un appel supplémentaire au modèle de repli. Sur un routeur ne comportant que des règles par classification, le gain économique peut être annulé par le coût du classement.

Adhesion is a compromise. Trop courte, la conversation change de modèle en cours de route ; trop longue, un message qui mériterait le grand modèle reste sur le petit. Quelques dizaines de secondes conviennent à la plupart des cas.

Notify the users. L'interface signale le modèle retenu quand il change (« Dirigé vers… »), mais une réponse de qualité inégale d'un message à l'autre déroute si l'on ignore qu'un routeur est en place.