Choisir ses modèles

Le modèle de langage détermine la qualité, la vitesse et le coût des réponses, ainsi que la question de savoir si des données sortent de votre périmètre. WivenLLM ne vous en impose aucun.


Trois familles

1. Modèles locaux intégrés

WivenLLM télécharge et exécute lui-même des modèles ouverts, sans dépendance externe. Un catalogue intégré propose des modèles de tailles variées, du modèle léger de quelques milliards de paramètres aux modèles nettement plus lourds. Vous pouvez aussi chercher un modèle au format GGUF sur Hugging Face depuis le même écran.

  • Aucune donnée ne sort, aucune clé d'API, aucun coût à l'usage. Seul le téléchargement du modèle passe par Internet ; en mode souverain Strict, l'hôte doit être autorisé.
  • La vitesse dépend entièrement de votre matériel.
  • Le modèle est chargé en mémoire à la première utilisation et déchargé automatiquement après une période d'inactivité (15 minutes par défaut), pour libérer les ressources.
  • Le moteur intégré convient à un usage individuel. Pour plusieurs utilisateurs, préférez un serveur d'inférence.

Le diagnostic matériel (Réglages → Diagnostic matériel) analyse votre machine et note sa capacité à héberger chaque classe de modèles (Fluide, Correct, Lent ou Insuffisant). Un test court, à lancer vous-même, affine ces notes en mode CPU, et chaque modèle installé peut être mesuré pour connaître sa vitesse réelle. Dans la liste des modèles, chaque entrée du catalogue indique sa compatibilité avec votre matériel : Compatibilité idéale, Bonne compatibilité, Fonctionnera, mais lentement, ou RAM/VRAM insuffisante. C'est le moyen le plus rapide de savoir quoi télécharger. Sur le poste de travail, l'application peut aussi choisir et télécharger un modèle adapté au premier lancement.

2. Serveur d'inférence interne

Votre organisation exploite déjà un serveur de modèles ? WivenLLM s'y connecte comme client. Le principe reste le même — rien ne sort du réseau, tant que ce serveur est sur la machine ou le réseau de l'entreprise — mais c'est votre serveur qui gère le cycle de vie des modèles, pas WivenLLM.

Tout serveur exposant une API compatible avec le standard OpenAI convient, y compris les solutions locales les plus répandues (Ollama, LM Studio, vLLM, llama.cpp). L'interface affiche alors le badge « Modèle local ».

3. Fournisseurs externes

Les grands fournisseurs commerciaux sont pris en charge, ainsi qu'Infomaniak, hébergeur suisse. Ils offrent généralement la meilleure qualité et la meilleure vitesse, sans exigence matérielle.

En contrepartie : vos messages et le contexte documentaire associé sont transmis au fournisseur, et l'usage est facturé. Ce choix doit être conscient et documenté auprès des utilisateurs. Un badge dans la barre latérale le leur rappelle.

Le bouclier PII (Console Wiven) peut remplacer les données personnelles par des pseudonymes avant l'envoi, mais il est désactivé par défaut et ne détecte pas tout : à activer et à régler, en y listant les termes à protéger.

→ Fournisseurs supportés


Quel matériel pour un modèle local

Ces ordres de grandeur concernent les modèles quantifiés du catalogue intégré.

Taille de modèle Mémoire vive utile Sans GPU Avec GPU adapté
3–4 milliards de paramètres 8 Go Utilisable Très rapide (à partir de 3–4 Go de VRAM)
7–9 milliards 16 Go Lent mais praticable Rapide (à partir de 6–10 Go de VRAM)
14 milliards 24 Go Difficile Confortable (à partir de 10 Go de VRAM)
32 milliards 36 Go et plus Non recommandé Confortable avec un GPU dimensionné (à partir de 20 Go de VRAM)
70 milliards 64 Go et plus Non Nécessite un GPU haut de gamme (à partir de 40 Go de VRAM)

Deux points souvent sous-estimés :

  • La mémoire est la contrainte dure. Un modèle qui n'entre pas en mémoire ne démarre pas, ou s'exécute par échanges disque à une vitesse inutilisable.
  • Le GPU change l'échelle, pas le résultat. Il multiplie la vitesse de génération ; il ne rend pas un petit modèle plus intelligent.

Le modèle d'agent peut être différent

Un espace de travail distingue deux modèles :

  • le modèle de conversation, qui répond aux questions (onglet « Paramètres du chat ») ;
  • le modèle d'agent, qui pilote les enchaînements d'outils (onglet « Configuration de l'agent »).

Les agents exigent davantage : le modèle doit décider quel outil appeler, avec quels arguments, et interpréter le résultat. Un modèle qui converse correctement peut échouer en agent.

Recommandation : si les agents comptent pour vous, affectez-leur le modèle le plus capable dont vous disposez, même si la conversation courante tourne sur un modèle plus léger.

→ Agents


Le moteur d'embeddings est un choix à part

Il ne rédige rien : il traduit le texte en vecteurs pour la recherche documentaire. Le moteur intégré s'exécute localement et convient à la majorité des usages. Son modèle par défaut est conçu pour l'anglais ; un modèle multilingue figure parmi les options, sans garantie de meilleur résultat : testez sur vos documents.

Contrainte structurante : tous les vecteurs d'un index doivent provenir du même moteur. En changer, ou changer son modèle, vide l'index et retire les documents de tous les espaces : il faut les y ajouter à nouveau. Décidez-le au démarrage.

Un moteur externe peut se justifier pour des corpus multilingues exigeants ou des besoins de qualité de recherche très élevés — au prix d'une sortie réseau à chaque indexation et à chaque question.


Arbitrer

Votre priorité Configuration
Confidentialité stricte Modèle local intégré + embeddings natifs + base vectorielle locale + mode souverain Strict
Qualité maximale Fournisseur externe, mentionné explicitement aux utilisateurs
Coût nul à l'usage Tout local
Vitesse sur matériel modeste Fournisseur externe, ou serveur d'inférence interne mutualisé
Les deux selon les cas Routeur de modèles : local par défaut, escalade sur règles

Changer d'avis plus tard

  • Changer de modèle de langage : sans conséquence. Les documents restent indexés, les conversations restent lisibles.
  • Changer de moteur d'embeddings : vide l'index de tous les espaces ; les documents sont à y ajouter à nouveau.
  • Changer de base vectorielle : même conséquence.

Autrement dit, seul le premier de ces trois choix est réellement réversible sans effort. C'est pourquoi les deux autres méritent une décision réfléchie à l'installation.