This page is machine-translated from French. Read the French original.

Vector base and embeddings

Ces deux briques déterminent la qualité de la recherche documentaire. Ce sont aussi les deux choix les plus coûteux à modifier après coup.


The mechanism

  • Chaque fragment de document est transformé en vecteur par le moteur d'embeddings — une liste de nombres représentant son sens.
  • Ces vecteurs sont stockés dans la base vectorielle.
  • À la question, celle-ci est vectorisée par le même moteur, puis comparée aux vecteurs stockés.
  • The closest fragments are selected and provided to the model.

D'où la contrainte centrale : tous les vecteurs d'un index doivent provenir du même moteur d'embeddings. Deux moteurs différents produisent des représentations incomparables.


The embeddings engine

Réglages → Agent → Modèle de vectorisation.

Moteur intégré (par défaut) — s'exécute localement et ne demande aucune clé. Le modèle est téléchargé une fois à la première utilisation ; ensuite, plus aucune sortie réseau. Le modèle par défaut est conçu pour l'anglais. Pour un corpus en français, en allemand, en italien ou multilingue, choisissez avant d'indexer le modèle multilingue proposé au même endroit (plus de 100 langues, 487 Mo, plus exigeant en ressources).

External motors — plusieurs fournisseurs sont pris en charge. Ils peuvent apporter un gain sur des corpus multilingues exigeants ou très spécialisés, au prix d'une sortie réseau à chaque indexation et à chaque question, et d'un coût à l'usage.

Changer de moteur ou de modèle réinitialise tous les index. Un avertissement s'affiche, puis, à l'enregistrement, WivenLLM efface les vecteurs et leur cache, et retire tous les documents de tous les espaces de travail. Les fichiers restent dans la bibliothèque, mais il faut les réajouter à chaque espace pour les réindexer. Décidez au démarrage.

Text segmentation

Réglages → Agent → Diviseur de texte et découpage règle deux paramètres :

  • Text segment size (1 000 caractères par défaut, dans la limite du moteur d'embeddings) — plus court, plus précis mais moins contextuel ; plus long, l'inverse.
  • Overlapping text segments (20 caractères par défaut) — le texte repris d'un fragment au suivant, pour ne pas couper une idée en deux.

Les valeurs par défaut conviennent à la plupart des corpus. Un changement n'affecte que les documents indexés ensuite.

When to adjust: des documents très structurés et courts (fiches, questions et réponses) gagnent à des fragments plus petits ; des textes argumentatifs longs (contrats, jurisprudence) gagnent à des fragments plus grands.


The vector basis

Réglages → Agent → Base de données vectorielle.

Integrated local database (default) — stockée dans le répertoire de l'installation. Aucun service à exploiter, aucune sortie réseau, sauvegardée avec le reste. Elle tient sans difficulté des corpus de plusieurs dizaines de milliers de fragments, ce qui couvre la plupart des organisations.

External databases — plusieurs solutions du marché sont prises en charge, en version auto-hébergée ou en service géré. → Supported providers

Changer de base vectorielle a le même effet qu'un changement de moteur d'embeddings : les index sont réinitialisés et les documents sont à réajouter.

When to consider an external base

  • Le volume dépasse ce que la base locale traite confortablement.
  • Une base existe déjà dans votre organisation et vous souhaitez la mutualiser.
  • Plusieurs applications doivent partager le même index.
  • La haute disponibilité est requise.

Dans les autres cas, la base locale est le meilleur choix : moins de pièces mobiles, aucune sortie réseau, sauvegarde unifiée.

Un service géré signifie que vos vecteurs et leurs métadonnées sortent de votre périmètre. Sur une installation dont l'exigence est la souveraineté, cela annule le bénéfice d'un modèle local.


Index organization

Chaque espace de travail dispose de son propre espace de noms dans la base. Une recherche dans un espace n'atteint donc pas les documents d'un autre. Les droits par document filtrent en plus, au sein d'un espace, ce que chaque personne peut recevoir.

Le Second Brain de chaque utilisateur dispose également du sien, séparé des espaces de travail.


Maintenance operations

Reindex a space. Il n'y a pas de commande dédiée : réinitialisez l'espace, puis réajoutez ses documents. À faire lorsqu'un index est suspecté incohérent.

Reset a space. Réglages de l'espace → Base de données vectorielle → Réinitialiser la base de données vectorielle (administrateur ou gestionnaire). Efface les vecteurs de l'espace. Les documents restent dans la bibliothèque et doivent être réajoutés.

Check the number of vectors. Le même onglet affiche le nombre de vecteurs de l'espace — utile pour confirmer qu'une indexation s'est bien déroulée. Console Wiven → Santé de l'installation contrôle aussi les documents et l'index de toute l'instance.


Diagnosing a bad search

Symptom Track
«"He doesn't realize it's written there."» Seuil de similarité trop élevé ; ou document non ajouté à l'espace ; ou texte mal extrait ; ou modèle d'embeddings anglais sur un corpus français
«"He quotes irrelevant passages."» Threshold too low, or too many fragments requested
«"He only finds part of it."» Number of fragments too low; increase gradually
« Il ne trouve plus rien, d'un coup » Moteur d'embeddings ou base vectorielle changés : les documents ont été retirés des espaces, il faut les réajouter
«"He finds it in an outdated document"» Two versions coexist in the index; remove the old one
« Il répond sans lire un document précis » Ce document est peut-être réservé à d'autres personnes (droits par document)

Le seuil de similarité (0,25 par défaut) et le nombre de fragments (4 par défaut) se règlent par espace de travail. → Conversations

Console Wiven → Contrôle des réponses rejoue des questions de contrôle par espace, explique chaque échec et propose des réglages de recherche à essayer avant de les appliquer.