Vektordatenbank und Embeddings

Diese beiden Bausteine bestimmen die Qualität der Dokumentsuche. Sie sind auch die beiden Entscheidungen, die sich im Nachhinein am aufwendigsten ändern lassen.


Der Mechanismus

  • Jedes Dokumentfragment wird von der Embedding-Engine in einen Vektor umgewandelt, eine Liste von Zahlen, die seine Bedeutung abbildet.
  • Diese Vektoren werden in der Vektordatenbank gespeichert.
  • Bei einer Frage wird diese von derselben Engine vektorisiert und dann mit den gespeicherten Vektoren verglichen.
  • Die nächstgelegenen Fragmente werden ausgewählt und dem Modell geliefert.

Daraus folgt die zentrale Einschränkung: Alle Vektoren eines Index müssen von derselben Embedding-Engine stammen. Zwei verschiedene Engines erzeugen nicht vergleichbare Darstellungen.


Die Embedding-Engine

Einstellungen → Agent → Vektorisierungsmodell.

Integrierte Engine (Standard) – läuft lokal und braucht keinen Schlüssel. Das Modell wird bei der ersten Nutzung einmal heruntergeladen; danach gibt es keine ausgehende Verbindung mehr. Das Standardmodell ist für Englisch ausgelegt. Für einen Korpus auf Deutsch, Französisch, Italienisch oder mehrsprachig wählen Sie vor dem Indexieren das am selben Ort angebotene mehrsprachige Modell (über 100 Sprachen, 487 MB, ressourcenintensiver).

Externe Engines – mehrere Anbieter werden unterstützt. Sie können bei anspruchsvollen mehrsprachigen oder sehr spezialisierten Korpora einen Gewinn bringen, um den Preis einer ausgehenden Verbindung bei jeder Indexierung und jeder Frage und nutzungsabhängiger Kosten.

Ein Wechsel der Engine oder des Modells setzt alle Indizes zurück. Eine Warnung erscheint, und beim Speichern löscht WivenLLM die Vektoren und ihren Cache und entfernt alle Dokumente aus allen Arbeitsbereichen. Die Dateien bleiben in der Bibliothek, müssen aber jedem Bereich erneut hinzugefügt werden, um neu indexiert zu werden. Entscheiden Sie dies zu Beginn.

Zerlegung des Textes

Einstellungen → Agent → Textaufteilung und Zerlegung regelt zwei Parameter:

  • Grösse der Textsegmente (standardmässig 1000 Zeichen, innerhalb der Grenze der Embedding-Engine) – kürzer heisst präziser, aber weniger kontextreich; länger, das Gegenteil.
  • Überlappung der Textsegmente (standardmässig 20 Zeichen) – der von einem Fragment ins nächste übernommene Text, damit kein Gedanke zerschnitten wird.

Die Standardwerte eignen sich für die meisten Korpora. Eine Änderung betrifft nur danach indexierte Dokumente.

Wann anpassen: Sehr strukturierte, kurze Dokumente (Merkblätter, Fragen und Antworten) profitieren von kleineren Fragmenten; lange argumentative Texte (Verträge, Rechtsprechung) von grösseren.


Die Vektordatenbank

Einstellungen → Agent → Vektordatenbank.

Integrierte lokale Datenbank (Standard) – im Installationsverzeichnis gespeichert. Kein Dienst zu betreiben, keine ausgehende Verbindung, mit dem Rest gesichert. Sie bewältigt problemlos Korpora von mehreren zehntausend Fragmenten, was die meisten Organisationen abdeckt.

Externe Datenbanken – mehrere Marktlösungen werden unterstützt, selbst gehostet oder als verwalteter Dienst. → Unterstützte Anbieter

Ein Wechsel der Vektordatenbank hat dieselbe Wirkung wie ein Wechsel der Embedding-Engine: Die Indizes werden zurückgesetzt, und die Dokumente müssen erneut hinzugefügt werden.

Wann eine externe Datenbank in Frage kommt

  • Das Volumen übersteigt, was die lokale Datenbank komfortabel verarbeitet.
  • In Ihrer Organisation besteht bereits eine Datenbank, die Sie gemeinsam nutzen möchten.
  • Mehrere Anwendungen müssen denselben Index teilen.
  • Hochverfügbarkeit ist gefordert.

In allen anderen Fällen ist die lokale Datenbank die beste Wahl: weniger bewegliche Teile, keine ausgehende Verbindung, einheitliche Sicherung.

Ein verwalteter Dienst bedeutet, dass Ihre Vektoren und ihre Metadaten Ihren Umfang verlassen. Bei einer Installation, die Souveränität verlangt, hebt das den Vorteil eines lokalen Modells auf.


Organisation der Indizes

Jeder Arbeitsbereich hat einen eigenen Namensraum in der Datenbank. Eine Suche in einem Bereich erreicht daher nicht die Dokumente eines anderen. Die Rechte pro Dokument filtern zusätzlich innerhalb eines Bereichs, was jede Person erhalten darf.

Auch das Second Brain jedes Benutzers hat seinen eigenen, getrennt von den Arbeitsbereichen.


Wartungsvorgänge

Einen Bereich neu indexieren. Einen eigenen Befehl gibt es nicht: Setzen Sie den Bereich zurück und fügen Sie seine Dokumente erneut hinzu. Zu tun, wenn ein Index als inkonsistent verdächtigt wird.

Einen Bereich zurücksetzen. Einstellungen des Bereichs → Vektordatenbank → Vektordatenbank zurücksetzen (Administrator oder Manager). Löscht die Vektoren des Bereichs. Die Dokumente bleiben in der Bibliothek und müssen erneut hinzugefügt werden.

Die Anzahl Vektoren prüfen. Dieselbe Registerkarte zeigt die Anzahl Vektoren des Bereichs an, nützlich, um zu bestätigen, dass eine Indexierung gelungen ist. Wiven-Konsole → Zustand der Installation kontrolliert ausserdem Dokumente und Index der ganzen Instanz.


Eine schlechte Suche diagnostizieren

Symptom Ansatz
«Er findet es nicht, obwohl es dasteht» Ähnlichkeitsschwelle zu hoch; oder Dokument nicht zum Bereich hinzugefügt; oder Text schlecht extrahiert; oder englisches Embedding-Modell für einen deutsch- oder französischsprachigen Korpus
«Er zitiert Passagen ohne Bezug» Schwelle zu tief oder zu viele Fragmente angefordert
«Er findet nur einen Teil» Zu wenige Fragmente; schrittweise erhöhen
«Er findet plötzlich nichts mehr» Embedding-Engine oder Vektordatenbank gewechselt: Die Dokumente wurden aus den Bereichen entfernt und müssen erneut hinzugefügt werden
«Er findet etwas in einem veralteten Dokument» Zwei Versionen bestehen im Index nebeneinander; die alte entfernen
«Er antwortet, ohne ein bestimmtes Dokument zu lesen» Dieses Dokument ist vielleicht anderen Personen vorbehalten (Rechte pro Dokument)

Die Ähnlichkeitsschwelle (standardmässig 0,25) und die Anzahl Fragmente (standardmässig 4) werden pro Arbeitsbereich eingestellt. → Gespräche

Wiven-Konsole → Antwortkontrolle spielt Kontrollfragen pro Bereich erneut ab, erklärt jeden Fehlschlag und schlägt Sucheinstellungen vor, die vor dem Anwenden ausprobiert werden können.