Modelle wählen

Das Sprachmodell bestimmt Qualität, Geschwindigkeit und Kosten der Antworten, und auch, ob Daten Ihren Umfang verlassen. WivenLLM schreibt Ihnen keines vor.


Drei Familien

1. Integrierte lokale Modelle

WivenLLM lädt offene Modelle herunter und führt sie selbst aus, ohne externe Abhängigkeit. Ein integrierter Katalog bietet Modelle verschiedener Grössen, vom leichten Modell mit wenigen Milliarden Parametern bis zu deutlich schwereren Modellen. Im selben Bildschirm können Sie auch auf Hugging Face nach einem Modell im GGUF-Format suchen.

  • Keine Daten verlassen das Haus, kein API-Schlüssel, keine nutzungsabhängigen Kosten. Nur der Download des Modells läuft über das Internet; im souveränen Modus Strikt muss der Host erlaubt sein.
  • Die Geschwindigkeit hängt vollständig von Ihrer Hardware ab.
  • Das Modell wird bei der ersten Nutzung in den Speicher geladen und nach einer Inaktivitätsphase (standardmässig 15 Minuten) automatisch entladen, um Ressourcen freizugeben.
  • Die integrierte Engine eignet sich für die Einzelnutzung. Für mehrere Benutzer ist ein Inferenzserver vorzuziehen.

Die Hardwarediagnose (Einstellungen → Hardwarediagnose) analysiert Ihren Rechner und bewertet seine Eignung für jede Modellklasse (Flüssig, Ordentlich, Langsam oder Ungenügend). Ein kurzer Test, den Sie selbst starten, verfeinert diese Bewertungen im CPU-Modus, und jedes installierte Modell lässt sich messen, um seine tatsächliche Geschwindigkeit zu kennen. In der Modellliste zeigt jeder Katalogeintrag seine Kompatibilität mit Ihrer Hardware: Ideale Kompatibilität, Gute Kompatibilität, Läuft, aber langsam, oder RAM/VRAM ungenügend. So wissen Sie am schnellsten, was Sie herunterladen sollten. Auf dem Arbeitsplatz kann die Anwendung beim ersten Start auch ein passendes Modell wählen und herunterladen.

2. Interner Inferenzserver

Ihre Organisation betreibt bereits einen Modellserver? WivenLLM verbindet sich als Client damit. Das Prinzip bleibt dasselbe (nichts verlässt das Netzwerk, solange dieser Server auf dem Rechner oder im Unternehmensnetzwerk steht), aber Ihr Server verwaltet den Lebenszyklus der Modelle, nicht WivenLLM.

Jeder Server mit einer zum OpenAI-Standard kompatiblen API eignet sich, auch die verbreitetsten lokalen Lösungen (Ollama, LM Studio, vLLM, llama.cpp). Die Oberfläche zeigt dann das Abzeichen «Lokales Modell».

3. Externe Anbieter

Die grossen kommerziellen Anbieter werden unterstützt, ebenso Infomaniak, ein Schweizer Hoster. Sie bieten in der Regel die beste Qualität und Geschwindigkeit, ohne Hardwareanforderungen.

Im Gegenzug werden Ihre Nachrichten und der zugehörige Dokumentkontext an den Anbieter übermittelt, und die Nutzung wird verrechnet. Diese Wahl sollte bewusst getroffen und gegenüber den Benutzern dokumentiert werden. Ein Abzeichen in der Seitenleiste erinnert sie daran.

Der PII-Schutz (Wiven-Konsole) kann Personendaten vor dem Versand durch Pseudonyme ersetzen, ist aber standardmässig deaktiviert und erkennt nicht alles: aktivieren und einstellen, mit einer Liste der zu schützenden Begriffe.

→ Unterstützte Anbieter


Welche Hardware für ein lokales Modell

Diese Grössenordnungen betreffen die quantisierten Modelle des integrierten Katalogs.

Modellgrösse Benötigter Arbeitsspeicher Ohne GPU Mit passender GPU
3–4 Milliarden Parameter 8 GB Nutzbar Sehr schnell (ab 3–4 GB VRAM)
7–9 Milliarden 16 GB Langsam, aber praktikabel Schnell (ab 6–10 GB VRAM)
14 Milliarden 24 GB Schwierig Komfortabel (ab 10 GB VRAM)
32 Milliarden 36 GB und mehr Nicht empfohlen Komfortabel mit passend dimensionierter GPU (ab 20 GB VRAM)
70 Milliarden 64 GB und mehr Nein Erfordert eine High-End-GPU (ab 40 GB VRAM)

Zwei oft unterschätzte Punkte:

  • Der Speicher ist die harte Grenze. Ein Modell, das nicht in den Speicher passt, startet nicht oder läuft mit Auslagerung auf die Festplatte unbrauchbar langsam.
  • Die GPU verändert die Grössenordnung, nicht das Ergebnis. Sie vervielfacht die Generierungsgeschwindigkeit; sie macht ein kleines Modell nicht intelligenter.

Das Agentenmodell kann ein anderes sein

Ein Arbeitsbereich unterscheidet zwei Modelle:

  • das Gesprächsmodell, das Fragen beantwortet (Registerkarte «Chat-Einstellungen»);
  • das Agentenmodell, das die Abfolgen von Tools steuert (Registerkarte «Agentenkonfiguration»).

Agenten verlangen mehr: Das Modell muss entscheiden, welches Tool es mit welchen Argumenten aufruft, und das Ergebnis deuten. Ein Modell, das gut Gespräche führt, kann als Agent scheitern.

Empfehlung: Wenn Ihnen die Agenten wichtig sind, weisen Sie ihnen das leistungsfähigste verfügbare Modell zu, auch wenn das laufende Gespräch auf einem leichteren Modell läuft.

→ Agenten


Die Embedding-Engine ist eine eigene Wahl

Sie verfasst nichts: Sie übersetzt Text in Vektoren für die Dokumentsuche. Die integrierte Engine läuft lokal und eignet sich für die meisten Einsätze. Ihr Standardmodell ist für Englisch ausgelegt; ein mehrsprachiges Modell steht zur Auswahl, ohne Garantie auf bessere Ergebnisse: Testen Sie es mit Ihren Dokumenten.

Prägende Einschränkung: Alle Vektoren eines Index müssen von derselben Engine stammen. Ein Wechsel der Engine oder ihres Modells leert den Index und entfernt die Dokumente aus allen Bereichen: Sie müssen erneut hinzugefügt werden. Entscheiden Sie dies zu Beginn.

Eine externe Engine kann sich für anspruchsvolle mehrsprachige Korpora oder sehr hohe Anforderungen an die Suchqualität lohnen, um den Preis einer ausgehenden Verbindung bei jeder Indexierung und jeder Frage.


Abwägen

Ihre Priorität Konfiguration
Strikte Vertraulichkeit Integriertes lokales Modell + native Embeddings + lokale Vektordatenbank + souveräner Modus Strikt
Maximale Qualität Externer Anbieter, den Benutzern ausdrücklich mitgeteilt
Keine Nutzungskosten Alles lokal
Geschwindigkeit auf bescheidener Hardware Externer Anbieter oder gemeinsam genutzter interner Inferenzserver
Je nach Fall beides Modell-Router: standardmässig lokal, Eskalation nach Regeln

Später umentscheiden

  • Sprachmodell wechseln: ohne Folgen. Die Dokumente bleiben indexiert, die Gespräche bleiben lesbar.
  • Embedding-Engine wechseln: leert den Index aller Bereiche; die Dokumente müssen erneut hinzugefügt werden.
  • Vektordatenbank wechseln: dieselbe Folge.

Anders gesagt: Nur die erste dieser drei Entscheidungen ist ohne Aufwand umkehrbar. Deshalb verdienen die beiden anderen bei der Installation eine durchdachte Entscheidung.