Modelle wählen
Das Sprachmodell bestimmt Qualität, Geschwindigkeit und Kosten der Antworten, und auch, ob Daten Ihren Umfang verlassen. WivenLLM schreibt Ihnen keines vor.
Drei Familien
1. Integrierte lokale Modelle
WivenLLM lädt offene Modelle herunter und führt sie selbst aus, ohne externe Abhängigkeit. Ein integrierter Katalog bietet Modelle verschiedener Grössen, vom leichten Modell mit wenigen Milliarden Parametern bis zu deutlich schwereren Modellen. Im selben Bildschirm können Sie auch auf Hugging Face nach einem Modell im GGUF-Format suchen.
- Keine Daten verlassen das Haus, kein API-Schlüssel, keine nutzungsabhängigen Kosten. Nur der Download des Modells läuft über das Internet; im souveränen Modus Strikt muss der Host erlaubt sein.
- Die Geschwindigkeit hängt vollständig von Ihrer Hardware ab.
- Das Modell wird bei der ersten Nutzung in den Speicher geladen und nach einer Inaktivitätsphase (standardmässig 15 Minuten) automatisch entladen, um Ressourcen freizugeben.
- Die integrierte Engine eignet sich für die Einzelnutzung. Für mehrere Benutzer ist ein Inferenzserver vorzuziehen.
Die Hardwarediagnose (Einstellungen → Hardwarediagnose) analysiert Ihren Rechner und bewertet seine Eignung für jede Modellklasse (Flüssig, Ordentlich, Langsam oder Ungenügend). Ein kurzer Test, den Sie selbst starten, verfeinert diese Bewertungen im CPU-Modus, und jedes installierte Modell lässt sich messen, um seine tatsächliche Geschwindigkeit zu kennen. In der Modellliste zeigt jeder Katalogeintrag seine Kompatibilität mit Ihrer Hardware: Ideale Kompatibilität, Gute Kompatibilität, Läuft, aber langsam, oder RAM/VRAM ungenügend. So wissen Sie am schnellsten, was Sie herunterladen sollten. Auf dem Arbeitsplatz kann die Anwendung beim ersten Start auch ein passendes Modell wählen und herunterladen.
2. Interner Inferenzserver
Ihre Organisation betreibt bereits einen Modellserver? WivenLLM verbindet sich als Client damit. Das Prinzip bleibt dasselbe (nichts verlässt das Netzwerk, solange dieser Server auf dem Rechner oder im Unternehmensnetzwerk steht), aber Ihr Server verwaltet den Lebenszyklus der Modelle, nicht WivenLLM.
Jeder Server mit einer zum OpenAI-Standard kompatiblen API eignet sich, auch die verbreitetsten lokalen Lösungen (Ollama, LM Studio, vLLM, llama.cpp). Die Oberfläche zeigt dann das Abzeichen «Lokales Modell».
3. Externe Anbieter
Die grossen kommerziellen Anbieter werden unterstützt, ebenso Infomaniak, ein Schweizer Hoster. Sie bieten in der Regel die beste Qualität und Geschwindigkeit, ohne Hardwareanforderungen.
Im Gegenzug werden Ihre Nachrichten und der zugehörige Dokumentkontext an den Anbieter übermittelt, und die Nutzung wird verrechnet. Diese Wahl sollte bewusst getroffen und gegenüber den Benutzern dokumentiert werden. Ein Abzeichen in der Seitenleiste erinnert sie daran.
Der PII-Schutz (Wiven-Konsole) kann Personendaten vor dem Versand durch Pseudonyme ersetzen, ist aber standardmässig deaktiviert und erkennt nicht alles: aktivieren und einstellen, mit einer Liste der zu schützenden Begriffe.
Welche Hardware für ein lokales Modell
Diese Grössenordnungen betreffen die quantisierten Modelle des integrierten Katalogs.
| Modellgrösse | Benötigter Arbeitsspeicher | Ohne GPU | Mit passender GPU |
|---|---|---|---|
| 3–4 Milliarden Parameter | 8 GB | Nutzbar | Sehr schnell (ab 3–4 GB VRAM) |
| 7–9 Milliarden | 16 GB | Langsam, aber praktikabel | Schnell (ab 6–10 GB VRAM) |
| 14 Milliarden | 24 GB | Schwierig | Komfortabel (ab 10 GB VRAM) |
| 32 Milliarden | 36 GB und mehr | Nicht empfohlen | Komfortabel mit passend dimensionierter GPU (ab 20 GB VRAM) |
| 70 Milliarden | 64 GB und mehr | Nein | Erfordert eine High-End-GPU (ab 40 GB VRAM) |
Zwei oft unterschätzte Punkte:
- Der Speicher ist die harte Grenze. Ein Modell, das nicht in den Speicher passt, startet nicht oder läuft mit Auslagerung auf die Festplatte unbrauchbar langsam.
- Die GPU verändert die Grössenordnung, nicht das Ergebnis. Sie vervielfacht die Generierungsgeschwindigkeit; sie macht ein kleines Modell nicht intelligenter.
Das Agentenmodell kann ein anderes sein
Ein Arbeitsbereich unterscheidet zwei Modelle:
- das Gesprächsmodell, das Fragen beantwortet (Registerkarte «Chat-Einstellungen»);
- das Agentenmodell, das die Abfolgen von Tools steuert (Registerkarte «Agentenkonfiguration»).
Agenten verlangen mehr: Das Modell muss entscheiden, welches Tool es mit welchen Argumenten aufruft, und das Ergebnis deuten. Ein Modell, das gut Gespräche führt, kann als Agent scheitern.
Empfehlung: Wenn Ihnen die Agenten wichtig sind, weisen Sie ihnen das leistungsfähigste verfügbare Modell zu, auch wenn das laufende Gespräch auf einem leichteren Modell läuft.
→ Agenten
Die Embedding-Engine ist eine eigene Wahl
Sie verfasst nichts: Sie übersetzt Text in Vektoren für die Dokumentsuche. Die integrierte Engine läuft lokal und eignet sich für die meisten Einsätze. Ihr Standardmodell ist für Englisch ausgelegt; ein mehrsprachiges Modell steht zur Auswahl, ohne Garantie auf bessere Ergebnisse: Testen Sie es mit Ihren Dokumenten.
Prägende Einschränkung: Alle Vektoren eines Index müssen von derselben Engine stammen. Ein Wechsel der Engine oder ihres Modells leert den Index und entfernt die Dokumente aus allen Bereichen: Sie müssen erneut hinzugefügt werden. Entscheiden Sie dies zu Beginn.
Eine externe Engine kann sich für anspruchsvolle mehrsprachige Korpora oder sehr hohe Anforderungen an die Suchqualität lohnen, um den Preis einer ausgehenden Verbindung bei jeder Indexierung und jeder Frage.
Abwägen
| Ihre Priorität | Konfiguration |
|---|---|
| Strikte Vertraulichkeit | Integriertes lokales Modell + native Embeddings + lokale Vektordatenbank + souveräner Modus Strikt |
| Maximale Qualität | Externer Anbieter, den Benutzern ausdrücklich mitgeteilt |
| Keine Nutzungskosten | Alles lokal |
| Geschwindigkeit auf bescheidener Hardware | Externer Anbieter oder gemeinsam genutzter interner Inferenzserver |
| Je nach Fall beides | Modell-Router: standardmässig lokal, Eskalation nach Regeln |
Später umentscheiden
- Sprachmodell wechseln: ohne Folgen. Die Dokumente bleiben indexiert, die Gespräche bleiben lesbar.
- Embedding-Engine wechseln: leert den Index aller Bereiche; die Dokumente müssen erneut hinzugefügt werden.
- Vektordatenbank wechseln: dieselbe Folge.
Anders gesagt: Nur die erste dieser drei Entscheidungen ist ohne Aufwand umkehrbar. Deshalb verdienen die beiden anderen bei der Installation eine durchdachte Entscheidung.

Français