Erste Nutzung

Dieser Weg führt von der leeren Installation zu einer ersten Antwort auf Grundlage Ihrer Dokumente. Rechnen Sie mit rund zehn Minuten, ohne den Download eines lokalen Modells.


1. Der Einrichtungsassistent

Beim ersten Start lässt WivenLLM Sie das Wesentliche wählen:

Den Anbieter des Sprachmodells. Das ist die Engine, die die Antworten verfasst. Sie können ein lokal ausgeführtes Modell, einen Inferenzserver Ihrer Organisation oder einen externen Anbieter wählen. Diese Wahl lässt sich jederzeit ändern, auch Arbeitsbereich für Arbeitsbereich. → Modelle wählen

Ihr Konto. Die Frage «Wie viele Personen werden diese Instanz nutzen?» bietet zwei Antworten. «Nur ich» erstellt kein Konto; ein Instanzpasswort ist optional, und wenn Sie es verlieren, gibt es keine Wiederherstellung. «Mein Team» erstellt das Administratorkonto und aktiviert den Mehrbenutzermodus: Diese Wahl setzt die Lizenz WivenLLM Business voraus.

Den Umgang mit den Daten. Eine Übersicht zeigt, was mit Ihren Daten beim gewählten Anbieter geschieht. Danach folgt eine kurze, freiwillige Umfrage.

Zwei Elemente werden ohne Rückfrage eingerichtet und lassen sich später in den Einstellungen ändern:

Die Embedding-Engine. Sie übersetzt Ihre Dokumente in Vektoren. Die integrierte Engine läuft lokal, braucht keinen Schlüssel und eignet sich für die meisten Einsätze. Sie wird einmal heruntergeladen, beim ersten Import.

Wichtig: Ein späterer Wechsel der Embedding-Engine leert den Index all Ihrer Bereiche und entfernt daraus die Dokumente, die erneut hinzugefügt werden müssen. Wenn Sie wechseln müssen, tun Sie es, bevor Sie Ihre Dokumente importieren.

Die Vektordatenbank. Die integrierte lokale Datenbank ist die Standardwahl: nichts zu installieren, alles bleibt auf der Festplatte. Eine Unternehmensdatenbank lohnt sich bei grossen Volumen oder wenn sie bei Ihnen bereits vorhanden ist.

Ihr erster Arbeitsbereich wird am Ende des Assistenten für Sie erstellt. Benennen Sie ihn in seinen Einstellungen um, etwa nach einem Dossier, einem Kunden oder einem Projekt.


2. Den Hauptbildschirm verstehen

  • Links die Liste Ihrer Arbeitsbereiche. Jeder hat seine Dokumente, Einstellungen und Gespräche.
  • In der Mitte das laufende Gespräch.
  • Unten das Eingabefeld, mit der Schaltfläche zum Anhängen einer Datei und dem Mikrofon.
  • Unten links der Zugang zu den Einstellungen (Schraubenschlüssel-Symbol), den Konten mit der Rolle Benutzer nicht sehen.

Ein Arbeitsbereich ist die Organisationseinheit von WivenLLM: Er bestimmt, welche Dokumente abfragbar sind, welches Modell antwortet und nach welchen Vorgaben. Zwei Bereiche teilen kein Dokument, ausser Sie fügen dasselbe beiden hinzu. Ihre globalen Erinnerungen und Ihr Second Brain begleiten Sie hingegen von Bereich zu Bereich.


3. Ein Dokument importieren

Öffnen Sie die Dokumentverwaltung des Bereichs mit dem Upload-Symbol (Pfeil nach oben) neben seinem Namen; es erscheint beim aktiven Bereich oder beim Überfahren mit der Maus. Dann:

  • klicken Sie auf die Upload-Zone oder ziehen Sie eine Datei hinein;
  • oder fügen Sie eine URL in «oder einen Link übermitteln» ein und klicken Sie auf «Website abrufen».

Der Import läuft in zwei Schritten ab, und das ist die häufigste Quelle von Verwirrung:

  • Extraktion: Die Datei wird in Text umgewandelt. Sie erscheint dann unter «Meine Dokumente».
  • Hinzufügen zum Bereich: Sie wählen das Dokument aus, wählen «In den Arbeitsbereich verschieben» und dann «Speichern und einbetten»: Es wird zerlegt, vektorisiert und indexiert.

Solange Schritt 2 nicht erledigt ist, ist das Dokument nicht abfragbar.

Eine direkt ins Gespräch gezogene oder mit der Schaltfläche «+» angehängte Datei nimmt einen anderen Weg: Sie dient diesem Gespräch als Kontext, ohne in den Index des Bereichs aufgenommen zu werden. Übersteigt sie den im Kontext verfügbaren Platz, schlägt Ihnen die Anwendung vor, sie in den Bereich aufzunehmen.

→ Dokumente


4. Eine Frage stellen

Schreiben Sie Ihre Frage in natürlicher Sprache. Die Antwort erscheint, während sie entsteht, gefolgt von einem Hinweis Quellen, der die verwendeten Auszüge aufklappt: Titel des Dokuments und Auszug, mit einem Ähnlichkeitswert. Das Zitat nennt weder Seite noch Abschnitt.

Drei Tipps, die die Qualität der Antworten stark verändern:

  • Seien Sie präzise. «Wie lange ist die Kündigungsfrist des Wartungsvertrags?» ist besser als «Kündigungsfrist?».
  • Prüfen Sie die Quellen. Ein Auszug ohne Bezug zur Frage weist auf ein Problem bei der Indexierung oder bei den Sucheinstellungen hin.
  • Ein Gespräch, ein Thema. Der bisherige Austausch ist Teil des Kontexts, der an das Modell geht; Themen zu vermischen verschlechtert die Antworten.

5. Den Arbeitsbereich einstellen

Öffnen Sie die Einstellungen des Bereichs (Zahnrad-Symbol neben seinem Namen), Registerkarte «Chat-Einstellungen». Drei Einstellungen bewirken das meiste:

Der Chatmodus. «Chat» ist der Standardmodus.

  • Chat: Das Modell nutzt Ihre Dokumente und sein Allgemeinwissen.
  • Abfrage: Das Modell antwortet nur, wenn Passagen in Ihren Dokumenten gefunden werden; sonst zeigt die Anwendung eine Ablehnungsmeldung, die Sie anpassen können.
  • Agent: Das Modell nutzt die Tools von sich aus, sofern es sie aufrufen kann. In den beiden anderen Modi laufen die Tools über den Befehl @agent.

Für eine strikt dokumentbasierte Nutzung (Kundendossiers, regulatorische Grundlagen) ist der Abfragemodus fast immer die richtige Wahl.

Der Systemprompt («Prompt» auf dem Bildschirm). Die dauerhaften Vorgaben an das Modell: seine Rolle, sein Ton, was es ablehnen soll, das erwartete Format. Das ist der wirksamste Hebel der ganzen Anwendung.

Das Modell. Jeder Bereich kann ein anderes Modell als die Instanz verwenden.

→ Gespräche


6. Weiterführend

Ziel Seite
Mehrere Themen in einem Bereich organisieren Arbeitsbereiche
Eine Aufgabe automatisieren Agenten
Kolleginnen und Kollegen Zugang geben (Lizenz WivenLLM Business) Benutzer und Rollen
Einen Assistenten auf Ihrer Website veröffentlichen Web-Widget
WivenLLM mit Ihren Anwendungen verbinden Entwickler-API

Wenn es nicht funktioniert

Die Antwort ignoriert meine Dokumente. Prüfen Sie, ob sie dem Bereich tatsächlich hinzugefügt und nicht nur importiert wurden. Prüfen Sie dann die Ähnlichkeitsschwelle (Registerkarte «Vektordatenbank» in den Einstellungen des Bereichs): Eine zu hohe Schwelle schliesst relevante Passagen aus.

Die Antwort erfindet etwas. Stellen Sie den Bereich auf den Abfragemodus um und legen Sie im Systemprompt fest, dass jede in den Dokumenten fehlende Information als solche gekennzeichnet werden muss.

Die Antworten sind langsam. Ein lokales Modell ohne GPU ist von Natur aus langsam, und die erste Nachricht nach einer Inaktivitätsphase wartet, bis das Modell wieder in den Speicher geladen ist. Versuchen Sie ein kleineres Modell oder wechseln Sie für diesen Bereich zu einem externen Anbieter.

Ein Import schlägt fehl. Das Format wird vielleicht nicht unterstützt, oder das PDF ist ein Bild ohne Textebene. Dann greift die Texterkennung, mit je nach Scanqualität unterschiedlichem Ergebnis.