Chat mit Dokumenten und internem Wissen

Business GPT kann Dokumente auf zwei verschiedene Arten verarbeiten – je nachdem, ob Sie ein oder mehrere einzelne Dokumente spontan analysieren oder eine dauerhafte Wissensbasis aufbauen möchten.

1. Dokumente direkt im Chat hochladen

Sie können Dokumente direkt an den Chat anhängen, um sie sofort mit der KI zu besprechen. Der Inhalt steht dem Modell dann vollständig im aktuellen Gesprächskontext zur Verfügung – Sie können also direkt Fragen stellen, Textpassagen analysieren oder Unterschiede zwischen Dokumenten hervorheben lassen.

Wichtig zu wissen:

Dokumente können nur hochgeladen werden, wenn ihr gesamter Inhalt in das Kontextfenster des Modells passt. Ist ein Dokument (oder eine Kombination mehrerer Dateien) größer als dieses Limit, kann der Inhalt nicht vollständig verarbeitet werden. Sie erhalten dann im Chat einen Hinweis und können Dokumente entfernen.
Diese Methode eignet sich daher besonders für einzelne oder zusammenhängende Dokumente beliebiger Länge, solange sie innerhalb des verfügbaren Kontextfensters liegen.
Die hochgeladenen Dateien werden als temporäre Dokumente gespeichert – sie bleiben für eine begrenzte Zeit verfügbar, bevor sie automatisch gelöscht werden.
Während dieser Frist können Sie die Dokumente erneut verwenden, beispielsweise in einem weiteren Chat.

Typische Anwendungsfälle:

„Fasse dieses Dokument zusammen.“
„Welche Risiken werden im Abschnitt 3 genannt?“
„Erstelle daraus eine Management-Zusammenfassung.“
„Vergleiche beide Dokumente und zeige die Unterschiede auf.“

2. Dokumente in Container hochladen (Wissensordner)

Für umfangreiche oder dauerhaft relevante Dokumente können Sie Dokumenten-Container verwenden (siehe auch Dokumenten-Container). Dort hochgeladene Dateien werden indexiert und später im Chat über eine semantische Suche (RAG-Verfahren) verarbeitet. Das bedeutet: Der Assistent durchsucht beim Chatten nicht das gesamte Dokument Wort für Wort, sondern findet inhaltlich passende Textstellen, auch wenn Sie sich anders ausdrücken.

Vorteile:

Ideal für größere oder thematisch zusammenhängende Dokumentensammlungen (z. B. Projektdokumente, Richtlinien, Reports).
Kein Limit durch das Kontextfenster – der Assistent kann über die semantische Suche auf den gesamten Wissensbestand zugreifen.
Container können dauerhaft verwaltet, erweitert oder gelöscht werden.
Besonders hilfreich für Dokumentenvergleiche über mehrere Versionen hinweg, z. B. um Änderungen, Ergänzungen oder Abweichungen zu erkennen.

Typische Anwendungsfälle:

„Was sagen unsere Sicherheitsrichtlinien zu Cloud-Diensten?“
„Welche Anforderungen gelten laut der Produktspezifikation?“
„Fassen Sie alle Reports der letzten Monate zusammen.“
„Vergleichen Sie die Versionen unserer Produktspezifikationen und listen Sie die Unterschiede auf.“

Wann nutze ich welche Methode?

Beide Methoden haben ihre Stärken – je nachdem, ob Sie tiefe, präzise Analysen oder breiten Wissenszugriff benötigen.

Wenn Sie ein Dokument direkt im Chat anhängen, steht der gesamte Inhalt vollständig im Modellkontext. Das Modell „kennt“ dann jedes Wort und kann präzise Zusammenhänge, Argumentationsketten oder Unterschiede erkennen. Diese Methode liefert die höchste inhaltliche Genauigkeit, solange das Dokument ins Kontextfenster passt.
Wenn Sie Dokumente in Containern ablegen, greift das Modell über eine semantische Suche (RAG) auf relevante Textstellen zu. Dadurch können Sie mit sehr großen oder vielen Dokumenten arbeiten, allerdings immer auf Basis von inhaltlich passenden Ausschnitten, nicht des gesamten Textes. Diese Methode ist ideal für umfangreiche Wissensbestände, bietet aber eine indirektere Kontexttiefe.

Ziel	Empfohlene Methode
Präzise inhaltsbezogene Analyse	Direkter Upload im Chat
Dokument passt vollständig ins Kontextfenster	Direkter Upload im Chat
Sehr große oder viele Dokumente	Container (Wissensordner)
Dauerhafte Wissensbasis	Container (Wissensordner)
Dokumentenvergleiche (innerhalb eines Kontextes)	Direkter Upload im Chat
Versionsvergleiche über längeren Zeitraum	Container (Wissensordner)

Best Practice

Wenn Ihr Dokument in das Kontextfenster passt, ist der direkte Upload im Chat immer die genauere Wahl. Die Container-Methode eignet sich, sobald Sie mehr Dokumente oder mehr Wissen benötigen, als in einem einzelnen Kontext verarbeitet werden kann.

Kombination beider Methoden

Sie können beide Ansätze kombinieren. Speichern Sie z. B. Ihren gesamten Wissensbestand dauerhaft in Containern und hängen Sie im Chat zusätzlich ein aktuelles Dokument an. So kann die KI einerseits auf das semantisch indexierte Wissen zugreifen und gleichzeitig das aktuelle Dokument im Detail analysieren oder vergleichen. Diese Kombination ist besonders wirkungsvoll, wenn Sie neue Dokumente in bestehenden Kontext einordnen oder Abweichungen feststellen möchten.

Der Unternehmenswissen-Assistent ist ein vorkonfigurierter Assistent, der es erlaubt mit zusätzlichem Wissen zu chatten. Dieses Wissen wurde zuvor in Business GPT zum Beispiel durch den Upload von Dokumenten in Dokumenten-Containern verfügbar gemacht.

Der Assistent greift bei der Beanwortung von Anfragen primär auf dieses Wissen zu und erstellt Antworten unter Anwendung von Keywörtern und Kontext der Anfrage.

Chat mit Dokumenten-Containern

Für den Chat mit Dokumenten-Containern können Sie den Assistenten Unternehmenswissen sofort verwenden. Alternativ können Sie eigene Assistenen erstellen, die auf die gewünschten Dokumenten-Container zugreifen (siehe Assistenten)

Der Assistent "Dokumenten Chat" ist für den Chat mit Container bereits vorbereitet und optimiert. Der Dokumenten-Chat Assistent bezieht alle Dokumenten-Container ein, auf die Sie Zugriff haben. Der Zugriff auf Dokumente wird durch Gruppenberechtigungen gesteuert, die Administratoren zuweisen können.

Zusätzlich können Container selektiert werden (Wissen filtern), die als Filter für die Suchanfrage an die KI dienen. Ist demnach ein Container ausgewählt, sucht die KI nach relevanten Informationen (nur) in diesem Container.

Container-Filter

Der Dokumenten-Chat liefert Ergebnisse primär basierend auf Dokumenteninhalten in Dokumenten-Containern. Dennoch greift der Assistent bei Bedarf auch auf das eigene Modellwissen (LLM Wissen) zurück, wenn dies für die Nutzeranfrage relevant oder hilfreich ist.

Chat-Anfrage

Dokumenten Container und Wissenssuche

Beim Dokumenten Chat erfolgt eine Vektorsuche, um relevante Inhalte zu finden. Auf diese Weise können große Mengen von Dokumenten durchsucht werden, aber möglicherweise wird nicht jeder Dokumentteil für jede Antwort berücksichtigt.

Wie genau werden Inhalte aus Dokumenten-Containern verwendet?

Beim Chat mit Dokumenten-Containern durchläuft eine Anfrage an die KI mehrere Schritte, um eine Antwort zu erzeugen.

1. Verstehen der Benutzeranfrage

Der Prozess beginnt mit der Verarbeitung der Benutzeranfrage, die in natürlicher Sprache eingegeben wird, z. B. „Wie stelle ich einen Urlaubsantrag?“. Die Anfrage wird zunächst analysiert, um Intentionen, Schlüsselbegriffe und Synonyme zu identifizieren. Anschließend wird die Anfrage durch Embedding-Modelle in einen hochdimensionalen Vektor transformiert. Diese Vektorisierung ermöglicht es, nicht nur wörtliche Übereinstimmungen, sondern auch semantisch ähnliche Inhalte zu identifizieren.

2. Suche im Index

Die Anfrage wird mit einem Suchindex abgeglichen. Dabei können zwei Ansätze kombiniert werden: eine klassische Keyword-basierte Suche und eine semantische Suche. Bei der Keyword-Suche wird eine wörtliche Übereinstimmung der Schlüsselbegriffe durchgeführt, ergänzt durch Techniken wie Synonymmapping, Lemmatisierung und Tokenisierung. In der semantischen Suche wird der Vektor der Anfrage mit den Vektoren der Dokumente verglichen, um die kontextuell ähnlichsten Inhalte zu finden. Am Ende des Suchprozesses werden die Top-k relevantesten Dokumente basierend auf Ähnlichkeitswerten und anderen Ranking-Kriterien zurückgegeben.

3. Kontextuelle Optimierung der Ergebnisse

Um die Relevanz der Ergebnisse zu maximieren, werden aus den zurückgegebenen Top-k-Dokumenten nur die relevantesten Passagen oder Abschnitte extrahiert. Dieser Schritt sorgt dafür, dass nur jene Inhalte weiterverarbeitet werden, die spezifisch zur Benutzeranfrage passen. Zusätzliche Scoring- und Ranking-Algorithmen bewerten die Bedeutung der extrahierten Inhalte weiter, indem sie Faktoren wie Kontext, Position der Informationen oder Metadaten einbeziehen.

4. Übergabe an den Generationsschritt

Die extrahierten Dokumente und Passagen werden schließlich in strukturierter Form an das generative KI-Modell übergeben. Diese strukturierte Übergabe enthält relevante Inhalte sowie Metadaten wie die Quelle, das Erstellungsdatum und die Relevanzbewertung. Dadurch wird sichergestellt, dass das Modell nur die wichtigen Informationen erhält, um eine präzise, kontextbewusste und natürlichsprachliche Antwort zu generieren.

Optimale Anfragen an die KI

Für optimale Ergebnisse beim Chat mit dem Dokumenten-Chat achten Sie vor allem auf gut formulierte Prompts. Nutzen Sie dafür auch unseren Prompting-Guide

Umgang mit Containern und Dokumenten im Chat

Neben der Nutzung des Containerfilters ("Wissen filtern") im Chat können Container und Dokumente auch in Prompts direkt referenziert werden.

Beispiel für Dokumentenreferenzierung im System Prompt eines Assistenten:

Du bist ein Experte im HR-Bereich.

Antworte stets mit Bezug zum Dokument "ABC.pdf".

Beispiel für Containerreferenzierung im Nutzerchat:

Welchen Inhalt hat der Container "Container XYZ"?

Anwendungsszenarien

Insbesondere bei der Erstellung von Assistenten für komplexere Aufgaben kann es sinnvoll und nützlich sein, dass der Assistent für bestimmte (Teil-) Aspekte der Aufgabenstellung dediziert nur auf bestimmte Dokumente- oder Container zugreift.

Beispiel:

Ein Assistent greift auf mehrer Dokumentencontainer zu. In einem Container befindet sich ein Glossardokument mit fachspezifischen Begriffen im Unternehmenskontext. Der Assistent soll zur Beantwortung von Fragen, die eine exakte Einordnung der Begriffe erfordern, stets zuerst das Glossardokument prüfen.

Prompt-Auszug:

...

Prüfe zum genauen Verständnis und Einordnung von Begriffen stets zuerst das Dokument "Glossar.pdf".

...

Häufige Fragen zum Chat mit Dokumenten-Containern

Ich möchte die Gesamtanzahl zu einem bestimmten Thema, z.B. Aufträge, ermitteln. Geht das?

Mengenbezogene Fragen können nur bedingt beantwortet werden. Der Grund: Die zugrunde liegende RAG-Logik (Retrieval-Augmented Generation) ist in erster Linie darauf ausgelegt, Textpassagen zu einem Thema zu finden und daraus Antworten zu formulieren. Eine verlässliche Aggregation von Mengen (Summen, Zählungen, Statistiken) ist damit nur eingeschränkt möglich, da das System keine echte strukturierte Datenabfrage durchführt, sondern auf Textsuche und -wiedergabe basiert.

Kann ich Dokumente zusammenfassen lassen?

Ja, Dokumente, die in Container gespeichert sind, können von BGPT zusammen gefasst werden. Dazu kann das gewünschte Dokument einfach in der Anfrage referenziert werden: "Fasse das Dokument "Dokument ABC.pdf" zusammen."

Kann ich auch Berechnungen durchführen lassen, zum Beispiel Summen oder Durchschnittswerte?

Nein, das ist nicht die Stärke des Chats mit Containerinhalten.
Es können textinhalte erklärt und zusammengefasst werden, aber keine exakten Rechenoperationen über viele Dokumente hinweg durchgeführt werden.

Kann ich mich rechtlich oder fachlich hundertprozentig auf die Antworten verlassen?

Die Antworten im Dokumenten-Chat sind als Hilfestellung gedacht.
Sie können beim Verstehen und Einordnen helfen, sind aber nicht rechtlich verbindlich oder garantiert fehlerfrei.
Für wichtige Entscheidungen sollten die Originaldokumente geprüft oder Fachleute hinzugezogen werden.