Adaptive RAG-Plattform für Unternehmen
Eine sichere RAG-Plattform für eine Privatbank. Mitarbeitende nutzen eine gemeinsame Chat-Oberfläche. Dahinter betreibt jede Abteilung eigene, kontrollierte GPTs mit vertraulichem Wissen, strengen Zugriffsrechten und adaptiver Aufbereitung grosser Dokumentbestände.
Lösungsarchitektur, Backend-Design, Sicherheitsmodell, RAG-Engineering und Unterstützung beim Deployment.
Die Bank wollte keinen eigenen Chatbot für jede Abteilung. Finanzen, HR, Recht, Vermögensverwaltung und weitere Teams arbeiten jedoch mit unterschiedlichen Dokumenten, Vertraulichkeitsstufen und Zugriffsregeln.
Wir entwarfen eine gemeinsame Chatbot-Architektur, in der jede Abteilung kontrollierte GPTs hinter einer Oberfläche anlegen kann. Zugriffsrechte werden vor der Suche geprüft, Dokumente passend aufbereitet und Suchverfahren auf die Daten abgestimmt.
Das Ergebnis ist ein skalierbares Architekturkonzept für Enterprise RAG: eine gemeinsame Oberfläche, abteilungsspezifisches Wissen, lokale Modelle, Kubernetes-Deployment und ein Sicherheitsmodell, das Zugriffe zuerst prüft. Screenshots, Kundendaten und konkrete Implementierungsdetails bleiben vertraulich.
Eine bankweite KI-Architektur entwickeln, in der Mitarbeitende einen Chatbot nutzen und Abteilungen ihr Wissen selbst verwalten. Jede Abteilung kann ein offenes GPT für allgemein teilbare Informationen und ein vertrauliches GPT für geschützte Inhalte erstellen. Das System entscheidet vor der Suche, wer worauf zugreifen darf. So gelangen vertrauliche Daten nicht versehentlich an das Modell.
Hier geht es um die Infrastruktur hinter kontrollierten Assistenten: lokale Modelle für vertrauliche Daten, adaptive Parser für verschiedene Dokumenttypen, mehrere Suchstrategien für grosse Datenmengen und Kubernetes-Deployment. Die konkrete Kundenkonfiguration und Daten bleiben privat.
Ein Chatbot für die Bank, mit Wissen jeder Abteilung
Die Bank hatte bereits einen allgemeinen Chatbot. Doch jede Abteilung arbeitet mit eigenem Wissen: HR, Finanzen, Recht, Vermögensverwaltung und weitere Teams haben unterschiedliche Dokumente, Prozesse und Vertraulichkeitsregeln.
Ein separater Chatbot pro Abteilung hätte die Nutzung zersplittert und die Governance erschwert. Der bessere Ansatz war eine gemeinsame Oberfläche mit Abteilungs-GPTs dahinter. Mitarbeitende stellen ihre Fragen am selben Ort, während die Plattform den zulässigen Wissensraum bestimmt.
Eine sichere Plattform hinter einem einfachen Chat
Die entscheidende Prüfung kommt vor der Suche
Effizienz war eine Produktanforderung
Bei den Datenmengen der Bank wäre eine einheitliche RAG-Pipeline zu teuer und zu langsam gewesen. Ein Textdokument braucht nicht dieselbe aufwendige Verarbeitung wie ein gescannter Bericht mit Bildern. Eine exakte Kennung sollte sich nicht allein auf semantische Suche verlassen. Visuelle Dokumente brauchen mehr als reine Textverarbeitung.
Deshalb passt die Plattform Parser, Markdown-Aufbereitung, Suchverfahren und Modellrouting an den jeweiligen Fall an. Das Ziel sind geringere Inferenzkosten, schnellere Antworten und bessere Qualität im Unternehmensmassstab.
Andere Daten brauchen andere Suchverfahren
Der gemeinsame Chatbot
Was das Plattformkonzept ermöglicht