24. August 2026

Spielt Effizienz eine Rolle, wenn es um Enterprise Search, Retrieval-Augmented Generation und agentisches Retrieval geht? In einem früheren Beitrag haben wir KI-Strategien und AI Knowledge Lakes besprochen. Der jetzige Blogpost konzentriert sich auf eine praktische Grundlage hinter diesen Strategien: wie Unternehmeswissen effizient und zuverlässig aus einer Vielzahl von Unternehmensquellen indexiert werden kann.

Enterprise-Search- und RAG-Konnektoren

Suchlösungen für agentisches Retrieval und AI Knowledge Lakes sind auf Such-Konnektoren (bzw. Search Adapter) angewiesen, die Wissensquellen zuverlässig indexieren. Wissensquellen können beispielsweise Microsoft SharePoint, Teams oder Slack, SAP, Salesforce, OpenText, Wikis, Intranets und viele weitere Unternehmenssysteme sein.

Konnektoren nutzen in der Regel APIs solcher Quellsysteme, um Inhalte abzurufen, in eine gemeinsame Struktur zu überführen und mit einer Suchmaschine oder Vektordatenbank synchron zu halten. So müssen zum Beispiel bei unseren Kunden dutzende Millionen von Wiki-Seiten, SharePoint-Dokumente, Dynamics-Datensätze oder auch schon einmal eine kleinere Zahl von Intranet-Seiten indexiert und mit der Index dann synchron. Was braucht es also, um einen Konnektor zu implementieren, der im Enterprise-Maßstab zuverlässig funktioniert?

Funktionale Anforderungen

Die folgenden Punkte sind typische funktionale Anforderungen an Search- und RAG-Konnektoren:

• Indexierung heterogener Daten in ein gemeinsames Indexschema

  • Beispielsweise werden Office-Dokumente in denselben Suchindex aufgenommen wie Webseiten, Wiki-Seiten, Tickets, Kundendatensätze und viele weitere Inhaltstypen.

  • Sicherstellen, dass die Daten „richtig“ aussehen. Beispielsweise Harmonisierung von Autoren, Datumsformaten, Zahlen, etc.

  • Aufbau von Filtern und Nutzung von Taxonomien

• Dokumentversionen und Aktualisierungen

  • Erkennung und Indexierung neuer Dokumentversionen oder -Änderungen

  • Erkennung und Indexierung geänderter Dokumentberechtigungen

  • Erkennung und Indexierung geänderter relevanter Dokumentmetadaten

  • Entfernung gelöschter Dokumente aus dem Suchindex

• Berechtigungen und Security Trimming

  • Indexierung von Access Control Lists (Berechtigungen) für jedes Dokument

  • Indexierung der Benutzer-Gruppen-Beziehungen einer Quelle

  • Bereitstellung eines User-ID-Mappings, zum Beispiel von Active-Directory-IDs (Quellsystem) auf Entra-ID-IDs (Authentifizierung der Suche)

• Erkennung “organisatorischer” Änderungen

  • Erkennung von Änderungen von Gruppenmitgliedschaften

  • Erkennung inaktiver oder gelöschter Benutzer

Nicht-funktionale Anforderungen

Die folgenden Punkte sind typische nicht-funktionale Anforderungen an Search- und RAG-Konnektoren:

• Implementierung von Konnektor-seitigem Rate Limiting

• Hocheffiziente API-Nutzung und internes Caching

• Robuste Behandlung von Timeouts, API-Retry-After-Headern usw.; insbesondere die Implementierung eines globalen Rate Limitings

• Multithreading

• Resume-Checkpoints

• Fehler- und Problembehandlung

• Inkrementelle Scans auf Basis von Change Logs und ähnlicher APIs

Warum ist das relevant?

Aus funktionaler Sicht lässt sich ein Skript, das eine kleine Menge von Dokumenten in eine Suche indexiert, schnell erstellen.

Die Herausforderung ist jedoch, ein solches Skript von wenigen Tausend auf Millionen von Dokumenten zu skalieren. Denn dann entscheiden Crawl-Rate, API-Effizienz, Retry-Verhalten, Checkpointing und Applikationslogik darüber, ob die Indexierung in Stunden, Tagen oder Wochen abgeschlossen ist.

Die folgende Tabelle illustriert dies anhand der ungefähren Gesamtindexierungszeiten nach Crawl-Rate und Anzahl der zu indexierenden Dokumente.

Die Tabelle zeigt, dass bei kleineren Indexierungsaufwänden ein einfacher Crawl-Ansatz noch innerhalb eines akzeptablen Zeitrahmens abgeschlossen werden kann. Mit zunehmender Anzahl von Dokumenten werden jedoch Crawl-Effizienz und operative Robustheit entscheidend:
Der Konnektor muss Inhalte nicht nur schneller verarbeiten, sondern auch temporäre Probleme wie Throttling, Timeouts, Retry-After-Header, global Rate-Limits, aber auch Wartungsfenster und fehlgeschlagene API-Calls bewältigen.

Organisationen, die Wissen zuverlässig indexieren müssen, sollten Konnektoren anhand dieser funktionalen und nicht-funktionalen Anforderungen bewerten. Beispielsweise ist die RheinInsights Retrieval Suite auf diese Anforderungen ausgerichtet und bietet Konnektoren für Enterprise Search, RAG und agentische Retrieval-Szenarien welche für die zuverlässige und schnelle Indexierung von Millionen von Dokumenten ausgelegt sind.