Das Juli Release der RheinInsights Retrieval Suite
1. Juli 2025
Die Juli-Version unserer Retrieval Suite liefert eine weitere Steigerung der Crawl-Performance sowie Hybrid Search für eine Retrieval Augmented Generation. Wir haben insbesondere verbesserte Query Pipelines integriert, die noch relevantere Suchergebnisse für natürlichsprachliche Abfragen liefern.
Hohe Crawl-Raten in Entwicklungsumgebungen
Unsere Konnektoren erzielen seit jeher zuverlässig hohe und stabile Crawl-Raten. Die Crawl-Leistung hängt dabei stets von folgenden Faktoren ab:
Inhaltsquelle (des zu indexierenden Systems)
Größe der VM, auf dem unsere Suite läuft,
Leistungsfähigkeit der Suchmaschine
und der angeschlossenen Datenbank.
Ein extremes Beispiel ist unser Datei-Konnektor. Er kann ein lokales Dateisystem mit einem lokal angeschlossenen Microsoft SQL Server als Datenspeicher und verzögert ausgeführter Textextraktion mit bis zu 1.500 Dokumenten pro Sekunde bei einem Full Scan und 1.000 Dokumenten pro Sekunde bei einem Recrawl erfassen.
Für Remote-Quellen, wie z.B. Atlassian Confluence Data Center, erreicht der Konnektor stabile Crawl-Raten von 100–120 Seiten pro Sekunde bei einem Full Scan.
Natürlich muss stets die Balance zwischen Indexaktualität und Belastung der Quellsysteme gewahrt werden. Daher bieten unsere Konnektoren umfangreiche Optionen an, um das Quellsystem zu entlasten oder den Crawl zu beschleunigen.