Rhesis AI ist ein Open-Source-Tool zum Testen von auf LLMs basierenden und agentischen Anwendungen. Es hilft Engineering-, Produkt- und Analyse-Teams, Anforderungen an einem Ort zu erfassen und anschließend mit KI große Mengen an Testszenarien zu generieren.
Kollaboratives Qualitätsmanagement
Statt verteilter Tabellen und manueller Testfälle dokumentieren Teams das erwartete Modellverhalten direkt in Rhesis AI. Das System wandelt diese Erwartungen in strukturierte Tests um, die verschiedene Dialogpfade und Edge Cases abdecken und so helfen, Probleme früher zu erkennen bei:
Anwendungslogik
Prompts
Modellkonfiguration
Automatisierte Tests für mehrstufige Gespräche
Rhesis AI simuliert mehrstufige Konversationen mit LLMs und Agenten. Sie können validieren, wie sich Antworten bei langem Kontext, komplexen Anweisungen und ungewöhnlichen Nutzeranfragen verändern. Das unterstützt Qualitätsprüfungen auf Basis realer Nutzungsmuster und nicht nur einzelner Prompts.
Open Source mit Integration in den Entwicklungsworkflow
Rhesis AI wird als Open Source bereitgestellt und umfasst ein SDK. Es kann in bestehende Entwicklungs-Pipelines integriert werden für:
CI/CD
Änderungsprüfung
Regressionstests
So entsteht ein transparenter, wiederholbarer Prozess, um die Funktionalität von LLMs anhand interner Engineering-Standards zu verifizieren.
