LLM-Evaluierung.

Erfahren Sie, ob Ihre KI richtig antwortet, bevor Ihre Nutzer es merken. Crunch-IS übernimmt die LLM-Evaluierung für Ihr Team, ohne dass Sie eine neue Plattform kaufen müssen: Tests aus Ihren echten Gesprächen, automatische Bewerter, die mit Ihrem eigenen Experten abgeglichen sind, und ein Release-Gate für jede Änderung. Schlägt ein Test fehl, beheben unsere Ingenieure die Ursache.

LLM evaluieren lassen

Vorteile unserer Dienstleistungen zur LLM-Evaluierung

Weniger falsche Antworten erreichen Ihre Nutzer

Fehler zeigen sich in einem Testlauf statt in einem Kundengespräch oder in der Stichprobe eines Auditors.

Release-Entscheidungen auf Datenbasis

Jede Prompt- oder Modelländerung geht mit einem Score für dieselben Fälle live. So beruht die Release-Entscheidung auf Belegen statt auf Eindrücken.

Audit-fähige Nachweise

Versionierte Testsets und Laufhistorien zeigen, was Ihr Team wann getestet hat und mit welchem Ergebnis.

Schnellere und sicherere Modelländerungen

Mit einem Qualitäts-Gate kann Ihr Team Modelle häufiger aktualisieren und Prompts öfter anpassen, weil eine Regression im Build auffällt und nicht erst in der Produktion.

Ablauf der LLM-Tests

So geht es weiter, nachdem Sie das Formular gesendet haben.

01

Sie senden das Formular

Erzählen Sie uns, was Ihr KI-System tut, wer es nutzt und welche Antworten Ihnen Sorgen bereiten.
02

Wir legen den Umfang schriftlich fest

Wir prüfen Ihr System und senden Ihnen einen schriftlichen Leistungsumfang: was wir evaluieren, welche Risiken Vorrang haben und den Preis.
03

Wir erstellen das Testset mit Ihrem Experten

Ihr Fachexperte arbeitet mit uns daran, echte Fälle in das Testset zu überführen und eine Stichprobe zu bewerten.
04

Wir führen die Evaluierung durch

Wir lassen die Bewerter laufen, gleichen sie mit den Urteilen Ihres Experten ab und zeigen, wo das System versagt und warum.
05

Wir beheben, was wir finden

Unsere Ingenieure beheben die Fehler und lassen die Suite erneut laufen, um die Wirkung der Änderung zu zeigen.
06

Ihr Team behält die Suite

Die Suite läuft bei jedem Release in Ihrer Pipeline – dokumentiert und an Ihr Team übergeben.

Von uns angebotene Dienstleistungen zur LLM-Evaluierung

01 Audit Ihrer LLM-Evaluierung

Bevor wir etwas Neues aufbauen, prüfen wir, wie Ihr Team das Modell heute testet: welche Fragen Sie kontrollieren, wer die Antworten bewertet und was passiert, bevor eine Prompt-Änderung live geht. Außerdem bewerten wir eine Stichprobe Ihrer echten Fälle anhand der Antworten, die Ihr Experte akzeptieren würde. Am Ende des Audits stehen ein Ausgangswert und eine schriftliche Übersicht, an welchen Stellen Antworten noch ungetestet bei Ihren Nutzern ankommen.

02 Aufbau der Evaluierungs-Suite

Ihr Testset sollte den Fragen entsprechen, die Ihre Nutzer tatsächlich stellen. Deshalb erstellen wir es gemeinsam mit Ihrem Fachexperten aus echten Gesprächen, Support-Tickets und Dokumenten – einschließlich der Grenzfälle, an denen das Modell schon einmal gescheitert ist. Für jeden Fehlertyp schreiben wir einen eigenen Bewerter, von Code-Prüfungen für Format und Fakten bis zu LLM-as-a-judge-Prompts (ein LLM als Prüfinstanz) für Relevanz und Tonalität, und gleichen jeden Bewerter mit den Urteilen Ihres Experten ab, bevor sich jemand darauf verlässt. Die Suite läuft in Ihrer CI, sodass LLM-Tests bei jeder Prompt-Änderung und jedem Modell-Upgrade stattfinden – versioniert in Ihrem Repository.

03 RAG-Evaluierung

Eine falsche Antwort eines RAG-Assistenten kann aus der Dokumentensuche (Retrieval) oder aus dem Modell stammen, und die Lösung ist jeweils eine andere. Wir testen beides getrennt: ob das richtige Dokument gefunden wurde und ob die Antwort sich auf dieses Dokument stützt. Auf einer Plattform für Compliance-Schulungen haben wir jeden generierten Lernplan anhand der in AWS Kendra indexierten Inhalte validiert.

04 Evaluierung von KI-Agenten

Ein Agent kann eine gute Endantwort liefern, obwohl er das falsche Tool aufgerufen oder einen Schritt übersprungen hat. Wir bewerten die gesamte Aufgabe: welche Tools Ihr Agent aufruft, welche Argumente er übergibt, in welcher Reihenfolge er vorgeht und ob die Aufgabe abgeschlossen wird. Derselbe Ansatz gilt auch für die KI-Agenten, die wir selbst entwickeln.

05 Monitoring im Produktivbetrieb

Ihre Nutzer werden Dinge fragen, die kein Testset vorhergesehen hat. Wir ziehen Stichproben aus Live-Gesprächen, bewerten sie mit denselben Bewertern und leiten Antworten mit niedrigem Score an Ihre Prüfer weiter. So werden neue Fehlertypen zu neuen Testfällen statt zu Support-Tickets. Das Monitoring läuft im selben LLMOps-Setup, das Ihr Modell im Produktivbetrieb hält.

06 Fehlerbehebung und Fine-Tuning

Eine Evaluierung, die nur Probleme meldet, überlässt den schwierigsten Teil Ihrem Team. Unsere Ingenieure beheben, was die Evaluierung aufdeckt – in den Prompts, im Retrieval, in den Guardrails oder im Modell selbst – und lassen die Suite erneut laufen, um die Wirkung der Änderung zu zeigen. Wenn das Modell das Urteilsvermögen Ihres Experten erlernen muss, führen wir ein LLM-Fine-Tuning auf Basis der Bewertungen durch, die dieser Experte den Antworten des Modells gegeben hat.

Unsere Kompetenzen in der KI-Modell-Evaluierung

Entwicklung von LLM-Evaluierungs-Frameworks

Wir bauen Evaluierungs-Suites in Promptfoo oder in dem Framework, das Ihr Team bereits nutzt – mit Prompts, Testfällen und Prüfbedingungen als Code in Ihrem Repository.

Kalibrierung von LLM-as-a-Judge

Wir schreiben Judge-Prompts mit expliziten Bewertungsrastern und messen, wie oft sie mit Ihrem Experten übereinstimmen, bevor sie eigenständig bewerten. Weicht ein Judge von Ihrem Experten ab, wird er vor dem nächsten Release neu kalibriert.

Prüfung der Quellentreue

Wir prüfen jede Antwort anhand der Quelle, aus der sie abgerufen wurde – mit AWS Kendra und Amazon Bedrock in unseren Projekten für ein Compliance-LMS und für den unternehmensweiten Wissenszugang sowie mit dem Retrieval-Stack, den Sie bereits nutzen.

Tests auf Halluzinationen und Konsistenz

Wir stellen dieselbe Frage auf viele verschiedene Arten und markieren Antworten, die abweichen, der Quelle widersprechen oder Fakten erfinden.

Regressions-Gates in der CI

Wir integrieren die Suite mit Schwellenwerten für jeden Fehlertyp in Ihre Build-Pipeline. So lässt eine Änderung, die die Qualität senkt, den Build scheitern, bevor sie Ihre Nutzer erreicht.

Vergleich von Modellen und Prompts

Wir testen jedes Kandidatenmodell und jede Prompt-Version mit demselben Testset. So wird die Entscheidung zwischen ihnen zu einer Tabelle mit Scores statt zu einer Grundsatzdiskussion.

Fine-Tuning-Pipelines

Wir bauen Fine-Tuning- und Prompt-Pipelines und verfolgen ihre Qualität in LangSmith – etwa auf einer EdTech-Publishing-Plattform, auf der sich die Prompt-Genauigkeit 3× verbessert hat.

Was Sie bekommen

Klar definierter Umfang vor Projektstart

Wir legen schriftlich fest, welches System wir evaluieren, welche Risiken Vorrang haben und was ein bestandenes Ergebnis bedeutet – noch bevor wir den ersten Test schreiben.

Eine Test-Suite, die Ihrem Team gehört

Testfälle, Bewerter und Pipeline-Konfiguration liegen dokumentiert in Ihrem Repository, sodass Ihr Team sie ohne uns ausführen und erweitern kann.

Ergebnisse für Entwicklung und Compliance gleichermaßen

Jeder Durchlauf liefert Scores, mit denen Ihre Ingenieure direkt arbeiten können, und eine verständliche Zusammenfassung, die Ihr Compliance- oder Risikoteam zu den Akten legen kann.

Dokumentation, mit der Ihr Team arbeiten kann

Zu jedem Bewerter gibt es eine Notiz dazu, was er prüft, wie wir ihn kalibriert haben und wann er neu kalibriert werden sollte.

Warum Sie Crunch-IS als Ihren Partner wählen sollten

Wir bauen, testen und beheben

Wir sind Ingenieure, die KI-Produkte entwickeln. Das Team, das einen Fehler findet, ist deshalb auch das Team, das ihn behebt. Die Evaluierung endet mit einer funktionierenden Lösung und dem Test, der sie belegt – nicht mit einer Liste von Empfehlungen.

Die Test-Suite gehört Ihnen

Alles, was wir für die Evaluierung entwickeln, liegt in Ihrem Repository und läuft in Ihrem Stack – ohne Plattformlizenz und ohne Abhängigkeit von uns. Damit folgen wir dem Grundsatz all unserer Arbeit: Was wir entwickeln, gehört unseren Kunden.

KI im Einsatz in regulierten Umgebungen

Wir haben LLM-Ausgaben für einen Anbieter von Sicherheitsschulungen im Bauwesen validiert. Dort musste jeder KI-generierte Lernplan in einer auditgetriebenen Compliance-Umgebung auf freigegebenem Schulungsmaterial beruhen. Das ist der Maßstab, an dem wir evaluieren.

Was unsere Kunden über uns sagen

Sie entwickeln zahlreiche skalierbare und Best-Practice-Ideen, die es uns ermöglichen, das zu erreichen, was wir derzeit haben.

Nicky, Softcat | Video-Kundenstimme für Crunch-IS

Nicky Senior Business Analyst bei Softcat

Crunch-IS hat uns hervorragend dabei unterstützt, eine Vorstellung davon zu entwickeln, wie das Ergebnis aussehen sollte, und unsere Ideen zur Bewertung und Überprüfung zum Leben zu erwecken.

Matthew, Softcat | Video-Kundenstimme für Crunch-IS

Matthew Leiter der digitalen Strategie bei Softcat

Was mich bei Crunch-IS besonders beeindruckt hat, ist die Qualität der Entwickler. Sie ist einfach viel besser als in jedem anderen Unternehmen, mit dem wir bisher zusammengearbeitet haben.

Klaus, YouWe | Video-Kundenstimme für Crunch-IS

Klaus CEO bei YouWe

Wir sind beeindruckt von ihrer Leistung, davon, wie sie sich für die Produktentwicklung engagieren, und davon, wie sehr ihnen das Produkt am Herzen liegt.

Sebastian Jara, Accountflow | Video-Kundenstimme für Crunch-IS

Sebastian Mitbegründer & CTO bei Accountflow

Es war eine sehr angenehme Erfahrung. Die Kommunikation und die Zusammenarbeit waren durchweg fantastisch.

Marta, GIA Networks | Video-Kundenstimme für Crunch-IS

Marta Berater bei GIA Networks

Unsere Partnerschaft mit Crunch-IS war eine unschätzbare Ressource, während wir gewachsen sind.

Ryan, WorkDove | Video-Kundenstimme für Crunch-IS

Ryan CTO bei WorkDove

Was mir bei Crunch-IS aufgefallen ist, waren die fachliche Kompetenz, die Fähigkeit, über den Tellerrand hinauszuschauen, und sehr gute Englischkenntnisse.

Garrett, Tabulate | Video-Kundenstimme für Crunch-IS

Garrett COO bei Tabulate

Sie haben einen großen Einfluss auf die gesamte Architektur, die wir letztendlich umgesetzt haben. Insgesamt bin ich sehr zufrieden und beeindruckt von allem, was Crunch-IS für uns geleistet hat.

Kenneth, Zuar | Video-Kundenstimme für Crunch-IS

Kenneth CTO bei Zuar

Crunch-IS hat uns mit seiner technischen Exzellenz sowie dem „Zusammentreffen von Denkweisen und Kulturen“ und dem offenen, ehrlichen Austausch beeindruckt. Diese Entscheidung haben wir nicht leichtfertig getroffen, und auch nach fünf Monaten Zusammenarbeit sind wir weiterhin sehr beeindruckt davon, wie Crunch-IS die Zusammenarbeit angeht, und wir sind begeistert von der Qualität des Teams, mit dem wir zusammenarbeiten.

Gary Geschäftsführer bei einem britischen Softwareentwicklungsunternehmen

Die Zusammenarbeit mit Crunch-IS verlief reibungslos. Das Team zeigte sich geduldig, als wir die Vertragsfragen klärten, und ebenso geduldig, als wir unser Abrechnungssystem einrichteten. Die Gestaltungsarbeit war elegant, und der Entwickler lieferte die vereinbarte App pünktlich und in guter Qualität.

Scott Vizepräsident für Softwareentwicklung bei Analytic Index

Die Zusammenarbeit mit dem Team von Crunch-IS war sehr angenehm. Sie arbeiteten fleißig und waren sehr professionell. Wenn Fragen oder technische Probleme auftraten, beantworteten sie diese umgehend und waren stets bereit, uns freundlich zu helfen.

Miia Geschäftsleitung bei Conmark Systems

Ein Entwickler von Crunch-IS hat uns dabei geholfen, eine wichtige Funktion für unser Projekt viel schneller als erwartet bereitzustellen.

Rosario VP für Technik bei Profitap

Crunch-IS sorgte während des gesamten Projekts für eine reibungslose Zusammenarbeit. Das Team pflegte einen offenen Kommunikationsfluss, führte detaillierte Aufzeichnungen über die Aufgabenverteilung und hielt die Projektfristen ein. Das Unternehmen zeichnet sich durch seine Fachkompetenz sowohl im Bereich Design als auch in der Entwicklung aus.

Sisun CEO bei Chintech

Crunch-IS bietet kontinuierliche Entwicklungsunterstützung, die den jeweiligen Projektanforderungen gerecht wird. Trotz ihres Standorts im Ausland ist die Zusammenarbeit mit ihnen unkompliziert, und sie sind über verschiedene Kommunikationskanäle gut erreichbar.

Bob CTO bei Timegen

Der beste Anbieter, den wir uns vorstellen können. Crunch-IS verbindet praktische Entwicklung mit innovativen Designprinzipien. Das interne und externe Feedback zur App-Entwicklung war durchweg positiv. Das Team hält die Projektmeilensteine termingerecht ein und bleibt im Rahmen des Budgets. Es ist reaktionsschnell und stets bereit, einen produktiven Dialog zu führen.

Jeff CEO bei USA Software Company

Crunch-IS hat meine Erwartungen übertroffen. Ich schätze die Einfallsreichtum der Entwickler angesichts der Einschränkungen und komplexen Anforderungen. Das Unternehmen war in der Lage, das Projekt erfolgreich umzusetzen und abzuschließen.

Kate Produktmanager bei Mezonin

Das Projekt ist bisher reibungslos verlaufen. Crunch-IS zeichnet sich durch eine außergewöhnliche Arbeitsmoral aus. Daher konnten sie jede Herausforderung meistern, die sich ihnen in den Weg stellte. Sie bewältigen die tägliche Arbeit gut in Eigenregie, stehen aber auch regelmäßig mit uns in Kontakt, um sicherzustellen, dass wir alle auf dem gleichen Stand sind.

Andrew CMO bei Qinetics

Die App, an der Crunch-IS gearbeitet hat, ist übersichtlich, schlank und funktioniert wie vorgesehen. Crunch-IS scheut keine Mühen, um sicherzustellen, dass beide Teams auf einer Wellenlänge sind. Das engagierte Team sorgt durch seine positive Einstellung und seine effektiven Projektmanagementfähigkeiten für eine angenehme Zusammenarbeit. Das Team war sehr freundlich, und die Zusammenarbeit mit ihm war ein Vergnügen.

Ian CEO bei Biomicc

01 / 07

Neues Projekt starten

KI-Evaluierung – Häufig gestellte Fragen

Was ist LLM-Evaluierung, und wie unterscheidet sie sich von Benchmarks und Leaderboards?

Die LLM-Evaluierung misst, wie gut ein Sprachmodell Ihre Aufgabe erfüllt – mit Ihren Daten und nach Ihren Maßstäben. Öffentliche Benchmarks und Leaderboards vergleichen Modelle anhand generischer Tests. Das sagt wenig darüber aus, ob Ihr Assistent Ihren Kunden korrekt antwortet. Eine Evaluierung, die für Ihr System entwickelt wird, geht von Ihren echten Fällen und den Antworten aus, die Ihr Experte akzeptieren würde.

Welche Metriken verwenden Sie, um eine LLM-Anwendung zu evaluieren?

Die Metriken richten sich nach den Risiken Ihres Anwendungsfalls. Typisch sind die faktische Genauigkeit gegenüber einer Referenz, die Quellentreue gegenüber dem abgerufenen Dokument, das Ablehnungsverhalten, Tonalität und Format sowie bei Agenten die Aufgabenerfüllung und die Genauigkeit der Tool-Aufrufe. Die Liste und die Schwellenwerte zum Bestehen legen wir vor dem ersten Durchlauf gemeinsam mit Ihnen fest.

Müssen wir zuerst eine Evaluierungsplattform kaufen?

Nein. Wir bauen die Evaluierung in Ihrem Stack auf, mit Open-Source-Frameworks wie Promptfoo oder den Tools, die Ihr Team bereits nutzt. Testfälle und Bewerter bleiben in Ihrem Repository und ziehen daher mit um, falls Sie später eine kommerzielle Plattform einführen.

Stellen Sie Fachexperten bereit?

Nein. Der Experte sollte aus Ihrem Haus kommen, denn nur er weiß, wie eine korrekte Antwort in Ihrem Geschäft aussieht. Wir bringen die Methode mit, bauen die Bewerter und kalibrieren sie anhand des Urteils Ihres Experten. So wirken wenige Stunden seiner Zeit in jedem künftigen Release.

Können Sie auch einen KI-Agenten oder ein RAG-System evaluieren, nicht nur einen Chatbot?

Ja. Bei einem RAG-System testen wir Retrieval und Quellentreue getrennt. So wissen Sie, ob eine falsche Antwort auf das falsche Dokument oder auf das Modell zurückgeht. Bei einem KI-Agenten evaluieren wir die gesamte Aufgabe: die aufgerufenen Tools, die übergebenen Argumente und ob er die Aufgabe abschließt.

Wie unterscheidet sich die LLM-Evaluierung von RLHF?

Die LLM-Evaluierung misst, wie sich Ihr System heute verhält, und erkennt Regressionen bei jeder Änderung. RLHF verändert dagegen das Modell selbst: Es ist eine Form des Fine-Tunings, bei der das Modell anhand menschlicher Bewertungen seiner Antworten trainiert wird. Die Evaluierung kommt in der Regel zuerst, weil sie zeigt, wo das Modell versagt und ob sich ein erneutes Training lohnt. Entscheiden Sie sich für RLHF, zeigt dieselbe Evaluierungs-Suite, ob es gewirkt hat.

Wie wird der Preis festgelegt?

Wir kalkulieren jede Evaluierung nach einer kurzen Prüfung Ihres Systems, denn der Aufwand hängt von der Zahl der Anwendungsfälle, den damit verbundenen Risiken und der Menge bereits vorhandener Testdaten ab. Sie erhalten einen schriftlichen Leistungsumfang und den Preis, bevor die Arbeit beginnt.

Ihre LLM-Evaluierung beginnt hier.

Sprechen Sie mit uns in einem kostenlosen Gespräch zur Ersteinschätzung über Ihr KI-System und die Antworten, die Ihnen Sorgen bereiten.

Kostenloses Gespräch buchen

Crunch-IS Erfolgsgeschichten

ALLE ANZEIGEN

KI-unterstützte Compliance-LMS-Plattform für Bau- und Sicherheitsschulungen

LLM-Feinabstimmung für die Verwaltung und Erstellung von Inhalten im EdTech-Bereich

3×: Verbesserung der Prompt-Genauigkeit
40-50%: kürzere Zeit bis zur Veröffentlichung von Inhalten

Transformation des Wissenszugangs mit RAG und AWS

60%: schnellere Arbeit mit Unternehmensdokumenten

Bleiben Sie auf dem Laufenden über die neuesten Trends