Szenarien speziell für Ihr Fachgebiet
Wir schreiben Angriffe für Ihr Produkt, Ihre Nutzer und Ihre Richtlinien, denn eine generische Angriffsbibliothek weiß nicht, was Ihr Assistent niemals sagen darf.
Ihre Branche nicht dabei? Sprechen wir darüber.
Mit einem KI-Experten sprechenCrunch-IS in Zahlen
Ihr KI-Assistent lässt sich zu Aussagen überreden, die Ihr Unternehmen niemals machen würde.
Die KI-Red-Teaming-Services von Crunch-IS prüfen, ob Ihr Modell Ihre Regeln auch unter anhaltendem Druck einhält – von Jailbreaks bis zu langen Rollenspiel-Dialogen. Unsere Engineers beheben, was durchkommt, und wiederholen die Angriffe bei jedem neuen Modell.
Antworten, die als Screenshot die Runde machen würden, findet unser Red Team, bevor Ihre Nutzer sie finden.
Ihr Assistent hält sich an Regeln zu Erstattungen, Beratung und Tonfall, auch wenn ein Nutzer über viele Gesprächsrunden hinweg Druck macht.
Ein Bericht, der Ziel für Ziel aufgebaut ist, zeigt Unternehmenskunden und Auditoren, wie Sie das Verhalten des Modells getestet und was Sie behoben haben.
Werden dieselben Szenarien auf einem neuen Modell erneut ausgeführt, zeigt sich, ob das Upgrade eine Guardrail geschwächt hat – bevor es Ihre Nutzer erreicht.
Beschreiben Sie uns, was Ihr Assistent oder Agent tut, wer ihn nutzt und welche Antworten Ihnen die größten Sorgen bereiten würden.
Wir legen gemeinsam mit Ihrem Team fest, welches Fehlverhalten das Red Team provozieren soll und welchen Umfang der Test hat, und senden Ihnen einen schriftlichen Plan mit Preis.
Wir schreiben Angriffe für jedes Ziel und wählen die automatisierten Suiten aus, die bekannte Muster abdecken.
Unser Red Team führt die Szenarien manuell und mit automatisierten Suiten aus – in einer Staging-Umgebung, sofern Sie nichts anderes wählen.
Unsere Engineers ändern Prompts, Filter und Prüfungen, geprüft von Ihrem Team.
Wir wiederholen jeden erfolgreichen Angriff, berichten zum Stand jedes Ziels und übergeben Ihnen die Szenarien.
Zu Beginn legen wir mit Ihrem Team fest, was das Modell niemals tun darf: Erstattungen außerhalb der Richtlinien gewähren, Ratschläge erteilen, die es nicht geben darf, oder einen Wettbewerber empfehlen. Jeder dieser Punkte wird zu einem Ziel, das das Red Team zu erreichen versucht.
Ein Jailbreak bringt das Modell über hypothetische Szenarien, vorgetäuschte Autorität oder eine in harmlose Teile zerlegte Anfrage dazu, seine Anweisungen zu ignorieren. Wir testen jede Guardrail, vom System-Prompt bis zu den Ausgabefiltern, und dokumentieren jedes Gespräch, das durchgekommen ist. Angriffe, die in Dokumenten versteckt sind, gehören zu unseren KI-Penetrationstests.
Viele Fehler zeigen sich erst im Verlauf eines Gesprächs, nicht bei einem einzelnen Prompt. Wir bauen über mehrere Gesprächsrunden Vertrauen auf, lassen das Modell eine Rolle spielen oder treiben eine Anfrage Schritt für Schritt voran, bis es dem zustimmt, was es zuvor abgelehnt hat.
Wir suchen nach Antworten, die Ihren Nutzern oder Ihrer Marke schaden würden: toxische oder voreingenommene Antworten, gefährliche Anleitungen, Ratschläge außerhalb des Aufgabenbereichs des Assistenten. Lässt sich das Modell dazu bringen, Fakten zu erfinden, wandert der Fall in Ihre Testsuite für die LLM-Evaluierung.
Ein Agent kann sich innerhalb seiner Berechtigungen bewegen und trotzdem gegen eine Geschäftsregel verstoßen, etwa indem er eine Ausnahme genehmigt oder eine Prüfung überspringt. Wir testen, ob er sich über seine regulären Tools dazu überreden lässt.
Unsere Engineers beheben, was durchgekommen ist: im System-Prompt, in den Ein- und Ausgabeprüfungen, im Ablehnungsverhalten und, wenn Prompts nicht ausreichen, im Modelltraining.
Wir schreiben Angriffe für Ihr Produkt, Ihre Nutzer und Ihre Richtlinien, denn eine generische Angriffsbibliothek weiß nicht, was Ihr Assistent niemals sagen darf.
Wir ergänzen die Szenarien um automatisierte Suiten wie Promptfoo, PyRIT oder Garak, sodass jede Runde auch bekannte Jailbreak-Muster in großem Umfang abdeckt.
Ein KI-Bewerter beurteilt jedes Angriffsprotokoll anhand Ihrer Richtlinien, und wir gleichen seine Urteile mit denen Ihrer Prüfer ab, bevor wir uns darauf verlassen.
Wir arbeiten auf jeder Ebene, die eine problematische Antwort stoppen kann: System-Prompt, Eingabeklassifikatoren, Moderations-APIs, Ausgabefilter und Übergabe an einen Menschen.
Die Befunde werden den OWASP Top 10 for LLM Applications, MITRE ATLAS und dem NIST AI Risk Management Framework zugeordnet, sodass Ihre Security- und Compliance-Teams sie in Frameworks einordnen können, die sie bereits nutzen.
Wir konzipieren KI-Chatbots und KI-Agenten selbst, daher weiß unser Red Team, wo die Anweisungen eines Modells enden und seine Tools beginnen. Bei einer Plattform für Arbeitssicherheitsschulungen in der Baubranche musste jeder KI-generierte Lernplan innerhalb des freigegebenen Schulungsmaterials bleiben.
Jedes Ziel, das Sie festgelegt haben, wird als erreicht, teilweise erreicht oder blockiert markiert – mit einer verständlichen Zusammenfassung für die Geschäftsleitung.
Zu jedem erfolgreichen Angriff erhalten Sie das vollständige Gespräch, damit Ihr Team genau sieht, wie das Modell dorthin gelenkt wurde.
Änderungen an Prompts, Filtern und Prüfungen fließen in Ihre Codebasis ein und werden von Ihrem Team geprüft.
Die Angriffsszenarien sind dokumentiert und verbleiben bei Ihrem Team – bereit für den nächsten Durchlauf mit einem neuen Modell oder Prompt.
Öffentliche Benchmarks testen, was ein Modell allen sagt. Wir testen, was Ihr Assistent Ihren Kunden in Ihrem Fachgebiet niemals sagen darf.
Wir entwickeln KI-Assistenten und -Agenten. Deshalb gehen die Befunde des Red Teams an Engineers, die den Prompt, die Guardrail oder das Modell ändern können – und nicht in einen Bericht, der in einer Warteschlange liegen bleibt.
Wir bieten außerdem KI-Penetrationstests und LLM-Evaluierung an. So deckt ein einziges Team ab, ob sich Ihre KI kompromittieren lässt, ob sie korrekt antwortet und ob sie Ihre Regeln einhält.
Sie entwickeln zahlreiche skalierbare und Best-Practice-Ideen, die es uns ermöglichen, das zu erreichen, was wir derzeit haben.

Crunch-IS hat uns hervorragend dabei unterstützt, eine Vorstellung davon zu entwickeln, wie das Ergebnis aussehen sollte, und unsere Ideen zur Bewertung und Überprüfung zum Leben zu erwecken.

Was mich bei Crunch-IS besonders beeindruckt hat, ist die Qualität der Entwickler. Sie ist einfach viel besser als in jedem anderen Unternehmen, mit dem wir bisher zusammengearbeitet haben.

Wir sind beeindruckt von ihrer Leistung, davon, wie sie sich für die Produktentwicklung engagieren, und davon, wie sehr ihnen das Produkt am Herzen liegt.

Es war eine sehr angenehme Erfahrung. Die Kommunikation und die Zusammenarbeit waren durchweg fantastisch.

Unsere Partnerschaft mit Crunch-IS war eine unschätzbare Ressource, während wir gewachsen sind.

Was mir bei Crunch-IS aufgefallen ist, waren die fachliche Kompetenz, die Fähigkeit, über den Tellerrand hinauszuschauen, und sehr gute Englischkenntnisse.

Sie haben einen großen Einfluss auf die gesamte Architektur, die wir letztendlich umgesetzt haben. Insgesamt bin ich sehr zufrieden und beeindruckt von allem, was Crunch-IS für uns geleistet hat.

Crunch-IS hat uns mit seiner technischen Exzellenz sowie dem „Zusammentreffen von Denkweisen und Kulturen“ und dem offenen, ehrlichen Austausch beeindruckt. Diese Entscheidung haben wir nicht leichtfertig getroffen, und auch nach fünf Monaten Zusammenarbeit sind wir weiterhin sehr beeindruckt davon, wie Crunch-IS die Zusammenarbeit angeht, und wir sind begeistert von der Qualität des Teams, mit dem wir zusammenarbeiten.

Die Zusammenarbeit mit Crunch-IS verlief reibungslos. Das Team zeigte sich geduldig, als wir die Vertragsfragen klärten, und ebenso geduldig, als wir unser Abrechnungssystem einrichteten. Die Gestaltungsarbeit war elegant, und der Entwickler lieferte die vereinbarte App pünktlich und in guter Qualität.

Die Zusammenarbeit mit dem Team von Crunch-IS war sehr angenehm. Sie arbeiteten fleißig und waren sehr professionell. Wenn Fragen oder technische Probleme auftraten, beantworteten sie diese umgehend und waren stets bereit, uns freundlich zu helfen.

Ein Entwickler von Crunch-IS hat uns dabei geholfen, eine wichtige Funktion für unser Projekt viel schneller als erwartet bereitzustellen.

Crunch-IS sorgte während des gesamten Projekts für eine reibungslose Zusammenarbeit. Das Team pflegte einen offenen Kommunikationsfluss, führte detaillierte Aufzeichnungen über die Aufgabenverteilung und hielt die Projektfristen ein. Das Unternehmen zeichnet sich durch seine Fachkompetenz sowohl im Bereich Design als auch in der Entwicklung aus.

Crunch-IS bietet kontinuierliche Entwicklungsunterstützung, die den jeweiligen Projektanforderungen gerecht wird. Trotz ihres Standorts im Ausland ist die Zusammenarbeit mit ihnen unkompliziert, und sie sind über verschiedene Kommunikationskanäle gut erreichbar.

Der beste Anbieter, den wir uns vorstellen können. Crunch-IS verbindet praktische Entwicklung mit innovativen Designprinzipien. Das interne und externe Feedback zur App-Entwicklung war durchweg positiv. Das Team hält die Projektmeilensteine termingerecht ein und bleibt im Rahmen des Budgets. Es ist reaktionsschnell und stets bereit, einen produktiven Dialog zu führen.

Crunch-IS hat meine Erwartungen übertroffen. Ich schätze die Einfallsreichtum der Entwickler angesichts der Einschränkungen und komplexen Anforderungen. Das Unternehmen war in der Lage, das Projekt erfolgreich umzusetzen und abzuschließen.

Das Projekt ist bisher reibungslos verlaufen. Crunch-IS zeichnet sich durch eine außergewöhnliche Arbeitsmoral aus. Daher konnten sie jede Herausforderung meistern, die sich ihnen in den Weg stellte. Sie bewältigen die tägliche Arbeit gut in Eigenregie, stehen aber auch regelmäßig mit uns in Kontakt, um sicherzustellen, dass wir alle auf dem gleichen Stand sind.

Die App, an der Crunch-IS gearbeitet hat, ist übersichtlich, schlank und funktioniert wie vorgesehen. Crunch-IS scheut keine Mühen, um sicherzustellen, dass beide Teams auf einer Wellenlänge sind. Das engagierte Team sorgt durch seine positive Einstellung und seine effektiven Projektmanagementfähigkeiten für eine angenehme Zusammenarbeit. Das Team war sehr freundlich, und die Zusammenarbeit mit ihm war ein Vergnügen.

KI-Red-Teaming ist adversariales Testen eines KI-Modells oder einer KI-Anwendung: Ein Team schlüpft in die Rolle des Nutzers, den Sie sich am wenigsten wünschen, und versucht, das Modell dazu zu bringen, seine Regeln zu brechen. Es umfasst Jailbreaks, schädliche oder voreingenommene Antworten, Richtlinienverstöße und lange Gespräche, die das Modell vom Kurs abbringen. Ziel ist es, diese Fehler vor dem Release zu finden und zu beheben.
Ein Penetrationstest klärt, ob ein Angreifer in Ihre Anwendung eindringen oder sie missbrauchen kann: Anweisungen über Dokumente einschleusen, an Daten gelangen oder die Berechtigungen eines Agenten missbrauchen. Red Teaming klärt, ob sich das Modell dazu drängen lässt, etwas zu sagen oder zu tun, was es nicht darf – selbst bei ganz normaler Nutzung. Viele Teams führen vor dem Launch KI-Penetrationstests durch und ergänzen Red Teaming, sobald der Assistent mehr Nutzer erreicht.
Die LLM-Evaluierung misst, wie gut Ihre KI die Fragen beantwortet, die echte Nutzer stellen. Red Teaming testet, was passiert, wenn jemand absichtlich versucht, sie zum Scheitern zu bringen. Die Evaluierung erkennt einen Qualitätsverlust, Red Teaming eine Guardrail, die unter Druck nachgibt. Ein Fehler, den das Red Team findet, kann zu einem festen Test in unseren Dienstleistungen zur LLM-Evaluierung werden, sodass wir ihn bei jedem Release prüfen.
Ja. Wir testen, ob sich der Agent über die Tools, die er nutzen darf, dazu überreden lässt, gegen eine Geschäftsregel zu verstoßen: eine Ausnahme zu genehmigen, eine Prüfung zu überspringen oder ohne Eskalation zu handeln. Sofern Sie nichts anderes entscheiden, testen wir in einer Staging-Umgebung mit Testkonten.
Die Befunde werden den OWASP Top 10 for LLM Applications, MITRE ATLAS und dem NIST AI Risk Management Framework zugeordnet. Wenn Sie sich auf den EU AI Act vorbereiten, helfen der Bericht und die Gesprächsprotokolle dabei zu dokumentieren, wie Sie das Verhalten des Modells getestet haben. Sie sind Nachweise für Ihr Compliance-Team, kein Rechtsgutachten.
Vor dem ersten öffentlichen Release und erneut, sobald sich das Modell, der System-Prompt oder eine Guardrail ändert. Zwischen den vollständigen Runden kann Ihr Team die Szenarien, die wir übergeben, bei jedem Release erneut ausführen.
Den Preis für jedes Projekt legen wir fest, nachdem wir Ziele und Umfang vereinbart haben, denn der Aufwand hängt davon ab, wie viele Assistenten, Agenten und Nutzerrollen zum Umfang gehören. Sie erhalten einen schriftlichen Plan und den Preis, bevor die Tests beginnen.
Nennen Sie uns die Antworten, die Ihr Assistent niemals geben darf, und wir zeigen Ihnen in einem kostenlosen Gespräch, wie ein Red Team sie testen würde.



Schicken Sie uns eine Skizze, eine Spezifikation oder drei Sätze dazu, wo Ihr System gerade feststeckt. Ein Gespräch reicht in der Regel, um herauszufinden, ob wir zueinander passen.
Individuelle Software, KI & ML, Daten und Analytics, Cloud und Sicherheit – vom ersten Scoping bis zur langfristigen Umsetzung.
Ihre Privatsphäre ist uns wichtig. Wir verwenden Cookies, um Ihr Erlebnis zu verbessern und Inhalte zu personalisieren.