KI-Red-Teaming — Crunch-IS

KI-Red-Teaming.

Ihr KI-Assistent lässt sich zu Aussagen überreden, die Ihr Unternehmen niemals machen würde.

Die KI-Red-Teaming-Services von Crunch-IS prüfen, ob Ihr Modell Ihre Regeln auch unter anhaltendem Druck einhält – von Jailbreaks bis zu langen Rollenspiel-Dialogen. Unsere Engineers beheben, was durchkommt, und wiederholen die Angriffe bei jedem neuen Modell.

KI-Red-Teaming planen

Vorteile unserer Dienstleistungen im KI-Red-Teaming

01

Keine öffentlichen Überraschungen

Antworten, die als Screenshot die Runde machen würden, findet unser Red Team, bevor Ihre Nutzer sie finden.

02

Richtlinien, die auch unter Druck halten

Ihr Assistent hält sich an Regeln zu Erstattungen, Beratung und Tonfall, auch wenn ein Nutzer über viele Gesprächsrunden hinweg Druck macht.

03

Nachweise für Einkäufer und Regulierungsbehörden

Ein Bericht, der Ziel für Ziel aufgebaut ist, zeigt Unternehmenskunden und Auditoren, wie Sie das Verhalten des Modells getestet und was Sie behoben haben.

04

Sicherere Modell-Upgrades

Werden dieselben Szenarien auf einem neuen Modell erneut ausgeführt, zeigt sich, ob das Upgrade eine Guardrail geschwächt hat – bevor es Ihre Nutzer erreicht.

Ablauf des KI-Red-Teamings

  1. 01

    Sie senden das Formular

    Beschreiben Sie uns, was Ihr Assistent oder Agent tut, wer ihn nutzt und welche Antworten Ihnen die größten Sorgen bereiten würden.

  2. 02

    Wir vereinbaren die Ziele

    Wir legen gemeinsam mit Ihrem Team fest, welches Fehlverhalten das Red Team provozieren soll und welchen Umfang der Test hat, und senden Ihnen einen schriftlichen Plan mit Preis.

  3. 03

    Wir entwickeln die Szenarien

    Wir schreiben Angriffe für jedes Ziel und wählen die automatisierten Suiten aus, die bekannte Muster abdecken.

  4. 04

    Wir greifen an

    Unser Red Team führt die Szenarien manuell und mit automatisierten Suiten aus – in einer Staging-Umgebung, sofern Sie nichts anderes wählen.

  5. 05

    Wir beheben, was durchgekommen ist

    Unsere Engineers ändern Prompts, Filter und Prüfungen, geprüft von Ihrem Team.

  6. 06

    Wir testen erneut und übergeben

    Wir wiederholen jeden erfolgreichen Angriff, berichten zum Stand jedes Ziels und übergeben Ihnen die Szenarien.

Finden Sie heraus, was Ihr Assistent unter Druck sagt

KI-Red-Teaming planen

Unsere Leistungen im Bereich KI-Red-Teaming

01 Ziele und Umfang des Red Teamings

Zu Beginn legen wir mit Ihrem Team fest, was das Modell niemals tun darf: Erstattungen außerhalb der Richtlinien gewähren, Ratschläge erteilen, die es nicht geben darf, oder einen Wettbewerber empfehlen. Jeder dieser Punkte wird zu einem Ziel, das das Red Team zu erreichen versucht.

02 Jailbreak- und Guardrail-Tests

Ein Jailbreak bringt das Modell über hypothetische Szenarien, vorgetäuschte Autorität oder eine in harmlose Teile zerlegte Anfrage dazu, seine Anweisungen zu ignorieren. Wir testen jede Guardrail, vom System-Prompt bis zu den Ausgabefiltern, und dokumentieren jedes Gespräch, das durchgekommen ist. Angriffe, die in Dokumenten versteckt sind, gehören zu unseren KI-Penetrationstests.

03 Multi-Turn- und Rollenspiel-Angriffe

Viele Fehler zeigen sich erst im Verlauf eines Gesprächs, nicht bei einem einzelnen Prompt. Wir bauen über mehrere Gesprächsrunden Vertrauen auf, lassen das Modell eine Rolle spielen oder treiben eine Anfrage Schritt für Schritt voran, bis es dem zustimmt, was es zuvor abgelehnt hat.

04 Tests auf schädliche, voreingenommene und richtlinienwidrige Ausgaben

Wir suchen nach Antworten, die Ihren Nutzern oder Ihrer Marke schaden würden: toxische oder voreingenommene Antworten, gefährliche Anleitungen, Ratschläge außerhalb des Aufgabenbereichs des Assistenten. Lässt sich das Modell dazu bringen, Fakten zu erfinden, wandert der Fall in Ihre Testsuite für die LLM-Evaluierung.

05 Red Teaming für KI-Agenten

Ein Agent kann sich innerhalb seiner Berechtigungen bewegen und trotzdem gegen eine Geschäftsregel verstoßen, etwa indem er eine Ausnahme genehmigt oder eine Prüfung überspringt. Wir testen, ob er sich über seine regulären Tools dazu überreden lässt.

06 Guardrail-Korrekturen und Nachtest

Unsere Engineers beheben, was durchgekommen ist: im System-Prompt, in den Ein- und Ausgabeprüfungen, im Ablehnungsverhalten und, wenn Prompts nicht ausreichen, im Modelltraining.

Unsere Kompetenzen im LLM-Red-Teaming

01

Szenarien speziell für Ihr Fachgebiet

Wir schreiben Angriffe für Ihr Produkt, Ihre Nutzer und Ihre Richtlinien, denn eine generische Angriffsbibliothek weiß nicht, was Ihr Assistent niemals sagen darf.

02

Automatisierte Angriffssuiten

Wir ergänzen die Szenarien um automatisierte Suiten wie Promptfoo, PyRIT oder Garak, sodass jede Runde auch bekannte Jailbreak-Muster in großem Umfang abdeckt.

03

Auf Ihre Richtlinien kalibrierte KI-Bewerter

Ein KI-Bewerter beurteilt jedes Angriffsprotokoll anhand Ihrer Richtlinien, und wir gleichen seine Urteile mit denen Ihrer Prüfer ab, bevor wir uns darauf verlassen.

04

Mehrschichtige Guardrails

Wir arbeiten auf jeder Ebene, die eine problematische Antwort stoppen kann: System-Prompt, Eingabeklassifikatoren, Moderations-APIs, Ausgabefilter und Übergabe an einen Menschen.

05

Zuordnung zu Standards

Die Befunde werden den OWASP Top 10 for LLM Applications, MITRE ATLAS und dem NIST AI Risk Management Framework zugeordnet, sodass Ihre Security- und Compliance-Teams sie in Frameworks einordnen können, die sie bereits nutzen.

01 / 06

Was Sie bekommen

01

Ein Bericht entlang Ihrer Ziele

Jedes Ziel, das Sie festgelegt haben, wird als erreicht, teilweise erreicht oder blockiert markiert – mit einer verständlichen Zusammenfassung für die Geschäftsleitung.

02

Jedes Angriffsprotokoll

Zu jedem erfolgreichen Angriff erhalten Sie das vollständige Gespräch, damit Ihr Team genau sieht, wie das Modell dorthin gelenkt wurde.

03

Korrekturen in Ihren Guardrails

Änderungen an Prompts, Filtern und Prüfungen fließen in Ihre Codebasis ein und werden von Ihrem Team geprüft.

04

Szenarien, die bei Ihnen bleiben

Die Angriffsszenarien sind dokumentiert und verbleiben bei Ihrem Team – bereit für den nächsten Durchlauf mit einem neuen Modell oder Prompt.

Warum Sie Crunch-IS als Ihren Partner wählen sollten

01

Geprüft an Ihren eigenen Regeln

Öffentliche Benchmarks testen, was ein Modell allen sagt. Wir testen, was Ihr Assistent Ihren Kunden in Ihrem Fachgebiet niemals sagen darf.

02

Wer die Schwachstelle findet, behebt sie auch

Wir entwickeln KI-Assistenten und -Agenten. Deshalb gehen die Befunde des Red Teams an Engineers, die den Prompt, die Guardrail oder das Modell ändern können – und nicht in einen Bericht, der in einer Warteschlange liegen bleibt.

03

Ein Team für Sicherheit, Qualität und Verhalten

Wir bieten außerdem KI-Penetrationstests und LLM-Evaluierung an. So deckt ein einziges Team ab, ob sich Ihre KI kompromittieren lässt, ob sie korrekt antwortet und ob sie Ihre Regeln einhält.

Was unsere Kunden über uns sagen

Sie entwickeln zahlreiche skalierbare und Best-Practice-Ideen, die es uns ermöglichen, das zu erreichen, was wir derzeit haben.

Nicky, Softcat | Video-Kundenstimme für Crunch-IS

 

Nicky Senior Business Analyst bei Softcat

Crunch-IS hat uns hervorragend dabei unterstützt, eine Vorstellung davon zu entwickeln, wie das Ergebnis aussehen sollte, und unsere Ideen zur Bewertung und Überprüfung zum Leben zu erwecken.

Matthew, Softcat | Video-Kundenstimme für Crunch-IS

 

Matthew Leiter der digitalen Strategie bei Softcat

Was mich bei Crunch-IS besonders beeindruckt hat, ist die Qualität der Entwickler. Sie ist einfach viel besser als in jedem anderen Unternehmen, mit dem wir bisher zusammengearbeitet haben.

Klaus, YouWe | Video-Kundenstimme für Crunch-IS
Klaus CEO bei YouWe

Wir sind beeindruckt von ihrer Leistung, davon, wie sie sich für die Produktentwicklung engagieren, und davon, wie sehr ihnen das Produkt am Herzen liegt.

Sebastian Jara, Accountflow | Video-Kundenstimme für Crunch-IS
Sebastian Mitbegründer & CTO bei Accountflow

Es war eine sehr angenehme Erfahrung. Die Kommunikation und die Zusammenarbeit waren durchweg fantastisch.

Marta, GIA Networks | Video-Kundenstimme für Crunch-IS
Marta Berater bei GIA Networks

Unsere Partnerschaft mit Crunch-IS war eine unschätzbare Ressource, während wir gewachsen sind.

Ryan, WorkDove | Video-Kundenstimme für Crunch-IS
Ryan CTO bei WorkDove

Was mir bei Crunch-IS aufgefallen ist, waren die fachliche Kompetenz, die Fähigkeit, über den Tellerrand hinauszuschauen, und sehr gute Englischkenntnisse.

Garrett, Tabulate | Video-Kundenstimme für Crunch-IS
Garrett COO bei Tabulate

Sie haben einen großen Einfluss auf die gesamte Architektur, die wir letztendlich umgesetzt haben. Insgesamt bin ich sehr zufrieden und beeindruckt von allem, was Crunch-IS für uns geleistet hat.

Kenneth, Zuar | Video-Kundenstimme für Crunch-IS
Kenneth CTO bei Zuar

Crunch-IS hat uns mit seiner technischen Exzellenz sowie dem „Zusammentreffen von Denkweisen und Kulturen“ und dem offenen, ehrlichen Austausch beeindruckt. Diese Entscheidung haben wir nicht leichtfertig getroffen, und auch nach fünf Monaten Zusammenarbeit sind wir weiterhin sehr beeindruckt davon, wie Crunch-IS die Zusammenarbeit angeht, und wir sind begeistert von der Qualität des Teams, mit dem wir zusammenarbeiten.

Gary | Testimonial Crunch-IS
Gary Geschäftsführer bei einem britischen Softwareentwicklungsunternehmen

Die Zusammenarbeit mit Crunch-IS verlief reibungslos. Das Team zeigte sich geduldig, als wir die Vertragsfragen klärten, und ebenso geduldig, als wir unser Abrechnungssystem einrichteten. Die Gestaltungsarbeit war elegant, und der Entwickler lieferte die vereinbarte App pünktlich und in guter Qualität.

Scott | Testimonial Crunch-IS
Scott Vizepräsident für Softwareentwicklung bei Analytic Index

Die Zusammenarbeit mit dem Team von Crunch-IS war sehr angenehm. Sie arbeiteten fleißig und waren sehr professionell. Wenn Fragen oder technische Probleme auftraten, beantworteten sie diese umgehend und waren stets bereit, uns freundlich zu helfen.

Miia | Testimonial Crunch-IS
Miia Geschäftsleitung bei Conmark Systems

Ein Entwickler von Crunch-IS hat uns dabei geholfen, eine wichtige Funktion für unser Projekt viel schneller als erwartet bereitzustellen.

Rosario | Testimonial Crunch-IS
Rosario VP für Technik bei Profitap

Crunch-IS sorgte während des gesamten Projekts für eine reibungslose Zusammenarbeit. Das Team pflegte einen offenen Kommunikationsfluss, führte detaillierte Aufzeichnungen über die Aufgabenverteilung und hielt die Projektfristen ein. Das Unternehmen zeichnet sich durch seine Fachkompetenz sowohl im Bereich Design als auch in der Entwicklung aus.

Sisun | Testimonial Crunch-IS
Sisun CEO bei Chintech

Crunch-IS bietet kontinuierliche Entwicklungsunterstützung, die den jeweiligen Projektanforderungen gerecht wird. Trotz ihres Standorts im Ausland ist die Zusammenarbeit mit ihnen unkompliziert, und sie sind über verschiedene Kommunikationskanäle gut erreichbar.

Bob | Testimonial Crunch-IS
Bob CTO bei Timegen

Der beste Anbieter, den wir uns vorstellen können. Crunch-IS verbindet praktische Entwicklung mit innovativen Designprinzipien. Das interne und externe Feedback zur App-Entwicklung war durchweg positiv. Das Team hält die Projektmeilensteine termingerecht ein und bleibt im Rahmen des Budgets. Es ist reaktionsschnell und stets bereit, einen produktiven Dialog zu führen.

Jeff | Testimonial Crunch-IS
Jeff CEO bei USA Software Company

Crunch-IS hat meine Erwartungen übertroffen. Ich schätze die Einfallsreichtum der Entwickler angesichts der Einschränkungen und komplexen Anforderungen. Das Unternehmen war in der Lage, das Projekt erfolgreich umzusetzen und abzuschließen.

Kate | Testimonial Crunch-IS
Kate Produktmanager bei Mezonin

Das Projekt ist bisher reibungslos verlaufen. Crunch-IS zeichnet sich durch eine außergewöhnliche Arbeitsmoral aus. Daher konnten sie jede Herausforderung meistern, die sich ihnen in den Weg stellte. Sie bewältigen die tägliche Arbeit gut in Eigenregie, stehen aber auch regelmäßig mit uns in Kontakt, um sicherzustellen, dass wir alle auf dem gleichen Stand sind.

Andrew | Testimonial Crunch-IS
Andrew CMO bei Qinetics

Die App, an der Crunch-IS gearbeitet hat, ist übersichtlich, schlank und funktioniert wie vorgesehen. Crunch-IS scheut keine Mühen, um sicherzustellen, dass beide Teams auf einer Wellenlänge sind. Das engagierte Team sorgt durch seine positive Einstellung und seine effektiven Projektmanagementfähigkeiten für eine angenehme Zusammenarbeit. Das Team war sehr freundlich, und die Zusammenarbeit mit ihm war ein Vergnügen.

Ian | Testimonial Crunch-IS
Ian CEO bei Biomicc
01 / 07

KI-Red-Teaming – Häufig gestellte Fragen

Was ist KI-Red-Teaming?

KI-Red-Teaming ist adversariales Testen eines KI-Modells oder einer KI-Anwendung: Ein Team schlüpft in die Rolle des Nutzers, den Sie sich am wenigsten wünschen, und versucht, das Modell dazu zu bringen, seine Regeln zu brechen. Es umfasst Jailbreaks, schädliche oder voreingenommene Antworten, Richtlinienverstöße und lange Gespräche, die das Modell vom Kurs abbringen. Ziel ist es, diese Fehler vor dem Release zu finden und zu beheben.

Worin unterscheidet sich KI-Red-Teaming von einem Penetrationstest?

Ein Penetrationstest klärt, ob ein Angreifer in Ihre Anwendung eindringen oder sie missbrauchen kann: Anweisungen über Dokumente einschleusen, an Daten gelangen oder die Berechtigungen eines Agenten missbrauchen. Red Teaming klärt, ob sich das Modell dazu drängen lässt, etwas zu sagen oder zu tun, was es nicht darf – selbst bei ganz normaler Nutzung. Viele Teams führen vor dem Launch KI-Penetrationstests durch und ergänzen Red Teaming, sobald der Assistent mehr Nutzer erreicht.

Worin unterscheidet sich KI-Red-Teaming von der LLM-Evaluierung?

Die LLM-Evaluierung misst, wie gut Ihre KI die Fragen beantwortet, die echte Nutzer stellen. Red Teaming testet, was passiert, wenn jemand absichtlich versucht, sie zum Scheitern zu bringen. Die Evaluierung erkennt einen Qualitätsverlust, Red Teaming eine Guardrail, die unter Druck nachgibt. Ein Fehler, den das Red Team findet, kann zu einem festen Test in unseren Dienstleistungen zur LLM-Evaluierung werden, sodass wir ihn bei jedem Release prüfen.

Können Sie Red Teaming für einen KI-Agenten durchführen?

Ja. Wir testen, ob sich der Agent über die Tools, die er nutzen darf, dazu überreden lässt, gegen eine Geschäftsregel zu verstoßen: eine Ausnahme zu genehmigen, eine Prüfung zu überspringen oder ohne Eskalation zu handeln. Sofern Sie nichts anderes entscheiden, testen wir in einer Staging-Umgebung mit Testkonten.

Welchen Standards ordnen Sie die Befunde zu?

Die Befunde werden den OWASP Top 10 for LLM Applications, MITRE ATLAS und dem NIST AI Risk Management Framework zugeordnet. Wenn Sie sich auf den EU AI Act vorbereiten, helfen der Bericht und die Gesprächsprotokolle dabei zu dokumentieren, wie Sie das Verhalten des Modells getestet haben. Sie sind Nachweise für Ihr Compliance-Team, kein Rechtsgutachten.

Wie oft sollten wir Red Teaming für unsere KI durchführen?

Vor dem ersten öffentlichen Release und erneut, sobald sich das Modell, der System-Prompt oder eine Guardrail ändert. Zwischen den vollständigen Runden kann Ihr Team die Szenarien, die wir übergeben, bei jedem Release erneut ausführen.

Wie wird der Preis festgelegt?

Den Preis für jedes Projekt legen wir fest, nachdem wir Ziele und Umfang vereinbart haben, denn der Aufwand hängt davon ab, wie viele Assistenten, Agenten und Nutzerrollen zum Umfang gehören. Sie erhalten einen schriftlichen Plan und den Preis, bevor die Tests beginnen.

Ihr KI-Red-Teaming beginnt hier.

Nennen Sie uns die Antworten, die Ihr Assistent niemals geben darf, und wir zeigen Ihnen in einem kostenlosen Gespräch, wie ein Red Team sie testen würde.

Kostenloses Gespräch buchen

Erzählen Sie uns, was Sie entwickeln

Schicken Sie uns eine Skizze, eine Spezifikation oder drei Sätze dazu, wo Ihr System gerade feststeckt. Ein Gespräch reicht in der Regel, um herauszufinden, ob wir zueinander passen.

Individuelle Software, KI & ML, Daten und Analytics, Cloud und Sicherheit – vom ersten Scoping bis zur langfristigen Umsetzung.

  • 170+ Experten
  • 120+ abgeschlossene Projekte
  • 97% rundum zufrieden

    Ich habe die Nutzungsbedingungen und Datenschutzbestimmungen gelesen und akzeptiert *

    Ihre Privatsphäre ist uns wichtig. Wir verwenden Cookies, um Ihr Erlebnis zu verbessern und Inhalte zu personalisieren.