KI-Penetrationstests — Crunch-IS

KI-Penetrationstests.

Ihr Chatbot, Ihr RAG-Assistent oder Ihr KI-Agent lässt sich dazu überreden, Dateien preiszugeben oder Aktionen auszuführen, die ein klassischer Penetrationstest nie prüft.

Crunch-IS führt KI-Penetrationstests auf Basis der OWASP Top 10 for LLM Applications durch, behebt die gefundenen Schwachstellen und übernimmt die erfolgreichen Angriffe als automatisierte Prüfungen in Ihre CI.

KI-Anwendung testen lassen

Vorteile unserer Dienstleistungen für KI-Penetrationstests

01

Lücken vor dem Launch geschlossen

Angriffspfade werden gefunden und behoben, bevor Kunden, Partner oder Angreifer sie nutzen können.

02

Agenten mit genau den Zugriffsrechten, die sie brauchen

Berechtigungen werden auf das reduziert, was die jeweilige Aufgabe erfordert, sodass ein manipulierter Agent weit weniger erreichen kann.

03

Vertrauliche Dokumente bleiben vertraulich

Antworten stützen sich nur auf Dateien, die die anfragende Person sehen darf, und personenbezogene Daten gelangen nicht in die Antworten.

04

Nachweise für Kunden und Auditoren

Ein Bericht, der den OWASP Top 10 for LLM Applications zugeordnet ist, beantwortet die Sicherheitsfragen, die bei Geschäften mit Großunternehmen und bei Audits aufkommen.

Ablauf eines LLM-Penetrationstests

So geht es weiter, nachdem Sie das Formular gesendet haben.

  1. 01

    Sie senden das Formular

    Beschreiben Sie uns, was Ihre KI-Anwendung tut, auf welche Tools und Daten sie zugreifen kann und wer sie nutzt.

  2. 02

    Wir erfassen die Angriffsfläche

    Wir prüfen Ihre Architektur und senden Ihnen einen schriftlichen Umfang: was wir testen, worauf wir zugreifen dürfen und den Preis.

  3. 03

    Wir testen

    Wir greifen die Anwendung manuell und mit automatisierten Suiten an – in einer Staging-Umgebung, sofern Sie nichts anderes wählen.

  4. 04

    Wir priorisieren die Befunde

    Sie erhalten jeden Befund nach Ausnutzbarkeit priorisiert, zusammen mit der Eingabe, die ihn ausgelöst hat.

  5. 05

    Wir beheben sie

    Unsere Engineers beheben die Befunde in Ihrer Codebasis, geprüft von Ihrem Team.

  6. 06

    Wir führen den Nachtest durch

    Wir wiederholen jeden erfolgreichen Angriff und belassen die Angriffe als automatisierte Prüfungen in Ihrer Pipeline.

Finden Sie heraus, wozu sich Ihr KI-Agent überreden lässt

KI-Anwendung testen lassen

Unsere Leistungen im Bereich KI-Penetrationstests

01 LLM-Sicherheitsbewertung

Zunächst ermitteln wir, auf welchen Wegen ein Angreifer Ihr Modell erreichen könnte: welche Eingaben es liest, welche Dokumente es abruft, auf welche Tools und Daten es zugreifen kann und wer mit ihm interagieren kann. In der Bewertung legen wir gemeinsam fest, welche Risiken zuerst angegangen werden und wie ein bestandenes Ergebnis aussieht. Außerdem bestimmt sie Umfang und Preis des anschließenden Tests.

02 Tests auf Prompt-Injection

Angreifer brauchen keinen Zugriff auf Ihren Prompt, um ihn zu verändern. Wir testen direkte Prompt-Injection über den Chat und indirekte Prompt-Injection über die E-Mails, Dokumente und Webseiten, die Ihr Modell liest, einschließlich Versuchen, Ihren System-Prompt auszulesen. Zu jedem Befund erhalten Sie genau die Eingabe, die funktioniert hat, damit Ihr Team ihn reproduzieren kann.

03 Sicherheitstests für KI-Agenten

Ein Agent mit Tool-Zugriff kann echten Schaden anrichten, wenn ihn jemand zur falschen Aktion überredet. Wir versuchen, Ihren Agenten dazu zu bringen, Geld zu überweisen, Datensätze zu löschen, Code auszuführen oder auf Daten außerhalb seiner Aufgabe zuzugreifen – über seine eigenen Tools, MCP-Server und Integrationen. Sie sehen, welche Berechtigungen ein Angreifer nutzen könnte und welche der Agent nie gebraucht hat.

04 RAG-, Datenleck- und Ausgabetests

Ein RAG-Assistent sollte nur aus Dokumenten antworten, die die anfragende Person sehen darf. Wir testen, ob er sich dazu bringen lässt, die Dateien anderer Personen abzurufen oder personenbezogene Daten preiszugeben. Außerdem prüfen wir, was passiert, wenn Modellausgaben ungefiltert in einen Browser, eine Datenbankabfrage oder ein anderes System gelangen.

05 Behebung

Ein Bericht allein lässt den schwierigsten Teil bei Ihrem Team. Unsere Engineers beheben, was der Test findet: engere Agent-Berechtigungen, Filterung von Ein- und Ausgaben, Guardrails und die Protokollierung jeder Aktion, die ein Agent ausführt. Jede Korrektur fließt in Ihre Codebasis ein und wird von Ihrem Team geprüft. Wenn Ihre Sicherheitsrichtlinie verlangt, dass Korrekturen von Ihren eigenen Entwicklern stammen, übergeben wir Ihnen stattdessen jede einzelne als genaue Schritt-für-Schritt-Anleitung.

06 Nachtest und Regressionsprüfungen

Nach den Korrekturen wiederholen wir jeden erfolgreichen Angriff, um zu bestätigen, dass er nicht mehr funktioniert. Anschließend werden die Angriffe zu automatisierten Prüfungen in Ihrer CI, damit ein neuer Prompt, ein neues Modell oder ein neues Tool keine Lücke, die wir geschlossen haben, unbemerkt wieder öffnen kann.

Unsere Kompetenzen bei KI-Sicherheitstests

01

OWASP Top 10 for LLM Applications

Wir testen gegen alle zehn Risiken der OWASP-Liste – von Prompt-Injection und der Offenlegung sensibler Informationen bis hin zu übermäßiger Handlungsfreiheit (Excessive Agency) und unsachgemäßer Verarbeitung von Ausgaben. Jeder Befund wird für Ihre Security- und Compliance-Teams der Liste zugeordnet.

02

Angriffsbibliotheken und Automatisierung

Wir kombinieren Angriffe, die wir manuell für Ihren Anwendungsfall schreiben, mit automatisierten Angriffssuiten. So deckt ein einziger Test sowohl die spezifischen Fälle Ihrer Anwendung als auch bekannte Angriffsmuster ab.

03

Agent-Berechtigungen und Aktionsprotokollierung

Wir beschränken die Zugangsdaten jedes Agenten auf seine Aufgabe und protokollieren jeden Tool-Aufruf mit seinen Eingaben – genau so, wie wir unsere eigenen Agenten bauen. Bei einem E-Mail-KI-Agenten für die Baubranche durchläuft jede eingehende Datei Microsoft Defender for Storage, bevor der Agent sie verarbeitet.

04

Filterung von Ein- und Ausgaben

Wir ergänzen Filter, die eingeschleuste Anweisungen abfangen, bevor sie das Modell erreichen, sowie Prüfungen dessen, was das Modell zurückgibt, bevor es einen Browser, eine Abfrage oder einen Nutzer erreicht.

05

Zugriffskontrolle in RAG

Wir setzen Dokumentberechtigungen bereits beim Abruf durch – wie bei einem unternehmensweiten Wissensassistenten, der nur aus Dateien antwortet, die die jeweilige Person sehen darf.

06

Sicherheitsprüfungen in der CI

Wir integrieren die Regressionsangriffe neben Ihren übrigen DevSecOps-Prüfungen in Ihre Build-Pipeline – mit einem Schwellenwert, der den Build fehlschlagen lässt, sobald ein Angriff wieder erfolgreich ist.

01 / 06

Was Sie bekommen

01

Ein Bericht, zwei Zielgruppen

Ihre Engineers erhalten jeden Befund mit der Eingabe, die ihn ausgelöst hat, und der passenden Korrektur. Ihre Geschäftsleitung und Ihre Auditoren erhalten eine verständliche Zusammenfassung der Risiken und ihres Status.

02

Umfang vor Arbeitsbeginn festgelegt

Wir vereinbaren schriftlich, welche Anwendung, welche Agenten und welche Daten wir testen, worauf wir zugreifen dürfen und was ein bestandenes Ergebnis bedeutet.

03

Befunde nach Ausnutzbarkeit priorisiert

Jeder Befund wird danach eingestuft, wie leicht ein Angreifer ihn ausnutzen könnte und was er damit erreichen würde. So behebt Ihr Team die gefährlichen Befunde zuerst.

04

Prüfungen, die nach unserem Einsatz weiterlaufen

Die erfolgreichen Angriffe bleiben als automatisierte Prüfungen in Ihrer Pipeline – dokumentiert, damit Ihr Team sie ausführen und erweitern kann.

Warum Sie Crunch-IS als Ihren Partner wählen sollten

01

Wer die Lücke findet, kann sie auch schließen

Wir entwickeln KI-Anwendungen – deshalb schließt dasselbe Team eine Lücke, das sie gefunden hat. Der Test endet mit Korrekturen in Ihrer Codebasis und den Prüfungen, die sie belegen.

02

Priorisiert danach, was ein Angreifer erreichen kann

Wir stufen jeden Befund danach ein, was ein Angreifer darüber tatsächlich erreichen könnte. Ihre erste Korrektur schließt den Pfad, der am meisten zählt, und Befunde mit geringer Auswirkung verdrängen nicht die gefährlichen.

03

Wir entwickeln selbst KI-Agenten

Wir konzipieren KI-Agenten mit eng begrenzten Zugangsdaten und protokollierten Aktionen und wissen daher, wo Agenten am Ende mehr Zugriff haben, als ihre Aufgabe erfordert. Mit diesem Wissen testen wir Ihre.

Was unsere Kunden über uns sagen

Sie entwickeln zahlreiche skalierbare und Best-Practice-Ideen, die es uns ermöglichen, das zu erreichen, was wir derzeit haben.

Nicky, Softcat | Video-Kundenstimme für Crunch-IS

 

Nicky Senior Business Analyst bei Softcat

Crunch-IS hat uns hervorragend dabei unterstützt, eine Vorstellung davon zu entwickeln, wie das Ergebnis aussehen sollte, und unsere Ideen zur Bewertung und Überprüfung zum Leben zu erwecken.

Matthew, Softcat | Video-Kundenstimme für Crunch-IS

 

Matthew Leiter der digitalen Strategie bei Softcat

Was mich bei Crunch-IS besonders beeindruckt hat, ist die Qualität der Entwickler. Sie ist einfach viel besser als in jedem anderen Unternehmen, mit dem wir bisher zusammengearbeitet haben.

Klaus, YouWe | Video-Kundenstimme für Crunch-IS
Klaus CEO bei YouWe

Wir sind beeindruckt von ihrer Leistung, davon, wie sie sich für die Produktentwicklung engagieren, und davon, wie sehr ihnen das Produkt am Herzen liegt.

Sebastian Jara, Accountflow | Video-Kundenstimme für Crunch-IS
Sebastian Mitbegründer & CTO bei Accountflow

Es war eine sehr angenehme Erfahrung. Die Kommunikation und die Zusammenarbeit waren durchweg fantastisch.

Marta, GIA Networks | Video-Kundenstimme für Crunch-IS
Marta Berater bei GIA Networks

Unsere Partnerschaft mit Crunch-IS war eine unschätzbare Ressource, während wir gewachsen sind.

Ryan, WorkDove | Video-Kundenstimme für Crunch-IS
Ryan CTO bei WorkDove

Was mir bei Crunch-IS aufgefallen ist, waren die fachliche Kompetenz, die Fähigkeit, über den Tellerrand hinauszuschauen, und sehr gute Englischkenntnisse.

Garrett, Tabulate | Video-Kundenstimme für Crunch-IS
Garrett COO bei Tabulate

Sie haben einen großen Einfluss auf die gesamte Architektur, die wir letztendlich umgesetzt haben. Insgesamt bin ich sehr zufrieden und beeindruckt von allem, was Crunch-IS für uns geleistet hat.

Kenneth, Zuar | Video-Kundenstimme für Crunch-IS
Kenneth CTO bei Zuar

Crunch-IS hat uns mit seiner technischen Exzellenz sowie dem „Zusammentreffen von Denkweisen und Kulturen“ und dem offenen, ehrlichen Austausch beeindruckt. Diese Entscheidung haben wir nicht leichtfertig getroffen, und auch nach fünf Monaten Zusammenarbeit sind wir weiterhin sehr beeindruckt davon, wie Crunch-IS die Zusammenarbeit angeht, und wir sind begeistert von der Qualität des Teams, mit dem wir zusammenarbeiten.

Gary | Testimonial Crunch-IS
Gary Geschäftsführer bei einem britischen Softwareentwicklungsunternehmen

Die Zusammenarbeit mit Crunch-IS verlief reibungslos. Das Team zeigte sich geduldig, als wir die Vertragsfragen klärten, und ebenso geduldig, als wir unser Abrechnungssystem einrichteten. Die Gestaltungsarbeit war elegant, und der Entwickler lieferte die vereinbarte App pünktlich und in guter Qualität.

Scott | Testimonial Crunch-IS
Scott Vizepräsident für Softwareentwicklung bei Analytic Index

Die Zusammenarbeit mit dem Team von Crunch-IS war sehr angenehm. Sie arbeiteten fleißig und waren sehr professionell. Wenn Fragen oder technische Probleme auftraten, beantworteten sie diese umgehend und waren stets bereit, uns freundlich zu helfen.

Miia | Testimonial Crunch-IS
Miia Geschäftsleitung bei Conmark Systems

Ein Entwickler von Crunch-IS hat uns dabei geholfen, eine wichtige Funktion für unser Projekt viel schneller als erwartet bereitzustellen.

Rosario | Testimonial Crunch-IS
Rosario VP für Technik bei Profitap

Crunch-IS sorgte während des gesamten Projekts für eine reibungslose Zusammenarbeit. Das Team pflegte einen offenen Kommunikationsfluss, führte detaillierte Aufzeichnungen über die Aufgabenverteilung und hielt die Projektfristen ein. Das Unternehmen zeichnet sich durch seine Fachkompetenz sowohl im Bereich Design als auch in der Entwicklung aus.

Sisun | Testimonial Crunch-IS
Sisun CEO bei Chintech

Crunch-IS bietet kontinuierliche Entwicklungsunterstützung, die den jeweiligen Projektanforderungen gerecht wird. Trotz ihres Standorts im Ausland ist die Zusammenarbeit mit ihnen unkompliziert, und sie sind über verschiedene Kommunikationskanäle gut erreichbar.

Bob | Testimonial Crunch-IS
Bob CTO bei Timegen

Der beste Anbieter, den wir uns vorstellen können. Crunch-IS verbindet praktische Entwicklung mit innovativen Designprinzipien. Das interne und externe Feedback zur App-Entwicklung war durchweg positiv. Das Team hält die Projektmeilensteine termingerecht ein und bleibt im Rahmen des Budgets. Es ist reaktionsschnell und stets bereit, einen produktiven Dialog zu führen.

Jeff | Testimonial Crunch-IS
Jeff CEO bei USA Software Company

Crunch-IS hat meine Erwartungen übertroffen. Ich schätze die Einfallsreichtum der Entwickler angesichts der Einschränkungen und komplexen Anforderungen. Das Unternehmen war in der Lage, das Projekt erfolgreich umzusetzen und abzuschließen.

Kate | Testimonial Crunch-IS
Kate Produktmanager bei Mezonin

Das Projekt ist bisher reibungslos verlaufen. Crunch-IS zeichnet sich durch eine außergewöhnliche Arbeitsmoral aus. Daher konnten sie jede Herausforderung meistern, die sich ihnen in den Weg stellte. Sie bewältigen die tägliche Arbeit gut in Eigenregie, stehen aber auch regelmäßig mit uns in Kontakt, um sicherzustellen, dass wir alle auf dem gleichen Stand sind.

Andrew | Testimonial Crunch-IS
Andrew CMO bei Qinetics

Die App, an der Crunch-IS gearbeitet hat, ist übersichtlich, schlank und funktioniert wie vorgesehen. Crunch-IS scheut keine Mühen, um sicherzustellen, dass beide Teams auf einer Wellenlänge sind. Das engagierte Team sorgt durch seine positive Einstellung und seine effektiven Projektmanagementfähigkeiten für eine angenehme Zusammenarbeit. Das Team war sehr freundlich, und die Zusammenarbeit mit ihm war ein Vergnügen.

Ian | Testimonial Crunch-IS
Ian CEO bei Biomicc
01 / 07

KI-Pentesting – Häufig gestellte Fragen

Was ist KI-Pentesting, und was wird dabei getestet?

KI-Pentesting, auch KI-Penetrationstest genannt, ist ein Sicherheitstest einer Anwendung, die auf einem Sprachmodell basiert: eines Chatbots, eines RAG-Assistenten oder eines Agenten mit Tools. Geprüft wird, ob ein Angreifer die Anweisungen des Modells aushebeln, Daten abgreifen, die Berechtigungen des Agenten missbrauchen oder schädliche Ausgaben in andere Systeme einschleusen kann. Getestet wird Ihre KI-Anwendung – das ist eine andere Aufgabe, als KI-Tools für die Durchführung eines Penetrationstests einzusetzen.

Worin unterscheidet sich ein KI-Penetrationstest von einem klassischen Penetrationstest?

Ein klassischer Penetrationstest sucht nach Schwachstellen in Code, Infrastruktur und Konfiguration. Eine LLM-Anwendung bringt zusätzliche Angriffspfade über Sprache mit sich: in einem Dokument versteckte Anweisungen, eine Frage, durch die Daten eines anderen Nutzers nach außen gelangen, ein Gespräch, das einen Agenten zur falschen Aktion verleitet. Unsere LLM-Sicherheitstests decken diese Pfade und die angebundenen Integrationen ab; ein Test Ihrer übrigen Infrastruktur ist Teil unserer Cybersecurity-Dienstleistungen.

Worin unterscheidet sich KI-Pentesting von KI-Red-Teaming?

KI-Pentesting prüft eine klar abgegrenzte Anwendung auf ausnutzbare Schwachstellen, priorisiert sie und endet mit Korrekturen und einem Nachtest. KI-Red-Teaming ist breiter angelegt und zielorientiert: Es testet, wie sich das Modell unter anhaltendem gegnerischem Druck verhält, einschließlich schädlicher oder richtlinienwidriger Ausgaben. Viele Teams beginnen vor dem Launch mit einem Pentest und ergänzen Red Teaming, wenn die Anwendung wächst.

Können Sie einen KI-Agenten mit Zugriff auf unsere Systeme testen, ohne diese zu gefährden?

Ja. Sofern Sie nichts anderes entscheiden, testen wir in einer Staging-Umgebung mit Testkonten und Testdaten, und wir vereinbaren schriftlich, welche Systeme und Aktionen zum Umfang gehören. Jede Aktion, die ein Agent in der Produktion ausführen könnte, wird in der Staging-Umgebung demonstriert.

Nach welchem Standard testen Sie?

Die OWASP Top 10 for LLM Applications bilden die Grundlage, und jeder Befund wird ihnen zugeordnet. Wenn Ihr Compliance-Team es benötigt, ordnen wir die Befunde zusätzlich MITRE ATLAS oder dem NIST AI Risk Management Framework zu.

Wie wird der Preis festgelegt?

Den Preis für jeden Test legen wir fest, nachdem wir die Angriffsfläche erfasst haben, denn der Aufwand hängt von der Anzahl der beteiligten Modelle, Agenten, Tools und Datenquellen ab. Sie erhalten einen schriftlich festgelegten Umfang und den Preis, bevor die Tests beginnen.

Ihr KI-Sicherheitstest beginnt hier.

Sprechen Sie mit uns in einem kostenlosen Gespräch zur Ersteinschätzung über Ihre KI-Anwendung und die Risiken, die Ihnen Sorgen bereiten.

Kostenloses Gespräch buchen

Erzählen Sie uns, was Sie entwickeln

Schicken Sie uns eine Skizze, eine Spezifikation oder drei Sätze dazu, wo Ihr System gerade feststeckt. Ein Gespräch reicht in der Regel, um herauszufinden, ob wir zueinander passen.

Individuelle Software, KI & ML, Daten und Analytics, Cloud und Sicherheit – vom ersten Scoping bis zur langfristigen Umsetzung.

  • 170+ Experten
  • 120+ abgeschlossene Projekte
  • 97% rundum zufrieden

    Ich habe die Nutzungsbedingungen und Datenschutzbestimmungen gelesen und akzeptiert *

    Ihre Privatsphäre ist uns wichtig. Wir verwenden Cookies, um Ihr Erlebnis zu verbessern und Inhalte zu personalisieren.