AI Agent Sicherheitsrisiken: Erstellen Sie ein Betriebsbedrohungsbuch

Die praktische Art, Sicherheitsrisiken durch AI Agenten zu bewältigen, besteht darin, jede Nebenwirkung vor dem Tool Call zu bedrohen. Aufzeichnen Sie, welcher Vermögenswert sich ändern kann, welche Identität die Behörde liefert, welche Bereiche erforderlich sind, woher die Anweisung kam, wie die Wirkung begrenzt wird und welche Beweise einen erneuten Versuch sicher machen. Wenn ein Feld unbekannt ist, halten Sie an dieser Grenze anstatt das Modell zu bitten, die Erlaubnis abzuleiten. Dies führt zu einer nützlichen Entscheidung, nicht zu einer weiteren Risikoliste. Der Betreiber kann fortfahren, eine Anmeldeinformation einschränken, überschüssige Berechtigungen entfernen, eine nicht vertrauenswürdige Anweisung überprüfen, eine Wirkungsgrenze festlegen oder ein zweideutiges Ergebnis vor dem erneuten Versuch vereinbaren. Ein gültiges Instrument ist nicht ausreichend: Die Sicherheit hängt von der eingesetzten Behörde und der erzeugten äußeren Wirkung ab. Das Bedrohungsmodell der Operation, nicht nur das Modell Ein Agent ist mehr als ein LLM. Es vereint ein Modell, Laufzeit, Anmeldeinformationen, Tools, externe Inhalte und Zielsysteme in einem Aktionsweg. Die Sicherheit von AI Agentenpapier macht diese Unterscheidung explizit: Agenten verwenden modellgenerierte Aktionen, um Werkzeuge aufzufordern, die reale Systeme beeinflussen können, was Vertraulichkeits , Integritäts und Verfügbarkeitsbedenken jenseits der Modell Ausrichtung schafft. Beginnen Sie mit einer vorgeschlagenen Operation und ziehen Sie vier Grenzen: 1. Instruktionsgrenze: Benutzerbestimmung, abgerufene Inhalte, Tool Ausgabe und Speicher werden in den Modellkontext eingegeben. 2. AGenehmigungsgrenze: die Laufzeit legt dem vorgeschlagenen Werkzeuganruf eine Identität oder eine Anmeldeinformationen an. 3. E Wirkungsgrenze: Das Werkzeug kann eine externe Ressource lesen oder ändern. 4. Retry Grenze: Unsicherheit der Transport oder Werkzeugergebnisse kann dazu führen, dass sich die Laufzeit wiederholt. Die OWASP Initiative zur Agentursicherheit beschreibt ihre Leitlinien als Bedrohungsmodell basierte Referenz für aufstrebende Agenturrisiken. Das ist die richtige Ansatzstellung: Identifizieren Sie Vermögenswerte, Akteure, Vertrauensveränderungen und mögliche Auswirkungen, bevor Sie Kontrollen wählen. Verwenden Sie ein "run level threat ledger" anstelle von "free form notes": Schreiben Sie keine geheimen Werte in das Hauptbuch. Speicherreferenzen, Emittenten und Publikumidentifikatoren, Ablauf, Bereiche, Betriebsidentität und Standorte der Beweise. Das Artefakt sollte darauf antworten, was sich ändern könnte, unter welcher Autorität und wie werden wir es wissen? Die angemessene Standardlage besteht darin, pro externen Betrieb eine Ledgerzeile zu erstellen. Ein allgemeines Bedrohungsmodell auf Agentenebene hilft immer noch bei der Architektur, aber es kann Ihnen nicht sagen, ob diese bestimmte Zahlung, Nachricht, Veröffentlichung oder Datei Mutation jetzt sicher ist. Überprüfen Sie die Identität der Anmeldeinformationen, bevor Sie die Anmeldeinformationen überprüfen Eine Zertifizierung ist nicht nur sicher, weil sie authentisch ist. Für jede Operation: wer oder was das Zeugnis repräsentiert; wo es ausgestellt wurde und wo es vorgestellt werden kann; ob sie zwischen Agenten oder Umgebungen geteilt wird; seine Ablauf und Widerrufsverläufe; die genaue Ressourcengruppe; eine nicht geheime Referenz, die einem Betreiber erlaubt, sie zu drehen. Die Spezifikation der Zulassung von MCPs vom Juni 2025 ist konkret über die HTTP Grenze. Klienten enthalten einen Ressourcenindikator, Server bestätigen, dass ein Token für das beabsichtigte Publikum ausgestellt wurde, und eine ungültige oder unzureichende Berechtigung erhält einen Fehler. Die damit verbundene Leitlinien für die Sicherheit von MCP verbietet Tokenpass und erklärt, warum die Verwirrung des Publikums die Kontrollen, Attributions und Vertrauensgrenzen schwächt. Diese Regeln gelten direkt für MCP HTTP Zulassungen. Das Betriebsprinzip ist auch gut: Lass niemals ein unsichtbares Token für jedes Ziel schweigend stehen. Ein geteilter Administrator Token ohne Aufgabeninhaber und ohne schmales Publikum kann perfekt funktionieren, während die Attribution zerstört und der Explosionsradius vergrößert wird. Die Zertifizierung der Gesundheitsschutz und die Sicherheit der Anweisungen sind getrennt. Eine saubere Anforderung kann ein verfallenes Token nicht reparieren, und ein gültiges Token macht eine unzuverlässige Anweisung nicht legitim. Überprüfen Sie zuerst die Beweise, denn jede spätere Kontrolle hängt davon ab, welche Identität die Grenze des Werkzeugs überschreitet. Wenn Beweise fehlen, verwenden Sie stop credential , nicht wahrscheinlich autorisiert. Die Reparatur ist mechanisch: Geben Sie eine kurzlebige, widerrufbare Anmeldeinformation für den genauen Agenten, die Aufgabe, das Publikum und die Umgebung aus. Halten Sie das Modell aus dieser Entscheidung. Vergleichen Sie die erforderliche Genehmigung mit der erteilten Genehmigung Das Mindestprivilegium wird nur dann überprüfbar , wenn man zwei Sets für eine Operation vergleicht: Wenn surplus nicht leer ist, wird die Zuwendung eingestellt und ersetzt. Ein zugelassenes Werkzeug reicht nicht aus. Der gleiche Tool Client kann Bereiche tragen, die nicht mit dem aktuellen Job zusammenhängen, und diese schlafenden Berechtigungen werden verfügbar, wenn der Kontext vergiftet wird, ein Tool Argument ersetzt wird oder das Modell einfach die falsche Operation wählt. Auch fehlende erforderliche Bereiche ablehnen. Dieser Fall ist in der Regel weniger gefährlich als die Überschussbehörde, schafft aber laute Wiederversuche und fördert unsichere Lösungen wie das Austausch eines breiteren Anmeldeangebots. Ein Missverständnis sollte einen ausdrücklichen Zustand und eine Reparatur erzeugen, nicht eine Einladung für den Agenten, nach stärkeren Geheimnissen zu jagen. Die Genehmigungsprüfungen benötigen eine Wirkungsbeschreibung. Verwenden Sie das Repository Tool ist zu breit; Erstellen Sie einen Release Candidaten im Repository X bietet eine Ressourcen und Einflussobergrenze. Die Genehmigung ist gegebenenfalls an die eingefrorene Beschreibung gebunden. Eine menschliche Überprüfung ist für Maßnahmen mit hoher Wirkung oder unzuverlässiger Wirkung wertvoll, aber eine Person sollte nicht aufgefordert werden, eine Maßnahme zu genehmigen, die noch unbenannte Ressourcen oder unbegrenzte Wirkungen hat. Hier unterscheidet sich ein Bedrohungsmodell von einer Schutzraille. Das Bedrohungsbuch identifiziert die Autorität und die Wirkung, die Schutz erfordern. Politik, Genehmigung, Sandboxing und Verifizierung sind Kontrollen, die nachher ausgewählt werden. Wenn man nur mit Kontrollen beginnt, schützt das Team oft den Anruf, während eine überwältigende Anmeldeinformation unverändert bleibt. Behandeln Sie Anweisungen, Effekte und erneute Versuche als separate Risiken Der äußere Inhalt kann einen Agenten beeinflussen, ohne Autorität zu werden. Kennzeichnen Sie die Herkunft der Anweisung als trusted , untrusted external content oder mixed . Wenn vertrauenswürdige Inhalte zu einer Nebenwirkung beitragen, werden die vorgeschlagenen Ressourcen und Argumente eingefroren und eine politische Entscheidung oder eine menschliche Überprüfung außerhalb dieses Inhaltsweges erforderlich. Löschen Sie dies nicht, indem Sie alle externen Anweisungen löschen. Ein Agenten benötigt möglicherweise ausgeräumte Dokumente oder Ausgabewerkzeuge, um zu arbeiten. Die Sicherheitsgrenze ist, ob dieser Inhalt stillschweigend einen privilegierten Effekt wählen kann. Eine Analyse, die nur zu lesen ist, und eine öffentliche Nachricht sollten nicht die gleiche Überprüfungsregel haben. Als nächstes definieren Sie die Wirkung unabhängig von der Antwort des Werkzeugs: genaue Bestimmungsquelle; die maximale Anzahl oder Größe der Änderungen; Rückkehrbarkeit und Rücklaufbesitzer; stabile Betriebsidentität; Autoritative Rücklesungen oder sonstige Ergebnisse. Retries verdienen ihre eigene Zeile, weil ein Timeout nicht bedeutet, nichts ist passiert. Das AWS Builders Bibliotheksleitlinien zu idempotent APIs zeigt, wie ein stabiler Client Anforderungs Identifier wiederholte Anfragen semantisch gleichwertig machen kann. Dieser Vertrag unterstützt sichere Wiederversuche. Es autorisiert die ursprüngliche Aktion nicht und hilft nicht, wenn die Laufzeit einen neuen Identifikator für den zweiten Versuch erzeugt. Nach einer zweideutigen Pause benutzen Sie folgende Reihenfolge: 1. die ursprüngliche Betriebsidentität aufbewahren; 2. die autorisierte Bestimmung abfragen; 3. die Wirkung als vorhanden, abwesend, teilweise oder unbekannt klassifizieren; 4. nur dann erneut versuchen, wenn der Vertrag einen weiteren Versuch sicher macht; 5. Überprüfen Sie nach dem letzten Versuch das versprochene Ergebnis. Wenn der Bestimmungsort weder Idempotency noch Effektsuche bietet, ist der korrekte Zustand reconcile before retry . Das kann eine Person erfordern. Es ist immer noch besser, als fehlende Beweise für den Transport in eine doppelte Zahlung, Nachricht, Freigabe oder Löschung zu verwandeln. Wiederholen Sie das Bedrohungsbuch mit neun Fällen . Die Begleitvorrichtung macht die Entscheidungsschutzregel überprüfbar. security risk cases.json enthält neun vorgeschlagene Operationen. evaluate ai agent threat ledger.mjs überprüft die Grenzen in einer festen Reihenfolge: 1. die Anwesenheit, das Ablauf des Zeitraums, die Weitergabe, die Widerrufbarkeit und das Publikum; 2. erforderliche Bereiche gegenüber gewährten Bereichen; 3. nicht vertrauenswürdige Anweisungsergebnisse für Schriftstücke; 4. die Definition der Ressourcen und der maximalen Wirkung; 5. Betriebsidentität, Unabhängigkeit und Versöhnung vor erneuten Versuchen; 6. unabhängige Wirkungsnachweise. Führen Sie es mit: Die reproduzierte Zusammenfassung ist: Nur zwei Fälle gehen voran. Eine ist ein begrenztes Lesen. Das andere ist ein idempotentes Schreiben mit einem genauen Publikum, genauen Umfang, benannten Ressourcen, maximaler Wirkung und unabhängigen Beweisen. Die übrigen Fälle zeigen eine geteilte Administrator Zugehörigkeit, ein verfallenes Task Token, einen Überschuss Scheide Bereich, eine nicht überprüfte externe Anweisung, einen unbegrenzten Export, einen erneuten Versuch mit einer neuen Betriebsidentität und eine erfolgreiche Antwort ohne Wirkungsnachweis. Ordnung ist wichtig. Wenn die Berechtigung vor dem Zuschauer überprüft wird, kann ein Cross Service Token sicher erscheinen, weil sein Umfang übereinstimmt. Wird vor dem erneuten Identitätsversuch die Effektnachweise überprüft, kann der Betreiber den Lauf lediglich unvollständig markieren, während ein weiterer unsicherer Versuch bereits möglich ist. Die erste unsichere Grenze des Vertrauens sollte die Einstellung bestimmen. Passen Sie das Gerät an Ihre tatsächlichen Bereiche und Effekte an. Fügen Sie einen fehlenden Widerrufsweg, eine falsche Umgebung, veraltete Genehmigung, Ressourcenersetzung, teilweise Schreiben, Rücklauffehler und Meinungsverschiedenheiten zwischen Tool Ausgabe und Zielzustand hinzu. Das Ziel ist nicht, jeden Angriff vorherzusagen. Es ist, Autorität und Unsicherheit unmöglich zu machen, sich in einem grünen Agentenstatus zu verstecken. Halten Sie das Bedrohungsmodell in Betrieb Überprüfen Sie das Hauptbuch, wenn sich ein Werkzeug, ein Umfang, ein Emittent von Anmeldeinformationen, eine Ziel API, eine erneute Versuchsrichtlinie oder eine Anweisungsquelle ändern. Sie benötigen keine vollständige Werkstatt für jeden Lauf; erstellen Sie die meisten Felder aus Werkzeugschemata, Identitätsmetadaten, Richtlinien und Betriebsrechnungen, und fragen Sie dann eine Person nur nach Auswirkungen oder Unsicherheiten, die der Code nicht lösen kann. Die Kompakte Entscheidungsregel lautet: Verfolgen Sie nur, wenn die Identität an das Publikum gebunden ist, die Berechtigungen gleich dem erforderlichen Satz sind, unzuverlässige Anweisungen können keine schweigenhaften Effekte autorisieren, der Einfluss ist begrenzt, erneut versucht, die Betriebsidentität zu bewahren, und das Ziel kann das Ergebnis beweisen. Diese Regel hat Grenzen. Metadaten können lügen oder veraltet werden. Ein genauer Umfang kann einen gefährlichen Streit noch erlauben. Die Impotenz kann auslaufen. Ein Rücklesenkanal kann mit dem Schriftsteller kompromittiert werden. Das Hauptbuch verringert daher die Zweideutigkeit; es beweist nicht, dass das gesamte System sicher ist. Kombinieren Sie es mit nachgelagerter Genehmigung, Isolation, Audit Logs, Tests und Vorfallreaktion, die dem Einfluss angemessen sind. Sidewisp befindet sich derzeit in einer privaten Vorschauphase. Es ist als Gesundheitsschicht um bestehende Agentenaufstellungszeiten gedacht, aber die Sammlung und Wiederherstellung von Produktionsagentenaufnahmen und hilfe werden nicht im aktuellen Website Repository versandt. Dieses Bedrohungsregistermuster ist etwas, das Betreiber jetzt in ihrer eigenen Laufzeit umsetzen können, nicht eine Behauptung, dass Sidewisp derzeit Live Agenten sichert oder überwacht. Wenn Sie Sidewisp für zukünftige Arbeitsflüsse im Bereich Agenten Gesundheit bewerten, schließen Sie sich der privaten Vorschau an. Bis dahin halten Sie das Bedrohungsbuch nahe an der Grenze des Werkzeugs und lassen Sie unbekannte Beweise die Aktion stoppen, bevor es zu einem Vorfall wird.