Nvidia představila bezpečnostní platformu pro autonomní AI agenty

Nvidia 28. září představila Open Agent Safety Platform, otevřenou softwarovou platformu a referenční návrh systému pro zabezpečení autonomních AI agentů. Agent je program, který dokáže samostatně plánovat kroky a používat soubory, internetové služby nebo jiné nástroje. Právě tato samostatnost zvyšuje nároky na kontrolu jeho oprávnění.

První částí platformy je OpenShell. Jde o otevřený běhový software, který agenta uzavírá do odděleného prostředí, zaznamenává jeho činnost a vynucuje pravidla pro přístup k souborům, sítím, nástrojům a datům. Nvidia uvádí, že OpenShell je nyní široce dostupný, je optimalizovaný pro procesory Nvidia Vera a lze jej rozšířit i na výpočetní platformy jiných výrobců, například Arm a Intel.

Druhou částí je Sentry, referenční návrh samostatného dohledu na datových procesorech BlueField-4. Sentry má sledovat chování agenta mimo jeho vlastní softwarové prostředí a při překročení nastavených hranic jej izolovat. Oddělená vrstva může být užitečná právě proto, že nezávisí jen na pravidlech uvnitř samotné aplikace.

Podle tiskové zprávy na technologiích platformy pracuje více než 100 organizací. Mezi uvedenými partnery jsou například Anthropic, Microsoft, Cisco, CrowdStrike, IBM, Palantir, Salesforce, SAP a JPMorganChase. Rozsah jejich zapojení se však liší: některé firmy platformu integrují, jiné přispívají do otevřených projektů nebo ji zatím používají jako referenční návrh.

Oznámení rozšiřuje nabídku Nvidie za hranice grafických čipů o bezpečnostní software a infrastrukturu pro provoz AI agentů. Nejde ale o důkaz, že platforma zabrání každému incidentu. Nvidia sama upozorňuje, že některé popsané produkty a funkce zůstávají v různých fázích vývoje a jejich dostupnost či podoba se mohou změnit.