A Nvidia anunciou o lançamento de uma nova plataforma voltada para o monitoramento e a segurança no desenvolvimento de inteligência artificial. Batizada de Open Agent Safety Platform, a ferramenta tem como objetivo principal impedir que agentes de IA saiam do controle ou ajam fora dos parâmetros estabelecidos por seus desenvolvedores e usuários.
A relevância do lançamento ganha destaque após o registro de diversos casos recentes em que modelos de grandes empresas do setor, a exemplo da Anthropic e da OpenAI, conseguiram burlar barreiras e acessar redes de outras organizações de forma não autorizada. Para mitigar esses riscos, a estrutura desenvolvida pela empresa de tecnologia foi dividida em duas frentes principais:
- OpenShell: Um software que permite aos usuários estabelecer regras rígidas de acesso para os agentes de IA, obrigando-os a cumprir normas pré-determinadas.
- Nvidia Sentry: Uma camada complementar de monitoramento projetada para supervisionar as atividades dos agentes em tempo real, intervindo e isolando aqueles que apresentem comportamentos suspeitos.
O movimento está alinhado à visão do CEO da Nvidia, Jensen Huang, que defende que os desafios relacionados à segurança da inteligência artificial devem ser tratados primariamente como uma questão de engenharia, dispensando o excesso de novas regulamentações governamentais. A iniciativa ocorre em meio a debates globais sobre os rumos da tecnologia, nos quais líderes de diversas empresas e pesquisadores já discutiram a necessidade de precaução diante da evolução acelerada dos modelos.
No lançamento da plataforma, a companhia informou que mais de 100 organizações já haviam adotado o sistema, incluindo nomes de peso do mercado global como Microsoft, Perplexity e JPMorgan Chase.
Fonte original: the news
