O CEO da Microsoft, Satya Nadella, manifestou-se publicamente a favor da implementação de mecanismos rígidos de controle e interrupção para sistemas avançados de inteligência artificial. Para o executivo, as corporações precisam prever a possibilidade de falhas ou comprometimento dos modelos tecnológicos, assegurando que operadores humanos tenham autonomia para suspender operações a qualquer instante caso ocorram desvios de comportamento.
Em uma postagem realizada na rede social X, Nadella equiparou a ferramenta de contenção a um recurso de segurança semelhante a um “freio de emergência”. Em sua avaliação, confiar exclusivamente nas promessas de segurança fornecidas pelos próprios desenvolvedores dos algoritmos é insuficiente para garantir a estabilidade operacional e a proteção de dados sensíveis.
A discussão ganha força em um momento marcado por incidentes recentes envolvendo tecnologias de ponta desenvolvidas por empresas como Anthropic e OpenAI. Entre as ocorrências que alarmaram especialistas e autoridades estão situações como o uso incorreto de ferramentas em contextos sensíveis e vulnerabilidades exploradas em ataques cibernéticos contra infraestruturas digitais.
Esses episódios intensificaram o debate regulatório e técnico acerca dos riscos associados a softwares dotados de alta autonomia operacional, reforçando a urgência de salvaguardas que impeçam ações descontroladas ou imprevistas por parte das máquinas.
Novas diretrizes e padrões de segurança
Como parte dos esforços para mitigar vulnerabilidades, pesquisadores da Microsoft apresentaram em setembro um conjunto de princípios norteadores para o desenvolvimento de suas ferramentas mais complexas. As regras estabelecem limites estritos para o funcionamento dos sistemas, vedando expressamente a criação de códigos programados para burlar a supervisão humana ou induzir usuários ao erro.
O material técnico também pontua que artefatos computacionais baseados em inteligência artificial não devem possuir personalidade jurídica ou direitos equivalentes aos humanos. Entre as recomendações centrais defendidas por Nadella para o setor corporativo estão:
- evitar a centralização de decisões críticas em um único modelo tecnológico;
- armazenar logs e registros protegidos de todas as ações executadas por agentes autônomos;
- submeter as estruturas digitais a auditorias externas e independentes;
- reportar de forma transparente falhas operacionais e brechas de segurança;
- compartilhar aprendizados sobre incidentes com o ecossistema industrial para prevenção coletiva.
O dirigente ressalta que o avanço tecnológico deve separar nitidamente a capacidade analítica de um software e a autoridade decisória, garantindo que as máquinas processem informações, mas permaneçam subordinadas a diretrizes determinísticas e fiscalização humana constante.
Abaixo, veja trechos centrais das reflexões compartilhadas pelo executivo sobre o tema:
“Modelos como Riscos Internos na Era da Super Inteligência
Como os sistemas de software tradicionais estavam sendo implantados em toda a economia nas últimas décadas, tínhamos as ferramentas e a capacidade de rastrear comportamentos para um caminho de código específico.
Esse mesmo tipo de compreensão mecanicista nos ilude nos sistemas de Super Inteligência de hoje, mesmo que os modelos de fronteira que alimentam esses sistemas agora sejam mais capazes do que os sistemas de software tradicionais. Não podemos atribuir comportamentos e saídas do modelo a entradas específicas de dados de treinamento ou configurações de pesos de modelo. E, no entanto, estamos implantando esses sistemas e modelos de agentes complexos, com acesso aos nossos dados mais sensíveis e dando a eles a capacidade de tomar ações críticas de missão em nosso nome!
É por isso que é hora de dar um passo atrás e avaliar a arquitetura de confiança para esta nova era. Simplesmente não podemos terceirizar a responsabilidade pelo que a inteligência faz em nosso nome. As garantias de um provedor modelo não nos isentam dessa responsabilidade.
Não podemos tratar a Super Inteligência como um conjunto de caixas pretas aninhadas e simplesmente aceitar ou rejeitar suas recomendações, respostas e ações. Devemos construir sistemas contidos cujo comportamento podemos observar, limites que podemos testar e ações que podemos sempre conter.
Em outras palavras, precisamos separar o fornecimento de inteligência da autoridade sobre ela.
Deixando de lado o difícil problema do alinhamento, precisamos começar com uma abordagem de engenharia para contenção e governança. Precisamos cercar modelos não determinísticos com design de sistema forte e determinístico, controles humanos e procedimentos operacionais confiáveis, e estabelecer padrões da indústria onde os existentes são insuficientes.
Tratar modelos de peso fechados e abertos de fronteira como riscos internos é uma maneira de construir tal sistema. Não porque eles sejam necessariamente maliciosos, mas porque qualquer ator suficientemente capaz com acesso a sistemas importantes pode cometer erros ou ser comprometido, e a arquitetura de contenção e controle deve explicar isso.
A boa notícia é que aprendemos muito sobre como lidar com atores poderosos dentro da empresa. Isso não é novidade! Estabelecemos as melhores práticas e as refinamos ao longo de décadas (estabelecemos identidade, limitamos privilégios, registramos atividades, criamos limites de contenção, etc.)
E agora estamos começando a aplicar esses mesmos princípios à SI dentro da empresa. Começa com o modelo de transparência do CoT como não negociável. “Neuralese” não pode ser uma justificativa para que o raciocínio modelo seja opaco. Mas a transparência do CoT por si só não é suficiente ou confiável, porque ainda não sabemos como tornar as próprias saídas do modelo consistentemente fiéis ou transparentes!
Você pode e deve usar modelos para testar e verificar uns aos outros de forma contraditória. No entanto, você pode acabar com um modelo opaco dentro de uma camada de orquestração opaca, observado por outro modelo opaco. Caixas pretas essencialmente aninhadas.
É por isso que os controles que governam o que um modelo pode acessar e quais ações ele pode realizar devem ficar fora do modelo. Isso se baseia em um princípio de segurança da informação que remonta à década de 1970, de que um programa não deve ser capaz de contornar ou adulterar os mecanismos que impõem suas permissões.
Hoje, isso significa separar o modelo do arnês que orquestra seu trabalho, bem como o espaço de ação que define o que ele pode fazer. Também significa externalizar controles e salvaguardas.
Devemos, portanto, projetar esses sistemas em torno dos princípios de observabilidade:
- Diversidade do modelo: Nenhum modelo deve se tornar a única dependência para um resultado importante ou ser responsável por verificar seu próprio trabalho.
- Observe tudo: Toda ação de modelo significativa deve deixar evidências legíveis por humanos à prova de adulteração. Se não pode ser observado, não se pode confiar! Precisamos ser capazes de reproduzir como um resultado foi alcançado sem depender do modelo para atestar isso.
- Verificabilidade: Precisamos testar continuamente todo o sistema, incluindo falhas, ataques, casos de borda, alterações no sistema, etc., não apenas tarefas bem-sucedidas.
- Controles independentes: As organizações devem ser capazes de determinar de forma independente o que um modelo pode acessar e quais ações ele pode tomar.
- Auditabilidade independente: A validação deve ser independente da inteligência que está sendo validada. Nenhum modelo único deve controlar tanto o comportamento de um sistema quanto as evidências necessárias para determinar se esse comportamento está alinhado com a intenção original.
- Contenção: Devemos assumir que um modelo está comprometido e contê-lo desde o início. Pense nisso como um freio de emergência. Uma pessoa autorizada deve sempre ser capaz de pausar ou desligar um modelo no meio da tarefa. Modelos mais avançados exigirão tecnologias de contenção mais avançadas que precisamos padronizar.
- Divulgação de incidentes: Quando esses sistemas falham ou são comprometidos, precisamos de divulgação oportuna aos afetados e mecanismos para compartilhar o que deu errado, quais controles falharam e como evitar que isso aconteça novamente e compartilhar aprendizados em toda a indústria. Isso deve incluir detalhes de implementação que alteram o comportamento dos agentes em tempo de execução.
O sistema de Super Inteligência mais confiável não será aquele com o modelo em que mais confiamos. Será aquele que nos permitirá confiar menos no modelo”.
Cobrança governamental por transparência
Em paralelo às discussões corporativas, a força-tarefa governamental voltada ao monitoramento de inteligência artificial nos Estados Unidos, liderada pela gestão do presidente Donald Trump, emitiu alertas direcionados a desenvolvedores do setor. O grupo governamental cobrou agilidade na comunicação de falhas estruturais e correções imediatas em softwares comerciais.
A manifestação oficial ocorreu na sequência de falhas de segurança detectadas nos sistemas da Anthropic. Os representantes do governo enfatizaram que omissões na comunicação de riscos e a ausência de responsabilização corporativa rigorosa não serão toleradas pelo poder público diante da expansão destas tecnologias.
Fonte:: poder360.com.br
