A adoção de inteligência artificial (IA) em operações de segurança amplia o poder de resposta contra ameaças, mas só traz benefícios quando os próprios sistemas de IA são protegidos com o mesmo rigor aplicado a outras infraestruturas críticas. O alerta é de Frank Kim, Fellow do SANS Institute, em artigo publicado nesta terça-feira (08/10/2025).
Governança e identidade como pilares
Kim destaca que cada modelo, script ou agente autônomo introduz uma nova identidade capaz de acessar dados e executar comandos. Sem controle de identidade, essas ferramentas podem aumentar a superfície de ataque em vez de reduzi-la. No caso dos chamados sistemas de IA agentic — capazes de agir sem intervenção humana — a necessidade de políticas de autenticação forte, credenciais com privilégio mínimo e auditoria completa torna-se ainda mais crítica.
Seis domínios de controle
O SANS Secure AI Blueprint, baseado nas Diretrizes Críticas de Segurança em IA da SANS, define seis frentes para proteger os ambientes que utilizam inteligência artificial:
- Controles de acesso: privilégio mínimo, autenticação forte e registro contínuo de acessos a modelos, conjuntos de dados e APIs.
- Controles de dados: validação, sanitização e classificação de todas as informações usadas para treinamento, enriquecimento ou inferência.
- Estratégias de implantação: endurecimento de pipelines, uso de sandbox, validação em CI/CD e red teaming antes da liberação.
- Segurança de inferência: prevenção a injeção de prompt e uso indevido por meio de validação de entradas e saídas, além de trilhas de escalonamento.
- Monitoramento: observação contínua de comportamento, deriva e anomalias para detectar manipulações precocemente.
- Segurança de modelo: versionamento, assinatura e verificação de integridade ao longo de todo o ciclo de vida.
Essas práticas se alinham ao NIST AI Risk Management Framework e ao OWASP Top 10 para LLMs, que listam vulnerabilidades como injeção de prompt, integrações inseguras de plug-ins, envenenamento de modelo e vazamento de dados.
Automação x aumento de capacidade humana
Segundo o especialista, tarefas repetitivas e de baixo risco — como enriquecimento de ameaças, parsing de logs e deduplicação de alertas — podem ser totalmente automatizadas. Já atividades que exigem contexto ou julgamento ético, como delimitar incidentes e tomar decisões de resposta, devem continuar sob supervisão humana, com a IA atuando como assistente.
Imagem: Internet
Debate no SANS Surge 2026
Os detalhes sobre como garantir a segurança de sistemas de IA serão aprofundados na conferência SANS Surge 2026, marcada para 23 a 28 de fevereiro de 2026. No evento, Frank Kim apresentará um keynote dedicado ao tema.
Com informações de The Hacker News
