 |
| Bellacosa Maifnrame e a ia sem governança |
☕ Um Café no Bellacosa Mainframe
IA sem Governança é como Rodar Produção sem RACF
O Estado da Arte da AI Governance e por que ela está se tornando o "Sistema Operacional Invisível" da Inteligência Artificial
"Construir uma IA inteligente é relativamente fácil. Construir uma IA previsível, auditável e confiável é o verdadeiro desafio da Engenharia Moderna."
Nos últimos três anos aconteceu algo curioso.
A indústria inteira ficou fascinada pela capacidade dos modelos.
Modelos maiores.
Mais parâmetros.
Mais contexto.
Mais agentes.
Mais autonomia.
Mais velocidade.
Enquanto isso, uma pergunta muito mais importante ficou em segundo plano:
Quem controla tudo isso?
É exatamente aqui que nasce um dos assuntos mais importantes da próxima década:
AI Governance
Muita gente imagina que governança seja apenas burocracia.
Na prática, acontece exatamente o contrário.
Governança é aquilo que permite que uma empresa coloque IA em produção sem colocar seu negócio em risco.
Da mesma forma que nenhum banco colocaria um sistema COBOL em produção sem RACF, auditoria, logs, rollback, segregação de funções e monitoramento...
Nenhuma grande empresa conseguirá operar centenas de agentes inteligentes sem mecanismos semelhantes.
Estamos assistindo ao nascimento de uma nova disciplina da Engenharia de Software.
O problema atual
Hoje existe uma enorme diferença entre:
"Uma IA funcionando"
e
"Uma IA sob controle."
São coisas completamente diferentes.
Imagine um chatbot corporativo.
Ele responde perguntas.
Consulta documentos.
Acessa banco de dados.
Envia e-mails.
Agenda reuniões.
Autoriza pagamentos.
Agora imagine que ele pode chamar APIs sozinho.
Executar scripts.
Controlar sistemas.
Criar tickets.
Modificar registros.
De repente...
não estamos mais falando de um chatbot.
Estamos falando de um funcionário digital.
E funcionários precisam de regras.
Um paralelo com o Mainframe
Quem trabalhou anos em IBM Z percebe imediatamente a semelhança.
No Mainframe nunca existiu liberdade absoluta.
Existe:
RACF
ACF2
Top Secret
Auditoria
SMF
WLM
JES
Change Management
Aprovação
Produção
Homologação
Controle de versões
Por quê?
Porque sistemas críticos não podem depender apenas da boa intenção dos desenvolvedores.
A IA chegou exatamente ao mesmo ponto.
O que realmente é AI Governance?
A definição mais simples seria:
Governança é o conjunto de processos, políticas, controles, métricas e mecanismos que garantem que sistemas de IA operem dentro dos limites técnicos, legais, éticos e de negócio definidos pela organização.
Ou seja...
Governança responde perguntas como:
Esta IA pode acessar quais sistemas?
Quem autorizou?
Quem aprovou?
Quem alterou?
Quem auditou?
Quem responde caso ela erre?
Ela pode tomar decisões sozinha?
Até onde?
Quando deve pedir ajuda humana?
Como registrar tudo?
Como impedir abuso?
Como provar conformidade?
IA deixou de ser Software
Este talvez seja o maior erro conceitual da atualidade.
Muitos ainda tratam IA como se fosse apenas mais um software.
Não é.
Software tradicional possui comportamento relativamente determinístico.
Mesmo com bugs, o fluxo costuma ser previsível.
IA generativa funciona diferente.
Ela trabalha com probabilidades.
Ela interpreta contexto.
Ela generaliza.
Ela improvisa.
Ela cria respostas novas.
Isso muda completamente o paradigma da engenharia.
Não basta testar.
É preciso supervisionar continuamente.
A evolução da Governança
A imagem mostra quatro grandes fases.
Vale aprofundá-las.
Fase 1 — Model Governance
Tudo começou olhando apenas para o modelo.
As perguntas eram simples.
O modelo é bom?
Tem boa acurácia?
Passou nos testes?
Qual o recall?
Qual a precisão?
Existe overfitting?
Existe underfitting?
A preocupação era puramente estatística.
Muito semelhante ao início do Machine Learning clássico.
Fase 2 — Data Governance
Rapidamente percebeu-se uma verdade importante.
Modelos aprendem com dados.
Dados ruins produzem decisões ruins.
Garbage In
Garbage Out.
Então surgiram novos controles.
Qualidade dos dados.
Viés.
Representatividade.
Linhagem (Data Lineage).
Catálogo.
Origem.
Versionamento.
Atualização.
Anonimização.
LGPD.
Masking.
Data Fabric.
Data Mesh.
A IA passou a ser vista como consequência da qualidade dos dados.
Fase 3 — System Governance
Depois percebeu-se outro problema.
O modelo era apenas uma pequena parte do sistema.
Hoje uma aplicação de IA envolve:
Modelo
Prompt
Banco Vetorial
RAG
APIs
Ferramentas
Agentes
Workflow
Memória
Logs
Cache
Observabilidade
Ou seja...
Governar apenas o modelo tornou-se insuficiente.
Era necessário governar toda a arquitetura.
Da mesma forma que em um ambiente CICS não monitoramos apenas o programa COBOL.
Monitoramos:
Região CICS
MQ
DB2
VSAM
Rede
CPU
Storage
Transações
Locks
Filas
Segurança
A IA entrou exatamente nesse estágio.
Fase 4 — Agent Governance
Esta talvez seja a revolução mais importante.
Os novos agentes não apenas respondem.
Eles executam.
Tomam decisões.
Chamam outras IAs.
Chamam APIs.
Controlam ferramentas.
Planejam tarefas.
Executam workflows.
Podem trabalhar durante horas sem intervenção humana.
Agora surge uma pergunta totalmente nova.
Quem governa o agente?
Quem define seus limites?
Quem decide quais ferramentas ele pode usar?
Quem impede que ele execute uma ação perigosa?
Quem limita autonomia?
Quem monitora objetivos?
Essa nova disciplina é chamada de Agent Governance.
Os Cinco Pilares da Governança
1. Policy Layer
É o equivalente ao RACF.
Define regras.
Quem pode fazer o quê.
Quais modelos podem ser usados.
Quais dados podem ser consultados.
Quem pode executar agentes.
Quais ferramentas ficam disponíveis.
2. Risk Management
Nem toda IA possui o mesmo risco.
Responder FAQ?
Baixo risco.
Aprovar crédito?
Alto risco.
Diagnóstico médico?
Altíssimo risco.
Quanto maior o impacto da decisão, maior deve ser o nível de governança.
Essa ideia aparece em legislações como o AI Act da União Europeia, que classifica sistemas conforme o nível de risco e impõe exigências proporcionais. Também conversa com estruturas como o NIST AI Risk Management Framework (AI RMF), amplamente adotado como referência para gestão de riscos em IA.
3. Observabilidade
Observabilidade virou uma palavra extremamente importante.
Não basta saber que o sistema está funcionando.
É necessário saber:
Por que respondeu isso?
Qual documento consultou?
Qual ferramenta utilizou?
Qual prompt gerou aquela resposta?
Quanto custou?
Quanto demorou?
Qual modelo respondeu?
Qual versão?
Isso lembra bastante o papel dos registros SMF, RMF e logs de transação no mundo IBM Z: eles permitem reconstruir o que aconteceu e entender o comportamento do sistema.
4. Compliance
Cada decisão precisa ser rastreável.
Auditoria.
Explicabilidade.
Logs.
Versionamento.
Retenção.
Regulamentos.
No mundo financeiro isso será obrigatório.
Na saúde também.
No governo também.
Em muitos setores regulados, a capacidade de demonstrar como uma decisão foi produzida é tão importante quanto a decisão em si.
5. Guardrails
Talvez o conceito mais popular atualmente.
Guardrails são barreiras de proteção.
Eles limitam:
Entrada.
Saída.
Ferramentas.
Prompts.
Tokens.
Tempo.
Memória.
Execução.
Permissões.
Autonomia.
É como instalar grades de proteção em uma estrada de montanha: elas não dirigem o carro, mas reduzem significativamente a chance de uma saída de pista se transformar em um desastre.
O Fluxo de um Sistema Governado
Observe o fluxo apresentado na imagem.
Ele representa um ciclo contínuo.
Define-se claramente o caso de uso.
Classifica-se o risco.
Aplicam-se políticas e permissões.
Implanta-se o modelo ou agente.
Monitora-se o comportamento em tempo real.
Auditorias e análises alimentam melhorias.
As políticas são refinadas e o ciclo recomeça.
Isso se aproxima muito do ciclo de melhoria contínua adotado em engenharia de confiabilidade (SRE), DevSecOps e gestão de mudanças em ambientes corporativos.
As Métricas Mais Importantes
A imagem destaca algumas métricas fundamentais, mas vale expandi-las.
Além da taxa de violações de políticas, alucinações, acurácia, cobertura de auditoria e intervenções humanas, organizações maduras também acompanham:
Tempo médio para detectar comportamentos anômalos.
Frequência de deriva (model drift e data drift).
Taxa de chamadas a ferramentas externas.
Custo por tarefa executada.
Latência por fluxo de decisão.
Percentual de respostas com referências verificáveis.
Taxa de falsos positivos e falsos negativos em mecanismos de segurança.
Número de exceções aprovadas manualmente.
Disponibilidade dos serviços de IA.
Assim como no mainframe monitoramos CPU, I/O, MSU, R4HA, tempos de resposta CICS e locks de DB2, a IA também exige indicadores operacionais e de negócio para permanecer confiável ao longo do tempo.
Onde a Maioria das Empresas Erra
A imagem cita quatro erros bastante comuns.
Na prática, eles aparecem de formas diferentes.
Primeiro, a governança costuma ser adicionada apenas depois que a IA já está em produção, quando o custo de adaptação é muito maior.
Segundo, muitas equipes concentram seus esforços apenas no modelo e ignoram o restante do ecossistema — prompts, ferramentas, integrações, bancos vetoriais e fluxos automatizados.
Terceiro, faltam mecanismos de observabilidade. Sem logs adequados, métricas e trilhas de auditoria, qualquer incidente se torna difícil de investigar.
Por fim, há processos críticos totalmente automatizados sem pontos de validação humana, mesmo quando envolvem impactos financeiros, legais ou reputacionais relevantes.
O Futuro: Governança para Ecossistemas de Agentes
A próxima etapa provavelmente não será governar um único agente, mas coordenar ecossistemas inteiros de agentes especializados.
Imagine um banco em que diferentes agentes cuidam de crédito, prevenção à fraude, atendimento, compliance, investimentos e suporte interno. Eles conversarão entre si, compartilharão contexto e tomarão decisões coordenadas.
Nesse cenário, a governança deixa de ser apenas um conjunto de regras e passa a funcionar como um sistema nervoso central, capaz de definir limites de autonomia, resolver conflitos, registrar decisões, distribuir responsabilidades e manter supervisão contínua.
A Grande Lição para um Programador COBOL
Para quem vem do universo IBM Z, AI Governance não é uma ideia estranha.
Na verdade, ela reaproveita princípios conhecidos há décadas:
Segurança baseada em identidade e privilégio mínimo.
Auditoria completa de operações.
Observabilidade e monitoramento contínuos.
Gestão formal de mudanças.
Classificação de riscos.
Separação entre desenvolvimento, homologação e produção.
Confiabilidade operacional.
A grande novidade não é a necessidade de controle. O que muda é o objeto desse controle: em vez de programas determinísticos, agora administramos sistemas capazes de aprender, interpretar contexto e agir com diferentes graus de autonomia.
Conclusão
Durante muitos anos, a pergunta dominante foi:
"Como construir uma IA mais inteligente?"
Hoje, a pergunta mais importante começa a mudar:
"Como garantir que essa IA continue confiável, segura e responsável quando estiver operando em escala?"
A vantagem competitiva do futuro não estará apenas nos modelos mais poderosos, mas na capacidade de colocá-los em produção com confiança, transparência e controle.
Da mesma forma que ninguém administra um ambiente IBM Z apenas instalando um sistema operacional e esperando que tudo funcione, nenhuma organização séria conseguirá operar centenas ou milhares de agentes inteligentes sem uma arquitetura robusta de governança.
Em outras palavras, a governança não reduz o potencial da inteligência artificial. Ela é justamente o que torna possível usar esse potencial de forma sustentável, auditável e confiável em ambientes onde erros têm consequências reais.
Sem comentários:
Enviar um comentário