 |
| Bellacosa Mainframe e o automation bias |
☕ Um Café no Bellacosa Mainframe
Automation Bias: Doctor Who, COBOL e o Dia em que o Dashboard, o Algoritmo e o Copiloto Concordaram — Então Ninguém Percebeu que Todos Estavam Errados pelo Mesmo Motivo
Uma viagem pela TARDIS dos incidentes para entender por que tendemos a confiar demais em sistemas automatizados, dashboards, copilotos, alertas, runbooks inteligentes e recomendações algorítmicas — e como a frase “se a ferramenta disse, deve estar certo” pode transformar assistência em dependência cognitiva
03:42.
Produção.
War Room.
Na tela principal:
PAYMENTS-X
LATENCY:
HIGH
ERROR RATE:
RISING
AI INCIDENT COPILOT:
LIKELY ROOT CAUSE = DB2 LOCK CONTENTION
CONFIDENCE:
87%
O DBA olha.
O gerente olha.
O jovem programador COBOL olha.
E alguém diz:
— Então é Db2.
Nosso jovem pergunta:
— Temos evidência independente?
Gerente:
— O copiloto está com 87%.
— O que significa esse 87%?
Silêncio.
— Confiança do modelo.
— Confiança em quê?
— Na hipótese.
— Essa confiança é calibrada como probabilidade real?
Outro silêncio.
O DBA tenta ajudar:
— Além disso, o dashboard está mostrando lock wait.
Nosso jovem:
— E os pagamentos que não passam por essa tabela?
— Também estão lentos.
— Então como Db2 explica tudo?
Gerente:
— A ferramenta provavelmente correlacionou alguma coisa que ainda não vimos.
Ah.
Uma frase deliciosa:
“A ferramenta provavelmente viu alguma coisa.”
03:44.
O copiloto recomenda:
RECOMMENDED ACTION:
RESTART DB2 MEMBER 2
EXPECTED EFFECT:
REDUCE LOCK CONTENTION
Especialista:
— Podemos executar.
Nosso jovem:
— Reiniciar Db2?
— Sim.
— Baseados em quê?
Gerente:
— Copiloto, dashboard e alerta.
— Os três usam fontes independentes?
Silêncio novamente.
O especialista olha:
para a arquitetura.
— Na verdade, o copiloto recebe os mesmos eventos do observability stack.
Nosso jovem:
— Então talvez não sejam três opiniões.
— Como assim?
— Talvez seja uma opinião...
...repetida três vezes.
VWORP.
VWORP.
VWORP.
A TARDIS aparece ao lado do console.
A porta abre.
O Doctor sai.
Olha:
para a tela.
Depois:
para o grupo.
— Quem acha que é Db2?
Quatro mãos.
— Por quê?
Gerente:
— Dashboard.
DBA:
— Alerta.
Outro:
— Copiloto.
Doctor:
— E de onde vieram os dados dos três?
Silêncio.
Nosso jovem:
— Mesma telemetria.
Doctor sorri.
Pega um marcador.
Escreve:
AUTOMATION
↓
RECOMMENDATION
↓
HUMAN TRUST
↓
REDUCED INDEPENDENT CHECKING
↓
ERROR PROPAGATES
E acima:
AUTOMATION BIAS
Ou:
Viés da Automação.
Em linguagem Bellacosa:
é quando passamos a confiar excessivamente em sistemas automatizados, recomendações algorítmicas, alertas, dashboards ou copilotos — a ponto de reduzir nossa própria verificação crítica, mesmo quando a automação pode estar errada, incompleta ou interpretando mal o contexto.
🧠 O que é Automation Bias?
Automation Bias é a tendência de:
dar peso excessivo
a:
sistemas automáticos;
recomendações;
alertas;
algoritmos;
diagnósticos;
assistentes;
copilotos;
scores;
classificadores;
runbooks automáticos.
Especialmente quando:
eles parecem:
objetivos,
precisos,
rápidos,
consistentes
ou:
“mais inteligentes” do que nós.
☕ Definição Bellacosa
Automation Bias é quando o botão “Recommended” começa a falar mais alto do que a evidência.
💻 COBOL cognitivo
Imagine:
IF AI-RECOMMENDATION = 'DB2'
MOVE 'DB2'
TO ROOT-CAUSE
END-IF.
Isso é:
péssimo.
Versão melhor:
IF AI-RECOMMENDATION = 'DB2'
PERFORM VALIDATE-DB2-HYPOTHESIS
PERFORM CHECK-CONTRADICTORY-EVIDENCE
PERFORM CHECK-INDEPENDENT-SIGNALS
END-IF.
A ferramenta:
ajuda.
Não:
decreta.
🧠 O problema não é automação
Isso precisa:
ficar muito claro.
Automação:
é fantástica.
Ela:
reduz trabalho repetitivo;
detecta padrões;
responde rápido;
padroniza processos;
reduz erro humano;
escala análise;
ajuda troubleshooting;
automatiza rollback;
aplica políticas;
observa sistemas 24×7.
O problema nasce quando:
assistência vira autoridade epistemológica.
Ou seja:
“a máquina disse”
passa a significar:
“a realidade confirmou.”
👻 Easter Egg nº 1 — Dalek Copilot
Dalek:
— AI SAYS TARGET IS HUMAN.
Doctor:
— E você verificou?
— CONFIDENCE 96%.
— Como foi treinado?
— CLASSIFIED.
— Qual taxa de falso positivo?
— UNKNOWN.
— Qual foi o input?
— THERMAL SIGNATURE.
Doctor:
— Aquilo é uma cafeteira.
Dalek:
— CONFIDENCE REMAINS 96%.
Doctor:
— Maravilhoso.
🧠 Automation Bias e confiança
Humanos tendem a:
transferir confiança
para sistemas
quando percebem:
consistência.
Se ferramenta acerta:
muitas vezes,
começamos a:
parar de conferir.
Esse é:
um dos paradoxos mais perigosos.
☕ Quanto melhor a automação parece,
mais perigoso pode ficar:
o raro momento
em que ela erra.
🎯 Pergunta Bellacosa nº 1
“Estamos verificando menos justamente porque a ferramenta costuma acertar?”
🧠 Complacência da automação
Automation complacency:
é conceito relacionado.
Depois de:
muitas decisões corretas,
atenção humana:
cai.
Sistema:
vira:
piloto automático cognitivo.
🧠 Exemplo
Alerta:
normalmente identifica:
memory pressure.
Nove vezes:
correto.
Na décima:
latência vem:
de rede.
Mas:
ninguém investiga rede.
Porque:
“esse alerta sempre acerta.”
☕ O histórico de acertos
vira:
licença para:
não pensar.
🎯 Pergunta Bellacosa nº 2
“Qual foi a última vez que auditamos uma recomendação que parecia óbvia?”
🧠 Automation Bias e Anchoring Bias
Automação dá:
primeira hipótese.
Essa hipótese:
vira âncora.
LIKELY CAUSE:
DB2
Agora:
todo mundo interpreta:
evidências
ao redor:
de Db2.
🧠 Depois vem Confirmation Bias
Locks encontrados?
— Viu?
Db2.
Mas locks podem ser:
efeito.
Ou:
normais.
☕ Automação pode:
instalar a âncora
antes mesmo:
do primeiro humano falar.
🎯 Pergunta Bellacosa nº 3
“Se a ferramenta não tivesse mostrado essa hipótese, investigaríamos o sistema da mesma maneira?”
🧠 Automation Bias e Diagnosis Momentum
Primeiro:
copiloto diz:
Db2.
Ticket:
ganha:
“DB2 issue.”
Handoff:
repete.
Vendor:
recebe:
“DB2 incident.”
Agora:
hipótese automatizada
virou:
diagnóstico social.
☕ A máquina plantou.
A organização:
adubou.
🎯 Pergunta Bellacosa nº 4
“A recomendação automatizada está sendo retransmitida como hipótese ou como fato?”
🧠 Automation Bias e Premature Closure
Ferramenta:
entrega:
“root cause.”
Team:
para investigação.
Porque:
resposta já existe.
🎯 Pergunta Bellacosa nº 5
“A automação está encerrando a busca antes de termos evidência causal suficiente?”
🧠 Search Satisfaction
Achamos:
uma explicação.
Mesmo:
automatizada.
Busca:
encerra.
Outra falha:
permanece.
🧠 Automation Bias e Streetlight Effect
Automação:
só vê:
dados disponíveis.
Se sistema não instrumenta:
alguma área,
ela:
não vê.
Mas recomendação:
parece:
global.
☕ Um copiloto não enxerga:
o que não entrou:
no contexto.
Parece óbvio.
Mas:
esquecemos.
🎯 Pergunta Bellacosa nº 6
“Quais partes do sistema estão invisíveis para a automação?”
🧠 Isto é gigantesco em observabilidade
Copiloto recebe:
logs;
metrics;
traces.
Mas talvez:
não receba:
mudança manual;
evento externo;
sistema legado;
arquivo batch;
dados de negócio;
conversation context;
mainframe SMF específico.
Então:
o universo dele:
é menor que:
o universo real.
☕ A IA não está:
“vendo o incidente.”
Está vendo:
a representação do incidente que conseguimos enviar para ela.
🎯 Pergunta Bellacosa nº 7
“Estamos confundindo o modelo do sistema com o sistema?”
🧠 Automation Bias e McNamara Fallacy
Automação ama:
o mensurável.
CPU.
Latency.
Error.
Queue.
Mas:
contexto tácito?
Cliente específico?
Mudança operacional?
Conhecimento do veterano?
Talvez:
não.
🧠 Metric Fixation
Dashboard:
green.
Copilot:
“healthy.”
User:
cannot pay.
Reality:
disagrees.
☕ A máquina pode:
estar perfeitamente correta
sobre:
as métricas
e:
totalmente errada
sobre:
o serviço.
🎯 Pergunta Bellacosa nº 8
“A automação está medindo o objetivo real ou proxies?”
🧠 Goodhart’s Law
Se o sistema automatizado:
otimiza:
KPI,
ele pode:
melhorar:
KPI
sem:
melhorar:
resultado.
🧠 Campbell’s Law
Se:
score automatizado
vira:
base de:
recompensa,
punição
ou:
controle,
people:
adaptam.
Agora:
automação avalia:
mundo já adaptado:
à métrica.
Loop.
☕ O algoritmo:
mede.
A organização:
aprende a parecer boa.
O algoritmo:
confirma que está boa.
Lindo.
Até:
cliente reclamar.
🎯 Pergunta Bellacosa nº 9
“A automação está observando comportamento natural ou comportamento já moldado pelo próprio sistema de medição?”
🧠 Automation Bias e Default Effect
UI mostra:
RECOMMENDED ACTION:
RESTART
Botão destacado.
Default cognitive.
Usuário:
click.
☕ Recommended
é:
quase:
VALUE 'Y'.
🎯 Pergunta Bellacosa nº 10
“A interface torna a recomendação automatizada mais fácil de executar do que de questionar?”
🧠 Choice Architecture
Se botão:
“Execute Recommendation”
é grande,
e:
“Investigate Alternative”
fica:
escondido,
design:
vota.
🧠 Automation Bias + Default Effect
Combinação fortíssima.
🎯 Pergunta Bellacosa nº 11
“O humano está realmente decidindo ou apenas confirmando o default proposto pela máquina?”
🧠 Rubber stamping
Isso é:
perigo clássico.
Human-in-the-loop
vira:
human-as-checkbox.
☕ Ter humano no fluxo
não significa:
ter julgamento humano.
🧠 Human-in-the-loop Theater
Tela:
AI RECOMMENDS DELETE.
[APPROVE]
Humano:
sempre approve.
Tecnicamente:
tem HITL.
Na prática:
autopilot com:
dedo humano.
🎯 Pergunta Bellacosa nº 12
“O humano possui informação, tempo e autoridade suficientes para discordar?”
🧠 Isso é fundamental
Para revisão humana funcionar:
humano precisa:
entender;
ter alternativa;
ter evidência;
ter tempo;
não sofrer punição por discordar.
🧠 Authority Gradient invertido
Curioso:
antes,
júnior não desafia senior.
Agora:
humano não desafia:
algoritmo.
☕ A máquina ganhou:
cargo.
Sem:
RH.
🎯 Pergunta Bellacosa nº 13
“Existe custo social ou operacional para discordar da automação?”
🧠 Exemplo
Copilot diz:
rollback.
Analista discorda.
Se der errado:
“por que ignorou a IA?”
Então:
próxima vez:
segue.
Isso:
cria:
automation deference.
🧠 Hindsight Bias reforça
Se IA estava certa:
“deveria ter seguido.”
Se errada mas humano seguiu:
“ferramenta falhou.”
Responsabilidade:
assimétrica.
🎯 Pergunta Bellacosa nº 14
“Quem é responsabilizado quando humano segue uma recomendação errada versus quando rejeita uma recomendação correta?”
🧠 Incentivos importam
Se punição:
por discordância
é maior,
humano:
vira:
executor.
🧠 Automation Bias e Action Bias
Perfeita combinação.
Sistema detecta:
problema.
Sugere:
ação.
Humano sente:
pressão.
Executa.
☕ Antes:
Action Bias dizia:
“faz alguma coisa.”
Agora:
Automation Bias responde:
“já escolhi o que você deve fazer.”
🎯 Pergunta Bellacosa nº 15
“A recomendação está reduzindo reflexão exatamente quando a urgência já nos empurra para agir?”
🧠 Action Bias automatizado
Agent:
observa;
decide;
executa.
Sem:
review.
Erro:
escala.
🧠 Machines act faster
Isso importa.
Erro humano:
um comando.
Automation error:
mil comandos.
☕ Automação não:
remove erro.
Ela pode:
multiplicar:
a velocidade dele.
🎯 Pergunta Bellacosa nº 16
“Qual é o blast radius máximo de uma recomendação errada?”
🧠 Blast radius e automation
Se auto remediation:
restart one pod:
fine.
Restart all regions:
hmm.
Delete data:
not.
🧠 Least Authority
Automação deveria:
ter:
autoridade proporcional:
à confiança,
impacto
e:
reversibilidade.
🎯 Pergunta Bellacosa nº 17
“A automação possui mais poder do que precisa?”
🧠 Least Privilege para agentes
Excelente paralelo com:
RACF.
Agent:
read-only first.
Then:
limited write.
High-impact:
approval.
☕ Não dê:
SPECIAL
para o copiloto
só porque:
fala bonito.
🧠 Automation Bias e secure defaults
Default:
suggest.
Not execute.
For high impact.
🧠 But...
Too restrictive:
Omission Bias.
Time-critical:
need automation.
Balance.
🎯 Pergunta Bellacosa nº 18
“Esse risco exige velocidade automática ou julgamento adicional?”
🧠 Tiered automation
Uma forma madura:
LOW RISK:
AUTO
MEDIUM:
AUTO + NOTIFY
HIGH:
RECOMMEND + HUMAN APPROVAL
CRITICAL/IRREVERSIBLE:
MULTI-PARTY APPROVAL
Context-specific.
☕ Nem tudo merece:
o mesmo nível de autonomia.
🧠 Automation Bias e confidence scores
Aqui mora:
uma cobra.
“Confidence 87%.”
O usuário pensa:
87% de chance:
de estar certo.
Mas:
isso depende:
de como o score foi definido.
🧠 Confiança não significa automaticamente probabilidade calibrada
Muito importante.
Pode ser:
similarity score;
model logit;
ranking;
heuristic;
ensemble score.
🎯 Pergunta Bellacosa nº 19
“O que exatamente significa o número de confiança mostrado?”
🧠 Se ninguém sabe...
Tire:
o percentual
ou:
explique.
☕ Um número:
preciso
com:
semântica vaga
é:
autoridade decorativa.
🧠 Framing Effect
“87% confidence”
parece:
forte.
“13% chance of being wrong”
soa:
diferente.
Mesmo que:
calibrado.
🎯 Pergunta Bellacosa nº 20
“Como nossa decisão muda se apresentarmos também a possibilidade de erro?”
🧠 Automation Bias e Loss Aversion
Machine recommends:
rollback.
Human fears:
loss.
Could:
reject.
Ou:
machine recommends:
continue.
Human fears:
loss of deployment.
Could:
follow.
Biases:
interact.
🧠 Não existe máquina:
em vácuo psicológico
Humano:
interpreta:
a saída.
🎯 Pergunta Bellacosa nº 21
“A recomendação automatizada está sendo recebida num contexto de ganho, perda ou pressão?”
🧠 Automation Bias e Status Quo Bias
Automation can:
entrench:
current process.
If automated rule says:
default:
current architecture.
Humans:
stop reviewing.
🧠 “The system does it this way.”
Classic.
Why?
“Because automation.”
☕ Processo automatizado
pode:
virar:
tradição
mais rápido que:
processo manual.
🎯 Pergunta Bellacosa nº 22
“Automatizamos uma boa decisão ou congelamos uma decisão antiga?”
🧠 Cultural Debt automático
Default rule:
from 2018.
Still:
executing.
No owner.
No review.
Automation:
faithfully perpetuates:
history.
☕ Computador é:
excelente em:
repetir:
decisões antigas
com velocidade impressionante.
🎯 Pergunta Bellacosa nº 23
“Quando essa regra automatizada foi revisada pela última vez?”
🧠 Automation Bias e Normalization of Deviance
Automation tolerates:
warning.
Repeatedly.
No incident.
Humans:
trust.
Eventually:
warning normal.
🧠 Worse:
automation suppresses:
alert.
Now:
deviation invisible.
🎯 Pergunta Bellacosa nº 24
“A automação está apenas reduzindo ruído ou ocultando sinais que deveríamos reaprender a observar?”
🧠 Alert suppression
Useful.
Dangerous.
Need:
audit.
🧠 Automation Bias e Alarm Fatigue
Too many alerts:
humans ignore.
Then:
automate prioritization.
Good.
But:
if prioritizer wrong,
critical alert:
buried.
☕ Resolver Alarm Fatigue
com:
algoritmo
pode:
criar:
Blindness as a Service.
🎯 Pergunta Bellacosa nº 25
“Como detectamos quando o classificador de alertas começa a errar?”
🧠 Monitoring the monitor
Huge.
Automated systems need:
observability.
🧠 Meta-monitoring
Accuracy.
Drift.
False positive.
False negative.
Override rates.
☕ Quem vigia:
o vigia?
Em 2026:
provavelmente:
outro dashboard.
E aí:
começa a piada.
👻 Easter Egg nº 2 — Observabilidade Infinita
AI-1:
— SYSTEM HEALTHY.
AI-2:
— AI-1 HEALTHY.
AI-3:
— AI-2 HEALTHY.
Doctor:
— E quem observa produção?
Silêncio.
Dalek:
— OUT OF SCOPE.
🧠 Automation Bias e correlated failure
No exemplo inicial:
dashboard,
alert,
copilot.
Pareciam:
três confirmações.
Mas:
mesma fonte.
🧠 Correlated evidence
Isso é:
crítico.
Três sistemas podem:
errar juntos
porque:
compartilham:
data source;
model;
rule;
vendor;
assumption.
☕ Três luzes verdes
alimentadas:
pelo mesmo sensor
não são:
três opiniões.
🎯 Pergunta Bellacosa nº 26
“Esses sinais são realmente independentes?”
🧠 Redundancy isn't independence
Muito importante em:
resiliência.
Dois monitors:
same backend.
Two AI tools:
same underlying model.
Two reports:
same dataset.
Not:
independent.
🎯 Pergunta Bellacosa nº 27
“Qual falha comum pode enganar todas as nossas automações ao mesmo tempo?”
🧠 Common Mode Failure
Aqui entra:
engenharia de confiabilidade.
Automação:
não elimina:
common mode.
☕ Dois copilotos
com:
o mesmo cérebro
não são:
um debate.
São:
eco.
🧠 Automation Bias e AI ensembles
Mesmo diferentes models:
may share:
training patterns,
data,
retrieval.
Still:
correlated.
Need:
independent evidence.
🧠 Human expertise can provide diverse model
Not:
automatically better.
But:
different.
🎯 Pergunta Bellacosa nº 28
“A validação humana acrescenta uma fonte de informação nova ou apenas lê o mesmo dashboard?”
🧠 Isso é enorme
Human-in-the-loop:
não serve
se humano:
vê:
só:
output do modelo.
Need:
raw evidence.
☕ Revisão humana sem acesso:
à evidência
é:
revisão de PowerPoint.
🧠 Automation Bias e AI hallucination
Copilot may:
generate plausible explanation.
Especially:
when data incomplete.
Because:
language:
confident.
🧠 Narrative fluency
Humans:
trust coherent story.
Narrative Bias + Automation Bias.
☕ Uma explicação:
bem escrita
não:
se torna:
bem provada.
🎯 Pergunta Bellacosa nº 29
“A recomendação está sustentada por evidência verificável ou apenas por narrativa coerente?”
🧠 Citation/provenance
Systems should:
show:
why.
Evidence.
Source.
Timestamp.
🧠 Good AI incident copilot
Not:
“Db2 is root cause.”
Better:
HYPOTHESIS:
DB2 lock contention
SUPPORTING EVIDENCE:
- lock waits increased at 03:39
- affected transactions use TABLE-X
CONTRADICTORY:
- non-DB2 path also degraded
CONFIDENCE:
LOW/MEDIUM
NEXT CHECK:
network latency
Much better.
☕ IA madura:
mostra:
dúvida.
Não apenas:
resposta.
🎯 Pergunta Bellacosa nº 30
“A automação exibe evidências contrárias à própria recomendação?”
🧠 That's a great design.
🧠 Automation Bias e Confirmation Bias again
If AI shows:
only supporting evidence,
human:
confirms.
Need:
counterevidence.
🧠 AI should maybe:
steelman alternatives.
🎯 Pergunta Bellacosa nº 31
“A ferramenta apresenta pelo menos uma hipótese alternativa plausível?”
🧠 Automation Bias e uncertainty
Humans need:
understand:
unknowns.
🧠 “I don't know” feature
Good.
Abstention.
☕ Uma IA que sabe:
dizer:
“evidência insuficiente”
pode ser:
mais útil
que:
uma que sempre tem resposta.
🎯 Pergunta Bellacosa nº 32
“A automação pode se abster?”
🧠 Critical.
If system must:
always answer,
it may:
fabricate certainty.
🧠 Automation Bias e Action Bias with no abstention
Terrible:
always recommendation + button.
🧠 Agentic systems
Need:
states:
ACT;
ASK;
WAIT;
ESCALATE;
ABSTAIN.
🎯 Pergunta Bellacosa nº 33
“O agente sabe quando pedir ajuda em vez de continuar?”
🧠 Plan Continuation Bias em agentes
AI creates:
plan.
Then:
keeps.
Environment:
changes.
If no:
replan,
automation bias:
humans trust.
🧠 Agent says:
“Step 4.”
Human:
continues.
Even if:
step 2 failed.
☕ Plano automatizado
pode ganhar:
autoridade só porque:
foi estruturado em bullets.
🎯 Pergunta Bellacosa nº 34
“A automação revalida suas premissas entre etapas?”
🧠 Escalation of Commitment em automação
Retry.
More retries.
Scale.
More resources.
Same assumption.
🧠 Algorithmic stubbornness
Machines don't feel:
ego.
But loops:
can behave:
like:
teimosia.
🎯 Pergunta Bellacosa nº 35
“A automação aumenta esforço quando falha ou atualiza a estratégia?”
🧠 Sunk Cost analogy
Tokens.
Compute.
API calls.
Not psychological sunk cost.
But:
workflow may keep:
investing.
🧠 Need budgets
Max retries.
Cost threshold.
Time.
🎯 Pergunta Bellacosa nº 36
“Existe orçamento de ação antes de exigir replanning?”
🧠 Automation Bias e rollback
Automatic rollback:
great.
But:
trigger bug:
rollback healthy deployment.
Human:
trusts.
Could:
cause:
oscillation.
🧠 Auto-remediation loops
Deploy.
Metric spike.
Rollback.
Metric resets.
Deploy again.
Loop.
☕ Automação consegue:
entrar em War Room
sem:
nenhum humano acordado.
🎯 Pergunta Bellacosa nº 37
“A automação possui hysteresis, cooldown e limites contra oscillation?”
🧠 This is technical gold.
🧠 Automation Bias e retry storms
Already:
Action Bias.
Now:
automatic.
Request fails.
Retry.
Retry.
Retry.
Humans:
trust policy.
System:
melts.
🎯 Pergunta Bellacosa nº 38
“O default automatizado foi testado em condições de falha sistêmica?”
🧠 Automation Bias e autoscaling
CPU high.
Autoscaler:
adds nodes.
Cause:
infinite loop.
More nodes:
more cost.
Maybe:
more damage.
☕ Autoscaling
não:
corrige:
algoritmo ruim.
Só dá:
mais palco.
🎯 Pergunta Bellacosa nº 39
“A automação está tratando sintoma ou causa?”
🧠 Automation Bias e security
SOAR:
blocks account.
False positive.
User:
executive.
Business stops.
But:
analyst trusts:
automation.
🧠 Or worse:
system says:
low risk.
Analyst ignores:
real attack.
Two forms:
commission error and omission error.
🧠 Automation Bias has two classic patterns
Commission error — follow incorrect automated recommendation.
Omission error — fail to act because automation failed to alert.
This connects beautifully:
Action Bias
and:
Omission Bias.
☕ A automação pode:
mandar você fazer:
o errado.
Ou:
deixar de avisar
e fazer você:
não fazer:
o necessário.
🎯 Pergunta Bellacosa nº 40
“Estamos preparados tanto para falso positivo quanto para falso negativo?”
🧠 Automation Bias e Omission Bias
If no alert:
human assumes:
safe.
Huge.
🧠 Absence of automated warning
becomes:
evidence of absence.
But maybe:
monitor failed.
☕ “Não alarmou”
não significa:
“não existe problema.”
🎯 Pergunta Bellacosa nº 41
“Como sabemos que o silêncio da automação significa normalidade e não falha da própria automação?”
🧠 Health checks for monitors
Heartbeat.
Watchdog.
Independent monitor.
🧠 Monitoring blind spots
Alert pipeline down.
No alerts.
Looks:
peaceful.
☕ O dashboard mais verde
pode ser:
aquele que:
parou de receber dados.
🎯 Pergunta Bellacosa nº 42
“O verde significa bom estado ou ausência de telemetria?”
🧠 This is classic.
Need:
data freshness.
🧠 Automation Bias e Status Quo
Automated status:
green.
No one investigates.
Status quo.
🧠 Automation Bias e Normalcy Bias
System says:
normal.
Human:
wants believe:
normal.
Biases reinforce.
☕ O algoritmo diz:
“tudo bem.”
O cérebro responde:
“ufa.”
Esse “ufa”
é:
perigoso.
🎯 Pergunta Bellacosa nº 43
“Estamos aceitando a indicação de normalidade porque ela coincide com aquilo que queremos acreditar?”
🧠 Automation Bias e Alarm Fatigue
If automation over-alerts:
humans distrust.
If under-alerts:
humans overtrust silence.
Calibration:
hard.
🧠 Trust calibration
Central concept.
Goal:
not:
maximum trust.
Goal:
appropriate trust.
☕ Automação boa
não precisa:
ser amada.
Precisa:
ser confiada:
na medida correta.
🎯 Pergunta Bellacosa nº 44
“Nossa confiança na ferramenta corresponde à sua performance real?”
🧠 Calibrated trust
Track:
accuracy by scenario.
Not:
global.
🧠 Model may be great:
common incidents.
Poor:
rare edge cases.
🎯 Pergunta Bellacosa nº 45
“Em quais cenários a automação historicamente erra mais?”
🧠 Edge cases
Critical systems often:
fail in:
rare conditions.
Exactly:
where model least data.
☕ O evento que mais precisamos:
resolver
pode ser:
o evento que:
menos apareceu:
no treinamento.
🧠 Automation Bias e Survivorship Bias
Training:
successful known cases.
Missing:
unobserved failures.
Could:
bias.
🧠 Base Rate Neglect
AI recommends:
rare cause
because:
pattern similarity.
Human:
trusts.
But:
base rates:
matter.
🎯 Pergunta Bellacosa nº 46
“A recomendação considera frequência histórica ou apenas semelhança com o caso atual?”
🧠 Bayesian thinking
AI hypothesis:
should:
combine:
prior probability
and:
evidence.
Human too.
☕ Sysprog Bayesiano
não:
entrega cérebro
para:
score.
Ele:
atualiza.
🧠 Automation Bias e model drift
System changes.
Model:
trained on old behavior.
Predictions:
degrade.
But:
humans:
continue trusting.
🎯 Pergunta Bellacosa nº 47
“A automação foi validada no sistema atual ou num passado que já não existe?”
🧠 Drift
Data.
Architecture.
Traffic.
Business.
Version.
🧠 Defaults and stale thresholds
Automation rules:
old.
Same issue.
☕ Algoritmo também:
envelhece.
Mesmo:
sem rugas.
🧠 Automation Bias e feedback loops
AI classifies:
ticket as Db2.
Db2 team confirms/labels:
Db2.
Data returns:
training.
Model learns:
Db2.
Potential:
self-reinforcement.
🧠 Label leakage / feedback
Interesting.
🎯 Pergunta Bellacosa nº 48
“A saída da automação influencia os rótulos usados depois para treiná-la?”
🧠 If yes...
possible feedback bias.
🧠 Automation Bias e Campbell again
Automated score:
becomes target.
People optimize.
Model data:
changes.
🧠 Automation Bias e audits
Need:
sample:
decisions followed;
overrides;
errors;
near misses.
☕ Não audite apenas:
quando IA erra.
Audite também:
quando todos obedecem
e:
nada explode.
🎯 Pergunta Bellacosa nº 49
“Estamos revisando amostras de decisões automatizadas aparentemente corretas?”
🧠 Great quality assurance.
🧠 Automation Bias e shadow automation
Excel macro.
Script.
Cron.
Legacy rule.
Not just AI.
Important.
Automation Bias existed:
long before LLMs.
☕ O primeiro “copiloto”
talvez tenha sido:
um REXX que alguém escreveu em 1998
e:
ninguém mais sabe:
por quê.
🧠 Runbook automation
Script outputs:
“OK.”
People:
trust.
Maybe:
script bug.
🎯 Pergunta Bellacosa nº 50
“Estamos confiando mais porque é IA ou já fazíamos isso com scripts e dashboards?”
🧠 Yes.
This isn't:
an AI-only problem.
🧠 Automation Bias em COBOL batch
Job control:
step returns:
RC=0.
Operations:
green.
But:
business reconciliation:
wrong.
RC zero:
automation signal.
People:
trust.
☕ RC=0
significa:
programa terminou conforme:
seus próprios critérios.
Não:
que o mundo:
está correto.
🎯 Pergunta Bellacosa nº 51
“O sucesso técnico automatizado equivale a sucesso de negócio?”
🧠 JCL classic
Job:
MAXCC=0.
Files:
generated.
But:
zero records.
Still:
green.
Need:
business controls.
🧠 Automation Bias e batch scheduler
Scheduler:
completed.
Dashboard:
green.
Business:
missing.
☕ Scheduler sabe:
se job terminou.
Não necessariamente:
se faturamento:
faz sentido.
🎯 Pergunta Bellacosa nº 52
“Qual validação humana ou de negócio complementa o status técnico?”
🧠 Reconciliation
Critical.
Automate too.
But:
independent.
🧠 Automation Bias e independent controls
One automated system:
produces output.
Another:
independent validation.
Better.
☕ Automação contra automação
pode ser ótima,
desde que:
não sejam:
gêmeos compartilhando:
a mesma hipótese.
🎯 Pergunta Bellacosa nº 53
“O controle independente usa fonte e lógica diferentes?”
🧠 Defence in depth
Applies.
🧠 Automation Bias e auto-approval
CI pipeline:
tests pass.
Auto deploy.
Good.
But:
coverage weak.
Pipeline green.
Automation Bias.
🎯 Pergunta Bellacosa nº 54
“Estamos confiando no pipeline porque ele testa o necessário ou porque ele está verde?”
🧠 Metric Fixation again.
🧠 Testing automation paradox
Automated tests:
great.
But:
people stop:
exploratory testing.
Could miss:
unknowns.
☕ Test automation
reduz:
trabalho repetitivo.
Não:
elimina:
curiosidade.
🎯 Pergunta Bellacosa nº 55
“Que tipos de falha nossos testes automatizados não foram desenhados para detectar?”
🧠 Static analysis
No finding.
Not:
proof safe.
🧠 Security scanners
Same.
No vulnerability detected:
not:
no vulnerability.
🎯 Pergunta Bellacosa nº 56
“Estamos tratando ausência de detecção como prova de ausência?”
🧠 Omission error again.
🧠 Automation Bias e vulnerability scoring
Score:
low.
Ignore.
But:
business context:
critical.
Automated CVSS-like or prioritization:
not enough.
☕ Vulnerabilidade “média”
num sistema:
que move:
bilhões
pode:
merecer:
uma conversa.
🎯 Pergunta Bellacosa nº 57
“O score conhece o contexto de negócio?”
🧠 Automation Bias e fraud models
Model:
low risk.
Transaction:
passes.
Fraud.
Human:
never sees.
Good automation:
handles scale.
But:
edge cases.
🧠 Need escalation bands.
🎯 Pergunta Bellacosa nº 58
“Quais casos precisam obrigatoriamente sair do fluxo automático?”
🧠 Automation Bias e governance
Define:
automation authority matrix.
🧠 Bellacosa Automation Authority Matrix
ACTION MODE
-------------------------------------------
READ LOG AUTO
CORRELATE METRICS AUTO
SUGGEST ROOT CAUSE AUTO + LABEL HYPOTHESIS
CHANGE FEATURE FLAG HUMAN APPROVAL
RESTART SERVICE HUMAN APPROVAL
FAILOVER REGION TWO-PERSON APPROVAL
DELETE DATA NEVER FULLY AUTOMATIC
Example only.
Context:
matters.
☕ Autonomia deveria:
crescer
junto com:
reversibilidade
e:
evidência.
Não:
com entusiasmo do fornecedor.
🎯 Pergunta Bellacosa nº 59
“Qual ação esta automação jamais deveria executar sozinha?”
🧠 Great governance question.
🧠 Automation Bias e explainability
Explainability:
not magic.
Explanation can:
also persuade wrongly.
🧠 “Why” generated by same model
may:
rationalize.
Need:
source evidence.
☕ Explicação automática
não é:
auditoria automática.
🎯 Pergunta Bellacosa nº 60
“A explicação mostra evidência verificável ou apenas uma justificativa textual?”
🧠 Provenance
Where:
data came.
When.
Quality.
🧠 RAG context
AI recommendation may:
use:
old runbook.
Stale docs.
Then:
confident.
🎯 Pergunta Bellacosa nº 61
“A automação sabe a idade e a validade de suas fontes?”
🧠 Temporal context
Important.
🧠 Automation Bias e stale knowledge
Runbook:
System:
AI retrieves:
old.
Human:
trusts.
☕ IA com documento velho
é:
veterano confiante
que faltou:
sete anos de change management.
🧠 Retrieval ranking
Top result:
not:
truth.
🎯 Pergunta Bellacosa nº 62
“A fonte mais relevante semanticamente também é a mais válida operacionalmente?”
🧠 Excellent for RAG.
🧠 Automation Bias e permissions
AI may not have:
access:
to certain logs.
Then:
partial picture.
Need:
visible limitation.
🎯 Pergunta Bellacosa nº 63
“Quais dados o copiloto não pôde acessar?”
🧠 Absence of data should:
reduce confidence.
🧠 Automation Bias e privilege boundaries
Sometimes:
security restricts AI.
Good.
But:
users:
assume full context.
Need:
disclosure.
☕ Uma IA parcialmente cega
não deveria:
falar como:
oráculo.
🧠 Automation Bias e UI wording
Bad:
“Root Cause: Db2”
Better:
“Suggested Hypothesis: Db2 — unconfirmed”
Words:
matter.
Framing.
🎯 Pergunta Bellacosa nº 64
“A interface distingue claramente sugestão, inferência e fato confirmado?”
🧠 Great.
🧠 Confidence labels
Could use:
Low/medium/high
with:
calibration.
But:
still.
🧠 Automation Bias e loss of skill
Another huge issue.
If automation:
does:
everything,
humans:
practice less.
Then:
when automation fails,
human:
weaker.
☕ Automação excelente
pode:
produzir:
operador enferrujado.
🧠 Deskilling
Important.
Pilots/automation contexts have:
long discussed:
skill degradation.
In IT too.
🎯 Pergunta Bellacosa nº 65
“A equipe ainda consegue operar quando a automação está indisponível?”
🧠 Runbook manual fallback
Need:
practice.
🧠 AI coding copilots
Developer:
accepts.
Less:
learn.
When weird bug:
struggles.
🎯 Pergunta Bellacosa nº 66
“Estamos usando a automação para aumentar capacidade ou substituir compreensão?”
🧠 This is central for junior programmer.
☕ Copiloto bom
faz você:
chegar mais longe.
Copiloto ruim
faz você:
esquecer:
como dirigir.
🧠 Training new COBOL programmers
If AI explains:
every error,
junior:
could skip:
dump reading.
Danger.
Use AI:
mentor,
not:
oracle.
🎯 Pergunta Bellacosa nº 67
“O iniciante consegue reproduzir o raciocínio sem a ferramenta?”
🧠 Great educational principle.
🧠 Automation Bias e copy-paste coding
AI suggests:
COBOL.
Compiles.
Junior:
ships.
But:
PIC mismatch,
COMP-3,
REDEFINES,
file semantics.
Need:
understand.
☕ Compilar
não:
é:
compreender.
🎯 Pergunta Bellacosa nº 68
“Conseguimos explicar por que esse código está correto?”
🧠 Automation Bias e test passing
AI code:
tests pass.
But:
tests incomplete.
Again.
🧠 Automation Bias and invisible assumptions
Models:
don't always state:
assumptions.
Need:
prompt:
“list assumptions.”
🎯 Pergunta Bellacosa nº 69
“Quais premissas a automação está assumindo silenciosamente?”
🧠 This is one of best.
🧠 Bellacosa AI review routine
When AI recommends:
ask:
What evidence?
What assumptions?
What contradicts?
What alternatives?
What data missing?
What confidence semantics?
What blast radius?
What rollback?
☕ Não pergunte só:
“qual resposta?”
Pergunte:
“qual estrutura de decisão produziu essa resposta?”
🧠 Automation Bias e trust calibration through exercises
Run drills where:
automation intentionally wrong.
Humans:
must detect.
Useful.
🧠 Surprise automation failures
Training.
🎯 Pergunta Bellacosa nº 70
“A equipe já treinou discordar da automação?”
🧠 Great.
If never:
when real error:
hard.
🧠 Automation Bias and challenge culture
Could have:
“automation challenger” role.
Like:
devil's advocate.
☕ Às vezes precisamos:
de alguém na War Room
cuja função seja:
perguntar:
“E se o robô estiver errado?”
🎯 Pergunta Bellacosa nº 71
“Existe alguém responsável por procurar evidência contra a recomendação automática?”
🧠 Automation Bias e ensemble of humans
Different expertise.
DBA.
Network.
App.
Business.
Compare.
🧠 Human diversity as fault tolerance
Nice.
🎯 Pergunta Bellacosa nº 72
“A decisão inclui perspectivas independentes ou apenas confirmações da mesma hipótese?”
🧠 Automation Bias e Action Log
Record:
recommendation;
human decision;
reason.
Important.
🧠 Override logs
Not to punish.
To learn.
Why humans override?
Who was right?
🎯 Pergunta Bellacosa nº 73
“Estamos medindo quando humanos discordam da automação e o que acontece depois?”
🧠 This helps calibration.
🧠 Automation Bias e over-override
Opposite:
Algorithm Aversion.
Humans may:
distrust automation
after one visible error.
Related but opposite.
☕ Interessante:
um único erro do humano:
“acontece.”
Um único erro do algoritmo:
“essa porcaria não funciona.”
Esse é:
outro capítulo.
🧠 Automation Bias vs Algorithm Aversion
Need balance.
Not:
blind trust.
Not:
blind distrust.
🎯 Pergunta Bellacosa nº 74
“Estamos avaliando a automação por performance agregada ou reagindo emocionalmente ao último erro?”
🧠 Recency Bias enters.
🧠 Automation Bias e comparison baseline
Don't compare:
AI perfection
versus:
human ideal.
Compare:
AI actual
versus:
human actual
and:
hybrid actual.
☕ A pergunta não é:
“IA erra?”
Claro.
A pergunta é:
“qual arranjo erra menos, detecta melhor e limita mais o dano?”
🎯 Pergunta Bellacosa nº 75
“Estamos comparando sistemas reais ou caricaturas?”
🧠 Hybrid systems
Human + automation.
Often:
best.
But:
only if roles:
clear.
🧠 Automation Bias and responsibility gap
Who owns:
decision?
Developer?
Vendor?
User?
Manager?
Need:
explicit.
🎯 Pergunta Bellacosa nº 76
“Quem continua responsável pela decisão quando a recomendação veio da máquina?”
🧠 Critical.
“AI said so”
not:
accountability transfer.
☕ Copiloto não:
assina:
postmortem.
🧠 Automation Bias e vendor blame
System recommendation:
wrong.
Team:
“vendor.”
But:
governance allowed execution.
Need:
shared analysis.
🧠 Automation Bias e safety culture
Need:
permission to:
pause automation.
Kill switch.
🎯 Pergunta Bellacosa nº 77
“Conseguimos desligar a automação rapidamente quando desconfiamos dela?”
🧠 Manual override
Should be:
available
and:
tested.
🧠 But manual override itself:
risk.
Need:
auth.
☕ Botão:
MANUAL
que nunca foi testado
é:
fan fiction operacional.
🎯 Pergunta Bellacosa nº 78
“O modo manual funciona de verdade ou existe apenas no desenho?”
🧠 Automation Bias e failover
Auto failover:
great.
But split-brain risk.
Need:
fencing.
Systems engineering.
🎯 Pergunta Bellacosa nº 79
“Que proteção impede duas automações corretas localmente de criarem um estado global errado?”
🧠 This is deep.
🧠 Distributed systems
Automation can:
race.
Controllers fight.
One scales up.
Another scales down.
One reroutes.
Another heals.
☕ Microservices também:
podem:
discordar
sem:
reunião.
🧠 Control loops
Need:
coordination.
🎯 Pergunta Bellacosa nº 80
“Temos múltiplos control loops atuando sobre a mesma variável?”
🧠 Automation Bias and emergent behavior
Humans trust:
each automation individually.
Together:
weird.
🧠 Systems thinking
Critical.
🧠 Automation Bias e runbook codification
When human runbook:
automated,
implicit assumptions:
become:
code.
Then:
forgotten.
🎯 Pergunta Bellacosa nº 81
“Que julgamento humano original foi perdido quando transformamos o runbook em script?”
🧠 Nice.
🧠 Automation Bias e exception handling
Human recognizes:
“this case weird.”
Automation:
rule.
Need:
escape.
🧠 Exception funnel
If anomaly:
escalate.
🎯 Pergunta Bellacosa nº 82
“A automação sabe reconhecer casos fora de distribuição?”
🧠 Out-of-distribution
AI critical.
☕ O problema raro
que nunca apareceu:
é justamente:
onde:
“87% confidence”
deveria:
dar um pouco de medo.
🧠 Automation Bias e data quality
Garbage in.
Confidence out.
Need:
input quality.
🎯 Pergunta Bellacosa nº 83
“A ferramenta mostra qualidade e frescor dos dados usados?”
🧠 Great UI feature.
🧠 Sensor drift
Metrics wrong.
Automation:
trusts.
Humans:
trust automation.
Chain.
☕ Sensor mentiu.
Algoritmo acreditou.
Humano acreditou no algoritmo.
Três níveis de confiança.
Zero realidade.
🎯 Pergunta Bellacosa nº 84
“Temos validação independente para sensores críticos?”
🧠 Automation Bias e cybersecurity telemetry poisoning
Attacker may:
manipulate signals.
Then:
automation misreacts.
This is:
advanced.
Need:
data integrity.
🎯 Pergunta Bellacosa nº 85
“A automação assume que a telemetria é confiável em cenários onde um atacante poderia influenciá-la?”
🧠 Very relevant.
🧠 Automation Bias e adversarial environment
Fraud.
Security.
AI.
Inputs:
not neutral.
☕ Um algoritmo de segurança
precisa:
lembrar
que:
alguns dados:
estão tentando enganá-lo.
🧠 Automation Bias e model confidence under attack
Could:
be confidently wrong.
🧠 Automation Bias and operator fatigue
At 04:00:
human tired.
Automation:
tempting.
Trust:
increases.
🎯 Pergunta Bellacosa nº 86
“Estamos delegando mais julgamento à automação justamente quando a equipe está fatigada demais para revisá-la?”
🧠 Important.
May be necessary.
But:
higher need for:
guardrails.
🧠 Shift handoff
Automation output:
inherits.
Diagnosis Momentum.
🎯 Pergunta Bellacosa nº 87
“O próximo turno recebe a recomendação como fato ou reabre a hipótese?”
🧠 Automation Bias e incident command
IC should:
explicitly label:
automation output.
“Machine hypothesis.”
Good.
🧠 Status board:
FACT.
AI SUGGESTION.
HUMAN HYPOTHESIS.
CONFIRMED.
☕ Não coloque:
“AI Root Cause”
no mesmo campo
de:
“Evidence.”
🎯 Pergunta Bellacosa nº 88
“Nosso sistema de informação separa claramente dado, inferência automatizada e decisão humana?”
🧠 This is excellent governance.
🧠 Automation Bias e postmortem
Ask:
What did automation recommend?
Why?
What data?
Why humans trusted?
Were alternatives shown?
Could error be detected?
🧠 Do not:
“AI failure.”
Too shallow.
🎯 Pergunta Bellacosa nº 89
“Qual característica do sistema tornou racional confiar demais naquela recomendação?”
🧠 Local rationality again.
Maybe:
99% historical accuracy.
No alternative data.
Pressure.
UI.
🧠 Automation Bias e blame
Don't blame:
operator for trusting:
tool designed to look authoritative.
Fix:
design.
☕ Se botão diz:
“RECOMMENDED SAFE ACTION”
não se surpreenda
quando:
alguém acreditar.
🧠 Automation Bias e UX language
Need:
care.
“Suggested.”
“Unverified.”
“Requires confirmation.”
🎯 Pergunta Bellacosa nº 90
“A interface comunica incerteza proporcional ao risco?”
🧠 Great.
🧠 Automation Bias e color
Green suggestion.
Red warning.
Visual framing.
Could:
overweight.
🧠 Confidence visualization
Maybe:
not simple color.
☕ Verde é:
um argumento.
Mesmo:
sem frase.
🧠 Automation Bias e precision
“87.3%”
sounds:
scientific.
Maybe:
false precision.
🎯 Pergunta Bellacosa nº 91
“O número tem precisão maior que a evidência?”
🧠 Nice.
🧠 Automation Bias e auditability
Need:
reproduce:
why.
If recommendation:
cannot reproduce,
hard.
🎯 Pergunta Bellacosa nº 92
“Conseguimos reconstruir por que a automação tomou essa decisão?”
🧠 For deterministic rules:
easy.
AI:
harder.
But:
log context,
model version,
prompt,
sources.
🧠 Versioning
Model changed.
Behavior.
Need:
change management.
🎯 Pergunta Bellacosa nº 93
“Mudança de modelo entra no mesmo rigor de change que mudança de código?”
🧠 Very modern.
☕ Trocar modelo
pode:
mudar decisão
sem:
uma linha de COBOL.
Ainda assim:
é mudança de produção.
🧠 Automation Bias e model upgrades
New model:
better benchmark.
But:
different behavior.
Human trust:
carries from old.
Need:
recalibrate.
🎯 Pergunta Bellacosa nº 94
“Nossa confiança foi herdada da versão anterior?”
🧠 Excellent.
🧠 Automation Bias e agent tools
Agent allowed:
Jira.
Email.
DB.
Shell.
Now:
tool selection.
Humans:
trust.
Need:
scope.
🧠 Agent action logs
What:
tool call.
Why.
Result.
🎯 Pergunta Bellacosa nº 95
“Cada ação automatizada deixa trilha suficiente para auditoria?”
🧠 If no:
bad.
🧠 Automation Bias e opaque chains
Agent calls:
tool A,
then B,
then C.
Human sees:
final.
Need:
summary.
🧠 But not overwhelm
Balance.
☕ Transparência que ninguém consegue ler
também:
não ajuda.
🎯 Pergunta Bellacosa nº 96
“A explicação é compreensível no tempo disponível para decidir?”
🧠 Automation Bias e decision latency
Too much review:
slow.
Too little:
blind.
Tier.
🧠 Automation Bias e confidence thresholds
Auto if:
99?
Not enough.
Need:
impact.
🎯 Pergunta Bellacosa nº 97
“Estamos usando o mesmo threshold de confiança para ações triviais e críticas?”
🧠 Great.
🧠 Risk-weighted automation
LOW IMPACT + REVERSIBLE:
LOWER THRESHOLD
HIGH IMPACT + IRREVERSIBLE:
HIGHER THRESHOLD + HUMAN
☕ 95% para:
ordenar logs
não é:
95% para:
apagar dataset.
🧠 Automation Bias e uncertainty intervals
Maybe:
show:
risk.
🧠 Automation Bias e fallback
If AI unavailable:
what?
Manual.
If:
not trained,
failure.
🎯 Pergunta Bellacosa nº 98
“O sistema degrada graciosamente quando a automação some?”
🧠 Very important.
🧠 Automation Bias e resilience paradox
More automation:
less manual practice.
Then:
automation outage:
bigger.
Need:
manual drills.
☕ O fallback humano
também:
precisa:
de teste de DR.
🧠 Automation Bias e competence
Human role shifts:
from doing
to:
supervising.
Supervision:
different skill.
Need:
training.
🎯 Pergunta Bellacosa nº 99
“Treinamos pessoas para operar a automação ou para supervisioná-la criticamente?”
🧠 Huge difference.
🎯 Pergunta Bellacosa nº 100
“Se a automação estivesse errada agora, que evidência independente nos permitiria perceber?”
Essa talvez seja:
a pergunta definitiva.
Porque:
se resposta for:
“nenhuma”,
não temos:
automação assistiva.
Temos:
um oráculo.
E sistemas críticos:
não deveriam:
depender de:
oráculos.
🧠 De volta à War Room
03:44.
Copiloto:
LIKELY ROOT CAUSE:
DB2 LOCK CONTENTION
RECOMMEND:
RESTART DB2 MEMBER 2
Doctor:
— Antes de reiniciar, o que contradiz?
Nosso jovem:
— Non-DB2 path também degradado.
— Mais?
— Network latency subiu pouco antes dos lock waits.
DBA:
— Então locks podem ser consequência de requests ficando presos.
Network engineer:
— Temos packet loss entre application tier e gateway.
Gerente:
— O copiloto não viu isso?
— Não.
— Por quê?
— Esse telemetry source não está integrado ao contexto dele.
Silêncio.
☕ A frase que muda tudo:
“Ele não viu.”
🧠 03:46
Network route:
degraded.
Traffic:
moved.
03:48.
Latency:
falls.
Db2 lock waits:
fall too.
No restart.
🧠 Gerente pergunta:
— Então a IA estava errada?
Doctor:
— Parcialmente.
— Parcialmente?
— Ela encontrou um fenômeno real.
DBA:
— Locks realmente estavam altos.
Doctor:
— Mas confundiu sintoma com causa.
Nosso jovem:
— E nós quase promovemos a inferência para verdade.
Doctor:
— Exatamente.
☕ Essa é a essência do Automation Bias
A automação:
não precisa:
inventar.
Ela pode:
observar corretamente
e:
concluir errado.
🧠 Isso é mais perigoso
Porque:
erro baseado em fatos reais
parece:
muito convincente.
🧠 Bellacosa Rule
Uma ferramenta pode estar correta sobre o que viu e errada sobre o que aquilo significa.
🧠 Para o programador COBOL iniciante
Isso vale para:
compiler;
IDE;
linter;
AI;
debugger;
monitor;
job scheduler;
abend analyzer;
query advisor.
🧠 Compiler warning
Tool says:
warning.
Could:
be:
real.
But:
understand.
🧠 SQL advisor
Suggest index.
Maybe:
query improves.
But:
write cost.
Storage.
Maintenance.
🎯 Pergunta Bellacosa nº 101
“A recomendação local considera o efeito sistêmico?”
🧠 Automation is often locally optimized
Global:
different.
☕ O advisor vê:
query.
O DBA precisa:
ver:
banco.
O arquiteto:
vê:
sistema.
O negócio:
vê:
cliente.
🧠 Layers of context
Human value:
integration.
🧠 Automation Bias e junior development
Beginner:
might think:
tool error message = truth complete.
Example:
S0C7 analyzer says:
field X.
Could:
point:
where failure occurred.
Not:
why field invalid.
☕ Ferramenta aponta:
corpo.
Você ainda precisa:
investigar:
crime.
🎯 Pergunta Bellacosa nº 102
“A automação mostrou o ponto de falha ou explicou a causa de origem?”
🧠 Root cause depth
Important.
🧠 Automation Bias and code completion
AI proposes:
ON SIZE ERROR
missing?
Need:
review.
🧠 Copilot confidence != correctness
🧠 Use AI as pair
Ask:
“what could be wrong with your answer?”
Good.
🎯 Pergunta Bellacosa nº 103
“Pedimos à automação para criticar a própria recomendação?”
🧠 This can help, but not independent.
Still:
same model.
Remember:
not real independence.
☕ Perguntar ao mesmo modelo:
“tem certeza?”
é:
útil.
Mas:
não cria:
um segundo universo.
🧠 Need independent tests
Compile.
Run.
Docs.
Telemetry.
Peer.
🧠 Automation Bias e verification ladder
For code:
AI says.
Compiler says.
Tests.
Review.
Prod telemetry.
Each:
different.
🧠 But correlated?
Tests generated by same AI:
hmm.
🎯 Pergunta Bellacosa nº 104
“Quem escreveu os testes que confirmaram o código gerado?”
🧠 Delicious.
If same model:
correlated.
🧠 Automation Bias e self-validation
AI generates:
code
and:
tests.
Both:
share assumptions.
Pass.
False confidence.
☕ Criar prova
e:
corrigir prova
com:
o mesmo cérebro
tem:
limites.
🎯 Pergunta Bellacosa nº 105
“Temos validação independente das premissas do código?”
🧠 Automation Bias e testing blind spots
Already.
🧠 Bellacosa Automation Bias Detector
Frases:
“O sistema disse.”
“A IA deu 92%.”
“O dashboard está verde.”
“O pipeline passou.”
“O scanner não encontrou nada.”
“O copiloto recomendou.”
“O scheduler marcou complete.”
“O monitor não alertou.”
“A ferramenta sempre acerta.”
“É o padrão do produto.”
“O algoritmo calculou.”
Nenhuma:
é prova completa.
☕ Toda vez que ouvir:
“a ferramenta disse”
adicione:
mentalmente:
“com base em quais dados, regras e premissas?”
🧠 Bellacosa Anti-Automation-Bias Protocol
Passo 1 — Classifique a saída
É:
fato,
score,
inferência,
hipótese,
recomendação
ou:
ação?
Passo 2 — Veja a fonte
Quais dados?
Passo 3 — Veja o que falta
Blind spots.
Passo 4 — Procure contradição
Não só confirmação.
Passo 5 — Verifique independência
Sinais diferentes?
Passo 6 — Entenda confiança
O score significa o quê?
Passo 7 — Analise impacto
Blast radius.
Passo 8 — Preserve override
Human can disagree.
Passo 9 — Registre decisão
Recommendation versus actual action.
Passo 10 — Audite performance
Especially:
errors and overrides.
📋 Checklist Bellacosa anti-Automation Bias
[ ] A saída é fato ou inferência?
[ ] Qual fonte de dados foi usada?
[ ] Quais dados estão ausentes?
[ ] A fonte está atualizada?
[ ] O score de confiança é calibrado?
[ ] Existe evidência contraditória?
[ ] Existem hipóteses alternativas?
[ ] Os sinais são realmente independentes?
[ ] A recomendação é reversível?
[ ] Qual é o blast radius?
[ ] O humano consegue discordar?
[ ] Existe tempo real para revisar?
[ ] A automação pode se abster?
[ ] Há logs de decisão?
[ ] A equipe sabe operar sem ela?
🧠 Bellacosa Automation Card
AUTOMATION:
________________________
RECOMMENDATION:
________________________
TYPE:
FACT / HYPOTHESIS / SCORE / ACTION
DATA SOURCES:
________________________
MISSING DATA:
________________________
CONFIDENCE MEANING:
________________________
CONTRADICTORY EVIDENCE:
________________________
ALTERNATIVES:
________________________
BLAST RADIUS:
________________________
HUMAN DECISION:
________________________
👻 Easter Egg nº 3 — BELLACOSA.BIAS(AUTOMATION)
IF AUTOMATION-SAYS = 'YES'
PERFORM CHECK-EVIDENCE
PERFORM CHECK-MISSING-DATA
PERFORM CHECK-ALTERNATIVES
END-IF.
IF CONFIDENCE-PERCENT > ZERO
AND CONFIDENCE-MEANING = SPACES
DISPLAY
'WARNING: DECORATIVE PRECISION'
END-IF.
IF HUMAN-REVIEW = 'Y'
AND HUMAN-CAN-ONLY-APPROVE = 'Y'
DISPLAY
'WARNING: RUBBER STAMP MODE'
END-IF.
IF AUTOMATION-SILENT = 'Y'
PERFORM CHECK-AUTOMATION-HEALTH
END-IF.
Comentários:
* AUTOMATED
* DOES NOT MEAN
* OBJECTIVE.
Outro:
* CONFIDENT
* DOES NOT MEAN
* CORRECT.
Outro:
* GREEN DASHBOARD
* DOES NOT MEAN
* GREEN REALITY.
Outro:
* THREE TOOLS
* WITH ONE DATA SOURCE
* ARE ONE OPINION
* WITH THREE LOGOS.
E naturalmente:
* DALEK AI:
* TARGET CONFIDENCE 99%.
*
* TARGET:
* COFFEE MACHINE.
*
* DOCTOR:
* PLEASE RECALIBRATE.
🧠 Um detalhe maravilhoso: automação muda o papel humano
Antes:
humano fazia:
a tarefa.
Depois:
automação faz.
Humano:
supervisiona.
Só que:
supervisão é:
uma competência diferente.
☕ É mais fácil:
dirigir continuamente
do que:
ficar 40 minutos observando o carro dirigir
e assumir:
volante
no exato segundo
em que ele faz algo estranho.
🧠 Vigilance decrement
Humans:
bad at:
monitoring perfect automation
for rare failures.
Isso:
é importante.
🎯 Pergunta Bellacosa nº 106
“Projetamos o papel humano levando em conta que vigilância passiva prolongada degrada atenção?”
🧠 Don't make human:
watch machine
do nothing.
Give:
meaningful checkpoints.
🧠 Automation Bias e rare intervention
If automation correct:
99.9%,
human intervenes:
rarely.
Skill:
declines.
But:
rare case:
likely weird.
Double difficulty.
☕ O humano é chamado:
menos vezes
e:
justamente nos casos:
mais difíceis.
Parabéns pela promoção.
🎯 Pergunta Bellacosa nº 107
“Estamos mantendo expertise suficiente para os casos que a automação não sabe resolver?”
🧠 This is huge for mainframe aging expertise too.
🧠 Automation Bias e junior learning
If juniors:
only see:
automated diagnosis,
they may:
not learn fundamentals.
Need:
training mode.
🧠 Explain not just recommend
Tool could:
show reasoning chain summary,
evidence.
☕ Um copiloto pedagógico
deveria perguntar:
“qual seria sua hipótese antes de eu mostrar a minha?”
Excelente para:
aprendizado.
🎯 Pergunta Bellacosa nº 108
“A automação está ensinando o operador ou apenas substituindo o operador?”
🧠 Great.
🧠 Automation Bias e Knowledge Debt
Automation encapsulates:
expert knowledge.
Expert leaves.
Script remains.
Nobody knows:
why.
Knowledge debt.
🎯 Pergunta Bellacosa nº 109
“A lógica da automação está documentada fora do código?”
🧠 Critical.
☕ Script sem contexto
é:
conhecimento fossilizado.
🧠 Automation Bias e runbook ownership
Who owns?
Need:
review.
🧠 Automation Bias e change review
When rules updated:
audit.
🎯 Pergunta Bellacosa nº 110
“Quem pode alterar a automação que todos tratam como autoridade?”
🧠 Security of automation
If compromised:
huge.
🧠 Supply chain
Automation tool itself:
risk.
🎯 Pergunta Bellacosa nº 111
“Estamos protegendo a automação proporcionalmente ao poder que demos a ela?”
🧠 Excellent.
🧠 Automation Bias e AI prompt injection
If AI copilots use:
external data,
malicious content:
could influence recommendations.
Need:
guardrails.
🧠 Then:
human trusts.
Danger.
☕ Um atacante não precisa:
enganar o operador
se puder:
enganar:
a ferramenta em que o operador confia.
🎯 Pergunta Bellacosa nº 112
“A entrada da automação pode ser manipulada por quem se beneficia de uma recomendação errada?”
🧠 This is security-aware.
🧠 Automation Bias e provenance
Need:
trusted sources.
🧠 Automation Bias e separation of duties
Agent suggests.
Another system approves?
Could:
both correlated.
Human.
🧠 Critical actions:
two-person rule.
🎯 Pergunta Bellacosa nº 113
“A validação da automação é realmente independente da própria automação?”
🧠 Final synthesis
Automation Bias não diz:
“não confie em automação.”
Seria:
absurdo.
Diz:
confie proporcionalmente à evidência, ao contexto e ao histórico real da ferramenta.
🧠 Automação excelente
deveria:
reduzir:
trabalho mecânico
e:
ampliar:
capacidade humana.
Não:
desativar:
julgamento.
☕ O objetivo não é:
humano contra máquina.
É:
humano + máquina com mecanismos para detectar quando um deles está errado.
🧬 Regeneração organizacional
Uma organização madura não pergunta:
“Podemos automatizar?”
apenas.
Pergunta:
“O que acontece quando essa automação estiver errada?”
Ela define:
limites de autoridade;
fallback;
override;
auditoria;
proveniência;
confiança;
abstenção;
controle independente.
Ela mede:
falso positivo;
falso negativo;
override;
drift;
common mode failures.
Treina:
pessoas
para:
usar,
questionar
e:
operar sem a automação.
E entende que:
uma ferramenta confiável merece confiança — mas nunca uma confiança maior que a evidência que sustenta sua confiabilidade.
📓 Diário do Doctor
Se guardar algumas ideias desta viagem, guarde estas:
Automation Bias é a tendência de confiar excessivamente em sistemas automatizados e reduzir nossa verificação independente.
Automação pode errar por recomendação incorreta ou por deixar de detectar algo que exigia ação.
O fato de uma ferramenta ser consistente, rápida ou frequentemente correta não torna todas as suas decisões corretas.
Anchoring Bias pode começar quando a automação fornece a primeira hipótese.
Confirmation Bias pode fazer humanos procurar sinais que confirmem a recomendação automática.
Diagnosis Momentum pode transformar uma hipótese da máquina em verdade organizacional através de tickets e handoffs.
Premature Closure e Search Satisfaction podem encerrar a investigação cedo quando o sistema apresenta uma resposta plausível.
Streetlight Effect limita tanto humanos quanto automação ao que está instrumentado e disponível.
Metric Fixation, McNamara, Goodhart e Campbell podem fazer sistemas automáticos otimizar proxies em vez de objetivos reais.
Default Effect aumenta o poder da automação quando a recomendação já aparece selecionada ou destacada.
Action Bias pode transformar uma recomendação automatizada em intervenção rápida demais.
Omission Bias pode surgir quando a ausência de alerta automatizado é interpretada como evidência de que não existe problema.
Plan Continuation e Escalation of Commitment podem ocorrer em workflows automáticos que continuam executando sem revalidar premissas.
Scores de confiança precisam ter significado claro e, idealmente, calibração conhecida.
Três sistemas baseados na mesma telemetria não constituem necessariamente três fontes independentes.
Human-in-the-loop só é real quando o humano possui tempo, informação, autoridade e possibilidade efetiva de discordar.
Ferramentas deveriam distinguir fato, hipótese, inferência, confiança e recomendação.
Abstenção é uma competência importante: sistemas maduros precisam saber quando a evidência é insuficiente.
A autonomia deveria ser proporcional ao risco, à reversibilidade e à capacidade de limitar blast radius.
Automação pode degradar habilidades humanas se eliminar oportunidades de prática e compreensão.
Mudanças de modelo, regras, thresholds e defaults automatizados são mudanças de produção e merecem governança.
A automação também precisa de observabilidade, auditoria, ownership e revisão periódica.
A melhor pergunta não é “a máquina está certa?”, mas “se ela estiver errada agora, como perceberemos antes de o erro ganhar escala?”.
E principalmente:
não substitua o antigo “porque o senior disse” pelo moderno “porque a IA disse”. Trocar a autoridade sem trocar o hábito de questionar continua sendo o mesmo problema — apenas com interface melhor.
🥚 Easter Egg final
Antes de entrar na TARDIS, o Doctor observa:
AI RECOMMENDATION:
RESTART DB2
CONFIDENCE:
87%
Nosso jovem:
— Então não devemos confiar?
Doctor:
— Não disse isso.
— Devemos confiar?
— Também não disse isso.
— Então o que fazemos?
Doctor pega:
um marcador.
Escreve:
TRUST
≠
OBEY
Nosso jovem:
— Qual a diferença?
Doctor:
“Confiar é permitir que a recomendação influencie sua decisão. Obedecer é permitir que ela substitua sua decisão.”
Silêncio.
— E quando podemos automatizar completamente?
Doctor abre:
a porta da TARDIS.
“Quando você entende suficientemente bem o comportamento normal, os modos de falha, o blast radius e a maneira de recuperar o controle quando a automação estiver errada.”
Nosso jovem:
— E se o algoritmo tiver 99,9% de precisão?
Doctor sorri.
“Então descubra o que acontece naquele 0,1% antes de entregar a ele a chave de produção.”
VWORP.
VWORP.
VWORP.
A TARDIS começa a desaparecer.
No quadro sobra:
“AUTOMATE THE WORK. NEVER AUTOMATE THE RIGHT TO QUESTION.”
E abaixo:
“O dashboard pode estar verde. O copiloto pode estar confiante. O algoritmo pode estar correto na maioria das vezes. A realidade ainda mantém o direito de discordar.”
E talvez essa seja toda a essência do Automation Bias no Bellacosa Mainframe:
automação madura não elimina julgamento humano; ela melhora o julgamento, acelera aquilo que pode ser acelerado e preserva mecanismos para que alguém ainda consiga dizer, com evidência: “o robô está errado desta vez.”
☕🌀
Próxima parada: Algorithm Aversion — o dia em que o algoritmo errou uma única vez, todo mundo perdeu a confiança, e passamos a preferir novamente decisões humanas que erravam com frequência muito maior — só que de um jeito mais familiar.
