Bellacosa Mainframe e o automation bias

☕ Um Café no Bellacosa Mainframe

Automation Bias: Doctor Who, COBOL e o Dia em que o Dashboard, o Algoritmo e o Copiloto Concordaram — Então Ninguém Percebeu que Todos Estavam Errados pelo Mesmo Motivo

Uma viagem pela TARDIS dos incidentes para entender por que tendemos a confiar demais em sistemas automatizados, dashboards, copilotos, alertas, runbooks inteligentes e recomendações algorítmicas — e como a frase “se a ferramenta disse, deve estar certo” pode transformar assistência em dependência cognitiva

03:42.

Produção.

War Room.

Na tela principal:

PAYMENTS-X

LATENCY:
HIGH

ERROR RATE:
RISING

AI INCIDENT COPILOT:
LIKELY ROOT CAUSE = DB2 LOCK CONTENTION

CONFIDENCE:
87%

O DBA olha.

O gerente olha.

O jovem programador COBOL olha.

E alguém diz:

— Então é Db2.

Nosso jovem pergunta:

— Temos evidência independente?

Gerente:

— O copiloto está com 87%.

— O que significa esse 87%?

Silêncio.

— Confiança do modelo.

— Confiança em quê?

— Na hipótese.

— Essa confiança é calibrada como probabilidade real?

Outro silêncio.

O DBA tenta ajudar:

— Além disso, o dashboard está mostrando lock wait.

Nosso jovem:

— E os pagamentos que não passam por essa tabela?

— Também estão lentos.

— Então como Db2 explica tudo?

Gerente:

— A ferramenta provavelmente correlacionou alguma coisa que ainda não vimos.

Ah.

Uma frase deliciosa:

“A ferramenta provavelmente viu alguma coisa.”

03:44.

O copiloto recomenda:

RECOMMENDED ACTION:

RESTART DB2 MEMBER 2

EXPECTED EFFECT:
REDUCE LOCK CONTENTION

Especialista:

— Podemos executar.

Nosso jovem:

— Reiniciar Db2?

— Sim.

— Baseados em quê?

Gerente:

— Copiloto, dashboard e alerta.

— Os três usam fontes independentes?

Silêncio novamente.

O especialista olha:

para a arquitetura.

— Na verdade, o copiloto recebe os mesmos eventos do observability stack.

Nosso jovem:

— Então talvez não sejam três opiniões.

— Como assim?

— Talvez seja uma opinião...

...repetida três vezes.

VWORP.

A TARDIS aparece ao lado do console.

A porta abre.

O Doctor sai.

Olha:

para a tela.

Depois:

para o grupo.

— Quem acha que é Db2?

Quatro mãos.

— Por quê?

Gerente:

— Dashboard.

DBA:

— Alerta.

Outro:

— Copiloto.

Doctor:

— E de onde vieram os dados dos três?

Silêncio.

Nosso jovem:

— Mesma telemetria.

Doctor sorri.

Pega um marcador.

Escreve:

AUTOMATION
   ↓
RECOMMENDATION
   ↓
HUMAN TRUST
   ↓
REDUCED INDEPENDENT CHECKING
   ↓
ERROR PROPAGATES

E acima:

AUTOMATION BIAS

Ou:

Viés da Automação.

Em linguagem Bellacosa:

é quando passamos a confiar excessivamente em sistemas automatizados, recomendações algorítmicas, alertas, dashboards ou copilotos — a ponto de reduzir nossa própria verificação crítica, mesmo quando a automação pode estar errada, incompleta ou interpretando mal o contexto.

🧠 O que é Automation Bias?

Automation Bias é a tendência de:

dar peso excessivo

sistemas automáticos;

recomendações;

alertas;

algoritmos;

diagnósticos;

assistentes;

copilotos;

scores;

classificadores;

runbooks automáticos.

Especialmente quando:

eles parecem:

objetivos,

precisos,

rápidos,

consistentes

ou:

“mais inteligentes” do que nós.

☕ Definição Bellacosa

Automation Bias é quando o botão “Recommended” começa a falar mais alto do que a evidência.

💻 COBOL cognitivo

Imagine:

       IF AI-RECOMMENDATION = 'DB2'
           MOVE 'DB2'
             TO ROOT-CAUSE
       END-IF.

Isso é:

péssimo.

Versão melhor:

       IF AI-RECOMMENDATION = 'DB2'
           PERFORM VALIDATE-DB2-HYPOTHESIS
           PERFORM CHECK-CONTRADICTORY-EVIDENCE
           PERFORM CHECK-INDEPENDENT-SIGNALS
       END-IF.

A ferramenta:

ajuda.

Não:

decreta.

🧠 O problema não é automação

Isso precisa:

ficar muito claro.

Automação:

é fantástica.

Ela:

reduz trabalho repetitivo;

detecta padrões;

responde rápido;

padroniza processos;

reduz erro humano;

escala análise;

ajuda troubleshooting;

automatiza rollback;

aplica políticas;

observa sistemas 24×7.

O problema nasce quando:

assistência vira autoridade epistemológica.

Ou seja:

“a máquina disse”

passa a significar:

“a realidade confirmou.”

👻 Easter Egg nº 1 — Dalek Copilot

Dalek:

— AI SAYS TARGET IS HUMAN.

Doctor:

— E você verificou?

— CONFIDENCE 96%.

— Como foi treinado?

— CLASSIFIED.

— Qual taxa de falso positivo?

— UNKNOWN.

— Qual foi o input?

— THERMAL SIGNATURE.

Doctor:

— Aquilo é uma cafeteira.

Dalek:

— CONFIDENCE REMAINS 96%.

Doctor:

— Maravilhoso.

🧠 Automation Bias e confiança

Humanos tendem a:

transferir confiança

para sistemas

quando percebem:

consistência.

Se ferramenta acerta:

muitas vezes,

começamos a:

parar de conferir.

Esse é:

um dos paradoxos mais perigosos.

☕ Quanto melhor a automação parece,

mais perigoso pode ficar:

o raro momento

em que ela erra.

🎯 Pergunta Bellacosa nº 1

“Estamos verificando menos justamente porque a ferramenta costuma acertar?”

🧠 Complacência da automação

Automation complacency:

é conceito relacionado.

Depois de:

muitas decisões corretas,

atenção humana:

cai.

Sistema:

vira:

piloto automático cognitivo.

🧠 Exemplo

Alerta:

normalmente identifica:

memory pressure.

Nove vezes:

correto.

Na décima:

latência vem:

de rede.

Mas:

ninguém investiga rede.

Porque:

“esse alerta sempre acerta.”

☕ O histórico de acertos

vira:

licença para:

não pensar.

🎯 Pergunta Bellacosa nº 2

“Qual foi a última vez que auditamos uma recomendação que parecia óbvia?”

🧠 Automation Bias e Anchoring Bias

Automação dá:

primeira hipótese.

Essa hipótese:

vira âncora.

LIKELY CAUSE:
DB2

Agora:

todo mundo interpreta:

evidências

ao redor:

de Db2.

🧠 Depois vem Confirmation Bias

Locks encontrados?

— Viu?

Db2.

Mas locks podem ser:

efeito.

Ou:

normais.

☕ Automação pode:

instalar a âncora

antes mesmo:

do primeiro humano falar.

🎯 Pergunta Bellacosa nº 3

“Se a ferramenta não tivesse mostrado essa hipótese, investigaríamos o sistema da mesma maneira?”

🧠 Automation Bias e Diagnosis Momentum

Primeiro:

copiloto diz:

Db2.

Ticket:

ganha:

“DB2 issue.”

Handoff:

repete.

Vendor:

recebe:

“DB2 incident.”

Agora:

hipótese automatizada

virou:

diagnóstico social.

☕ A máquina plantou.

A organização:

adubou.

🎯 Pergunta Bellacosa nº 4

“A recomendação automatizada está sendo retransmitida como hipótese ou como fato?”

🧠 Automation Bias e Premature Closure

Ferramenta:

entrega:

“root cause.”

Team:

para investigação.

Porque:

resposta já existe.

🎯 Pergunta Bellacosa nº 5

“A automação está encerrando a busca antes de termos evidência causal suficiente?”

🧠 Search Satisfaction

Achamos:

uma explicação.

Mesmo:

automatizada.

Busca:

encerra.

Outra falha:

permanece.

🧠 Automation Bias e Streetlight Effect

Automação:

só vê:

dados disponíveis.

Se sistema não instrumenta:

alguma área,

ela:

não vê.

Mas recomendação:

parece:

global.

☕ Um copiloto não enxerga:

o que não entrou:

no contexto.

Parece óbvio.

Mas:

esquecemos.

🎯 Pergunta Bellacosa nº 6

“Quais partes do sistema estão invisíveis para a automação?”

🧠 Isto é gigantesco em observabilidade

Copiloto recebe:

logs;

metrics;

traces.

Mas talvez:

não receba:

mudança manual;

evento externo;

sistema legado;

arquivo batch;

dados de negócio;

conversation context;

mainframe SMF específico.

Então:

o universo dele:

é menor que:

o universo real.

☕ A IA não está:

“vendo o incidente.”

Está vendo:

a representação do incidente que conseguimos enviar para ela.

🎯 Pergunta Bellacosa nº 7

“Estamos confundindo o modelo do sistema com o sistema?”

🧠 Automation Bias e McNamara Fallacy

Automação ama:

o mensurável.

CPU.

Latency.

Error.

Queue.

Mas:

contexto tácito?

Cliente específico?

Mudança operacional?

Conhecimento do veterano?

Talvez:

não.

🧠 Metric Fixation

Dashboard:

green.

Copilot:

“healthy.”

User:

cannot pay.

Reality:

disagrees.

☕ A máquina pode:

estar perfeitamente correta

sobre:

as métricas

totalmente errada

sobre:

o serviço.

🎯 Pergunta Bellacosa nº 8

“A automação está medindo o objetivo real ou proxies?”

🧠 Goodhart’s Law

Se o sistema automatizado:

otimiza:

KPI,

ele pode:

melhorar:

KPI

sem:

melhorar:

resultado.

🧠 Campbell’s Law

Se:

score automatizado

vira:

base de:

recompensa,

punição

ou:

controle,

people:

adaptam.

Agora:

automação avalia:

mundo já adaptado:

à métrica.

Loop.

☕ O algoritmo:

mede.

A organização:

aprende a parecer boa.

O algoritmo:

confirma que está boa.

Lindo.

Até:

cliente reclamar.

🎯 Pergunta Bellacosa nº 9

“A automação está observando comportamento natural ou comportamento já moldado pelo próprio sistema de medição?”

🧠 Automation Bias e Default Effect

UI mostra:

RECOMMENDED ACTION:
RESTART

Botão destacado.

Default cognitive.

Usuário:

click.

☕ `Recommended`

é:

quase:

VALUE 'Y'.

🎯 Pergunta Bellacosa nº 10

“A interface torna a recomendação automatizada mais fácil de executar do que de questionar?”

🧠 Choice Architecture

Se botão:

“Execute Recommendation”

é grande,

“Investigate Alternative”

fica:

escondido,

design:

vota.

🧠 Automation Bias + Default Effect

Combinação fortíssima.

🎯 Pergunta Bellacosa nº 11

“O humano está realmente decidindo ou apenas confirmando o default proposto pela máquina?”

🧠 Rubber stamping

Isso é:

perigo clássico.

Human-in-the-loop

vira:

human-as-checkbox.

☕ Ter humano no fluxo

não significa:

ter julgamento humano.

🧠 Human-in-the-loop Theater

Tela:

AI RECOMMENDS DELETE.

[APPROVE]

Humano:

sempre approve.

Tecnicamente:

tem HITL.

Na prática:

autopilot com:

dedo humano.

🎯 Pergunta Bellacosa nº 12

“O humano possui informação, tempo e autoridade suficientes para discordar?”

🧠 Isso é fundamental

Para revisão humana funcionar:

humano precisa:

entender;

ter alternativa;

ter evidência;

ter tempo;

não sofrer punição por discordar.

🧠 Authority Gradient invertido

Curioso:

antes,

júnior não desafia senior.

Agora:

humano não desafia:

algoritmo.

☕ A máquina ganhou:

cargo.

Sem:

RH.

🎯 Pergunta Bellacosa nº 13

“Existe custo social ou operacional para discordar da automação?”

🧠 Exemplo

Copilot diz:

rollback.

Analista discorda.

Se der errado:

“por que ignorou a IA?”

Então:

próxima vez:

segue.

Isso:

cria:

automation deference.

🧠 Hindsight Bias reforça

Se IA estava certa:

“deveria ter seguido.”

Se errada mas humano seguiu:

“ferramenta falhou.”

Responsabilidade:

assimétrica.

🎯 Pergunta Bellacosa nº 14

“Quem é responsabilizado quando humano segue uma recomendação errada versus quando rejeita uma recomendação correta?”

🧠 Incentivos importam

Se punição:

por discordância

é maior,

humano:

vira:

executor.

🧠 Automation Bias e Action Bias

Perfeita combinação.

Sistema detecta:

problema.

Sugere:

ação.

Humano sente:

pressão.

Executa.

☕ Antes:

Action Bias dizia:

“faz alguma coisa.”

Agora:

Automation Bias responde:

“já escolhi o que você deve fazer.”

🎯 Pergunta Bellacosa nº 15

“A recomendação está reduzindo reflexão exatamente quando a urgência já nos empurra para agir?”

🧠 Action Bias automatizado

Agent:

observa;

decide;

executa.

Sem:

review.

Erro:

escala.

🧠 Machines act faster

Isso importa.

Erro humano:

um comando.

Automation error:

mil comandos.

☕ Automação não:

remove erro.

Ela pode:

multiplicar:

a velocidade dele.

🎯 Pergunta Bellacosa nº 16

“Qual é o blast radius máximo de uma recomendação errada?”

🧠 Blast radius e automation

Se auto remediation:

restart one pod:

fine.

Restart all regions:

hmm.

Delete data:

not.

🧠 Least Authority

Automação deveria:

ter:

autoridade proporcional:

à confiança,

impacto

reversibilidade.

🎯 Pergunta Bellacosa nº 17

“A automação possui mais poder do que precisa?”

🧠 Least Privilege para agentes

Excelente paralelo com:

RACF.

Agent:

read-only first.

Then:

limited write.

High-impact:

approval.

☕ Não dê:

SPECIAL

para o copiloto

só porque:

fala bonito.

🧠 Automation Bias e secure defaults

Default:

suggest.

Not execute.

For high impact.

🧠 But...

Too restrictive:

Omission Bias.

Time-critical:

need automation.

Balance.

🎯 Pergunta Bellacosa nº 18

“Esse risco exige velocidade automática ou julgamento adicional?”

🧠 Tiered automation

Uma forma madura:

LOW RISK:
AUTO

MEDIUM:
AUTO + NOTIFY

HIGH:
RECOMMEND + HUMAN APPROVAL

CRITICAL/IRREVERSIBLE:
MULTI-PARTY APPROVAL

Context-specific.

☕ Nem tudo merece:

o mesmo nível de autonomia.

🧠 Automation Bias e confidence scores

Aqui mora:

uma cobra.

“Confidence 87%.”

O usuário pensa:

87% de chance:

de estar certo.

Mas:

isso depende:

de como o score foi definido.

🧠 Confiança não significa automaticamente probabilidade calibrada

Muito importante.

Pode ser:

similarity score;

model logit;

ranking;

heuristic;

ensemble score.

🎯 Pergunta Bellacosa nº 19

“O que exatamente significa o número de confiança mostrado?”

🧠 Se ninguém sabe...

Tire:

o percentual

ou:

explique.

☕ Um número:

preciso

com:

semântica vaga

é:

autoridade decorativa.

🧠 Framing Effect

“87% confidence”

parece:

forte.

“13% chance of being wrong”

soa:

diferente.

Mesmo que:

calibrado.

🎯 Pergunta Bellacosa nº 20

“Como nossa decisão muda se apresentarmos também a possibilidade de erro?”

🧠 Automation Bias e Loss Aversion

Machine recommends:

rollback.

Human fears:

loss.

Could:

reject.

Ou:

machine recommends:

continue.

Human fears:

loss of deployment.

Could:

follow.

Biases:

interact.

🧠 Não existe máquina:

em vácuo psicológico

Humano:

interpreta:

a saída.

🎯 Pergunta Bellacosa nº 21

“A recomendação automatizada está sendo recebida num contexto de ganho, perda ou pressão?”

🧠 Automation Bias e Status Quo Bias

Automation can:

entrench:

current process.

If automated rule says:

default:

current architecture.

Humans:

stop reviewing.

🧠 “The system does it this way.”

Classic.

Why?

“Because automation.”

☕ Processo automatizado

pode:

virar:

tradição

mais rápido que:

processo manual.

🎯 Pergunta Bellacosa nº 22

“Automatizamos uma boa decisão ou congelamos uma decisão antiga?”

🧠 Cultural Debt automático

Default rule:

from 2018.

Still:

executing.

No owner.

No review.

Automation:

faithfully perpetuates:

history.

☕ Computador é:

excelente em:

repetir:

decisões antigas

com velocidade impressionante.

🎯 Pergunta Bellacosa nº 23

“Quando essa regra automatizada foi revisada pela última vez?”

🧠 Automation Bias e Normalization of Deviance

Automation tolerates:

warning.

Repeatedly.

No incident.

Humans:

trust.

Eventually:

warning normal.

🧠 Worse:

automation suppresses:

alert.

Now:

deviation invisible.

🎯 Pergunta Bellacosa nº 24

“A automação está apenas reduzindo ruído ou ocultando sinais que deveríamos reaprender a observar?”

🧠 Alert suppression

Useful.

Dangerous.

Need:

audit.

🧠 Automation Bias e Alarm Fatigue

Too many alerts:

humans ignore.

Then:

automate prioritization.

Good.

But:

if prioritizer wrong,

critical alert:

buried.

☕ Resolver Alarm Fatigue

com:

algoritmo

pode:

criar:

Blindness as a Service.

🎯 Pergunta Bellacosa nº 25

“Como detectamos quando o classificador de alertas começa a errar?”

🧠 Monitoring the monitor

Huge.

Automated systems need:

observability.

🧠 Meta-monitoring

Accuracy.

Drift.

False positive.

False negative.

Override rates.

☕ Quem vigia:

o vigia?

Em 2026:

provavelmente:

outro dashboard.

E aí:

começa a piada.

👻 Easter Egg nº 2 — Observabilidade Infinita

AI-1:

— SYSTEM HEALTHY.

AI-2:

— AI-1 HEALTHY.

AI-3:

— AI-2 HEALTHY.

Doctor:

— E quem observa produção?

Silêncio.

Dalek:

— OUT OF SCOPE.

🧠 Automation Bias e correlated failure

No exemplo inicial:

dashboard,

alert,

copilot.

Pareciam:

três confirmações.

Mas:

mesma fonte.

🧠 Correlated evidence

Isso é:

crítico.

Três sistemas podem:

errar juntos

porque:

compartilham:

data source;

model;

rule;

vendor;

assumption.

☕ Três luzes verdes

alimentadas:

pelo mesmo sensor

não são:

três opiniões.

🎯 Pergunta Bellacosa nº 26

“Esses sinais são realmente independentes?”

🧠 Redundancy isn't independence

Muito importante em:

resiliência.

Dois monitors:

same backend.

Two AI tools:

same underlying model.

Two reports:

same dataset.

Not:

independent.

🎯 Pergunta Bellacosa nº 27

“Qual falha comum pode enganar todas as nossas automações ao mesmo tempo?”

🧠 Common Mode Failure

Aqui entra:

engenharia de confiabilidade.

Automação:

não elimina:

common mode.

☕ Dois copilotos

com:

o mesmo cérebro

não são:

um debate.

São:

eco.

🧠 Automation Bias e AI ensembles

Mesmo diferentes models:

may share:

training patterns,

data,

retrieval.

Still:

correlated.

Need:

independent evidence.

🧠 Human expertise can provide diverse model

Not:

automatically better.

But:

different.

🎯 Pergunta Bellacosa nº 28

“A validação humana acrescenta uma fonte de informação nova ou apenas lê o mesmo dashboard?”

🧠 Isso é enorme

Human-in-the-loop:

não serve

se humano:

vê:

só:

output do modelo.

Need:

raw evidence.

☕ Revisão humana sem acesso:

à evidência

é:

revisão de PowerPoint.

🧠 Automation Bias e AI hallucination

Copilot may:

generate plausible explanation.

Especially:

when data incomplete.

Because:

language:

confident.

🧠 Narrative fluency

Humans:

trust coherent story.

Narrative Bias + Automation Bias.

☕ Uma explicação:

bem escrita

não:

se torna:

bem provada.

🎯 Pergunta Bellacosa nº 29

“A recomendação está sustentada por evidência verificável ou apenas por narrativa coerente?”

🧠 Citation/provenance

Systems should:

show:

why.

Evidence.

Source.

Timestamp.

🧠 Good AI incident copilot

Not:

“Db2 is root cause.”

Better:

HYPOTHESIS:
DB2 lock contention

SUPPORTING EVIDENCE:
- lock waits increased at 03:39
- affected transactions use TABLE-X

CONTRADICTORY:
- non-DB2 path also degraded

CONFIDENCE:
LOW/MEDIUM

NEXT CHECK:
network latency

Much better.

☕ IA madura:

mostra:

dúvida.

Não apenas:

resposta.

🎯 Pergunta Bellacosa nº 30

“A automação exibe evidências contrárias à própria recomendação?”

🧠 That's a great design.

🧠 Automation Bias e Confirmation Bias again

If AI shows:

only supporting evidence,

human:

confirms.

Need:

counterevidence.

🧠 AI should maybe:

steelman alternatives.

🎯 Pergunta Bellacosa nº 31

“A ferramenta apresenta pelo menos uma hipótese alternativa plausível?”

🧠 Automation Bias e uncertainty

Humans need:

understand:

unknowns.

🧠 “I don't know” feature

Good.

Abstention.

☕ Uma IA que sabe:

dizer:

“evidência insuficiente”

pode ser:

mais útil

que:

uma que sempre tem resposta.

🎯 Pergunta Bellacosa nº 32

“A automação pode se abster?”

🧠 Critical.

If system must:

always answer,

it may:

fabricate certainty.

🧠 Automation Bias e Action Bias with no abstention

Terrible:

always recommendation + button.

🧠 Agentic systems

Need:

states:

ACT;

ASK;

WAIT;

ESCALATE;

ABSTAIN.

🎯 Pergunta Bellacosa nº 33

“O agente sabe quando pedir ajuda em vez de continuar?”

🧠 Plan Continuation Bias em agentes

AI creates:

plan.

Then:

keeps.

Environment:

changes.

If no:

replan,

automation bias:

humans trust.

🧠 Agent says:

“Step 4.”

Human:

continues.

Even if:

step 2 failed.

☕ Plano automatizado

pode ganhar:

autoridade só porque:

foi estruturado em bullets.

🎯 Pergunta Bellacosa nº 34

“A automação revalida suas premissas entre etapas?”

🧠 Escalation of Commitment em automação

Retry.

More retries.

Scale.

More resources.

Same assumption.

🧠 Algorithmic stubbornness

Machines don't feel:

ego.

But loops:

can behave:

like:

teimosia.

🎯 Pergunta Bellacosa nº 35

“A automação aumenta esforço quando falha ou atualiza a estratégia?”

🧠 Sunk Cost analogy

Tokens.

Compute.

API calls.

Not psychological sunk cost.

But:

workflow may keep:

investing.

🧠 Need budgets

Max retries.

Cost threshold.

Time.

🎯 Pergunta Bellacosa nº 36

“Existe orçamento de ação antes de exigir replanning?”

🧠 Automation Bias e rollback

Automatic rollback:

great.

But:

trigger bug:

rollback healthy deployment.

Human:

trusts.

Could:

cause:

oscillation.

🧠 Auto-remediation loops

Deploy.

Metric spike.

Rollback.

Metric resets.

Deploy again.

Loop.

☕ Automação consegue:

entrar em War Room

sem:

nenhum humano acordado.

🎯 Pergunta Bellacosa nº 37

“A automação possui hysteresis, cooldown e limites contra oscillation?”

🧠 This is technical gold.

🧠 Automation Bias e retry storms

Already:

Action Bias.

Now:

automatic.

Request fails.

Retry.

Humans:

trust policy.

System:

melts.

🎯 Pergunta Bellacosa nº 38

“O default automatizado foi testado em condições de falha sistêmica?”

🧠 Automation Bias e autoscaling

CPU high.

Autoscaler:

adds nodes.

Cause:

infinite loop.

More nodes:

more cost.

Maybe:

more damage.

☕ Autoscaling

não:

corrige:

algoritmo ruim.

Só dá:

mais palco.

🎯 Pergunta Bellacosa nº 39

“A automação está tratando sintoma ou causa?”

🧠 Automation Bias e security

SOAR:

blocks account.

False positive.

User:

executive.

Business stops.

But:

analyst trusts:

automation.

🧠 Or worse:

system says:

low risk.

Analyst ignores:

real attack.

Two forms:

commission error and omission error.

🧠 Automation Bias has two classic patterns

Commission error — follow incorrect automated recommendation.
Omission error — fail to act because automation failed to alert.

This connects beautifully:

Action Bias

and:

Omission Bias.

☕ A automação pode:

mandar você fazer:

o errado.

Ou:

deixar de avisar

e fazer você:

não fazer:

o necessário.

🎯 Pergunta Bellacosa nº 40

“Estamos preparados tanto para falso positivo quanto para falso negativo?”

🧠 Automation Bias e Omission Bias

If no alert:

human assumes:

safe.

Huge.

🧠 Absence of automated warning

becomes:

evidence of absence.

But maybe:

monitor failed.

☕ “Não alarmou”

não significa:

“não existe problema.”

🎯 Pergunta Bellacosa nº 41

“Como sabemos que o silêncio da automação significa normalidade e não falha da própria automação?”

🧠 Health checks for monitors

Heartbeat.

Watchdog.

Independent monitor.

🧠 Monitoring blind spots

Alert pipeline down.

No alerts.

Looks:

peaceful.

☕ O dashboard mais verde

pode ser:

aquele que:

parou de receber dados.

🎯 Pergunta Bellacosa nº 42

“O verde significa bom estado ou ausência de telemetria?”

🧠 This is classic.

Need:

data freshness.

🧠 Automation Bias e Status Quo

Automated status:

green.

No one investigates.

Status quo.

🧠 Automation Bias e Normalcy Bias

System says:

normal.

Human:

wants believe:

normal.

Biases reinforce.

☕ O algoritmo diz:

“tudo bem.”

O cérebro responde:

“ufa.”

Esse “ufa”

é:

perigoso.

🎯 Pergunta Bellacosa nº 43

“Estamos aceitando a indicação de normalidade porque ela coincide com aquilo que queremos acreditar?”

🧠 Automation Bias e Alarm Fatigue

If automation over-alerts:

humans distrust.

If under-alerts:

humans overtrust silence.

Calibration:

hard.

🧠 Trust calibration

Central concept.

Goal:

not:

maximum trust.

Goal:

appropriate trust.

☕ Automação boa

não precisa:

ser amada.

Precisa:

ser confiada:

na medida correta.

🎯 Pergunta Bellacosa nº 44

“Nossa confiança na ferramenta corresponde à sua performance real?”

🧠 Calibrated trust

Track:

accuracy by scenario.

Not:

global.

🧠 Model may be great:

common incidents.

Poor:

rare edge cases.

🎯 Pergunta Bellacosa nº 45

“Em quais cenários a automação historicamente erra mais?”

🧠 Edge cases

Critical systems often:

fail in:

rare conditions.

Exactly:

where model least data.

☕ O evento que mais precisamos:

resolver

pode ser:

o evento que:

menos apareceu:

no treinamento.

🧠 Automation Bias e Survivorship Bias

Training:

successful known cases.

Missing:

unobserved failures.

Could:

bias.

🧠 Base Rate Neglect

AI recommends:

rare cause

because:

pattern similarity.

Human:

trusts.

But:

base rates:

matter.

🎯 Pergunta Bellacosa nº 46

“A recomendação considera frequência histórica ou apenas semelhança com o caso atual?”

🧠 Bayesian thinking

AI hypothesis:

should:

combine:

prior probability

and:

evidence.

Human too.

☕ Sysprog Bayesiano

não:

entrega cérebro

para:

score.

Ele:

atualiza.

🧠 Automation Bias e model drift

System changes.

Model:

trained on old behavior.

Predictions:

degrade.

But:

humans:

continue trusting.

🎯 Pergunta Bellacosa nº 47

“A automação foi validada no sistema atual ou num passado que já não existe?”

🧠 Drift

Data.

Architecture.

Traffic.

Business.

Version.

🧠 Defaults and stale thresholds

Automation rules:

old.

Same issue.

☕ Algoritmo também:

envelhece.

Mesmo:

sem rugas.

🧠 Automation Bias e feedback loops

AI classifies:

ticket as Db2.

Db2 team confirms/labels:

Db2.

Data returns:

training.

Model learns:

Db2.

Potential:

self-reinforcement.

🧠 Label leakage / feedback

Interesting.

🎯 Pergunta Bellacosa nº 48

“A saída da automação influencia os rótulos usados depois para treiná-la?”

🧠 If yes...

possible feedback bias.

🧠 Automation Bias e Campbell again

Automated score:

becomes target.

People optimize.

Model data:

changes.

🧠 Automation Bias e audits

Need:

sample:

decisions followed;

overrides;

errors;

near misses.

☕ Não audite apenas:

quando IA erra.

Audite também:

quando todos obedecem

nada explode.

🎯 Pergunta Bellacosa nº 49

“Estamos revisando amostras de decisões automatizadas aparentemente corretas?”

🧠 Great quality assurance.

🧠 Automation Bias e shadow automation

Excel macro.

Script.

Cron.

Legacy rule.

Not just AI.

Important.

Automation Bias existed:

long before LLMs.

☕ O primeiro “copiloto”

talvez tenha sido:

um REXX que alguém escreveu em 1998

ninguém mais sabe:

por quê.

🧠 Runbook automation

Script outputs:

“OK.”

People:

trust.

Maybe:

script bug.

🎯 Pergunta Bellacosa nº 50

“Estamos confiando mais porque é IA ou já fazíamos isso com scripts e dashboards?”

🧠 Yes.

This isn't:

an AI-only problem.

🧠 Automation Bias em COBOL batch

Job control:

step returns:

RC=0.

Operations:

green.

But:

business reconciliation:

wrong.

RC zero:

automation signal.

People:

trust.

☕ `RC=0`

significa:

programa terminou conforme:

seus próprios critérios.

Não:

que o mundo:

está correto.

🎯 Pergunta Bellacosa nº 51

“O sucesso técnico automatizado equivale a sucesso de negócio?”

🧠 JCL classic

Job:

MAXCC=0.

Files:

generated.

But:

zero records.

Still:

green.

Need:

business controls.

🧠 Automation Bias e batch scheduler

Scheduler:

completed.

Dashboard:

green.

Business:

missing.

☕ Scheduler sabe:

se job terminou.

Não necessariamente:

se faturamento:

faz sentido.

🎯 Pergunta Bellacosa nº 52

“Qual validação humana ou de negócio complementa o status técnico?”

🧠 Reconciliation

Critical.

Automate too.

But:

independent.

🧠 Automation Bias e independent controls

One automated system:

produces output.

Another:

independent validation.

Better.

☕ Automação contra automação

pode ser ótima,

desde que:

não sejam:

gêmeos compartilhando:

a mesma hipótese.

🎯 Pergunta Bellacosa nº 53

“O controle independente usa fonte e lógica diferentes?”

🧠 Defence in depth

Applies.

🧠 Automation Bias e auto-approval

CI pipeline:

tests pass.

Auto deploy.

Good.

But:

coverage weak.

Pipeline green.

Automation Bias.

🎯 Pergunta Bellacosa nº 54

“Estamos confiando no pipeline porque ele testa o necessário ou porque ele está verde?”

🧠 Metric Fixation again.

🧠 Testing automation paradox

Automated tests:

great.

But:

people stop:

exploratory testing.

Could miss:

unknowns.

☕ Test automation

reduz:

trabalho repetitivo.

Não:

elimina:

curiosidade.

🎯 Pergunta Bellacosa nº 55

“Que tipos de falha nossos testes automatizados não foram desenhados para detectar?”

🧠 Static analysis

No finding.

Not:

proof safe.

🧠 Security scanners

Same.

No vulnerability detected:

not:

no vulnerability.

🎯 Pergunta Bellacosa nº 56

“Estamos tratando ausência de detecção como prova de ausência?”

🧠 Omission error again.

🧠 Automation Bias e vulnerability scoring

Score:

low.

Ignore.

But:

business context:

critical.

Automated CVSS-like or prioritization:

not enough.

☕ Vulnerabilidade “média”

num sistema:

que move:

bilhões

pode:

merecer:

uma conversa.

🎯 Pergunta Bellacosa nº 57

“O score conhece o contexto de negócio?”

🧠 Automation Bias e fraud models

Model:

low risk.

Transaction:

passes.

Fraud.

Human:

never sees.

Good automation:

handles scale.

But:

edge cases.

🧠 Need escalation bands.

🎯 Pergunta Bellacosa nº 58

“Quais casos precisam obrigatoriamente sair do fluxo automático?”

🧠 Automation Bias e governance

Define:

automation authority matrix.

🧠 Bellacosa Automation Authority Matrix

ACTION                        MODE
-------------------------------------------
READ LOG                      AUTO
CORRELATE METRICS             AUTO
SUGGEST ROOT CAUSE            AUTO + LABEL HYPOTHESIS
CHANGE FEATURE FLAG           HUMAN APPROVAL
RESTART SERVICE               HUMAN APPROVAL
FAILOVER REGION               TWO-PERSON APPROVAL
DELETE DATA                   NEVER FULLY AUTOMATIC

Example only.

Context:

matters.

☕ Autonomia deveria:

crescer

junto com:

reversibilidade

evidência.

Não:

com entusiasmo do fornecedor.

🎯 Pergunta Bellacosa nº 59

“Qual ação esta automação jamais deveria executar sozinha?”

🧠 Great governance question.

🧠 Automation Bias e explainability

Explainability:

not magic.

Explanation can:

also persuade wrongly.

🧠 “Why” generated by same model

may:

rationalize.

Need:

source evidence.

☕ Explicação automática

não é:

auditoria automática.

🎯 Pergunta Bellacosa nº 60

“A explicação mostra evidência verificável ou apenas uma justificativa textual?”

🧠 Provenance

Where:

data came.

When.

Quality.

🧠 RAG context

AI recommendation may:

use:

old runbook.

Stale docs.

Then:

confident.

🎯 Pergunta Bellacosa nº 61

“A automação sabe a idade e a validade de suas fontes?”

🧠 Temporal context

Important.

🧠 Automation Bias e stale knowledge

Runbook:

System:

AI retrieves:

old.

Human:

trusts.

☕ IA com documento velho

é:

veterano confiante

que faltou:

sete anos de change management.

🧠 Retrieval ranking

🎯 Pergunta Bellacosa nº 62

“A fonte mais relevante semanticamente também é a mais válida operacionalmente?”

🧠 Excellent for RAG.

🧠 Automation Bias e permissions

AI may not have:

access:

to certain logs.

Then:

partial picture.

Need:

visible limitation.

🎯 Pergunta Bellacosa nº 63

“Quais dados o copiloto não pôde acessar?”

🧠 Absence of data should:

reduce confidence.

🧠 Automation Bias e privilege boundaries

Sometimes:

security restricts AI.

Good.

But:

users:

assume full context.

Need:

disclosure.

☕ Uma IA parcialmente cega

não deveria:

falar como:

oráculo.

🧠 Automation Bias e UI wording

Bad:

“Root Cause: Db2”

Better:

“Suggested Hypothesis: Db2 — unconfirmed”

Words:

matter.

Framing.

🎯 Pergunta Bellacosa nº 64

“A interface distingue claramente sugestão, inferência e fato confirmado?”

🧠 Great.

🧠 Confidence labels

Could use:

Low/medium/high

with:

calibration.

But:

still.

🧠 Automation Bias e loss of skill

Another huge issue.

If automation:

does:

everything,

humans:

practice less.

Then:

when automation fails,

human:

weaker.

☕ Automação excelente

pode:

produzir:

operador enferrujado.

🧠 Deskilling

Important.

Pilots/automation contexts have:

long discussed:

skill degradation.

In IT too.

🎯 Pergunta Bellacosa nº 65

“A equipe ainda consegue operar quando a automação está indisponível?”

🧠 Runbook manual fallback

Need:

practice.

🧠 AI coding copilots

Developer:

accepts.

Less:

learn.

When weird bug:

struggles.

🎯 Pergunta Bellacosa nº 66

“Estamos usando a automação para aumentar capacidade ou substituir compreensão?”

🧠 This is central for junior programmer.

☕ Copiloto bom

faz você:

chegar mais longe.

Copiloto ruim

faz você:

esquecer:

como dirigir.

🧠 Training new COBOL programmers

If AI explains:

every error,

junior:

could skip:

dump reading.

Danger.

Use AI:

mentor,

not:

oracle.

🎯 Pergunta Bellacosa nº 67

“O iniciante consegue reproduzir o raciocínio sem a ferramenta?”

🧠 Great educational principle.

🧠 Automation Bias e copy-paste coding

AI suggests:

COBOL.

Compiles.

Junior:

ships.

But:

PIC mismatch,

COMP-3,

REDEFINES,

file semantics.

Need:

understand.

☕ Compilar

não:

é:

compreender.

🎯 Pergunta Bellacosa nº 68

“Conseguimos explicar por que esse código está correto?”

🧠 Automation Bias e test passing

AI code:

tests pass.

But:

tests incomplete.

Again.

🧠 Automation Bias and invisible assumptions

Models:

don't always state:

assumptions.

Need:

prompt:

“list assumptions.”

🎯 Pergunta Bellacosa nº 69

“Quais premissas a automação está assumindo silenciosamente?”

🧠 This is one of best.

🧠 Bellacosa AI review routine

When AI recommends:

ask:

What evidence?
What assumptions?
What contradicts?
What alternatives?
What data missing?
What confidence semantics?
What blast radius?
What rollback?

☕ Não pergunte só:

“qual resposta?”

Pergunte:

“qual estrutura de decisão produziu essa resposta?”

🧠 Automation Bias e trust calibration through exercises

Run drills where:

automation intentionally wrong.

Humans:

must detect.

Useful.

🧠 Surprise automation failures

Training.

🎯 Pergunta Bellacosa nº 70

“A equipe já treinou discordar da automação?”

🧠 Great.

If never:

when real error:

hard.

🧠 Automation Bias and challenge culture

Could have:

“automation challenger” role.

Like:

devil's advocate.

☕ Às vezes precisamos:

de alguém na War Room

cuja função seja:

perguntar:

“E se o robô estiver errado?”

🎯 Pergunta Bellacosa nº 71

“Existe alguém responsável por procurar evidência contra a recomendação automática?”

🧠 Automation Bias e ensemble of humans

Different expertise.

DBA.

Network.

App.

Business.

Compare.

🧠 Human diversity as fault tolerance

Nice.

🎯 Pergunta Bellacosa nº 72

“A decisão inclui perspectivas independentes ou apenas confirmações da mesma hipótese?”

🧠 Automation Bias e Action Log

Record:

recommendation;

human decision;

reason.

Important.

🧠 Override logs

Not to punish.

To learn.

Why humans override?

Who was right?

🎯 Pergunta Bellacosa nº 73

“Estamos medindo quando humanos discordam da automação e o que acontece depois?”

🧠 This helps calibration.

🧠 Automation Bias e over-override

Opposite:

Algorithm Aversion.

Humans may:

distrust automation

after one visible error.

Related but opposite.

☕ Interessante:

um único erro do humano:

“acontece.”

Um único erro do algoritmo:

“essa porcaria não funciona.”

Esse é:

outro capítulo.

🧠 Automation Bias vs Algorithm Aversion

Need balance.

Not:

blind trust.

Not:

blind distrust.

🎯 Pergunta Bellacosa nº 74

“Estamos avaliando a automação por performance agregada ou reagindo emocionalmente ao último erro?”

🧠 Recency Bias enters.

🧠 Automation Bias e comparison baseline

Don't compare:

AI perfection

versus:

human ideal.

Compare:

AI actual

versus:

human actual

and:

hybrid actual.

☕ A pergunta não é:

“IA erra?”

Claro.

A pergunta é:

“qual arranjo erra menos, detecta melhor e limita mais o dano?”

🎯 Pergunta Bellacosa nº 75

“Estamos comparando sistemas reais ou caricaturas?”

🧠 Hybrid systems

Human + automation.

Often:

best.

But:

only if roles:

clear.

🧠 Automation Bias and responsibility gap

Who owns:

decision?

Developer?

Vendor?

User?

Manager?

Need:

explicit.

🎯 Pergunta Bellacosa nº 76

“Quem continua responsável pela decisão quando a recomendação veio da máquina?”

🧠 Critical.

“AI said so”

not:

accountability transfer.

☕ Copiloto não:

assina:

postmortem.

🧠 Automation Bias e vendor blame

System recommendation:

wrong.

Team:

“vendor.”

But:

governance allowed execution.

Need:

shared analysis.

🧠 Automation Bias e safety culture

Need:

permission to:

pause automation.

Kill switch.

🎯 Pergunta Bellacosa nº 77

“Conseguimos desligar a automação rapidamente quando desconfiamos dela?”

🧠 Manual override

Should be:

available

and:

tested.

🧠 But manual override itself:

risk.

Need:

auth.

☕ Botão:

MANUAL

que nunca foi testado

é:

fan fiction operacional.

🎯 Pergunta Bellacosa nº 78

“O modo manual funciona de verdade ou existe apenas no desenho?”

🧠 Automation Bias e failover

Auto failover:

great.

But split-brain risk.

Need:

fencing.

Systems engineering.

🎯 Pergunta Bellacosa nº 79

“Que proteção impede duas automações corretas localmente de criarem um estado global errado?”

🧠 This is deep.

🧠 Distributed systems

Automation can:

race.

Controllers fight.

One scales up.

Another scales down.

One reroutes.

Another heals.

☕ Microservices também:

podem:

discordar

sem:

reunião.

🧠 Control loops

Need:

coordination.

🎯 Pergunta Bellacosa nº 80

“Temos múltiplos control loops atuando sobre a mesma variável?”

🧠 Automation Bias and emergent behavior

Humans trust:

each automation individually.

Together:

weird.

🧠 Systems thinking

Critical.

🧠 Automation Bias e runbook codification

When human runbook:

automated,

implicit assumptions:

become:

code.

Then:

forgotten.

🎯 Pergunta Bellacosa nº 81

“Que julgamento humano original foi perdido quando transformamos o runbook em script?”

🧠 Nice.

🧠 Automation Bias e exception handling

Human recognizes:

“this case weird.”

Automation:

rule.

Need:

escape.

🧠 Exception funnel

If anomaly:

escalate.

🎯 Pergunta Bellacosa nº 82

“A automação sabe reconhecer casos fora de distribuição?”

🧠 Out-of-distribution

AI critical.

☕ O problema raro

que nunca apareceu:

é justamente:

onde:

“87% confidence”

deveria:

dar um pouco de medo.

🧠 Automation Bias e data quality

Garbage in.

Confidence out.

Need:

input quality.

🎯 Pergunta Bellacosa nº 83

“A ferramenta mostra qualidade e frescor dos dados usados?”

🧠 Great UI feature.

🧠 Sensor drift

Metrics wrong.

Automation:

trusts.

Humans:

trust automation.

Chain.

☕ Sensor mentiu.

Algoritmo acreditou.

Humano acreditou no algoritmo.

Três níveis de confiança.

Zero realidade.

🎯 Pergunta Bellacosa nº 84

“Temos validação independente para sensores críticos?”

🧠 Automation Bias e cybersecurity telemetry poisoning

Attacker may:

manipulate signals.

Then:

automation misreacts.

This is:

advanced.

Need:

data integrity.

🎯 Pergunta Bellacosa nº 85

“A automação assume que a telemetria é confiável em cenários onde um atacante poderia influenciá-la?”

🧠 Very relevant.

🧠 Automation Bias e adversarial environment

Fraud.

Security.

AI.

Inputs:

not neutral.

☕ Um algoritmo de segurança

precisa:

lembrar

que:

alguns dados:

estão tentando enganá-lo.

🧠 Automation Bias e model confidence under attack

Could:

be confidently wrong.

🧠 Automation Bias and operator fatigue

At 04:00:

human tired.

Automation:

tempting.

Trust:

increases.

🎯 Pergunta Bellacosa nº 86

“Estamos delegando mais julgamento à automação justamente quando a equipe está fatigada demais para revisá-la?”

🧠 Important.

May be necessary.

But:

higher need for:

guardrails.

🧠 Shift handoff

Automation output:

inherits.

Diagnosis Momentum.

🎯 Pergunta Bellacosa nº 87

“O próximo turno recebe a recomendação como fato ou reabre a hipótese?”

🧠 Automation Bias e incident command

IC should:

explicitly label:

automation output.

“Machine hypothesis.”

Good.

🧠 Status board:

FACT.

AI SUGGESTION.

HUMAN HYPOTHESIS.

CONFIRMED.

☕ Não coloque:

“AI Root Cause”

no mesmo campo

de:

“Evidence.”

🎯 Pergunta Bellacosa nº 88

“Nosso sistema de informação separa claramente dado, inferência automatizada e decisão humana?”

🧠 This is excellent governance.

🧠 Automation Bias e postmortem

Ask:

What did automation recommend?

Why?

What data?

Why humans trusted?

Were alternatives shown?

Could error be detected?

🧠 Do not:

“AI failure.”

Too shallow.

🎯 Pergunta Bellacosa nº 89

“Qual característica do sistema tornou racional confiar demais naquela recomendação?”

🧠 Local rationality again.

Maybe:

99% historical accuracy.

No alternative data.

Pressure.

UI.

🧠 Automation Bias e blame

Don't blame:

operator for trusting:

tool designed to look authoritative.

Fix:

design.

☕ Se botão diz:

“RECOMMENDED SAFE ACTION”

não se surpreenda

quando:

alguém acreditar.

🧠 Automation Bias e UX language

Need:

care.

“Suggested.”

“Unverified.”

“Requires confirmation.”

🎯 Pergunta Bellacosa nº 90

“A interface comunica incerteza proporcional ao risco?”

🧠 Great.

🧠 Automation Bias e color

Green suggestion.

Red warning.

Visual framing.

Could:

overweight.

🧠 Confidence visualization

Maybe:

not simple color.

☕ Verde é:

um argumento.

Mesmo:

sem frase.

🧠 Automation Bias e precision

“87.3%”

sounds:

scientific.

Maybe:

false precision.

🎯 Pergunta Bellacosa nº 91

“O número tem precisão maior que a evidência?”

🧠 Nice.

🧠 Automation Bias e auditability

Need:

reproduce:

why.

If recommendation:

cannot reproduce,

hard.

🎯 Pergunta Bellacosa nº 92

“Conseguimos reconstruir por que a automação tomou essa decisão?”

🧠 For deterministic rules:

easy.

AI:

harder.

But:

log context,

model version,

prompt,

sources.

🧠 Versioning

Model changed.

Behavior.

Need:

change management.

🎯 Pergunta Bellacosa nº 93

“Mudança de modelo entra no mesmo rigor de change que mudança de código?”

🧠 Very modern.

☕ Trocar modelo

pode:

mudar decisão

sem:

uma linha de COBOL.

Ainda assim:

é mudança de produção.

🧠 Automation Bias e model upgrades

New model:

better benchmark.

But:

different behavior.

Human trust:

carries from old.

Need:

recalibrate.

🎯 Pergunta Bellacosa nº 94

“Nossa confiança foi herdada da versão anterior?”

🧠 Excellent.

🧠 Automation Bias e agent tools

Agent allowed:

Jira.

Email.

DB.

Shell.

Now:

tool selection.

Humans:

trust.

Need:

scope.

🧠 Agent action logs

What:

tool call.

Why.

Result.

🎯 Pergunta Bellacosa nº 95

“Cada ação automatizada deixa trilha suficiente para auditoria?”

🧠 If no:

bad.

🧠 Automation Bias e opaque chains

Agent calls:

tool A,

then B,

then C.

Human sees:

final.

Need:

summary.

🧠 But not overwhelm

Balance.

☕ Transparência que ninguém consegue ler

também:

não ajuda.

🎯 Pergunta Bellacosa nº 96

“A explicação é compreensível no tempo disponível para decidir?”

🧠 Automation Bias e decision latency

Too much review:

slow.

Too little:

blind.

Tier.

🧠 Automation Bias e confidence thresholds

Auto if:

99?

Not enough.

Need:

impact.

🎯 Pergunta Bellacosa nº 97

“Estamos usando o mesmo threshold de confiança para ações triviais e críticas?”

🧠 Great.

🧠 Risk-weighted automation

LOW IMPACT + REVERSIBLE:
LOWER THRESHOLD

HIGH IMPACT + IRREVERSIBLE:
HIGHER THRESHOLD + HUMAN

☕ 95% para:

ordenar logs

não é:

95% para:

apagar dataset.

🧠 Automation Bias e uncertainty intervals

Maybe:

show:

risk.

🧠 Automation Bias e fallback

If AI unavailable:

what?

Manual.

If:

not trained,

failure.

🎯 Pergunta Bellacosa nº 98

“O sistema degrada graciosamente quando a automação some?”

🧠 Very important.

🧠 Automation Bias e resilience paradox

More automation:

less manual practice.

Then:

automation outage:

bigger.

Need:

manual drills.

☕ O fallback humano

também:

precisa:

de teste de DR.

🧠 Automation Bias e competence

Human role shifts:

from doing

to:

supervising.

Supervision:

different skill.

Need:

training.

🎯 Pergunta Bellacosa nº 99

“Treinamos pessoas para operar a automação ou para supervisioná-la criticamente?”

🧠 Huge difference.

🎯 Pergunta Bellacosa nº 100

“Se a automação estivesse errada agora, que evidência independente nos permitiria perceber?”

Essa talvez seja:

a pergunta definitiva.

Porque:

se resposta for:

“nenhuma”,

não temos:

automação assistiva.

Temos:

um oráculo.

E sistemas críticos:

não deveriam:

depender de:

oráculos.

🧠 De volta à War Room

03:44.

Copiloto:

LIKELY ROOT CAUSE:
DB2 LOCK CONTENTION

RECOMMEND:
RESTART DB2 MEMBER 2

Doctor:

— Antes de reiniciar, o que contradiz?

Nosso jovem:

— Non-DB2 path também degradado.

— Mais?

— Network latency subiu pouco antes dos lock waits.

DBA:

— Então locks podem ser consequência de requests ficando presos.

Network engineer:

— Temos packet loss entre application tier e gateway.

Gerente:

— O copiloto não viu isso?

— Não.

— Por quê?

— Esse telemetry source não está integrado ao contexto dele.

Silêncio.

☕ A frase que muda tudo:

“Ele não viu.”

🧠 03:46

Network route:

degraded.

Traffic:

moved.

03:48.

Latency:

falls.

Db2 lock waits:

fall too.

No restart.

🧠 Gerente pergunta:

— Então a IA estava errada?

Doctor:

— Parcialmente.

— Parcialmente?

— Ela encontrou um fenômeno real.

DBA:

— Locks realmente estavam altos.

Doctor:

— Mas confundiu sintoma com causa.

Nosso jovem:

— E nós quase promovemos a inferência para verdade.

Doctor:

— Exatamente.

☕ Essa é a essência do Automation Bias

A automação:

não precisa:

inventar.

Ela pode:

observar corretamente

concluir errado.

🧠 Isso é mais perigoso

Porque:

erro baseado em fatos reais

parece:

muito convincente.

🧠 Bellacosa Rule

Uma ferramenta pode estar correta sobre o que viu e errada sobre o que aquilo significa.

🧠 Para o programador COBOL iniciante

Isso vale para:

compiler;

IDE;

linter;

AI;

debugger;

monitor;

job scheduler;

abend analyzer;

query advisor.

🧠 Compiler warning

Tool says:

warning.

Could:

be:

real.

But:

understand.

🧠 SQL advisor

Suggest index.

Maybe:

query improves.

But:

write cost.

Storage.

Maintenance.

🎯 Pergunta Bellacosa nº 101

“A recomendação local considera o efeito sistêmico?”

🧠 Automation is often locally optimized

Global:

different.

☕ O advisor vê:

query.

O DBA precisa:

ver:

banco.

O arquiteto:

vê:

sistema.

O negócio:

vê:

cliente.

🧠 Layers of context

Human value:

integration.

🧠 Automation Bias e junior development

Beginner:

might think:

tool error message = truth complete.

Example:

S0C7 analyzer says:

field X.

Could:

point:

where failure occurred.

Not:

why field invalid.

☕ Ferramenta aponta:

corpo.

Você ainda precisa:

investigar:

crime.

🎯 Pergunta Bellacosa nº 102

“A automação mostrou o ponto de falha ou explicou a causa de origem?”

🧠 Root cause depth

Important.

🧠 Automation Bias and code completion

AI proposes:

ON SIZE ERROR

missing?

Need:

review.

🧠 Copilot confidence != correctness

🧠 Use AI as pair

Ask:

“what could be wrong with your answer?”

Good.

🎯 Pergunta Bellacosa nº 103

“Pedimos à automação para criticar a própria recomendação?”

🧠 This can help, but not independent.

Still:

same model.

Remember:

not real independence.

☕ Perguntar ao mesmo modelo:

“tem certeza?”

é:

útil.

Mas:

não cria:

um segundo universo.

🧠 Need independent tests

Compile.

Run.

Docs.

Telemetry.

Peer.

🧠 Automation Bias e verification ladder

For code:

AI says.

Compiler says.

Tests.

Review.

Prod telemetry.

Each:

different.

🧠 But correlated?

Tests generated by same AI:

hmm.

🎯 Pergunta Bellacosa nº 104

“Quem escreveu os testes que confirmaram o código gerado?”

🧠 Delicious.

If same model:

correlated.

🧠 Automation Bias e self-validation

AI generates:

code

and:

tests.

Both:

share assumptions.

Pass.

False confidence.

☕ Criar prova

corrigir prova

com:

o mesmo cérebro

tem:

limites.

🎯 Pergunta Bellacosa nº 105

“Temos validação independente das premissas do código?”

🧠 Automation Bias e testing blind spots

Already.

🧠 Bellacosa Automation Bias Detector

Frases:

“O sistema disse.”
“A IA deu 92%.”
“O dashboard está verde.”
“O pipeline passou.”
“O scanner não encontrou nada.”
“O copiloto recomendou.”
“O scheduler marcou complete.”
“O monitor não alertou.”
“A ferramenta sempre acerta.”
“É o padrão do produto.”
“O algoritmo calculou.”

Nenhuma:

é prova completa.

☕ Toda vez que ouvir:

“a ferramenta disse”

adicione:

mentalmente:

“com base em quais dados, regras e premissas?”

🧠 Bellacosa Anti-Automation-Bias Protocol

Passo 1 — Classifique a saída

É:

fato,

score,

inferência,

hipótese,

recomendação

ou:

ação?

Passo 2 — Veja a fonte

Quais dados?

Passo 3 — Veja o que falta

Blind spots.

Passo 4 — Procure contradição

Não só confirmação.

Passo 5 — Verifique independência

Sinais diferentes?

Passo 6 — Entenda confiança

O score significa o quê?

Passo 7 — Analise impacto

Blast radius.

Passo 8 — Preserve override

Human can disagree.

Passo 9 — Registre decisão

Recommendation versus actual action.

Passo 10 — Audite performance

Especially:

errors and overrides.

📋 Checklist Bellacosa anti-Automation Bias

[ ] A saída é fato ou inferência?

[ ] Qual fonte de dados foi usada?

[ ] Quais dados estão ausentes?

[ ] A fonte está atualizada?

[ ] O score de confiança é calibrado?

[ ] Existe evidência contraditória?

[ ] Existem hipóteses alternativas?

[ ] Os sinais são realmente independentes?

[ ] A recomendação é reversível?

[ ] Qual é o blast radius?

[ ] O humano consegue discordar?

[ ] Existe tempo real para revisar?

[ ] A automação pode se abster?

[ ] Há logs de decisão?

[ ] A equipe sabe operar sem ela?

🧠 Bellacosa Automation Card

AUTOMATION:
________________________

RECOMMENDATION:
________________________

TYPE:
FACT / HYPOTHESIS / SCORE / ACTION

DATA SOURCES:
________________________

MISSING DATA:
________________________

CONFIDENCE MEANING:
________________________

CONTRADICTORY EVIDENCE:
________________________

ALTERNATIVES:
________________________

BLAST RADIUS:
________________________

HUMAN DECISION:
________________________

👻 Easter Egg nº 3 — `BELLACOSA.BIAS(AUTOMATION)`

       IF AUTOMATION-SAYS = 'YES'
           PERFORM CHECK-EVIDENCE
           PERFORM CHECK-MISSING-DATA
           PERFORM CHECK-ALTERNATIVES
       END-IF.

       IF CONFIDENCE-PERCENT > ZERO
          AND CONFIDENCE-MEANING = SPACES
           DISPLAY
           'WARNING: DECORATIVE PRECISION'
       END-IF.

       IF HUMAN-REVIEW = 'Y'
          AND HUMAN-CAN-ONLY-APPROVE = 'Y'
           DISPLAY
           'WARNING: RUBBER STAMP MODE'
       END-IF.

       IF AUTOMATION-SILENT = 'Y'
           PERFORM CHECK-AUTOMATION-HEALTH
       END-IF.

Comentários:

* AUTOMATED
* DOES NOT MEAN
* OBJECTIVE.

Outro:

* CONFIDENT
* DOES NOT MEAN
* CORRECT.

Outro:

* GREEN DASHBOARD
* DOES NOT MEAN
* GREEN REALITY.

Outro:

* THREE TOOLS
* WITH ONE DATA SOURCE
* ARE ONE OPINION
* WITH THREE LOGOS.

E naturalmente:

* DALEK AI:
* TARGET CONFIDENCE 99%.
*
* TARGET:
* COFFEE MACHINE.
*
* DOCTOR:
* PLEASE RECALIBRATE.

🧠 Um detalhe maravilhoso: automação muda o papel humano

Antes:

humano fazia:

a tarefa.

Depois:

automação faz.

Humano:

supervisiona.

Só que:

supervisão é:

uma competência diferente.

☕ É mais fácil:

dirigir continuamente

do que:

ficar 40 minutos observando o carro dirigir

e assumir:

volante

no exato segundo

em que ele faz algo estranho.

🧠 Vigilance decrement

Humans:

bad at:

monitoring perfect automation

for rare failures.

Isso:

é importante.

🎯 Pergunta Bellacosa nº 106

“Projetamos o papel humano levando em conta que vigilância passiva prolongada degrada atenção?”

🧠 Don't make human:

watch machine

do nothing.

Give:

meaningful checkpoints.

🧠 Automation Bias e rare intervention

If automation correct:

99.9%,

human intervenes:

rarely.

Skill:

declines.

But:

rare case:

likely weird.

Double difficulty.

☕ O humano é chamado:

menos vezes

justamente nos casos:

mais difíceis.

Parabéns pela promoção.

🎯 Pergunta Bellacosa nº 107

“Estamos mantendo expertise suficiente para os casos que a automação não sabe resolver?”

🧠 This is huge for mainframe aging expertise too.

🧠 Automation Bias e junior learning

If juniors:

only see:

automated diagnosis,

they may:

not learn fundamentals.

Need:

training mode.

🧠 Explain not just recommend

Tool could:

show reasoning chain summary,

evidence.

☕ Um copiloto pedagógico

deveria perguntar:

“qual seria sua hipótese antes de eu mostrar a minha?”

Excelente para:

aprendizado.

🎯 Pergunta Bellacosa nº 108

“A automação está ensinando o operador ou apenas substituindo o operador?”

🧠 Great.

🧠 Automation Bias e Knowledge Debt

Automation encapsulates:

expert knowledge.

Expert leaves.

Script remains.

Nobody knows:

why.

Knowledge debt.

🎯 Pergunta Bellacosa nº 109

“A lógica da automação está documentada fora do código?”

🧠 Critical.

☕ Script sem contexto

é:

conhecimento fossilizado.

🧠 Automation Bias e runbook ownership

Who owns?

Need:

review.

🧠 Automation Bias e change review

When rules updated:

audit.

🎯 Pergunta Bellacosa nº 110

“Quem pode alterar a automação que todos tratam como autoridade?”

🧠 Security of automation

If compromised:

huge.

🧠 Supply chain

Automation tool itself:

risk.

🎯 Pergunta Bellacosa nº 111

“Estamos protegendo a automação proporcionalmente ao poder que demos a ela?”

🧠 Excellent.

🧠 Automation Bias e AI prompt injection

If AI copilots use:

external data,

malicious content:

could influence recommendations.

Need:

guardrails.

🧠 Then:

human trusts.

Danger.

☕ Um atacante não precisa:

enganar o operador

se puder:

enganar:

a ferramenta em que o operador confia.

🎯 Pergunta Bellacosa nº 112

“A entrada da automação pode ser manipulada por quem se beneficia de uma recomendação errada?”

🧠 This is security-aware.

🧠 Automation Bias e provenance

Need:

trusted sources.

🧠 Automation Bias e separation of duties

Agent suggests.

Another system approves?

Could:

both correlated.

Human.

🧠 Critical actions:

two-person rule.

🎯 Pergunta Bellacosa nº 113

“A validação da automação é realmente independente da própria automação?”

🧠 Final synthesis

Automation Bias não diz:

“não confie em automação.”

Seria:

absurdo.

Diz:

confie proporcionalmente à evidência, ao contexto e ao histórico real da ferramenta.

🧠 Automação excelente

deveria:

reduzir:

trabalho mecânico

ampliar:

capacidade humana.

Não:

desativar:

julgamento.

☕ O objetivo não é:

humano contra máquina.

É:

humano + máquina com mecanismos para detectar quando um deles está errado.

🧬 Regeneração organizacional

Uma organização madura não pergunta:

“Podemos automatizar?”

apenas.

Pergunta:

“O que acontece quando essa automação estiver errada?”

Ela define:

limites de autoridade;

fallback;

override;

auditoria;

proveniência;

confiança;

abstenção;

controle independente.

Ela mede:

falso positivo;

falso negativo;

override;

drift;

common mode failures.

Treina:

pessoas

para:

usar,

questionar

operar sem a automação.

E entende que:

uma ferramenta confiável merece confiança — mas nunca uma confiança maior que a evidência que sustenta sua confiabilidade.

📓 Diário do Doctor

Se guardar algumas ideias desta viagem, guarde estas:

Automation Bias é a tendência de confiar excessivamente em sistemas automatizados e reduzir nossa verificação independente.

Automação pode errar por recomendação incorreta ou por deixar de detectar algo que exigia ação.

O fato de uma ferramenta ser consistente, rápida ou frequentemente correta não torna todas as suas decisões corretas.

Anchoring Bias pode começar quando a automação fornece a primeira hipótese.

Confirmation Bias pode fazer humanos procurar sinais que confirmem a recomendação automática.

Diagnosis Momentum pode transformar uma hipótese da máquina em verdade organizacional através de tickets e handoffs.

Premature Closure e Search Satisfaction podem encerrar a investigação cedo quando o sistema apresenta uma resposta plausível.

Streetlight Effect limita tanto humanos quanto automação ao que está instrumentado e disponível.

Metric Fixation, McNamara, Goodhart e Campbell podem fazer sistemas automáticos otimizar proxies em vez de objetivos reais.

Default Effect aumenta o poder da automação quando a recomendação já aparece selecionada ou destacada.

Action Bias pode transformar uma recomendação automatizada em intervenção rápida demais.

Omission Bias pode surgir quando a ausência de alerta automatizado é interpretada como evidência de que não existe problema.

Plan Continuation e Escalation of Commitment podem ocorrer em workflows automáticos que continuam executando sem revalidar premissas.

Scores de confiança precisam ter significado claro e, idealmente, calibração conhecida.

Três sistemas baseados na mesma telemetria não constituem necessariamente três fontes independentes.

Human-in-the-loop só é real quando o humano possui tempo, informação, autoridade e possibilidade efetiva de discordar.

Ferramentas deveriam distinguir fato, hipótese, inferência, confiança e recomendação.

Abstenção é uma competência importante: sistemas maduros precisam saber quando a evidência é insuficiente.

A autonomia deveria ser proporcional ao risco, à reversibilidade e à capacidade de limitar blast radius.

Automação pode degradar habilidades humanas se eliminar oportunidades de prática e compreensão.

Mudanças de modelo, regras, thresholds e defaults automatizados são mudanças de produção e merecem governança.

A automação também precisa de observabilidade, auditoria, ownership e revisão periódica.

A melhor pergunta não é “a máquina está certa?”, mas “se ela estiver errada agora, como perceberemos antes de o erro ganhar escala?”.

E principalmente:

não substitua o antigo “porque o senior disse” pelo moderno “porque a IA disse”. Trocar a autoridade sem trocar o hábito de questionar continua sendo o mesmo problema — apenas com interface melhor.

🥚 Easter Egg final

Antes de entrar na TARDIS, o Doctor observa:

AI RECOMMENDATION:
RESTART DB2

CONFIDENCE:
87%

Nosso jovem:

— Então não devemos confiar?

Doctor:

— Não disse isso.

— Devemos confiar?

— Também não disse isso.

— Então o que fazemos?

Doctor pega:

um marcador.

Escreve:

TRUST
≠
OBEY

Nosso jovem:

— Qual a diferença?

Doctor:

“Confiar é permitir que a recomendação influencie sua decisão. Obedecer é permitir que ela substitua sua decisão.”

Silêncio.

— E quando podemos automatizar completamente?

Doctor abre:

a porta da TARDIS.

“Quando você entende suficientemente bem o comportamento normal, os modos de falha, o blast radius e a maneira de recuperar o controle quando a automação estiver errada.”

Nosso jovem:

— E se o algoritmo tiver 99,9% de precisão?

Doctor sorri.

“Então descubra o que acontece naquele 0,1% antes de entregar a ele a chave de produção.”

VWORP.

A TARDIS começa a desaparecer.

No quadro sobra:

“AUTOMATE THE WORK. NEVER AUTOMATE THE RIGHT TO QUESTION.”

E abaixo:

“O dashboard pode estar verde. O copiloto pode estar confiante. O algoritmo pode estar correto na maioria das vezes. A realidade ainda mantém o direito de discordar.”

E talvez essa seja toda a essência do Automation Bias no Bellacosa Mainframe:

automação madura não elimina julgamento humano; ela melhora o julgamento, acelera aquilo que pode ser acelerado e preserva mecanismos para que alguém ainda consiga dizer, com evidência: “o robô está errado desta vez.”

☕🌀

Próxima parada: Algorithm Aversion — o dia em que o algoritmo errou uma única vez, todo mundo perdeu a confiança, e passamos a preferir novamente decisões humanas que erravam com frequência muito maior — só que de um jeito mais familiar.

Translate

quarta-feira, 19 de agosto de 2015