Bellacosa Mainframe e o algorith aversion

☕ Um Café no Bellacosa Mainframe

Algorithm Aversion: Doctor Who, COBOL e o Dia em que o Algoritmo Errou Uma Vez — e Todo Mundo Resolveu Voltar para o Método Humano que Errava Toda Semana

Uma viagem pela TARDIS dos projetos, decisões e incidentes para entender por que podemos confiar demais em algoritmos enquanto parecem infalíveis — e abandoná-los violentamente depois do primeiro erro visível, mesmo quando continuam sendo melhores do que a alternativa humana

Segunda-feira.

09:17.

Sala de operações.

No painel:

FRAUD DETECTION MODEL

ACCURACY LAST 90 DAYS:
96,8%

FALSE POSITIVE RATE:
1,9%

TRANSACTIONS ANALYZED:
18.400.000

Nosso jovem programador COBOL olha.

Gerente:

— Muito bom.

Analista:

— O modelo vem reduzindo fraude há meses.

Então:

uma transação aparece.

Cliente antigo.

Compra legítima.

O algoritmo:

bloqueia.

Cliente reclama.

Gerente:

— Como o sistema deixou isso acontecer?

Analista:

— Foi um falso positivo.

Diretor:

— Então o algoritmo errou?

— Sim.

Silêncio.

Diretor:

— Desliga.

Nosso jovem:

— Desliga?

— Não podemos confiar num sistema que erra.

— E antes dele?

— A análise era manual.

— Qual era a taxa de erro?

Analista abre:

outro relatório.

MANUAL REVIEW - HISTORICAL

ESTIMATED ACCURACY:
88,4%

AVERAGE DECISION TIME:
14 MINUTES

Nosso jovem:

— Então o método humano errava mais?

— Sim.

— Muito mais?

— Sim.

— Mas vamos abandonar o algoritmo porque vimos ele errar uma vez?

O diretor responde:

— Quando uma pessoa erra, entendemos.

— E quando um algoritmo erra?

— É diferente.

Ah.

Chegamos.

VWORP.

A TARDIS aparece ao lado da impressora.

A porta abre.

O Doctor sai.

Olha:

para os dois relatórios.

Depois:

para o diretor.

— Você aceita 88% de acerto humano?

— Não exatamente.

— Mas prefere isso a 96% algorítmico?

— O algoritmo deveria ser melhor.

Doctor:

— Ele é.

— Quero dizer perfeito.

Doctor:

— Ah.

Pega um marcador.

Escreve:

HUMAN ERROR
   ↓
"PEOPLE MAKE MISTAKES"

ALGORITHM ERROR
   ↓
"THE SYSTEM CANNOT BE TRUSTED"

Depois:

ALGORITHM AVERSION

Ou:

Aversão ao Algoritmo.

Em linguagem Bellacosa:

é quando passamos a rejeitar ou desconfiar excessivamente de um algoritmo depois de observar seus erros — mesmo quando, estatisticamente, ele continua performando melhor do que a alternativa humana.

🧠 Primeiro: isso parece contradizer Automation Bias

No capítulo anterior:

Automation Bias.

Lá:

confiávamos demais.

Agora:

desconfiamos demais.

Parece:

contradição.

Na verdade:

é uma gangorra.

Humano:

pode começar dizendo:

“Se a IA falou, deve estar certo.”

A IA erra:

uma vez.

Então:

“Essa porcaria não serve para nada.”

Dois extremos.

☕ Ontem:

oráculo.

Hoje:

lixo.

Talvez:

amanhã possamos:

avaliar estatística.

🧠 Definição Bellacosa

Algorithm Aversion é quando exigimos da máquina uma perfeição que nunca exigimos das pessoas.

💻 COBOL cognitivo

Imagine:

       IF HUMAN-ERROR = 'Y'
           MOVE 'NORMAL'
             TO REACTION
       END-IF.

       IF ALGORITHM-ERROR = 'Y'
           MOVE 'DISABLE-SYSTEM'
             TO REACTION
       END-IF.

Curioso.

🧠 A máquina erra de forma visível

Essa é:

uma diferença enorme.

Quando algoritmo decide:

há:

score;

timestamp;

output;

log.

MODEL DECISION:
BLOCK

CONFIDENCE:
92%

Quando humano decide:

talvez:

“pareceu suspeito.”

O erro humano:

pode parecer:

contextual.

O algorítmico:

parece:

formal.

☕ O algoritmo deixa:

recibo.

O cérebro humano:

deixa:

explicação.

👻 Easter Egg nº 1 — Dalek Statistical Review

Dalek:

— ALGORITHM FAILED.

Doctor:

— Quantas vezes?

— ONE.

— De quantas?

— TWO MILLION.

— E o operador humano?

— FAILED TWELVE THOUSAND TIMES.

— Então manteremos o algoritmo?

Dalek:

— NEGATIVE. MACHINE ERROR IS UNACCEPTABLE.

Doctor:

— E doze mil erros humanos?

Dalek:

— HUMAN NATURE.

Doctor:

— Vocês realmente complicaram a estatística.

🧠 Por que o erro algorítmico incomoda tanto?

Porque:

esperamos que máquinas:

sejam:

consistentes;

objetivas;

matemáticas;

precisas.

Então:

quando falham,

quebram:

uma expectativa.

🧠 Com humanos...

...já esperamos:

imperfeição.

Então:

o erro chega:

pré-desculpado.

🎯 Pergunta Bellacosa nº 1

“Estamos comparando o algoritmo com humanos reais ou com um humano idealizado que nunca erra?”

Essa pergunta:

é devastadora.

🧠 Baseline correto

Nunca compare:

ALGORITHM ACTUAL

com:

HUMAN PERFECT

Compare:

ALGORITHM ACTUAL
VS
HUMAN ACTUAL
VS
HUMAN + ALGORITHM ACTUAL

Aí:

fica interessante.

☕ O adversário da IA

não é:

Sherlock Holmes descansado,

com todos os dados

três horas disponíveis.

Às 03:00,

o adversário às vezes é:

um analista cansado

com:

37 alertas abertos.

🎯 Pergunta Bellacosa nº 2

“Qual é a performance real da alternativa humana sob as mesmas condições?”

🧠 Algorithm Aversion e Automation Bias formam uma curva estranha

Primeiro:

superconfiança.

Depois:

erro.

Depois:

superdesconfiança.

NEW AUTOMATION
↓
WOW
↓
HIGH TRUST
↓
VISIBLE ERROR
↓
SHOCK
↓
ALGORITHM AVERSION

O ideal:

confiança calibrada.

☕ Não amar.

Não odiar.

Medir.

🧠 Trust Calibration

A pergunta madura não é:

“confio?”

É:

quanto devemos confiar, em quais situações e com quais limites?

🎯 Pergunta Bellacosa nº 3

“Em quais tipos de caso o algoritmo é forte e em quais ele é fraco?”

🧠 Performance agregada pode esconder diferenças

Modelo:

97% geral.

Mas:

99% em casos comuns.

70% em edge cases.

Isso importa.

🧠 Algorithm Aversion pode nascer de edge case dramático

Um erro raro:

vira:

história.

Availability Heuristic.

☕ Dez milhões de decisões corretas

cabem:

num percentual.

Um erro absurdo

vira:

reunião.

🧠 Availability Heuristic

Aquilo que:

lembramos facilmente

parece:

mais frequente.

Um algoritmo bloqueia:

CEO.

Todo mundo lembra.

Os:

300 mil casos corretos:

ninguém lembra.

🎯 Pergunta Bellacosa nº 4

“O erro foi frequente ou apenas memorável?”

🧠 Recency Bias

Se erro aconteceu:

ontem,

domina:

percepção.

Mesmo com:

dois anos de performance boa.

☕ Dashboard tem:

730 dias.

Reunião tem:

o incidente de ontem.

Adivinha quem vence.

🎯 Pergunta Bellacosa nº 5

“Estamos avaliando histórico ou reagindo ao caso mais recente?”

🧠 Outcome Bias

Se modelo recomenda:

A dá errado.

“Modelo ruim.”

Mas talvez:

A fosse:

decisão probabilisticamente correta.

Um resultado ruim:

não prova:

má decisão.

🧠 Exemplo

Chance de sucesso:

90%.

Aconteceu:

os 10%.

Isso não significa:

que 90% estava necessariamente errado.

☕ Probabilidade não:

promete destino.

🎯 Pergunta Bellacosa nº 6

“O resultado ruim era incompatível com a probabilidade estimada ou apenas era um dos resultados possíveis?”

🧠 Hindsight Bias

Depois:

“Era óbvio.”

Antes:

não.

Humano vê:

erro algorítmico

e pensa:

“Eu teria percebido.”

Será?

☕ Esse é um clássico:

“Eu jamais teria cometido esse erro.”

Provavelmente:

teria cometido:

outro.

🎯 Pergunta Bellacosa nº 7

“Temos evidência de que humanos realmente teriam acertado esse caso?”

🧠 Counterfactuals são difíceis

Você não sabe:

o que o operador teria feito

na mesma transação

se modelo:

não existisse.

Isso importa.

🧠 Algorithm Aversion e Framing Effect

Compare:

“modelo errou 3%.”

versus:

“modelo acerta 97%.”

Mesmo dado.

A percepção:

muda.

🎯 Pergunta Bellacosa nº 8

“Estamos apresentando performance em frames equivalentes?”

🧠 Agora compare com humano:

ALGORITHM:
97% accuracy

HUMAN:
90% accuracy

Parece:

fácil.

Mas:

se mostramos:

ALGORITHM:
30,000 errors per million

HUMAN:
90% accuracy

não é:

simétrico.

☕ Formato de comparação

também:

vota.

🎯 Pergunta Bellacosa nº 9

“Estamos usando a mesma unidade e o mesmo denominador para comparar humano e algoritmo?”

🧠 Algorithm Aversion e Loss Aversion

Erro da máquina:

gera:

perda.

Loss Aversion:

amplifica.

Especialmente se:

foi uma perda:

que alguém acha:

“evitável”.

🧠 Exemplo

Modelo perde:

R$ 100 mil.

Humano perde:

R$ 100 mil.

A máquina pode:

parecer:

mais revoltante.

Porque:

“não deveríamos ter delegado.”

🎯 Pergunta Bellacosa nº 10

“A dor da perda está sendo transferida para uma rejeição geral da tecnologia?”

🧠 Algorithm Aversion e Status Quo Bias

Após erro:

voltamos:

ao processo antigo.

Por quê?

É:

conhecido.

Familiar.

☕ O algoritmo errou.

Então:

voltamos para:

o método que errava

de maneira familiar.

Status Quo:

agradece.

🎯 Pergunta Bellacosa nº 11

“Estamos retornando ao processo antigo porque ele é melhor ou porque seus erros são conhecidos?”

🧠 Familiarity Bias

Erro humano:

“entendemos.”

Erro algorítmico:

misterioso.

Familiaridade:

dá conforto.

🧠 Explainability entra

Se não entendemos:

por que modelo decidiu,

erro:

parece:

mais ameaçador.

☕ Um erro explicável

é:

mais tolerável

que:

um erro alienígena.

🎯 Pergunta Bellacosa nº 12

“A rejeição vem da performance ou da dificuldade de entender a decisão?”

🧠 Algorithm Aversion e Need for Control

Humano quer:

controlar.

Algoritmo:

tira:

sensação de agência.

Quando erra:

reação:

“devolve decisão para nós.”

🧠 Mesmo se humano:

pior.

Porque:

controle psicológico

tem:

valor.

☕ Às vezes preferimos:

errar dirigindo

acertar como passageiro.

🎯 Pergunta Bellacosa nº 13

“Estamos escolhendo controle ou performance?”

🧠 Isso não é trivial

Controle pode:

ser legítimo.

Accountability.

Ethics.

Regulation.

But:

separar:

é importante.

🧠 Algorithm Aversion e autonomia

Estudos e experiências em sistemas de apoio à decisão sugerem uma coisa interessante:

as pessoas podem aceitar melhor algoritmos quando:

podem:

ajustar;

revisar;

sobrepor;

intervir.

Mesmo pequenas possibilidades de controle:

podem aumentar aceitação.

☕ Talvez o usuário não queira:

ser motorista completo.

Mas também não quer:

viajar no porta-malas.

🎯 Pergunta Bellacosa nº 14

“O usuário pode ajustar ou contestar a recomendação?”

🧠 Human Override

Bom.

Mas cuidado:

override demais:

Automation Bias inverso.

🧠 Algoritmo recomenda corretamente

Humano:

muda

porque:

“conheço cliente.”

Agora:

performance híbrida:

piora.

☕ Dar botão de override

não garante:

bom uso do botão.

🎯 Pergunta Bellacosa nº 15

“Quando humanos sobrescrevem o algoritmo, ficam melhores ou piores?”

🧠 Isso deve ser medido

Não presumido.

🧠 Override Analytics

Track:

modelo recomendou A.

Humano escolheu B.

Outcome.

Then:

learn.

🎯 Pergunta Bellacosa nº 16

“Estamos medindo o valor real da intervenção humana?”

🧠 Isso é fascinante

Talvez humanos sejam:

excelentes

em edge cases.

Talvez:

piores.

Precisa:

dados.

🧠 Hybrid Decision Making

Ideal pode ser:

algoritmo:

triagem.

Humano:

casos ambíguos.

Ou:

modelo:

recommendation.

Humano:

context.

☕ Não precisa existir:

HUMANO vs IA.

Pode ser:

HUMANO + IA.

🧠 Mas híbrido não é automaticamente melhor

Se humano:

só atrapalha,

não.

Se IA:

cria âncora,

também não.

Architecture:

matters.

🎯 Pergunta Bellacosa nº 17

“Em qual ponto do processo o julgamento humano realmente acrescenta informação nova?”

🧠 Algorithm Aversion e Automation Bias juntos

Essa pergunta:

resolve muito.

Se humano só:

rubber stamps:

Automation Bias.

Se humano sempre:

ignora:

Algorithm Aversion.

☕ Um sistema híbrido ruim

pode ter:

todos os custos

de humano

todos os custos

de automação.

Parabéns.

🧠 Need calibrated division of labor

Quem faz:

o quê?

🧠 Algoritmo é excelente em:

consistência;

volume;

pattern matching;

repetição;

cálculo;

detecção estatística.

Humano pode ser melhor em:

contexto novo;

objetivos conflitantes;

ética;

ambiguidade;

conhecimento tácito;

exceções sem histórico.

Não universal.

Mas:

bom ponto de partida.

🎯 Pergunta Bellacosa nº 18

“Estamos delegando ao algoritmo justamente aquilo em que ele é melhor?”

🧠 Algorithm Aversion e edge cases

Se um caso:

fora de distribuição

gera:

erro,

não significa:

modelo ruim em:

casos comuns.

Talvez:

routing ruim.

☕ Você não joga fora:

o martelo

porque:

tentou apertar:

um parafuso.

🎯 Pergunta Bellacosa nº 19

“O problema é o algoritmo ou estamos usando-o fora do domínio para o qual foi validado?”

🧠 Scope

Muito importante.

Model approved:

retail transactions.

Now:

corporate treasury.

Different.

🧠 Automation Bias ignoraria scope

Algorithm Aversion faria:

“AI doesn't work.”

Both:

errados.

🎯 Pergunta Bellacosa nº 20

“O erro ocorreu dentro ou fora do domínio esperado?”

🧠 Model drift

Pode também:

ter funcionado.

Mundo mudou.

Agora:

erro aumenta.

Nesse caso:

aversão talvez:

seja reação:

a deterioração real.

Need:

monitor.

☕ Não chame toda crítica:

de Algorithm Aversion.

Às vezes:

algoritmo piorou mesmo.

🧠 Isso é essencial

O conceito não é:

desculpa para:

manter sistema ruim.

Aversão existe quando:

rejeição:

é desproporcional

à performance comparativa real.

🎯 Pergunta Bellacosa nº 21

“Temos evidência de queda sustentada de performance ou apenas um erro visível?”

🧠 Control charts

Track:

performance over time.

False positive.

False negative.

Calibration.

Drift.

☕ Um incidente:

é:

dado.

Não:

distribuição.

🧠 Algorithm Aversion e sample size

Um gerente testa:

10 casos.

Modelo erra:

“20% erro!”

Sample tiny.

Could:

mislead.

🎯 Pergunta Bellacosa nº 22

“A amostra é grande o suficiente para mudar nossa crença?”

🧠 Sysprog Bayesiano volta

Prior:

modelo:

97%.

Um erro:

update.

Não:

delete all prior evidence.

☕ Bayes não faz:

TRUNCATE TRUST.

Ele:

atualiza.

🧠 Bayesian thinking

Suppose:

thousands correct.

One error.

Posterior confidence:

drops slightly,

depending severity.

Not:

zero.

🎯 Pergunta Bellacosa nº 23

“Quanto esse novo erro deveria racionalmente alterar nossa estimativa de confiança?”

🧠 Algorithm Aversion e severity

Mas:

erro raro

pode:

ser catastrófico.

Aí:

frequência não:

é tudo.

🧠 Exemplo

99.999% correct.

One wrong action:

deletes production database.

Unacceptable.

So:

risk-weighted performance.

☕ Precisão média

não:

é:

licença para:

catástrofe rara.

🎯 Pergunta Bellacosa nº 24

“O erro é apenas frequente ou também precisamos considerar severidade e reversibilidade?”

🧠 Important nuance

Algorithm Aversion não significa:

“aceite erros porque humanos erram.”

Need:

expected loss.

🧠 Compare:

human errors:

small.

Algorithm rare error:

systemic.

Could:

still be worse.

🎯 Pergunta Bellacosa nº 25

“Qual é o custo esperado dos erros, não apenas a taxa de acerto?”

🧠 Excellent.

🧠 Algorithm Aversion e common-mode failure

Algorithm can:

make same mistake:

at scale.

Human errors:

distributed.

This matters.

☕ Um operador erra:

uma conta.

Um algoritmo pode:

errar:

um milhão

antes do almoço.

🎯 Pergunta Bellacosa nº 26

“O erro algorítmico escala de forma diferente do erro humano?”

🧠 Critical.

A rejection may:

be rational if:

blast radius huge.

Need:

limit.

🧠 Safe deployment

Canary.

Thresholds.

Human review.

Segmentation.

🎯 Pergunta Bellacosa nº 27

“Podemos manter o benefício do algoritmo reduzindo o blast radius dos seus erros?”

🧠 Great alternative to:

turn off.

🧠 Instead of:

“disable AI,”

maybe:

reduce autonomy.

☕ Não existe apenas:

OFF.

Pode existir:

ASSIST.

🧠 Autonomy ladder

LEVEL 0:
NO ALGORITHM

LEVEL 1:
ADVISORY

LEVEL 2:
RECOMMEND + HUMAN DECISION

LEVEL 3:
AUTO LOW-RISK, HUMAN HIGH-RISK

LEVEL 4:
AUTO WITH OVERRIDE

LEVEL 5:
FULL AUTO

If trust drops:

step down.

Not:

destroy.

🎯 Pergunta Bellacosa nº 28

“Podemos reduzir autonomia sem abandonar capacidade?”

🧠 This is mature response.

🧠 Algorithm Aversion e incident response AI

AI recommends:

wrong root cause once.

Team:

stops using it.

Maybe:

bad.

Better:

review:

where failed.

Was:

missing telemetry?

Stale RAG?

Model issue?

Prompt?

☕ Não desligue:

o copiloto

antes de descobrir:

se o problema era:

o copiloto

ou:

o mapa que deram para ele.

🎯 Pergunta Bellacosa nº 29

“Qual componente da cadeia realmente falhou?”

🧠 AI system != model

Important.

Pipeline:

retrieval.

Prompt.

Tool.

Data.

UI.

Model.

Human.

🧠 “AI failed”

often:

too vague.

🎯 Pergunta Bellacosa nº 30

“Foi erro de modelo, dados, integração, interface ou uso?”

🧠 Beautiful for postmortem.

🧠 Algorithm Aversion e hallucinations

LLM hallucination:

visible.

People:

“unusable.”

But:

human analyst can:

invent facts too.

Difference:

scale,

style,

auditability.

Need:

compare.

☕ O objetivo não é:

normalizar alucinação.

É:

comparar risco real

criar verificação.

🧠 Retrieval grounding

Can reduce.

Not:

eliminate.

🎯 Pergunta Bellacosa nº 31

“O erro pode ser detectado antes de produzir consequência?”

🧠 Detectability

Critical dimension.

Algorithm error:

maybe easily checked.

Human error:

not.

🧠 If verification cheap

Algorithm still:

useful.

☕ Um sistema que erra:

mas cujo erro:

custa 2 segundos para detectar

pode ser:

fantástico.

🎯 Pergunta Bellacosa nº 32

“Quanto custa verificar a saída?”

🧠 Algorithm Aversion e confidence

If model:

shows uncertainty,

users may:

accept.

If:

speaks absolute,

error shocks.

🧠 Design matters

“Likely.”

“Uncertain.”

“Requires review.”

🎯 Pergunta Bellacosa nº 33

“A interface criou uma expectativa de infalibilidade?”

🧠 Great.

🧠 Marketing contributes

“Autonomous.”

“AI-powered.”

“Intelligent.”

“Self-healing.”

Then:

one error.

Disappointment.

☕ Se você vende:

mágica,

um bug vira:

heresia.

🎯 Pergunta Bellacosa nº 34

“Prometemos assistência ou prometemos perfeição?”

🧠 Algorithm Aversion may be manufactured by overclaiming

Important.

🧠 Calibration starts at expectation

Tell users:

strengths.

Weaknesses.

Error rate.

🧠 Good onboarding

“This tool is strong at X, weak at Y.”

Then:

errors:

less shocking.

🎯 Pergunta Bellacosa nº 35

“Os usuários sabem onde o sistema tende a falhar?”

🧠 Algorithm Aversion e explainable mistakes

If error reason:

understood,

trust can:

recover.

🧠 Example

Image unclear.

Missing network telemetry.

Unusual customer.

Makes sense.

☕ Um erro com mecanismo conhecido

vira:

engenharia.

Um erro misterioso

vira:

folclore.

🎯 Pergunta Bellacosa nº 36

“Conseguimos explicar por que o algoritmo errou?”

🧠 But beware explainability theater

Same as previous chapter.

Need:

evidence.

🧠 Algorithm Aversion e operator identity

Professionals may:

feel threatened.

Algorithm suggests:

job replacement.

Then:

error becomes:

proof:

“see? useless.”

This can:

amplify aversion.

☕ Às vezes discussão técnica

vem:

com:

folha de pagamento escondida.

🎯 Pergunta Bellacosa nº 37

“Existe ameaça de status, autonomia ou emprego influenciando a avaliação?”

🧠 Important but sensitive.

Not all criticism:

self-interest.

But:

incentives matter.

🧠 Principal-Agent

Manager:

wants automation for cost.

Analyst:

fears job.

Vendor:

wants adoption.

Different.

🎯 Pergunta Bellacosa nº 38

“Quem ganha e quem perde se o algoritmo for considerado confiável?”

🧠 Algorithm Aversion e cultural debt

Organization:

proud of:

human judgment.

“Only veterans understand.”

AI arrives.

Threatens:

identity.

One error:

validates culture.

☕ O algoritmo não:

entrou apenas:

na arquitetura.

Entrou:

na hierarquia.

🧠 Mainframe example

AI abend analyzer:

suggests likely offending field.

Veteran:

finds one miss.

Says:

“essas IAs não entendem COBOL.”

Maybe:

true for case.

But:

evaluate dataset.

🎯 Pergunta Bellacosa nº 39

“Estamos julgando a ferramenta pela performance agregada ou pela capacidade de impressionar o especialista?”

🧠 Experts can be tough benchmark

Good.

Need:

structured.

🧠 Expert intuition vs algorithm

Sometimes expert:

beats.

Especially:

rare cases.

Can combine.

🧠 Expert override should:

generate data.

Why override?

Feed:

model improvement.

🎯 Pergunta Bellacosa nº 40

“Estamos transformando discordâncias dos especialistas em aprendizado mensurável?”

🧠 Nice.

🧠 Algorithm Aversion e junior programmers

Now:

important for beginners.

Suppose AI suggests:

COBOL fix.

Wrong.

Beginner:

“IA não presta.”

Or:

Automation Bias:

copies blindly.

Both:

bad.

☕ O aprendiz precisa:

evitar dois personagens:

O Crente do Copiloto

O Velho do “Eu Sabia que Essa IA Era Besteira”.

🧠 Better:

test.

Understand.

Measure.

🎯 Pergunta Bellacosa nº 41

“Eu consigo explicar por que a sugestão está certa ou errada?”

🧠 Learning opportunity

When AI wrong:

great.

Compare:

reasoning.

Find:

missing concept.

☕ Erro do copiloto

pode:

ser:

exercício.

🧠 Example S0C7

AI says:

field WS-AMOUNT.

Dump shows:

failure near:

ADD WS-AMOUNT.

But root issue:

copybook mismatch upstream.

AI:

partial.

Don't:

discard.

Use:

as hypothesis.

🎯 Pergunta Bellacosa nº 42

“A ferramenta errou completamente ou apenas parou em uma camada intermediária da causa?”

🧠 That's nuanced.

🧠 Algorithm Aversion e tool specialization

Maybe:

AI good for:

search.

Bad:

decision.

Use accordingly.

🧠 Division of labor

Automation:

rank possibilities.

Human:

confirm.

🎯 Pergunta Bellacosa nº 43

“Qual função da ferramenta continua valiosa mesmo se não confiarmos nela para decisão final?”

🧠 Excellent.

🧠 Algorithm Aversion e recommendation systems

If one bad recommendation:

people:

lose trust.

But:

could:

allow:

user adjustments.

Personalization.

🧠 Perceived agency restores trust

🎯 Pergunta Bellacosa nº 44

“Podemos permitir pequenas correções humanas em vez de exigir aceitação ou rejeição total?”

🧠 This has research relevance historically.

🧠 Algorithm Aversion e calibration displays

Show:

uncertainty.

Past performance.

Similar cases.

May:

help.

But:

too much:

confuse.

☕ Transparência não precisa:

ser:

dump hexadecimal.

Precisa:

ser:

decidível.

🎯 Pergunta Bellacosa nº 45

“A transparência ajuda o usuário a decidir ou apenas transfere complexidade?”

🧠 Algorithm Aversion e false precision

If system says:

99.87%

and wrong,

trust:

collapses more.

Because:

confidence sounded:

absolute.

🎯 Pergunta Bellacosa nº 46

“A ferramenta está apresentando certeza maior do que sua calibração justifica?”

🧠 Same as previous, from aversion angle.

🧠 Algorithm Aversion e rare catastrophic errors

Need:

guardrail.

Example:

recommendation only.

No auto-execute.

🧠 Stop-loss

If error rate rises:

downgrade mode.

🎯 Pergunta Bellacosa nº 47

“Temos gatilhos objetivos para reduzir confiança operacional na automação?”

🧠 This avoids emotional switch-off

🧠 Bellacosa Trust Levels

TRUST LEVEL 3:
AUTO LOW-RISK

IF ERROR RATE > X
↓
TRUST LEVEL 2:
RECOMMEND ONLY

IF RECALIBRATED
↓
RESTORE LEVEL 3

Dynamic.

☕ Confiança deveria:

ter:

versão,

métrica

rollback.

🧠 Algorithm Aversion e change management

Model update:

behaviour changes.

Users see:

new error.

Trust.

Need:

release notes.

Validation.

🎯 Pergunta Bellacosa nº 48

“A performance que construiu nossa confiança pertence à mesma versão que está rodando hoje?”

🧠 Important.

🧠 Algorithm Aversion e model rollback

Sometimes:

yes,

rollback model.

But:

based:

metrics.

🧠 A/B shadow mode

New model:

shadow.

Compare.

Then:

deploy.

Reduces shock.

☕ Deixe o algoritmo errar:

em sombra

antes de:

errar:

em produção.

🎯 Pergunta Bellacosa nº 49

“Podemos testar o modelo em shadow mode antes de entregar decisão?”

🧠 Great.

🧠 Algorithm Aversion e shadow evaluation

Human and model:

independent.

Compare.

Useful.

🧠 But human sees model?

Anchoring.

Blind evaluation:

better for test.

🎯 Pergunta Bellacosa nº 50

“Nossa comparação está contaminada porque o humano já conhece a recomendação do algoritmo?”

🧠 Excellent experimental design.

🧠 Algorithm Aversion e selective memory

People remember:

algorithm errors.

Forget:

human errors.

Need:

decision logs.

☕ Memória corporativa

é:

um banco de dados

com:

índices estranhos.

🎯 Pergunta Bellacosa nº 51

“Temos registro comparável dos erros humanos e dos erros algorítmicos?”

🧠 If not:

perception:

biased.

🧠 Algorithm Aversion e accountability logs

Machines:

logged.

Humans:

not.

So:

machine looks:

worse

because:

measured.

🧠 McNamara irony

What gets measured:

looks problematic.

🎯 Pergunta Bellacosa nº 52

“A diferença de visibilidade dos erros está distorcendo nossa comparação?”

🧠 Great.

🧠 Algorithm Aversion e metric fixation

Don't reduce:

one accuracy metric.

Need:

precision;

recall;

cost;

latency;

severity;

fairness;

calibration;

coverage.

Depending domain.

☕ 98% pode:

ser:

ótimo.

Ou:

horror.

Depende:

do que existe:

nos 2%.

🎯 Pergunta Bellacosa nº 53

“Estamos julgando o sistema por uma métrica única?”

🧠 Confusion matrix

For beginner:

helpful.

🧠 Suppose fraud:

1000 transactions.

10 fraud.

Model:

says no fraud to all.

Accuracy:

99%.

Useless.

☕ Aquele famoso:

dashboard verde

com:

problema real.

🎯 Pergunta Bellacosa nº 54

“A métrica está alinhada ao erro que realmente nos preocupa?”

🧠 Algorithm Aversion after one false positive

Could lead:

relax model.

Then:

false negatives rise.

Trade-off.

🧠 Loss functions.

Threshold.

🎯 Pergunta Bellacosa nº 55

“Corrigir o erro que nos irritou aumenta outro tipo de erro?”

🧠 Great.

🧠 Threshold tuning

Fraud model:

lower threshold:

more blocks.

Higher:

less blocks,

more fraud.

Cannot:

zero both.

☕ Muitas vezes não estamos:

eliminando erro.

Estamos:

escolhendo:

qual erro aceitar.

🎯 Pergunta Bellacosa nº 56

“Qual erro custa mais?”

🧠 This is decision theory.

🧠 Algorithm Aversion e ethical cases

Some domains:

humans may:

legitimately demand:

human review.

Not because:

algorithm poor.

Because:

values,

rights,

explanation.

🧠 Important distinction

Performance isn't:

only criterion.

🎯 Pergunta Bellacosa nº 57

“A decisão exige legitimidade humana além de precisão estatística?”

🧠 Very important.

🧠 Algorithm Aversion isn't a trump card

We should not say:

“you're biased, accept automation.”

That's:

bad.

Need:

consider:

fairness;

due process;

rights;

accountability.

☕ Uma decisão pode:

ser estatisticamente boa

governadamente inadequada.

🧠 Algorithm Aversion e legal/compliance review

Could:

require human.

Fine.

🧠 Human role may be:

oversight,

not:

accuracy.

🎯 Pergunta Bellacosa nº 58

“O humano está ali para melhorar precisão, garantir accountability ou exercer julgamento normativo?”

🧠 Great role clarity.

🧠 Algorithm Aversion e mainframe operations

Automated scheduler decides:

resource order.

One odd case.

Operator:

starts overriding all.

Now:

global performance:

worse.

Classic.

☕ Um override emocional

pode:

desfazer:

uma otimização que:

humano não enxerga:

localmente.

🎯 Pergunta Bellacosa nº 59

“A pessoa está vendo o mesmo horizonte de dados que o algoritmo?”

🧠 Sometimes algorithm has:

global view.

Human local.

Opposite also possible.

🧠 Algorithm Aversion e WLM analogy

Imagine:

WLM adjusts resources.

Operator sees:

one workload slow.

Overrides.

May:

hurt:

enterprise goal.

Interesting.

☕ O algoritmo:

otimiza:

o sistema.

O humano:

vê:

o telefone tocando.

Ambos:

têm razão:

em contextos diferentes.

🎯 Pergunta Bellacosa nº 60

“Estamos comparando objetivos locais e globais?”

🧠 Excellent.

🧠 Algorithm Aversion e expert overrides in operations

Need:

override reason codes.

Later:

review.

🧠 If experts consistently:

beat model

in category X,

route X:

human.

☕ Isso é:

engenharia adaptativa.

Não:

guerra religiosa.

🎯 Pergunta Bellacosa nº 61

“Conseguimos aprender onde cada lado é melhor?”

🧠 This is the ideal.

🧠 Algorithm Aversion e training

Teach juniors:

model scores are:

inputs.

Not:

truth.

Also:

don't dismiss:

because:

one miss.

🧠 Bellacosa mental model:

MACHINE OUTPUT
+
HUMAN CONTEXT
+
INDEPENDENT EVIDENCE
=
BETTER DECISION

Maybe.

☕ O mais importante:

comparar.

🧠 Algorithm Aversion e false negatives of tool adoption

If organization abandons:

useful AI,

loses:

benefit.

Opportunity cost.

🎯 Pergunta Bellacosa nº 62

“Qual valor futuro estamos perdendo ao abandonar a ferramenta inteira por causa de um modo de falha específico?”

🧠 Sunk Cost reversed?

Interesting.

We might:

throw away:

investment.

But don't:

continue because sunk cost.

Need:

future value.

🧠 Sunk Cost still relevant

Don't keep bad system:

just because:

invested.

Don't kill good system:

just because:

error.

☕ O passado não vota.

A evidência atual:

sim.

🎯 Pergunta Bellacosa nº 63

“Se avaliássemos a ferramenta hoje do zero, com todos os dados atuais, ainda a adotaríamos?”

🧠 Zero-based review.

Great.

🧠 Algorithm Aversion e postmortem design

After algorithm error:

don't ask:

“Who approved AI?”

Ask:

Was error expected?
Was it in validated domain?
Was confidence calibrated?
Could human detect?
Was action reversible?
Did UI overstate certainty?
Did guardrails work?
How does performance compare?

☕ Postmortem:

não é:

tribunal da tecnologia.

É:

recalibração.

🎯 Pergunta Bellacosa nº 64

“O incidente revelou uma falha intolerável ou um erro dentro da faixa esperada?”

🧠 Huge distinction.

🧠 If within expected

Maybe:

no system change.

Maybe:

communication.

🧠 If outside expected

investigate:

drift.

Data.

Bug.

🧠 Algorithm Aversion e tolerance

Users may:

tolerate algorithm more

if:

can see:

track record.

🎯 Pergunta Bellacosa nº 65

“Mostramos ao usuário performance histórica suficiente para contextualizar um erro individual?”

🧠 Helpful.

🧠 Algorithm Aversion e uncertainty education

Teach probability.

If tool:

90%,

10% error expected.

Users:

should understand.

☕ “90% preciso”

não significa:

“vai acertar:

essa decisão.”

🎯 Pergunta Bellacosa nº 66

“Os usuários entendem probabilidade ou interpretam score como garantia?”

🧠 Great.

🧠 Algorithm Aversion e confidence calibration through feedback

If model says:

80%

and is correct:

80% of such cases.

Good.

If 80:

but only 50:

bad.

Calibration.

🧠 Then users can:

trust bands.

🎯 Pergunta Bellacosa nº 67

“A confiança declarada corresponde à frequência real de acerto?”

🧠 Important.

🧠 Algorithm Aversion e false expectation of determinism

People think:

algorithm:

same input → same output.

LLMs may:

not.

Then:

surprise.

☕ O usuário acha:

calculadora.

Recebe:

modelo probabilístico.

Expectativa:

explosiva.

🎯 Pergunta Bellacosa nº 68

“O tipo de sistema foi explicado corretamente para o usuário?”

🧠 Great for AI literacy.

🧠 Algorithm Aversion e non-determinism

LLM answers differ.

People:

“unreliable.”

Maybe:

for certain tasks:

yes.

For creative:

fine.

Need:

fit.

🎯 Pergunta Bellacosa nº 69

“A variabilidade é um defeito para esta tarefa específica?”

🧠 Again task-specific.

🧠 Algorithm Aversion e deterministic automation

Rules can also:

fail.

Don't equate:

algorithm with AI.

☕ Um `IF` de 1997

também:

é um algoritmo.

Só:

não tem:

avatar simpático.

🧠 Algorithm Aversion existed before AI boom

People resisted:

forecasting models,

decision aids,

automation.

Useful historical context.

🎯 Pergunta Bellacosa nº 70

“Estamos reagindo ao erro algorítmico em si ou ao fato de agora ele ser chamado de IA?”

🧠 Nice.

🧠 Algorithm Aversion e media salience

AI errors:

viral.

Human errors:

mundane.

Public perception:

skew.

☕ “IA errou”

vira:

manchete.

“Pessoa errou”

vira:

terça-feira.

🎯 Pergunta Bellacosa nº 71

“A atenção pública ao erro está sendo confundida com frequência real?”

🧠 Availability again.

🧠 Algorithm Aversion e fairness

If model makes:

systematic bias

against group,

one visible example may:

signal real systemic issue.

Then:

aversion not irrational.

Need:

disaggregate metrics.

🎯 Pergunta Bellacosa nº 72

“O erro é aleatório ou sistematicamente concentrado?”

🧠 Critical.

🧠 Aggregate accuracy can hide subgroup harm

Need:

segments.

☕ 97% geral

pode:

conviver com:

70%

para:

uma população específica.

🎯 Pergunta Bellacosa nº 73

“Quem está dentro dos erros?”

🧠 Very important.

🧠 Algorithm Aversion e model governance

Monitor:

performance by:

segment;

time;

scenario.

🧠 Then:

trust calibrated.

🧠 Algorithm Aversion e vendor demos

Vendor:

shows:

98%.

Organization:

deploys.

First miss:

anger.

Part of problem:

baseline expectations not validated locally.

🎯 Pergunta Bellacosa nº 74

“Validamos a performance no nosso ambiente ou herdamos confiança do marketing?”

🧠 Excellent.

🧠 Pilot

Shadow.

A/B.

Benchmark human.

🧠 Algorithm Aversion and pilot design

Need:

enough cases.

Include:

edge.

🎯 Pergunta Bellacosa nº 75

“O piloto foi desenhado para encontrar falhas ou para provar que a compra foi boa?”

🧠 Confirmation Bias!

Nice.

🧠 Algorithm Aversion e procurement sunk cost

Vendor expensive.

If error:

some defend due sunk cost.

Others:

kill due aversion.

Both biased.

Need:

evidence.

☕ Entre:

“já pagamos”

“errou uma vez”,

há um lugar:

chamado:

análise.

🧠 Algorithm Aversion e accountability

Management may:

prefer humans

because:

can blame:

someone.

Machine:

responsibility diffuse.

🎯 Pergunta Bellacosa nº 76

“Estamos preferindo decisão humana porque é tecnicamente melhor ou porque produz um culpado mais fácil?”

🧠 Harsh but useful.

🧠 Governance should solve responsibility

Not:

through worse performance.

🧠 Algorithm Aversion e responsibility gap

Define:

owner.

Even when automated.

☕ Máquina decide.

Organização responde.

🎯 Pergunta Bellacosa nº 77

“Quem responde pelo desenho, validação e uso do algoritmo?”

🧠 Algorithm Aversion e emotional asymmetry

Human error can be:

explained:

“tired.”

“complex.”

“ambiguous.”

Algorithm:

“cold machine.”

This affects:

moral judgment.

🧠 Anthropomorphism strange

We expect:

machines:

superhuman.

Then punish:

human-like error.

☕ Queremos:

que a IA:

tenha criatividade humana,

precisão de calculadora,

memória perfeita,

zero viés

custo de estagiário.

É uma especificação:

interessante.

🎯 Pergunta Bellacosa nº 78

“Nossa expectativa de performance é tecnicamente realista?”

🧠 Great.

🧠 Algorithm Aversion e confidence recovery

How recover after error?

Transparent analysis.

Fix.

Retest.

Limited deployment.

Monitor.

🧠 Don't say:

“trust us.”

Show.

☕ Confiança perdida

não se restaura:

com:

PowerPoint.

Se restaura:

com:

evidência.

🎯 Pergunta Bellacosa nº 79

“Que evidência concreta permitirá recuperar confiança?”

🧠 Action plan.

🧠 Algorithm Aversion e stop criteria

Conversely:

when should retire?

Clear.

🧠 Define:

performance threshold.

Severe incident.

Drift.

🎯 Pergunta Bellacosa nº 80

“Quais critérios objetivos justificariam realmente abandonar o algoritmo?”

🧠 This prevents both bias and blind loyalty.

🧠 Bellacosa Algorithm Review Matrix

                    HUMAN      ALGORITHM      HYBRID
----------------------------------------------------
ACCURACY            ____       ____           ____
SEVERE ERRORS       ____       ____           ____
LATENCY             ____       ____           ____
COST                ____       ____           ____
SCALABILITY         ____       ____           ____
EXPLAINABILITY      ____       ____           ____
CONSISTENCY         ____       ____           ____
EDGE CASES          ____       ____           ____
AUDITABILITY        ____       ____           ____

Now:

conversation.

☕ Comparação madura

não cabe:

em:

“IA boa”

ou:

“IA ruim.”

🧠 Bellacosa Trust Equation

Metaphorically:

TRUST =
PERFORMANCE
+ CALIBRATION
+ TRANSPARENCY
+ CONTROL
+ RECOVERABILITY

Not literal.

🧠 High accuracy alone:

not enough.

🎯 Pergunta Bellacosa nº 81

“A confiança depende só de acerto ou também de como o sistema falha?”

🧠 Exactly.

Graceful failure.

🧠 Algorithm Aversion e graceful degradation

If model uncertain:

route human.

Good.

☕ Um sistema excelente

não é só:

aquele que:

acerta.

É:

aquele que:

erra de maneira:

detectável,

limitada

recuperável.

🎯 Pergunta Bellacosa nº 82

“Quando o algoritmo erra, o erro é detectável e contido?”

🧠 Strong.

🧠 Algorithm Aversion e abstention

Like previous.

If uncertain:

don't decide.

This can:

increase trust.

🧠 But too much abstention:

low coverage.

Trade-off.

🎯 Pergunta Bellacosa nº 83

“Qual porcentagem de casos o algoritmo deveria decidir e qual deveria encaminhar?”

🧠 Excellent.

🧠 Confidence-based routing

High:

auto.

Medium:

review.

Low:

human.

🧠 Algorithm Aversion and high-stakes

May:

all human final.

Fine.

☕ Autonomia não:

é troféu.

É:

parâmetro.

🧠 Algorithm Aversion e model monitoring

Use:

champion/challenger.

Current model.

Alternative.

Compare.

🎯 Pergunta Bellacosa nº 84

“Temos um challenger ou só descobrimos degradação quando alguém reclama?”

🧠 Great ops.

🧠 Algorithm Aversion e rollback of models

Keep previous version.

If regression:

rollback.

☕ Modelo também precisa:

de:

GDG mental.

Generation current.

Generation previous.

👻 Easter Egg nº 2 — `MODEL.GDG`

AI.MODEL.G00042V00
AI.MODEL.G00041V00

Nosso jovem:

— Dá para voltar?

Doctor:

— Naturalmente.

— Então por que o vendor chamou de inteligência artificial?

Doctor:

— “Probabilistic component with rollback” vende menos.

🧠 Algorithm Aversion e COBOL perspective

Mainframe people:

understand:

determinism.

AI:

probabilistic.

Cultural clash.

🧠 COBOL programmer expects:

same input,

same output.

LLM:

not always.

Need:

mental shift.

☕ Não julgue:

um LLM

como:

COMPUTE TAX = ...

São:

animais diferentes.

🎯 Pergunta Bellacosa nº 85

“Estamos aplicando critérios de software determinístico a uma ferramenta probabilística sem adaptação?”

🧠 Very important.

🧠 But critical use may need deterministic wrapper

Use AI:

suggest.

Validation:

deterministic.

🧠 Great architecture

LLM produces:

candidate.

Rules validate.

Human approve.

☕ Probabilidade na borda.

Determinismo no guarda-corpo.

🎯 Pergunta Bellacosa nº 86

“Que partes da decisão podem ser probabilísticas e quais precisam ser determinísticas?”

🧠 Excellent systems design.

🧠 Algorithm Aversion e testability

If output:

subjective,

hard.

If:

code,

compile/test.

Use:

verification.

🎯 Pergunta Bellacosa nº 87

“Temos um verificador mais confiável que o gerador?”

🧠 This is strong AI pattern.

🧠 Algorithm Aversion e generated COBOL

AI writes:

code.

Compiler:

deterministic validation.

Unit tests.

Static analysis.

Human.

☕ O copiloto pode:

improvisar.

O compilador:

não tem:

senso de humor.

Isso ajuda.

🧠 Algorithm Aversion after bad generated code

Don't:

discard AI.

Maybe:

improve workflow.

🎯 Pergunta Bellacosa nº 88

“O erro ocorreu porque a ferramenta é inadequada ou porque faltou verificação obrigatória?”

🧠 Great.

🧠 Algorithm Aversion e RAG

One hallucination due:

retrieval miss.

Could:

fix:

retrieval,

not model.

🎯 Pergunta Bellacosa nº 89

“A resposta errada nasceu na geração ou na recuperação da evidência?”

🧠 Nice.

🧠 Algorithm Aversion e old documentation

Model uses stale doc.

Error.

Need:

provenance.

Again.

🧠 Algorithm Aversion e agent action

Agent does:

wrong action.

Maybe:

permissions too broad.

Not:

“agents impossible.”

Guardrail.

🎯 Pergunta Bellacosa nº 90

“Poderíamos ter convertido esse erro em recomendação inofensiva em vez de ação real?”

🧠 Great.

🧠 Algorithm Aversion and fail-safe design

Assume algorithm can:

fail.

Like:

human.

Build:

system.

☕ Engenharia madura

não pergunta:

“vai errar?”

Pergunta:

“quando errar, o que acontece?”

🧠 That's core.

🧠 Algorithm Aversion e zero-error expectations

Zero-error:

rare.

Need:

risk classes.

🎯 Pergunta Bellacosa nº 91

“Para esta tarefa, qual taxa de erro é realmente aceitável?”

🧠 Context.

🧠 Some cases:

Then automation maybe:

not final.

🧠 Algorithm Aversion e approval thresholds

Use:

multi-level.

🧠 Bellacosa Algorithm Aversion Protocol

Passo 1 — Não reaja ao caso isolado

Registre.

Passo 2 — Compare baseline real

Humano versus algoritmo versus híbrido.

Passo 3 — Classifique o erro

Falso positivo?

Falso negativo?

Drift?

Edge?

Data?

Passo 4 — Meça severidade

Não só frequência.

Passo 5 — Verifique domínio

Estava dentro do escopo?

Passo 6 — Atualize confiança

Não zere.

Passo 7 — Reduza autonomia se necessário

Em vez de desligar.

Passo 8 — Corrija mecanismo

Dados, modelo, UX, workflow.

Passo 9 — Reteste

Shadow/challenger.

Passo 10 — Decida com critérios explícitos

Manter, limitar ou retirar.

📋 Checklist Bellacosa anti-Algorithm Aversion

[ ] O algoritmo errou uma vez ou sua performance deteriorou?

[ ] Qual é a performance humana real?

[ ] Qual é a performance híbrida?

[ ] O erro foi comum ou apenas memorável?

[ ] O erro ocorreu dentro do domínio validado?

[ ] Qual foi a severidade?

[ ] O erro escalaria em massa?

[ ] Poderíamos limitar o blast radius?

[ ] A interface prometia certeza excessiva?

[ ] Humanos conseguem corrigir a saída?

[ ] Overrides humanos melhoram ou pioram?

[ ] Existe drift?

[ ] O erro veio do modelo ou dos dados?

[ ] Podemos reduzir autonomia em vez de desligar?

[ ] Quais critérios realmente justificariam abandonar?

🧠 Bellacosa Algorithm Trust Card

MODEL:
________________________

VERSION:
________________________

HUMAN BASELINE:
________________________

MODEL BASELINE:
________________________

HYBRID BASELINE:
________________________

ERROR TYPE:
________________________

ERROR SEVERITY:
________________________

IN-DOMAIN?
YES / NO

DETECTABLE?
YES / NO

REVERSIBLE?
YES / NO

RECOMMENDED TRUST LEVEL:
________________________

👻 Easter Egg nº 3 — `BELLACOSA.BIAS(ALGORITHM-AVERSION)`

       IF ALGORITHM-ERROR = 'Y'
           PERFORM CHECK-SAMPLE-SIZE
           PERFORM CHECK-HUMAN-BASELINE
           PERFORM CHECK-SEVERITY
       END-IF.

       IF ERROR-COUNT = 1
          AND HISTORICAL-ACCURACY > 95
           DISPLAY
           'WARNING: DO NOT PANIC-SHUTDOWN'
       END-IF.

       IF HUMAN-BASELINE < MODEL-BASELINE
          AND DECISION = 'RETURN-TO-HUMAN'
           DISPLAY
           'WARNING: FAMILIAR ERROR PREFERENCE'
       END-IF.

       IF MODEL-TRUST = ZERO
           PERFORM ASK-WHAT-CHANGED
       END-IF.

Comentários:

* ONE ERROR
* IS DATA,
* NOT A VERDICT.

Outro:

* HUMAN ERRORS
* ALSO COUNT.

Outro:

* DON'T COMPARE
* MACHINE REALITY
* WITH HUMAN FANTASY.

Outro:

* TRUST
* SHOULD DEGRADE
* GRADUALLY,
* NOT EXPLODE.

E naturalmente:

* DALEK ALGORITHM:
* 99.9% ACCURATE.
*
* ONE ERROR.
*
* DALEK MANAGEMENT:
* "DESTROY IT."
*
* DOCTOR:
* "HOW ACCURATE ARE YOU?"

🕰️ De volta à reunião

O diretor:

— Então você está dizendo para ignorarmos o erro?

Nosso jovem:

— Não.

— Mas você quer manter o algoritmo.

— Quero entender o erro antes de decidir.

— Ele bloqueou um cliente legítimo.

— Sim.

— Isso é ruim.

— Sim.

— Então?

Nosso jovem abre:

a comparação.

LAST 90 DAYS

ALGORITHM:
18.4M decisions
96.8% accuracy

HUMAN HISTORICAL:
1.2M decisions
88.4% accuracy

Depois:

segmenta.

ALGORITHM PERFORMANCE

NORMAL RETAIL:
98.1%

INTERNATIONAL TRAVEL:
83.6%

Silêncio.

🧠 Agora temos:

algo.

O erro veio:

de transação internacional.

Um segmento:

fraco.

☕ A conclusão muda:

de:

“algoritmo não presta”

para:

“o algoritmo tem um buraco específico.”

Isso é:

engenharia.

🧠 A equipe decide

Para:

retail normal:

automação continua.

Para:

international travel:

human review.

Novo training data.

Recalibrate.

Shadow test.

Depois:

reevaluate.

☕ Nenhum:

fanatismo.

Nenhum:

desligamento dramático.

🧠 O Doctor pergunta:

— Então vocês ainda confiam no algoritmo?

Nosso jovem:

— Menos nesse segmento.

— E nos outros?

— Os dados dizem que continua melhor.

— Excelente.

🧠 Isso é confiança calibrada

Não:

🧠 E se erro tivesse sido catastrófico?

Aí:

talvez:

autonomia cairia:

imediatamente.

Important.

☕ Um erro pode:

mudar tudo

se revelar:

modo de falha intolerável.

Algorithm Aversion não:

proíbe reação forte.

Proíbe:

reação:

sem proporção.

🎯 Pergunta Bellacosa nº 92

“Esse erro revelou apenas uma taxa de falha ou revelou uma classe de falha que não podemos aceitar?”

🧠 Excellent distinction.

🧬 Regeneração organizacional

Uma organização madura não:

idolatra algoritmos.

Também não:

abandona algoritmos

por:

decepção emocional.

Ela:

mede.

Compara.

Segmenta.

Audita.

Monitora drift.

Define:

níveis de autonomia.

Permite:

override.

Mede:

override.

Mantém:

human skills.

Trata:

erros algorítmicos

com a mesma seriedade

que:

erros humanos,

mas:

não com:

um padrão impossível.

Ela entende:

que:

o objetivo não é escolher quem tem direito de errar; o objetivo é construir um sistema em que erros sejam menos frequentes, menos graves, mais detectáveis e mais fáceis de corrigir.

📓 Diário do Doctor

Se guardar algumas ideias desta viagem, guarde estas:

Algorithm Aversion é a tendência de rejeitar algoritmos excessivamente depois de observar seus erros, mesmo quando continuam superando alternativas humanas.

Automation Bias e Algorithm Aversion são extremos opostos: confiança demais e confiança de menos.

A meta é confiança calibrada.

Erros humanos tendem a ser percebidos como naturais, enquanto erros algorítmicos quebram expectativas de precisão.

Availability Heuristic faz erros algorítmicos memoráveis parecerem mais frequentes.

Recency Bias faz o último erro dominar anos de desempenho.

Outcome Bias pode fazer uma decisão probabilisticamente correta parecer ruim só porque terminou mal.

Hindsight Bias faz humanos acreditarem que teriam evitado um erro depois que a resposta já está conhecida.

Framing Effect altera percepção quando performance é apresentada como acerto ou erro.

Status Quo Bias e Familiarity Bias podem levar organizações a voltar para processos humanos inferiores apenas porque seus erros são conhecidos.

Need for Control pode tornar decisões humanas mais atraentes mesmo quando menos precisas.

Permitir algum grau de ajuste e override pode melhorar aceitação, mas overrides precisam ser medidos para verificar se realmente agregam valor.

O baseline correto é humano real versus algoritmo real versus sistema híbrido real.

Precisão agregada não é suficiente; frequência, severidade, detectabilidade, reversibilidade e distribuição dos erros importam.

Um único erro raro pode ser aceitável ou intolerável dependendo do blast radius.

Erro dentro de um segmento específico pode exigir roteamento diferente, não abandono completo da ferramenta.

Reduzir autonomia é uma alternativa importante entre confiar cegamente e desligar.

Shadow mode, challengers, versionamento, rollback e monitoramento de drift ajudam a recuperar e calibrar confiança.

O erro pode vir de modelo, dados, retrieval, integração, UI, regra, threshold ou uso humano; dizer apenas “a IA falhou” geralmente é insuficiente.

Interfaces e marketing que prometem inteligência ou certeza excessiva aumentam a decepção quando erros inevitáveis aparecem.

Humano no loop pode existir por precisão, accountability ou julgamento normativo; o papel precisa estar claro.

Algoritmos podem errar em escala, então limitar blast radius é tão importante quanto medir acurácia.

Erros sistemáticos em certos grupos ou cenários exigem análise segmentada, não apenas médias globais.

Ferramentas probabilísticas não deveriam ser avaliadas como se fossem software determinístico, embora sistemas críticos possam envolver verificadores determinísticos ao redor delas.

Para programadores iniciantes, uma sugestão de IA errada não prova inutilidade da ferramenta; é oportunidade de entender onde o modelo perdeu contexto e como validar melhor.

E principalmente:

não troque “se a IA falou, deve estar certo” por “a IA errou uma vez, então nunca serve”. As duas frases têm exatamente o mesmo problema: substituem avaliação por reação.

🥚 Easter Egg final

Antes de entrar na TARDIS, o Doctor olha para:

dois botões.

[ TRUST ALGORITHM COMPLETELY ]

[ NEVER TRUST ALGORITHM AGAIN ]

Nosso jovem:

— Qual eu aperto?

Doctor:

— Nenhum.

— Não tem terceiro botão.

Doctor pega:

um marcador

e desenha:

[ MEASURE, CALIBRATE, VERIFY ]

Nosso jovem:

— Esse botão é muito menos dramático.

Doctor:

— As melhores decisões costumam ser.

— Então devo confiar na IA?

Doctor:

— Quando ela merece.

— E desconfiar?

— Quando a evidência muda.

— E se ela errar?

Doctor abre:

a porta.

“Atualize sua confiança. Não transforme um erro em religião.”

Nosso jovem:

— E se humanos errarem?

O Doctor entra na TARDIS.

Olha de volta.

“Conte também.”

VWORP.

A TARDIS começa:

a desaparecer.

No quadro fica:

TRUST ≠ FAITH

ERROR ≠ USELESSNESS

Mais abaixo:

“Compare sistemas reais, não fantasias.”

E talvez essa seja toda a essência do Algorithm Aversion no Bellacosa Mainframe:

quando o algoritmo errar, não ajoelhe diante dele — mas também não o jogue pela janela. Descubra quanto ele erra, onde erra, como seus erros se comparam aos nossos e qual arquitetura transforma a combinação humano + máquina numa decisão melhor do que qualquer um dos dois conseguiria sozinho.

☕🌀

Próxima parada: Algorithm Appreciation — o estranho fenômeno oposto, em que uma recomendação pode ganhar credibilidade adicional simplesmente porque veio acompanhada de números, modelos, IA, gráficos e uma aura matemática de objetividade.

Translate

sexta-feira, 18 de setembro de 2015