 |
| Bellacosa Mainframe e o algorith aversion |
☕ Um Café no Bellacosa Mainframe
Algorithm Aversion: Doctor Who, COBOL e o Dia em que o Algoritmo Errou Uma Vez — e Todo Mundo Resolveu Voltar para o Método Humano que Errava Toda Semana
Uma viagem pela TARDIS dos projetos, decisões e incidentes para entender por que podemos confiar demais em algoritmos enquanto parecem infalíveis — e abandoná-los violentamente depois do primeiro erro visível, mesmo quando continuam sendo melhores do que a alternativa humana
Segunda-feira.
09:17.
Sala de operações.
No painel:
FRAUD DETECTION MODEL
ACCURACY LAST 90 DAYS:
96,8%
FALSE POSITIVE RATE:
1,9%
TRANSACTIONS ANALYZED:
18.400.000
Nosso jovem programador COBOL olha.
Gerente:
— Muito bom.
Analista:
— O modelo vem reduzindo fraude há meses.
Então:
uma transação aparece.
Cliente antigo.
Compra legítima.
O algoritmo:
bloqueia.
Cliente reclama.
Gerente:
— Como o sistema deixou isso acontecer?
Analista:
— Foi um falso positivo.
Diretor:
— Então o algoritmo errou?
— Sim.
Silêncio.
Diretor:
— Desliga.
Nosso jovem:
— Desliga?
— Não podemos confiar num sistema que erra.
— E antes dele?
— A análise era manual.
— Qual era a taxa de erro?
Analista abre:
outro relatório.
MANUAL REVIEW - HISTORICAL
ESTIMATED ACCURACY:
88,4%
AVERAGE DECISION TIME:
14 MINUTES
Nosso jovem:
— Então o método humano errava mais?
— Sim.
— Muito mais?
— Sim.
— Mas vamos abandonar o algoritmo porque vimos ele errar uma vez?
O diretor responde:
— Quando uma pessoa erra, entendemos.
— E quando um algoritmo erra?
— É diferente.
Ah.
Chegamos.
VWORP.
VWORP.
VWORP.
A TARDIS aparece ao lado da impressora.
A porta abre.
O Doctor sai.
Olha:
para os dois relatórios.
Depois:
para o diretor.
— Você aceita 88% de acerto humano?
— Não exatamente.
— Mas prefere isso a 96% algorítmico?
— O algoritmo deveria ser melhor.
Doctor:
— Ele é.
— Quero dizer perfeito.
Doctor:
— Ah.
Pega um marcador.
Escreve:
HUMAN ERROR
↓
"PEOPLE MAKE MISTAKES"
ALGORITHM ERROR
↓
"THE SYSTEM CANNOT BE TRUSTED"
Depois:
ALGORITHM AVERSION
Ou:
Aversão ao Algoritmo.
Em linguagem Bellacosa:
é quando passamos a rejeitar ou desconfiar excessivamente de um algoritmo depois de observar seus erros — mesmo quando, estatisticamente, ele continua performando melhor do que a alternativa humana.
🧠 Primeiro: isso parece contradizer Automation Bias
No capítulo anterior:
Automation Bias.
Lá:
confiávamos demais.
Agora:
desconfiamos demais.
Parece:
contradição.
Na verdade:
é uma gangorra.
Humano:
pode começar dizendo:
“Se a IA falou, deve estar certo.”
A IA erra:
uma vez.
Então:
“Essa porcaria não serve para nada.”
Dois extremos.
☕ Ontem:
oráculo.
Hoje:
lixo.
Talvez:
amanhã possamos:
avaliar estatística.
🧠 Definição Bellacosa
Algorithm Aversion é quando exigimos da máquina uma perfeição que nunca exigimos das pessoas.
💻 COBOL cognitivo
Imagine:
IF HUMAN-ERROR = 'Y'
MOVE 'NORMAL'
TO REACTION
END-IF.
IF ALGORITHM-ERROR = 'Y'
MOVE 'DISABLE-SYSTEM'
TO REACTION
END-IF.
Curioso.
🧠 A máquina erra de forma visível
Essa é:
uma diferença enorme.
Quando algoritmo decide:
há:
score;
timestamp;
output;
log.
MODEL DECISION:
BLOCK
CONFIDENCE:
92%
Quando humano decide:
talvez:
“pareceu suspeito.”
O erro humano:
pode parecer:
contextual.
O algorítmico:
parece:
formal.
☕ O algoritmo deixa:
recibo.
O cérebro humano:
deixa:
explicação.
👻 Easter Egg nº 1 — Dalek Statistical Review
Dalek:
— ALGORITHM FAILED.
Doctor:
— Quantas vezes?
— ONE.
— De quantas?
— TWO MILLION.
— E o operador humano?
— FAILED TWELVE THOUSAND TIMES.
— Então manteremos o algoritmo?
Dalek:
— NEGATIVE. MACHINE ERROR IS UNACCEPTABLE.
Doctor:
— E doze mil erros humanos?
Dalek:
— HUMAN NATURE.
Doctor:
— Vocês realmente complicaram a estatística.
🧠 Por que o erro algorítmico incomoda tanto?
Porque:
esperamos que máquinas:
sejam:
consistentes;
objetivas;
matemáticas;
precisas.
Então:
quando falham,
quebram:
uma expectativa.
🧠 Com humanos...
...já esperamos:
imperfeição.
Então:
o erro chega:
pré-desculpado.
🎯 Pergunta Bellacosa nº 1
“Estamos comparando o algoritmo com humanos reais ou com um humano idealizado que nunca erra?”
Essa pergunta:
é devastadora.
🧠 Baseline correto
Nunca compare:
ALGORITHM ACTUAL
com:
HUMAN PERFECT
Compare:
ALGORITHM ACTUAL
VS
HUMAN ACTUAL
VS
HUMAN + ALGORITHM ACTUAL
Aí:
fica interessante.
☕ O adversário da IA
não é:
Sherlock Holmes descansado,
com todos os dados
e:
três horas disponíveis.
Às 03:00,
o adversário às vezes é:
um analista cansado
com:
37 alertas abertos.
🎯 Pergunta Bellacosa nº 2
“Qual é a performance real da alternativa humana sob as mesmas condições?”
🧠 Algorithm Aversion e Automation Bias formam uma curva estranha
Primeiro:
superconfiança.
Depois:
erro.
Depois:
superdesconfiança.
NEW AUTOMATION
↓
WOW
↓
HIGH TRUST
↓
VISIBLE ERROR
↓
SHOCK
↓
ALGORITHM AVERSION
O ideal:
confiança calibrada.
☕ Não amar.
Não odiar.
Medir.
🧠 Trust Calibration
A pergunta madura não é:
“confio?”
É:
quanto devemos confiar, em quais situações e com quais limites?
🎯 Pergunta Bellacosa nº 3
“Em quais tipos de caso o algoritmo é forte e em quais ele é fraco?”
🧠 Performance agregada pode esconder diferenças
Modelo:
97% geral.
Mas:
99% em casos comuns.
70% em edge cases.
Isso importa.
🧠 Algorithm Aversion pode nascer de edge case dramático
Um erro raro:
vira:
história.
Availability Heuristic.
☕ Dez milhões de decisões corretas
cabem:
num percentual.
Um erro absurdo
vira:
reunião.
🧠 Availability Heuristic
Aquilo que:
lembramos facilmente
parece:
mais frequente.
Um algoritmo bloqueia:
CEO.
Todo mundo lembra.
Os:
300 mil casos corretos:
ninguém lembra.
🎯 Pergunta Bellacosa nº 4
“O erro foi frequente ou apenas memorável?”
🧠 Recency Bias
Se erro aconteceu:
ontem,
domina:
percepção.
Mesmo com:
dois anos de performance boa.
☕ Dashboard tem:
730 dias.
Reunião tem:
o incidente de ontem.
Adivinha quem vence.
🎯 Pergunta Bellacosa nº 5
“Estamos avaliando histórico ou reagindo ao caso mais recente?”
🧠 Outcome Bias
Se modelo recomenda:
A.
A dá errado.
“Modelo ruim.”
Mas talvez:
A fosse:
decisão probabilisticamente correta.
Um resultado ruim:
não prova:
má decisão.
🧠 Exemplo
Chance de sucesso:
90%.
Aconteceu:
os 10%.
Isso não significa:
que 90% estava necessariamente errado.
☕ Probabilidade não:
promete destino.
🎯 Pergunta Bellacosa nº 6
“O resultado ruim era incompatível com a probabilidade estimada ou apenas era um dos resultados possíveis?”
🧠 Hindsight Bias
Depois:
“Era óbvio.”
Antes:
não.
Humano vê:
erro algorítmico
e pensa:
“Eu teria percebido.”
Será?
☕ Esse é um clássico:
“Eu jamais teria cometido esse erro.”
Provavelmente:
teria cometido:
outro.
🎯 Pergunta Bellacosa nº 7
“Temos evidência de que humanos realmente teriam acertado esse caso?”
🧠 Counterfactuals são difíceis
Você não sabe:
o que o operador teria feito
na mesma transação
se modelo:
não existisse.
Isso importa.
🧠 Algorithm Aversion e Framing Effect
Compare:
“modelo errou 3%.”
versus:
“modelo acerta 97%.”
Mesmo dado.
A percepção:
muda.
🎯 Pergunta Bellacosa nº 8
“Estamos apresentando performance em frames equivalentes?”
🧠 Agora compare com humano:
ALGORITHM:
97% accuracy
HUMAN:
90% accuracy
Parece:
fácil.
Mas:
se mostramos:
ALGORITHM:
30,000 errors per million
e:
HUMAN:
90% accuracy
não é:
simétrico.
☕ Formato de comparação
também:
vota.
🎯 Pergunta Bellacosa nº 9
“Estamos usando a mesma unidade e o mesmo denominador para comparar humano e algoritmo?”
🧠 Algorithm Aversion e Loss Aversion
Erro da máquina:
gera:
perda.
Loss Aversion:
amplifica.
Especialmente se:
foi uma perda:
que alguém acha:
“evitável”.
🧠 Exemplo
Modelo perde:
R$ 100 mil.
Humano perde:
R$ 100 mil.
A máquina pode:
parecer:
mais revoltante.
Porque:
“não deveríamos ter delegado.”
🎯 Pergunta Bellacosa nº 10
“A dor da perda está sendo transferida para uma rejeição geral da tecnologia?”
🧠 Algorithm Aversion e Status Quo Bias
Após erro:
voltamos:
ao processo antigo.
Por quê?
É:
conhecido.
Familiar.
☕ O algoritmo errou.
Então:
voltamos para:
o método que errava
de maneira familiar.
Status Quo:
agradece.
🎯 Pergunta Bellacosa nº 11
“Estamos retornando ao processo antigo porque ele é melhor ou porque seus erros são conhecidos?”
🧠 Familiarity Bias
Erro humano:
“entendemos.”
Erro algorítmico:
misterioso.
Familiaridade:
dá conforto.
🧠 Explainability entra
Se não entendemos:
por que modelo decidiu,
erro:
parece:
mais ameaçador.
☕ Um erro explicável
é:
mais tolerável
que:
um erro alienígena.
🎯 Pergunta Bellacosa nº 12
“A rejeição vem da performance ou da dificuldade de entender a decisão?”
🧠 Algorithm Aversion e Need for Control
Humano quer:
controlar.
Algoritmo:
tira:
sensação de agência.
Quando erra:
reação:
“devolve decisão para nós.”
🧠 Mesmo se humano:
pior.
Porque:
controle psicológico
tem:
valor.
☕ Às vezes preferimos:
errar dirigindo
a:
acertar como passageiro.
🎯 Pergunta Bellacosa nº 13
“Estamos escolhendo controle ou performance?”
🧠 Isso não é trivial
Controle pode:
ser legítimo.
Accountability.
Ethics.
Regulation.
But:
separar:
é importante.
🧠 Algorithm Aversion e autonomia
Estudos e experiências em sistemas de apoio à decisão sugerem uma coisa interessante:
as pessoas podem aceitar melhor algoritmos quando:
podem:
ajustar;
revisar;
sobrepor;
intervir.
Mesmo pequenas possibilidades de controle:
podem aumentar aceitação.
☕ Talvez o usuário não queira:
ser motorista completo.
Mas também não quer:
viajar no porta-malas.
🎯 Pergunta Bellacosa nº 14
“O usuário pode ajustar ou contestar a recomendação?”
🧠 Human Override
Bom.
Mas cuidado:
override demais:
Automation Bias inverso.
🧠 Algoritmo recomenda corretamente
Humano:
muda
porque:
“conheço cliente.”
Agora:
performance híbrida:
piora.
☕ Dar botão de override
não garante:
bom uso do botão.
🎯 Pergunta Bellacosa nº 15
“Quando humanos sobrescrevem o algoritmo, ficam melhores ou piores?”
🧠 Isso deve ser medido
Não presumido.
🧠 Override Analytics
Track:
modelo recomendou A.
Humano escolheu B.
Outcome.
Then:
learn.
🎯 Pergunta Bellacosa nº 16
“Estamos medindo o valor real da intervenção humana?”
🧠 Isso é fascinante
Talvez humanos sejam:
excelentes
em edge cases.
Talvez:
piores.
Precisa:
dados.
🧠 Hybrid Decision Making
Ideal pode ser:
algoritmo:
triagem.
Humano:
casos ambíguos.
Ou:
modelo:
recommendation.
Humano:
context.
☕ Não precisa existir:
HUMANO vs IA.
Pode ser:
HUMANO + IA.
🧠 Mas híbrido não é automaticamente melhor
Se humano:
só atrapalha,
não.
Se IA:
cria âncora,
também não.
Architecture:
matters.
🎯 Pergunta Bellacosa nº 17
“Em qual ponto do processo o julgamento humano realmente acrescenta informação nova?”
🧠 Algorithm Aversion e Automation Bias juntos
Essa pergunta:
resolve muito.
Se humano só:
rubber stamps:
Automation Bias.
Se humano sempre:
ignora:
Algorithm Aversion.
☕ Um sistema híbrido ruim
pode ter:
todos os custos
de humano
e:
todos os custos
de automação.
Parabéns.
🧠 Need calibrated division of labor
Quem faz:
o quê?
🧠 Algoritmo é excelente em:
consistência;
volume;
pattern matching;
repetição;
cálculo;
detecção estatística.
Humano pode ser melhor em:
contexto novo;
objetivos conflitantes;
ética;
ambiguidade;
conhecimento tácito;
exceções sem histórico.
Não universal.
Mas:
bom ponto de partida.
🎯 Pergunta Bellacosa nº 18
“Estamos delegando ao algoritmo justamente aquilo em que ele é melhor?”
🧠 Algorithm Aversion e edge cases
Se um caso:
fora de distribuição
gera:
erro,
não significa:
modelo ruim em:
casos comuns.
Talvez:
routing ruim.
☕ Você não joga fora:
o martelo
porque:
tentou apertar:
um parafuso.
🎯 Pergunta Bellacosa nº 19
“O problema é o algoritmo ou estamos usando-o fora do domínio para o qual foi validado?”
🧠 Scope
Muito importante.
Model approved:
retail transactions.
Now:
corporate treasury.
Different.
🧠 Automation Bias ignoraria scope
Algorithm Aversion faria:
“AI doesn't work.”
Both:
errados.
🎯 Pergunta Bellacosa nº 20
“O erro ocorreu dentro ou fora do domínio esperado?”
🧠 Model drift
Pode também:
ter funcionado.
Mundo mudou.
Agora:
erro aumenta.
Nesse caso:
aversão talvez:
seja reação:
a deterioração real.
Need:
monitor.
☕ Não chame toda crítica:
de Algorithm Aversion.
Às vezes:
algoritmo piorou mesmo.
🧠 Isso é essencial
O conceito não é:
desculpa para:
manter sistema ruim.
Aversão existe quando:
rejeição:
é desproporcional
à performance comparativa real.
🎯 Pergunta Bellacosa nº 21
“Temos evidência de queda sustentada de performance ou apenas um erro visível?”
🧠 Control charts
Track:
performance over time.
False positive.
False negative.
Calibration.
Drift.
☕ Um incidente:
é:
dado.
Não:
distribuição.
🧠 Algorithm Aversion e sample size
Um gerente testa:
10 casos.
Modelo erra:
“20% erro!”
Sample tiny.
Could:
mislead.
🎯 Pergunta Bellacosa nº 22
“A amostra é grande o suficiente para mudar nossa crença?”
🧠 Sysprog Bayesiano volta
Prior:
modelo:
97%.
Um erro:
update.
Não:
delete all prior evidence.
☕ Bayes não faz:
TRUNCATE TRUST.
Ele:
atualiza.
🧠 Bayesian thinking
Suppose:
thousands correct.
One error.
Posterior confidence:
drops slightly,
depending severity.
Not:
zero.
🎯 Pergunta Bellacosa nº 23
“Quanto esse novo erro deveria racionalmente alterar nossa estimativa de confiança?”
🧠 Algorithm Aversion e severity
Mas:
erro raro
pode:
ser catastrófico.
Aí:
frequência não:
é tudo.
🧠 Exemplo
99.999% correct.
One wrong action:
deletes production database.
Unacceptable.
So:
risk-weighted performance.
☕ Precisão média
não:
é:
licença para:
catástrofe rara.
🎯 Pergunta Bellacosa nº 24
“O erro é apenas frequente ou também precisamos considerar severidade e reversibilidade?”
🧠 Important nuance
Algorithm Aversion não significa:
“aceite erros porque humanos erram.”
Need:
expected loss.
🧠 Compare:
human errors:
small.
Algorithm rare error:
systemic.
Could:
still be worse.
🎯 Pergunta Bellacosa nº 25
“Qual é o custo esperado dos erros, não apenas a taxa de acerto?”
🧠 Excellent.
🧠 Algorithm Aversion e common-mode failure
Algorithm can:
make same mistake:
at scale.
Human errors:
distributed.
This matters.
☕ Um operador erra:
uma conta.
Um algoritmo pode:
errar:
um milhão
antes do almoço.
🎯 Pergunta Bellacosa nº 26
“O erro algorítmico escala de forma diferente do erro humano?”
🧠 Critical.
A rejection may:
be rational if:
blast radius huge.
Need:
limit.
🧠 Safe deployment
Canary.
Thresholds.
Human review.
Segmentation.
🎯 Pergunta Bellacosa nº 27
“Podemos manter o benefício do algoritmo reduzindo o blast radius dos seus erros?”
🧠 Great alternative to:
turn off.
🧠 Instead of:
“disable AI,”
maybe:
reduce autonomy.
☕ Não existe apenas:
ON
e:
OFF.
Pode existir:
ASSIST.
🧠 Autonomy ladder
LEVEL 0:
NO ALGORITHM
LEVEL 1:
ADVISORY
LEVEL 2:
RECOMMEND + HUMAN DECISION
LEVEL 3:
AUTO LOW-RISK, HUMAN HIGH-RISK
LEVEL 4:
AUTO WITH OVERRIDE
LEVEL 5:
FULL AUTO
If trust drops:
step down.
Not:
destroy.
🎯 Pergunta Bellacosa nº 28
“Podemos reduzir autonomia sem abandonar capacidade?”
🧠 This is mature response.
🧠 Algorithm Aversion e incident response AI
AI recommends:
wrong root cause once.
Team:
stops using it.
Maybe:
bad.
Better:
review:
where failed.
Was:
missing telemetry?
Stale RAG?
Model issue?
Prompt?
☕ Não desligue:
o copiloto
antes de descobrir:
se o problema era:
o copiloto
ou:
o mapa que deram para ele.
🎯 Pergunta Bellacosa nº 29
“Qual componente da cadeia realmente falhou?”
🧠 AI system != model
Important.
Pipeline:
retrieval.
Prompt.
Tool.
Data.
UI.
Model.
Human.
🧠 “AI failed”
often:
too vague.
🎯 Pergunta Bellacosa nº 30
“Foi erro de modelo, dados, integração, interface ou uso?”
🧠 Beautiful for postmortem.
🧠 Algorithm Aversion e hallucinations
LLM hallucination:
visible.
People:
“unusable.”
But:
human analyst can:
invent facts too.
Difference:
scale,
style,
auditability.
Need:
compare.
☕ O objetivo não é:
normalizar alucinação.
É:
comparar risco real
e:
criar verificação.
🧠 Retrieval grounding
Can reduce.
Not:
eliminate.
🎯 Pergunta Bellacosa nº 31
“O erro pode ser detectado antes de produzir consequência?”
🧠 Detectability
Critical dimension.
Algorithm error:
maybe easily checked.
Human error:
not.
🧠 If verification cheap
Algorithm still:
useful.
☕ Um sistema que erra:
3%
mas cujo erro:
custa 2 segundos para detectar
pode ser:
fantástico.
🎯 Pergunta Bellacosa nº 32
“Quanto custa verificar a saída?”
🧠 Algorithm Aversion e confidence
If model:
shows uncertainty,
users may:
accept.
If:
speaks absolute,
error shocks.
🧠 Design matters
“Likely.”
“Uncertain.”
“Requires review.”
🎯 Pergunta Bellacosa nº 33
“A interface criou uma expectativa de infalibilidade?”
🧠 Great.
🧠 Marketing contributes
“Autonomous.”
“AI-powered.”
“Intelligent.”
“Self-healing.”
Then:
one error.
Disappointment.
☕ Se você vende:
mágica,
um bug vira:
heresia.
🎯 Pergunta Bellacosa nº 34
“Prometemos assistência ou prometemos perfeição?”
🧠 Algorithm Aversion may be manufactured by overclaiming
Important.
🧠 Calibration starts at expectation
Tell users:
strengths.
Weaknesses.
Error rate.
🧠 Good onboarding
“This tool is strong at X, weak at Y.”
Then:
errors:
less shocking.
🎯 Pergunta Bellacosa nº 35
“Os usuários sabem onde o sistema tende a falhar?”
🧠 Algorithm Aversion e explainable mistakes
If error reason:
understood,
trust can:
recover.
🧠 Example
Image unclear.
Missing network telemetry.
Unusual customer.
Makes sense.
☕ Um erro com mecanismo conhecido
vira:
engenharia.
Um erro misterioso
vira:
folclore.
🎯 Pergunta Bellacosa nº 36
“Conseguimos explicar por que o algoritmo errou?”
🧠 But beware explainability theater
Same as previous chapter.
Need:
evidence.
🧠 Algorithm Aversion e operator identity
Professionals may:
feel threatened.
Algorithm suggests:
job replacement.
Then:
error becomes:
proof:
“see? useless.”
This can:
amplify aversion.
☕ Às vezes discussão técnica
vem:
com:
folha de pagamento escondida.
🎯 Pergunta Bellacosa nº 37
“Existe ameaça de status, autonomia ou emprego influenciando a avaliação?”
🧠 Important but sensitive.
Not all criticism:
self-interest.
But:
incentives matter.
🧠 Principal-Agent
Manager:
wants automation for cost.
Analyst:
fears job.
Vendor:
wants adoption.
Different.
🎯 Pergunta Bellacosa nº 38
“Quem ganha e quem perde se o algoritmo for considerado confiável?”
🧠 Algorithm Aversion e cultural debt
Organization:
proud of:
human judgment.
“Only veterans understand.”
AI arrives.
Threatens:
identity.
One error:
validates culture.
☕ O algoritmo não:
entrou apenas:
na arquitetura.
Entrou:
na hierarquia.
🧠 Mainframe example
AI abend analyzer:
suggests likely offending field.
Veteran:
finds one miss.
Says:
“essas IAs não entendem COBOL.”
Maybe:
true for case.
But:
evaluate dataset.
🎯 Pergunta Bellacosa nº 39
“Estamos julgando a ferramenta pela performance agregada ou pela capacidade de impressionar o especialista?”
🧠 Experts can be tough benchmark
Good.
Need:
structured.
🧠 Expert intuition vs algorithm
Sometimes expert:
beats.
Especially:
rare cases.
Can combine.
🧠 Expert override should:
generate data.
Why override?
Feed:
model improvement.
🎯 Pergunta Bellacosa nº 40
“Estamos transformando discordâncias dos especialistas em aprendizado mensurável?”
🧠 Nice.
🧠 Algorithm Aversion e junior programmers
Now:
important for beginners.
Suppose AI suggests:
COBOL fix.
Wrong.
Beginner:
“IA não presta.”
Or:
Automation Bias:
copies blindly.
Both:
bad.
☕ O aprendiz precisa:
evitar dois personagens:
O Crente do Copiloto
e:
O Velho do “Eu Sabia que Essa IA Era Besteira”.
🧠 Better:
test.
Understand.
Measure.
🎯 Pergunta Bellacosa nº 41
“Eu consigo explicar por que a sugestão está certa ou errada?”
🧠 Learning opportunity
When AI wrong:
great.
Compare:
reasoning.
Find:
missing concept.
☕ Erro do copiloto
pode:
ser:
exercício.
🧠 Example S0C7
AI says:
field WS-AMOUNT.
Dump shows:
failure near:
ADD WS-AMOUNT.
But root issue:
copybook mismatch upstream.
AI:
partial.
Don't:
discard.
Use:
as hypothesis.
🎯 Pergunta Bellacosa nº 42
“A ferramenta errou completamente ou apenas parou em uma camada intermediária da causa?”
🧠 That's nuanced.
🧠 Algorithm Aversion e tool specialization
Maybe:
AI good for:
search.
Bad:
decision.
Use accordingly.
🧠 Division of labor
Automation:
rank possibilities.
Human:
confirm.
🎯 Pergunta Bellacosa nº 43
“Qual função da ferramenta continua valiosa mesmo se não confiarmos nela para decisão final?”
🧠 Excellent.
🧠 Algorithm Aversion e recommendation systems
If one bad recommendation:
people:
lose trust.
But:
could:
allow:
user adjustments.
Personalization.
🧠 Perceived agency restores trust
🎯 Pergunta Bellacosa nº 44
“Podemos permitir pequenas correções humanas em vez de exigir aceitação ou rejeição total?”
🧠 This has research relevance historically.
🧠 Algorithm Aversion e calibration displays
Show:
uncertainty.
Past performance.
Similar cases.
May:
help.
But:
too much:
confuse.
☕ Transparência não precisa:
ser:
dump hexadecimal.
Precisa:
ser:
decidível.
🎯 Pergunta Bellacosa nº 45
“A transparência ajuda o usuário a decidir ou apenas transfere complexidade?”
🧠 Algorithm Aversion e false precision
If system says:
99.87%
and wrong,
trust:
collapses more.
Because:
confidence sounded:
absolute.
🎯 Pergunta Bellacosa nº 46
“A ferramenta está apresentando certeza maior do que sua calibração justifica?”
🧠 Same as previous, from aversion angle.
🧠 Algorithm Aversion e rare catastrophic errors
Need:
guardrail.
Example:
recommendation only.
No auto-execute.
🧠 Stop-loss
If error rate rises:
downgrade mode.
🎯 Pergunta Bellacosa nº 47
“Temos gatilhos objetivos para reduzir confiança operacional na automação?”
🧠 This avoids emotional switch-off
🧠 Bellacosa Trust Levels
TRUST LEVEL 3:
AUTO LOW-RISK
IF ERROR RATE > X
↓
TRUST LEVEL 2:
RECOMMEND ONLY
IF RECALIBRATED
↓
RESTORE LEVEL 3
Dynamic.
☕ Confiança deveria:
ter:
versão,
métrica
e:
rollback.
🧠 Algorithm Aversion e change management
Model update:
behaviour changes.
Users see:
new error.
Trust.
Need:
release notes.
Validation.
🎯 Pergunta Bellacosa nº 48
“A performance que construiu nossa confiança pertence à mesma versão que está rodando hoje?”
🧠 Important.
🧠 Algorithm Aversion e model rollback
Sometimes:
yes,
rollback model.
But:
based:
metrics.
🧠 A/B shadow mode
New model:
shadow.
Compare.
Then:
deploy.
Reduces shock.
☕ Deixe o algoritmo errar:
em sombra
antes de:
errar:
em produção.
🎯 Pergunta Bellacosa nº 49
“Podemos testar o modelo em shadow mode antes de entregar decisão?”
🧠 Great.
🧠 Algorithm Aversion e shadow evaluation
Human and model:
independent.
Compare.
Useful.
🧠 But human sees model?
Anchoring.
Blind evaluation:
better for test.
🎯 Pergunta Bellacosa nº 50
“Nossa comparação está contaminada porque o humano já conhece a recomendação do algoritmo?”
🧠 Excellent experimental design.
🧠 Algorithm Aversion e selective memory
People remember:
algorithm errors.
Forget:
human errors.
Need:
decision logs.
☕ Memória corporativa
é:
um banco de dados
com:
índices estranhos.
🎯 Pergunta Bellacosa nº 51
“Temos registro comparável dos erros humanos e dos erros algorítmicos?”
🧠 If not:
perception:
biased.
🧠 Algorithm Aversion e accountability logs
Machines:
logged.
Humans:
not.
So:
machine looks:
worse
because:
measured.
🧠 McNamara irony
What gets measured:
looks problematic.
🎯 Pergunta Bellacosa nº 52
“A diferença de visibilidade dos erros está distorcendo nossa comparação?”
🧠 Great.
🧠 Algorithm Aversion e metric fixation
Don't reduce:
one accuracy metric.
Need:
precision;
recall;
cost;
latency;
severity;
fairness;
calibration;
coverage.
Depending domain.
☕ 98% pode:
ser:
ótimo.
Ou:
horror.
Depende:
do que existe:
nos 2%.
🎯 Pergunta Bellacosa nº 53
“Estamos julgando o sistema por uma métrica única?”
🧠 Confusion matrix
For beginner:
helpful.
🧠 Suppose fraud:
1000 transactions.
10 fraud.
Model:
says no fraud to all.
Accuracy:
99%.
Useless.
☕ Aquele famoso:
dashboard verde
com:
problema real.
🎯 Pergunta Bellacosa nº 54
“A métrica está alinhada ao erro que realmente nos preocupa?”
🧠 Algorithm Aversion after one false positive
Could lead:
relax model.
Then:
false negatives rise.
Trade-off.
🧠 Loss functions.
Threshold.
🎯 Pergunta Bellacosa nº 55
“Corrigir o erro que nos irritou aumenta outro tipo de erro?”
🧠 Great.
🧠 Threshold tuning
Fraud model:
lower threshold:
more blocks.
Higher:
less blocks,
more fraud.
Cannot:
zero both.
☕ Muitas vezes não estamos:
eliminando erro.
Estamos:
escolhendo:
qual erro aceitar.
🎯 Pergunta Bellacosa nº 56
“Qual erro custa mais?”
🧠 This is decision theory.
🧠 Algorithm Aversion e ethical cases
Some domains:
humans may:
legitimately demand:
human review.
Not because:
algorithm poor.
Because:
values,
rights,
explanation.
🧠 Important distinction
Performance isn't:
only criterion.
🎯 Pergunta Bellacosa nº 57
“A decisão exige legitimidade humana além de precisão estatística?”
🧠 Very important.
🧠 Algorithm Aversion isn't a trump card
We should not say:
“you're biased, accept automation.”
That's:
bad.
Need:
consider:
fairness;
due process;
rights;
accountability.
☕ Uma decisão pode:
ser estatisticamente boa
e:
governadamente inadequada.
🧠 Algorithm Aversion e legal/compliance review
Could:
require human.
Fine.
🧠 Human role may be:
oversight,
not:
accuracy.
🎯 Pergunta Bellacosa nº 58
“O humano está ali para melhorar precisão, garantir accountability ou exercer julgamento normativo?”
🧠 Great role clarity.
🧠 Algorithm Aversion e mainframe operations
Automated scheduler decides:
resource order.
One odd case.
Operator:
starts overriding all.
Now:
global performance:
worse.
Classic.
☕ Um override emocional
pode:
desfazer:
uma otimização que:
humano não enxerga:
localmente.
🎯 Pergunta Bellacosa nº 59
“A pessoa está vendo o mesmo horizonte de dados que o algoritmo?”
🧠 Sometimes algorithm has:
global view.
Human local.
Opposite also possible.
🧠 Algorithm Aversion e WLM analogy
Imagine:
WLM adjusts resources.
Operator sees:
one workload slow.
Overrides.
May:
hurt:
enterprise goal.
Interesting.
☕ O algoritmo:
otimiza:
o sistema.
O humano:
vê:
o telefone tocando.
Ambos:
têm razão:
em contextos diferentes.
🎯 Pergunta Bellacosa nº 60
“Estamos comparando objetivos locais e globais?”
🧠 Excellent.
🧠 Algorithm Aversion e expert overrides in operations
Need:
override reason codes.
Later:
review.
🧠 If experts consistently:
beat model
in category X,
route X:
human.
☕ Isso é:
engenharia adaptativa.
Não:
guerra religiosa.
🎯 Pergunta Bellacosa nº 61
“Conseguimos aprender onde cada lado é melhor?”
🧠 This is the ideal.
🧠 Algorithm Aversion e training
Teach juniors:
model scores are:
inputs.
Not:
truth.
Also:
don't dismiss:
because:
one miss.
🧠 Bellacosa mental model:
MACHINE OUTPUT
+
HUMAN CONTEXT
+
INDEPENDENT EVIDENCE
=
BETTER DECISION
Maybe.
☕ O mais importante:
comparar.
🧠 Algorithm Aversion e false negatives of tool adoption
If organization abandons:
useful AI,
loses:
benefit.
Opportunity cost.
🎯 Pergunta Bellacosa nº 62
“Qual valor futuro estamos perdendo ao abandonar a ferramenta inteira por causa de um modo de falha específico?”
🧠 Sunk Cost reversed?
Interesting.
We might:
throw away:
investment.
But don't:
continue because sunk cost.
Need:
future value.
🧠 Sunk Cost still relevant
Don't keep bad system:
just because:
invested.
Don't kill good system:
just because:
error.
☕ O passado não vota.
A evidência atual:
sim.
🎯 Pergunta Bellacosa nº 63
“Se avaliássemos a ferramenta hoje do zero, com todos os dados atuais, ainda a adotaríamos?”
🧠 Zero-based review.
Great.
🧠 Algorithm Aversion e postmortem design
After algorithm error:
don't ask:
“Who approved AI?”
Ask:
Was error expected?
Was it in validated domain?
Was confidence calibrated?
Could human detect?
Was action reversible?
Did UI overstate certainty?
Did guardrails work?
How does performance compare?
☕ Postmortem:
não é:
tribunal da tecnologia.
É:
recalibração.
🎯 Pergunta Bellacosa nº 64
“O incidente revelou uma falha intolerável ou um erro dentro da faixa esperada?”
🧠 Huge distinction.
🧠 If within expected
Maybe:
no system change.
Maybe:
communication.
🧠 If outside expected
investigate:
drift.
Data.
Bug.
🧠 Algorithm Aversion e tolerance
Users may:
tolerate algorithm more
if:
can see:
track record.
🎯 Pergunta Bellacosa nº 65
“Mostramos ao usuário performance histórica suficiente para contextualizar um erro individual?”
🧠 Helpful.
🧠 Algorithm Aversion e uncertainty education
Teach probability.
If tool:
90%,
10% error expected.
Users:
should understand.
☕ “90% preciso”
não significa:
“vai acertar:
essa decisão.”
🎯 Pergunta Bellacosa nº 66
“Os usuários entendem probabilidade ou interpretam score como garantia?”
🧠 Great.
🧠 Algorithm Aversion e confidence calibration through feedback
If model says:
80%
and is correct:
80% of such cases.
Good.
If 80:
but only 50:
bad.
Calibration.
🧠 Then users can:
trust bands.
🎯 Pergunta Bellacosa nº 67
“A confiança declarada corresponde à frequência real de acerto?”
🧠 Important.
🧠 Algorithm Aversion e false expectation of determinism
People think:
algorithm:
same input → same output.
LLMs may:
not.
Then:
surprise.
☕ O usuário acha:
calculadora.
Recebe:
modelo probabilístico.
Expectativa:
explosiva.
🎯 Pergunta Bellacosa nº 68
“O tipo de sistema foi explicado corretamente para o usuário?”
🧠 Great for AI literacy.
🧠 Algorithm Aversion e non-determinism
LLM answers differ.
People:
“unreliable.”
Maybe:
for certain tasks:
yes.
For creative:
fine.
Need:
fit.
🎯 Pergunta Bellacosa nº 69
“A variabilidade é um defeito para esta tarefa específica?”
🧠 Again task-specific.
🧠 Algorithm Aversion e deterministic automation
Rules can also:
fail.
Don't equate:
algorithm with AI.
☕ Um IF de 1997
também:
é um algoritmo.
Só:
não tem:
avatar simpático.
🧠 Algorithm Aversion existed before AI boom
People resisted:
forecasting models,
decision aids,
automation.
Useful historical context.
🎯 Pergunta Bellacosa nº 70
“Estamos reagindo ao erro algorítmico em si ou ao fato de agora ele ser chamado de IA?”
🧠 Nice.
🧠 Algorithm Aversion e media salience
AI errors:
viral.
Human errors:
mundane.
Public perception:
skew.
☕ “IA errou”
vira:
manchete.
“Pessoa errou”
vira:
terça-feira.
🎯 Pergunta Bellacosa nº 71
“A atenção pública ao erro está sendo confundida com frequência real?”
🧠 Availability again.
🧠 Algorithm Aversion e fairness
If model makes:
systematic bias
against group,
one visible example may:
signal real systemic issue.
Then:
aversion not irrational.
Need:
disaggregate metrics.
🎯 Pergunta Bellacosa nº 72
“O erro é aleatório ou sistematicamente concentrado?”
🧠 Critical.
🧠 Aggregate accuracy can hide subgroup harm
Need:
segments.
☕ 97% geral
pode:
conviver com:
70%
para:
uma população específica.
🎯 Pergunta Bellacosa nº 73
“Quem está dentro dos erros?”
🧠 Very important.
🧠 Algorithm Aversion e model governance
Monitor:
performance by:
segment;
time;
scenario.
🧠 Then:
trust calibrated.
🧠 Algorithm Aversion e vendor demos
Vendor:
shows:
98%.
Organization:
deploys.
First miss:
anger.
Part of problem:
baseline expectations not validated locally.
🎯 Pergunta Bellacosa nº 74
“Validamos a performance no nosso ambiente ou herdamos confiança do marketing?”
🧠 Excellent.
🧠 Pilot
Shadow.
A/B.
Benchmark human.
🧠 Algorithm Aversion and pilot design
Need:
enough cases.
Include:
edge.
🎯 Pergunta Bellacosa nº 75
“O piloto foi desenhado para encontrar falhas ou para provar que a compra foi boa?”
🧠 Confirmation Bias!
Nice.
🧠 Algorithm Aversion e procurement sunk cost
Vendor expensive.
If error:
some defend due sunk cost.
Others:
kill due aversion.
Both biased.
Need:
evidence.
☕ Entre:
“já pagamos”
e:
“errou uma vez”,
há um lugar:
chamado:
análise.
🧠 Algorithm Aversion e accountability
Management may:
prefer humans
because:
can blame:
someone.
Machine:
responsibility diffuse.
🎯 Pergunta Bellacosa nº 76
“Estamos preferindo decisão humana porque é tecnicamente melhor ou porque produz um culpado mais fácil?”
🧠 Harsh but useful.
🧠 Governance should solve responsibility
Not:
through worse performance.
🧠 Algorithm Aversion e responsibility gap
Define:
owner.
Even when automated.
☕ Máquina decide.
Organização responde.
🎯 Pergunta Bellacosa nº 77
“Quem responde pelo desenho, validação e uso do algoritmo?”
🧠 Algorithm Aversion e emotional asymmetry
Human error can be:
explained:
“tired.”
“complex.”
“ambiguous.”
Algorithm:
“cold machine.”
This affects:
moral judgment.
🧠 Anthropomorphism strange
We expect:
machines:
superhuman.
Then punish:
human-like error.
☕ Queremos:
que a IA:
tenha criatividade humana,
precisão de calculadora,
memória perfeita,
zero viés
e:
custo de estagiário.
É uma especificação:
interessante.
🎯 Pergunta Bellacosa nº 78
“Nossa expectativa de performance é tecnicamente realista?”
🧠 Great.
🧠 Algorithm Aversion e confidence recovery
How recover after error?
Transparent analysis.
Fix.
Retest.
Limited deployment.
Monitor.
🧠 Don't say:
“trust us.”
Show.
☕ Confiança perdida
não se restaura:
com:
PowerPoint.
Se restaura:
com:
evidência.
🎯 Pergunta Bellacosa nº 79
“Que evidência concreta permitirá recuperar confiança?”
🧠 Action plan.
🧠 Algorithm Aversion e stop criteria
Conversely:
when should retire?
Clear.
🧠 Define:
performance threshold.
Severe incident.
Drift.
🎯 Pergunta Bellacosa nº 80
“Quais critérios objetivos justificariam realmente abandonar o algoritmo?”
🧠 This prevents both bias and blind loyalty.
🧠 Bellacosa Algorithm Review Matrix
HUMAN ALGORITHM HYBRID
----------------------------------------------------
ACCURACY ____ ____ ____
SEVERE ERRORS ____ ____ ____
LATENCY ____ ____ ____
COST ____ ____ ____
SCALABILITY ____ ____ ____
EXPLAINABILITY ____ ____ ____
CONSISTENCY ____ ____ ____
EDGE CASES ____ ____ ____
AUDITABILITY ____ ____ ____
Now:
conversation.
☕ Comparação madura
não cabe:
em:
“IA boa”
ou:
“IA ruim.”
🧠 Bellacosa Trust Equation
Metaphorically:
TRUST =
PERFORMANCE
+ CALIBRATION
+ TRANSPARENCY
+ CONTROL
+ RECOVERABILITY
Not literal.
🧠 High accuracy alone:
not enough.
🎯 Pergunta Bellacosa nº 81
“A confiança depende só de acerto ou também de como o sistema falha?”
🧠 Exactly.
Graceful failure.
🧠 Algorithm Aversion e graceful degradation
If model uncertain:
route human.
Good.
☕ Um sistema excelente
não é só:
aquele que:
acerta.
É:
aquele que:
erra de maneira:
detectável,
limitada
e:
recuperável.
🎯 Pergunta Bellacosa nº 82
“Quando o algoritmo erra, o erro é detectável e contido?”
🧠 Strong.
🧠 Algorithm Aversion e abstention
Like previous.
If uncertain:
don't decide.
This can:
increase trust.
🧠 But too much abstention:
low coverage.
Trade-off.
🎯 Pergunta Bellacosa nº 83
“Qual porcentagem de casos o algoritmo deveria decidir e qual deveria encaminhar?”
🧠 Excellent.
🧠 Confidence-based routing
High:
auto.
Medium:
review.
Low:
human.
🧠 Algorithm Aversion and high-stakes
May:
all human final.
Fine.
☕ Autonomia não:
é troféu.
É:
parâmetro.
🧠 Algorithm Aversion e model monitoring
Use:
champion/challenger.
Current model.
Alternative.
Compare.
🎯 Pergunta Bellacosa nº 84
“Temos um challenger ou só descobrimos degradação quando alguém reclama?”
🧠 Great ops.
🧠 Algorithm Aversion e rollback of models
Keep previous version.
If regression:
rollback.
☕ Modelo também precisa:
de:
GDG mental.
Generation current.
Generation previous.
👻 Easter Egg nº 2 — MODEL.GDG
AI.MODEL.G00042V00
AI.MODEL.G00041V00
Nosso jovem:
— Dá para voltar?
Doctor:
— Naturalmente.
— Então por que o vendor chamou de inteligência artificial?
Doctor:
— “Probabilistic component with rollback” vende menos.
🧠 Algorithm Aversion e COBOL perspective
Mainframe people:
understand:
determinism.
AI:
probabilistic.
Cultural clash.
🧠 COBOL programmer expects:
same input,
same output.
LLM:
not always.
Need:
mental shift.
☕ Não julgue:
um LLM
como:
COMPUTE TAX = ...
São:
animais diferentes.
🎯 Pergunta Bellacosa nº 85
“Estamos aplicando critérios de software determinístico a uma ferramenta probabilística sem adaptação?”
🧠 Very important.
🧠 But critical use may need deterministic wrapper
Use AI:
suggest.
Validation:
deterministic.
🧠 Great architecture
LLM produces:
candidate.
Rules validate.
Human approve.
☕ Probabilidade na borda.
Determinismo no guarda-corpo.
🎯 Pergunta Bellacosa nº 86
“Que partes da decisão podem ser probabilísticas e quais precisam ser determinísticas?”
🧠 Excellent systems design.
🧠 Algorithm Aversion e testability
If output:
subjective,
hard.
If:
code,
compile/test.
Use:
verification.
🎯 Pergunta Bellacosa nº 87
“Temos um verificador mais confiável que o gerador?”
🧠 This is strong AI pattern.
🧠 Algorithm Aversion e generated COBOL
AI writes:
code.
Compiler:
deterministic validation.
Unit tests.
Static analysis.
Human.
☕ O copiloto pode:
improvisar.
O compilador:
não tem:
senso de humor.
Isso ajuda.
🧠 Algorithm Aversion after bad generated code
Don't:
discard AI.
Maybe:
improve workflow.
🎯 Pergunta Bellacosa nº 88
“O erro ocorreu porque a ferramenta é inadequada ou porque faltou verificação obrigatória?”
🧠 Great.
🧠 Algorithm Aversion e RAG
One hallucination due:
retrieval miss.
Could:
fix:
retrieval,
not model.
🎯 Pergunta Bellacosa nº 89
“A resposta errada nasceu na geração ou na recuperação da evidência?”
🧠 Nice.
🧠 Algorithm Aversion e old documentation
Model uses stale doc.
Error.
Need:
provenance.
Again.
🧠 Algorithm Aversion e agent action
Agent does:
wrong action.
Maybe:
permissions too broad.
Not:
“agents impossible.”
Guardrail.
🎯 Pergunta Bellacosa nº 90
“Poderíamos ter convertido esse erro em recomendação inofensiva em vez de ação real?”
🧠 Great.
🧠 Algorithm Aversion and fail-safe design
Assume algorithm can:
fail.
Like:
human.
Build:
system.
☕ Engenharia madura
não pergunta:
“vai errar?”
Pergunta:
“quando errar, o que acontece?”
🧠 That's core.
🧠 Algorithm Aversion e zero-error expectations
Zero-error:
rare.
Need:
risk classes.
🎯 Pergunta Bellacosa nº 91
“Para esta tarefa, qual taxa de erro é realmente aceitável?”
🧠 Context.
🧠 Some cases:
Then automation maybe:
not final.
🧠 Algorithm Aversion e approval thresholds
Use:
multi-level.
🧠 Bellacosa Algorithm Aversion Protocol
Passo 1 — Não reaja ao caso isolado
Registre.
Passo 2 — Compare baseline real
Humano versus algoritmo versus híbrido.
Passo 3 — Classifique o erro
Falso positivo?
Falso negativo?
Drift?
Edge?
Data?
Passo 4 — Meça severidade
Não só frequência.
Passo 5 — Verifique domínio
Estava dentro do escopo?
Passo 6 — Atualize confiança
Não zere.
Passo 7 — Reduza autonomia se necessário
Em vez de desligar.
Passo 8 — Corrija mecanismo
Dados, modelo, UX, workflow.
Passo 9 — Reteste
Shadow/challenger.
Passo 10 — Decida com critérios explícitos
Manter, limitar ou retirar.
📋 Checklist Bellacosa anti-Algorithm Aversion
[ ] O algoritmo errou uma vez ou sua performance deteriorou?
[ ] Qual é a performance humana real?
[ ] Qual é a performance híbrida?
[ ] O erro foi comum ou apenas memorável?
[ ] O erro ocorreu dentro do domínio validado?
[ ] Qual foi a severidade?
[ ] O erro escalaria em massa?
[ ] Poderíamos limitar o blast radius?
[ ] A interface prometia certeza excessiva?
[ ] Humanos conseguem corrigir a saída?
[ ] Overrides humanos melhoram ou pioram?
[ ] Existe drift?
[ ] O erro veio do modelo ou dos dados?
[ ] Podemos reduzir autonomia em vez de desligar?
[ ] Quais critérios realmente justificariam abandonar?
🧠 Bellacosa Algorithm Trust Card
MODEL:
________________________
VERSION:
________________________
HUMAN BASELINE:
________________________
MODEL BASELINE:
________________________
HYBRID BASELINE:
________________________
ERROR TYPE:
________________________
ERROR SEVERITY:
________________________
IN-DOMAIN?
YES / NO
DETECTABLE?
YES / NO
REVERSIBLE?
YES / NO
RECOMMENDED TRUST LEVEL:
________________________
👻 Easter Egg nº 3 — BELLACOSA.BIAS(ALGORITHM-AVERSION)
IF ALGORITHM-ERROR = 'Y'
PERFORM CHECK-SAMPLE-SIZE
PERFORM CHECK-HUMAN-BASELINE
PERFORM CHECK-SEVERITY
END-IF.
IF ERROR-COUNT = 1
AND HISTORICAL-ACCURACY > 95
DISPLAY
'WARNING: DO NOT PANIC-SHUTDOWN'
END-IF.
IF HUMAN-BASELINE < MODEL-BASELINE
AND DECISION = 'RETURN-TO-HUMAN'
DISPLAY
'WARNING: FAMILIAR ERROR PREFERENCE'
END-IF.
IF MODEL-TRUST = ZERO
PERFORM ASK-WHAT-CHANGED
END-IF.
Comentários:
* ONE ERROR
* IS DATA,
* NOT A VERDICT.
Outro:
* HUMAN ERRORS
* ALSO COUNT.
Outro:
* DON'T COMPARE
* MACHINE REALITY
* WITH HUMAN FANTASY.
Outro:
* TRUST
* SHOULD DEGRADE
* GRADUALLY,
* NOT EXPLODE.
E naturalmente:
* DALEK ALGORITHM:
* 99.9% ACCURATE.
*
* ONE ERROR.
*
* DALEK MANAGEMENT:
* "DESTROY IT."
*
* DOCTOR:
* "HOW ACCURATE ARE YOU?"
🕰️ De volta à reunião
O diretor:
— Então você está dizendo para ignorarmos o erro?
Nosso jovem:
— Não.
— Mas você quer manter o algoritmo.
— Quero entender o erro antes de decidir.
— Ele bloqueou um cliente legítimo.
— Sim.
— Isso é ruim.
— Sim.
— Então?
Nosso jovem abre:
a comparação.
LAST 90 DAYS
ALGORITHM:
18.4M decisions
96.8% accuracy
HUMAN HISTORICAL:
1.2M decisions
88.4% accuracy
Depois:
segmenta.
ALGORITHM PERFORMANCE
NORMAL RETAIL:
98.1%
INTERNATIONAL TRAVEL:
83.6%
Silêncio.
🧠 Agora temos:
algo.
O erro veio:
de transação internacional.
Um segmento:
fraco.
☕ A conclusão muda:
de:
“algoritmo não presta”
para:
“o algoritmo tem um buraco específico.”
Isso é:
engenharia.
🧠 A equipe decide
Para:
retail normal:
automação continua.
Para:
international travel:
human review.
Novo training data.
Recalibrate.
Shadow test.
Depois:
reevaluate.
☕ Nenhum:
fanatismo.
Nenhum:
desligamento dramático.
🧠 O Doctor pergunta:
— Então vocês ainda confiam no algoritmo?
Nosso jovem:
— Menos nesse segmento.
— E nos outros?
— Os dados dizem que continua melhor.
— Excelente.
🧠 Isso é confiança calibrada
Não:
Não:
🧠 E se erro tivesse sido catastrófico?
Aí:
talvez:
autonomia cairia:
imediatamente.
Important.
☕ Um erro pode:
mudar tudo
se revelar:
modo de falha intolerável.
Algorithm Aversion não:
proíbe reação forte.
Proíbe:
reação:
sem proporção.
🎯 Pergunta Bellacosa nº 92
“Esse erro revelou apenas uma taxa de falha ou revelou uma classe de falha que não podemos aceitar?”
🧠 Excellent distinction.
🧬 Regeneração organizacional
Uma organização madura não:
idolatra algoritmos.
Também não:
abandona algoritmos
por:
decepção emocional.
Ela:
mede.
Compara.
Segmenta.
Audita.
Monitora drift.
Define:
níveis de autonomia.
Permite:
override.
Mede:
override.
Mantém:
human skills.
Trata:
erros algorítmicos
com a mesma seriedade
que:
erros humanos,
mas:
não com:
um padrão impossível.
Ela entende:
que:
o objetivo não é escolher quem tem direito de errar; o objetivo é construir um sistema em que erros sejam menos frequentes, menos graves, mais detectáveis e mais fáceis de corrigir.
📓 Diário do Doctor
Se guardar algumas ideias desta viagem, guarde estas:
Algorithm Aversion é a tendência de rejeitar algoritmos excessivamente depois de observar seus erros, mesmo quando continuam superando alternativas humanas.
Automation Bias e Algorithm Aversion são extremos opostos: confiança demais e confiança de menos.
A meta é confiança calibrada.
Erros humanos tendem a ser percebidos como naturais, enquanto erros algorítmicos quebram expectativas de precisão.
Availability Heuristic faz erros algorítmicos memoráveis parecerem mais frequentes.
Recency Bias faz o último erro dominar anos de desempenho.
Outcome Bias pode fazer uma decisão probabilisticamente correta parecer ruim só porque terminou mal.
Hindsight Bias faz humanos acreditarem que teriam evitado um erro depois que a resposta já está conhecida.
Framing Effect altera percepção quando performance é apresentada como acerto ou erro.
Status Quo Bias e Familiarity Bias podem levar organizações a voltar para processos humanos inferiores apenas porque seus erros são conhecidos.
Need for Control pode tornar decisões humanas mais atraentes mesmo quando menos precisas.
Permitir algum grau de ajuste e override pode melhorar aceitação, mas overrides precisam ser medidos para verificar se realmente agregam valor.
O baseline correto é humano real versus algoritmo real versus sistema híbrido real.
Precisão agregada não é suficiente; frequência, severidade, detectabilidade, reversibilidade e distribuição dos erros importam.
Um único erro raro pode ser aceitável ou intolerável dependendo do blast radius.
Erro dentro de um segmento específico pode exigir roteamento diferente, não abandono completo da ferramenta.
Reduzir autonomia é uma alternativa importante entre confiar cegamente e desligar.
Shadow mode, challengers, versionamento, rollback e monitoramento de drift ajudam a recuperar e calibrar confiança.
O erro pode vir de modelo, dados, retrieval, integração, UI, regra, threshold ou uso humano; dizer apenas “a IA falhou” geralmente é insuficiente.
Interfaces e marketing que prometem inteligência ou certeza excessiva aumentam a decepção quando erros inevitáveis aparecem.
Humano no loop pode existir por precisão, accountability ou julgamento normativo; o papel precisa estar claro.
Algoritmos podem errar em escala, então limitar blast radius é tão importante quanto medir acurácia.
Erros sistemáticos em certos grupos ou cenários exigem análise segmentada, não apenas médias globais.
Ferramentas probabilísticas não deveriam ser avaliadas como se fossem software determinístico, embora sistemas críticos possam envolver verificadores determinísticos ao redor delas.
Para programadores iniciantes, uma sugestão de IA errada não prova inutilidade da ferramenta; é oportunidade de entender onde o modelo perdeu contexto e como validar melhor.
E principalmente:
não troque “se a IA falou, deve estar certo” por “a IA errou uma vez, então nunca serve”. As duas frases têm exatamente o mesmo problema: substituem avaliação por reação.
🥚 Easter Egg final
Antes de entrar na TARDIS, o Doctor olha para:
dois botões.
[ TRUST ALGORITHM COMPLETELY ]
[ NEVER TRUST ALGORITHM AGAIN ]
Nosso jovem:
— Qual eu aperto?
Doctor:
— Nenhum.
— Não tem terceiro botão.
Doctor pega:
um marcador
e desenha:
[ MEASURE, CALIBRATE, VERIFY ]
Nosso jovem:
— Esse botão é muito menos dramático.
Doctor:
— As melhores decisões costumam ser.
— Então devo confiar na IA?
Doctor:
— Quando ela merece.
— E desconfiar?
— Quando a evidência muda.
— E se ela errar?
Doctor abre:
a porta.
“Atualize sua confiança. Não transforme um erro em religião.”
Nosso jovem:
— E se humanos errarem?
O Doctor entra na TARDIS.
Olha de volta.
“Conte também.”
VWORP.
VWORP.
VWORP.
A TARDIS começa:
a desaparecer.
No quadro fica:
TRUST ≠ FAITH
e:
ERROR ≠ USELESSNESS
Mais abaixo:
“Compare sistemas reais, não fantasias.”
E talvez essa seja toda a essência do Algorithm Aversion no Bellacosa Mainframe:
quando o algoritmo errar, não ajoelhe diante dele — mas também não o jogue pela janela. Descubra quanto ele erra, onde erra, como seus erros se comparam aos nossos e qual arquitetura transforma a combinação humano + máquina numa decisão melhor do que qualquer um dos dois conseguiria sozinho.
☕🌀
Próxima parada: Algorithm Appreciation — o estranho fenômeno oposto, em que uma recomendação pode ganhar credibilidade adicional simplesmente porque veio acompanhada de números, modelos, IA, gráficos e uma aura matemática de objetividade.
