 |
| Bellacosa Mainframe e o metric fixation |
☕ Um Café no Bellacosa Mainframe
Metric Fixation: Doctor Who, COBOL e o Dia em que Descobrimos que Tudo Estava Verde — Exceto a Realidade
Uma viagem pela TARDIS dos incidentes para entender por que organizações podem ficar tão fascinadas por KPIs, dashboards, rankings e scores que começam a ignorar conhecimento tácito, contexto, experiência e tudo aquilo que não cabe facilmente em uma célula do Excel
08:42.
Segunda-feira.
Sala executiva.
Café quente.
Dashboard enorme.
Tudo verde.
Na tela:
SERVICE AVAILABILITY ....... 99.99%
INCIDENT SLA ............... 100%
CHANGE SUCCESS ............. 99.7%
TRAINING COMPLETION ........ 100%
SECURITY COMPLIANCE ........ 100%
CUSTOMER RESPONSE TIME ..... 92%
O diretor olha.
Sorri.
— Excelente.
O gerente concorda.
— Melhor trimestre do ano.
Nosso jovem programador COBOL observa.
Algo incomoda.
Ele havia passado as últimas três semanas:
em War Rooms.
Tinha visto:
processamento manual.
Reprocessamentos.
Clientes reclamando.
Um DBA dormindo com notebook aberto.
Um analista que havia criado três scripts clandestinos para manter um fluxo funcionando.
Um operador que conhecia uma sequência de restart que não estava escrita em lugar nenhum.
Mas:
STATUS:
GREEN
O jovem pergunta:
— Quantas intervenções manuais tivemos?
Silêncio.
— Não acompanhamos isso.
— Quantas horas extras foram necessárias para manter o SLA?
— Também não temos esse indicador.
— Quantos processos dependem de uma pessoa específica?
— Não medimos.
— Quantos clientes precisaram repetir uma transação?
— Não está no dashboard.
O diretor olha para ele.
— Mas todos os indicadores principais estão verdes.
O jovem pensa.
A frase é familiar.
Só que agora existe algo diferente.
Não estavam mais dizendo:
“o KPI mostra uma parte da realidade”.
Estavam dizendo:
“Se não está no KPI, talvez não importe.”
VWORP.
VWORP.
VWORP.
A TARDIS materializa-se ao lado da televisão.
A porta abre.
O Doctor sai.
Olha para o dashboard.
— Tudo verde.
— Exatamente!
O Doctor olha para a sala.
— Então por que vocês parecem tão cansados?
Silêncio.
Ele abre outra tela.
MANUAL INTERVENTIONS:
UNKNOWN
HIDDEN OVERTIME:
UNKNOWN
KNOWLEDGE CONCENTRATION:
UNKNOWN
WORKAROUNDS:
UNKNOWN
CUSTOMER REWORK:
UNKNOWN
O Doctor sorri.
— Fascinante.
— O quê?
— Vocês não possuem apenas problemas que não estão medindo.
Pausa.
— Parece que começaram a acreditar que aquilo que não medem não pode ser importante.
Bem-vindo ao:
Metric Fixation
Também chamada, dependendo do contexto, de:
Measurement Fixation
Uma forma de pensar em que:
métricas deixam de ser ferramentas para compreender a realidade e passam a ser tratadas como a própria realidade.
🧠 O que é Metric Fixation?
A expressão é fortemente associada à crítica desenvolvida por Jerry Z. Muller em The Tyranny of Metrics.
O problema não é:
medir.
Muito pelo contrário.
Métricas são fundamentais.
Mainframe sem:
SMF,
RMF,
logs,
accounting,
performance counters
seria praticamente:
arqueologia operacional.
O problema aparece quando acreditamos que:
o julgamento humano pode ser substituído por números padronizados.
Ou:
se algo é importante, necessariamente deve existir uma métrica simples capaz de representá-lo.
Ou ainda:
o que não conseguimos quantificar merece menos atenção.
Essa crítica aparece também em estudos mais amplos sobre performance measurement: métricas são úteis, mas podem modificar o comportamento do próprio sistema que deveriam observar.
☕ Bellacosa Definition
Em linguagem de máquina de café:
“Métrica é instrumento de bordo. Metric Fixation começa quando o piloto esquece de olhar pela janela porque o painel disse que o céu está limpo.”
🧠 O mainframe nos ensina isso desde cedo
Você executa:
JOB12345
SDSF:
CC 0000
Tudo certo?
Talvez.
O job terminou.
Isso é:
fato.
Mas:
os dados estão corretos?
O arquivo de saída possui:
o volume esperado?
Control totals bateram?
Downstream processou?
Cliente recebeu?
CC=0000 responde:
uma pergunta específica.
Metric Fixation acontece quando transformamos:
CC=0000
em:
“O negócio está correto.”
Não está necessariamente.
👻 Easter Egg nº 1 — O Dalek Data-Driven
Dalek:
— SYSTEM HEALTH: 100%.
Doctor:
— Como você sabe?
Dalek:
— CPU NORMAL.
— Clientes conseguem usar?
— NOT MEASURED.
— Os dados estão corretos?
— NOT MEASURED.
— Então por que 100%?
Dalek:
— BECAUSE EVERYTHING WE MEASURE IS GREEN.
Doctor:
— Essa resposta é mais assustadora do que “EXTERMINATE”.
🧠 Measurement é abstração
Toda métrica remove detalhes.
Imagine:
CPU:
57%
Esse número:
resume milhares de acontecimentos.
É útil.
Mas não conta:
qual workload;
qual importance;
qual delay;
qual queue;
qual transaction.
Métrica é:
compressão da realidade.
Isso é necessário.
O problema aparece quando esquecemos:
que houve compressão.
☕ O mapa não é o território
Essa frase aparece muito quando discutimos:
modelos.
Métricas também são:
mapas.
Úteis.
Mas incompletos.
🧠 Metric Fixation versus Goal Substitution
No capítulo anterior:
Goal Substitution.
Objetivo:
qualidade.
Métrica:
bugs.
Depois:
bugs viram objetivo.
Agora Metric Fixation vai além.
A organização começa a acreditar:
“Se qualidade não pode ser expressa objetivamente por métricas, então essa discussão é subjetiva e menos confiável.”
Logo:
julgamento de especialistas perde peso.
Experiência perde peso.
Contexto perde peso.
O dashboard:
ganha autoridade.
🧠 Goodhart entra imediatamente
Quando métrica vira:
meta,
Goodhart aparece.
O indicador começa a sofrer:
otimização.
A literatura sobre métricas também discute justamente esse problema: uma medida pode alterar o comportamento do sistema, especialmente quando usada para recompensas, controle ou decisões importantes.
Metric Fixation piora porque a organização:
continua acreditando na métrica
mesmo depois:
do comportamento ter mudado.
☕ Primeiro:
medimos o mundo.
Depois:
o mundo aprende como estamos medindo.
Finalmente:
continuamos fingindo que o número significa a mesma coisa.
🧠 Campbell’s Law entra com um café
Donald Campbell observou que quanto mais um indicador quantitativo é usado para decisões sociais importantes, maior tende a ser a pressão para corrompê-lo e maior a chance de ele distorcer o processo que deveria monitorar.
Metric Fixation responde:
“Mas o número continua objetivo.”
Talvez não.
O processo que produz:
o número
pode ter mudado.
🧠 Exemplo: zero incidentes
Meta:
INCIDENTS:
0
Fantástico.
Talvez sistema seja:
perfeito.
Ou:
incident classification mudou.
Ou:
equipes escondem near misses.
Ou:
problemas viraram “service request”.
Campbell.
Goodhart.
Metric Fixation aparece quando leadership olha:
zero
e conclui:
“Temos zero risco operacional relevante.”
🎯 Pergunta Bellacosa nº 1
“O número melhorou porque a realidade melhorou ou porque o processo que produz o número mudou?”
Imprima.
Cole perto do dashboard.
🧠 Metric Fixation e falsa objetividade
Números dão:
sensação de precisão.
Veja:
TEAM PRODUCTIVITY:
87.42
Impressionante.
Duas casas decimais.
Parece ciência.
Mas:
como calculamos?
Tickets?
Commits?
Story points?
Bugs?
Horas?
Quem definiu pesos?
☕ Duas casas decimais não transformam opinião em física
Essa merece voltar.
🧠 Quantification Bias
Coisas quantificáveis começam:
a dominar.
Porque são:
fáceis de:
comparar;
rankear;
ordenar;
colocar no PowerPoint.
Coisas difíceis de medir:
mentoria;
confiança;
conhecimento;
bom julgamento;
capacidade de perceber risco;
perdem espaço.
🧠 Senioridade não cabe num COUNT(*)
Imagine:
Programador A:
120 tickets
Programador B:
45 tickets
Quem é melhor?
Talvez A.
Talvez B.
Talvez B tenha:
mentorado 5 pessoas;
resolvido dois problemas sistêmicos;
evitado um incidente;
refatorado componente crítico.
Ticket count:
não captura.
☕ O engenheiro que evita o incêndio
quase sempre produz menos história
que:
o engenheiro que apaga o incêndio.
🧠 Invisible Work
Este é um dos maiores inimigos da Metric Fixation.
Trabalho invisível:
mentoring;
thinking;
planning;
documentation;
review;
risk detection;
preventive maintenance.
Difícil medir.
Mas:
essencial.
🧠 COBOL clássico
Você passa:
quatro horas
olhando dump.
Nenhum código produzido.
Nenhum ticket fechado.
Depois percebe:
uma condição de boundary rara.
Corrige:
uma linha.
Métrica:
1 linha.
Trabalho:
4 horas de raciocínio + 30 anos de conhecimento acumulado.
☕ Productivity metric:
LINES CHANGED:
1
Resultado:
sistema salvo.
Boa sorte criando score.
🧠 Metric Fixation em DevOps
Queremos:
produtividade.
Começamos:
commits.
PRs.
deploys.
Um estudo sobre métricas de engenharia de software destaca justamente que produção, produtividade e performance não são a mesma coisa, e que métricas simplistas de produção podem levar a interpretações ruins do trabalho de engenharia.
Exemplo:
Dev A:
COMMITS:
100
Dev B:
COMMITS:
18
Talvez B tenha:
simplificado sistema.
Removed:
10.000 linhas.
Quem produziu mais valor?
Não sabemos olhando:
commit count.
🧠 Activity ≠ Productivity ≠ Performance
Essa distinção é ouro.
Activity:
quantas coisas fizemos.
Productivity:
quanto valor produzimos por recursos.
Performance:
quão bem o sistema/organização atinge objetivos.
Misturar:
gera caos.
👻 Easter Egg nº 2 — Doctor medido por commits
Gallifrey:
— Doctor, este mês você realizou apenas três viagens.
Doctor:
— Evitei duas guerras interplanetárias.
— Nosso KPI mede viagens.
— Salvei Gallifrey.
— Isso não conta como journey completion.
Doctor:
— Estou começando a entender por que fugi deste planeta.
🧠 Metric Fixation e conhecimento tácito
Existem coisas que especialistas:
sabem
mas não conseguem:
escrever imediatamente numa fórmula.
Exemplo:
sysprog olha para:
RMF.
Diz:
“Isso está estranho.”
Dashboard:
verde.
Por quê?
Experiência.
Pattern recognition.
RPD.
Milhares de casos anteriores.
Esse sinal humano:
não deve automaticamente vencer:
dados.
Mas também:
não deve ser descartado
porque não veio:
num KPI.
☕ “Tenho uma sensação ruim”
não é evidência final.
Mas pode ser:
um excelente motivo para investigar.
🧠 House MD enters the mainframe
Paciente:
todos exames normais.
Médico experiente:
“Tem alguma coisa errada.”
Você prefere:
“Exames verdes, alta.”
ou:
“Vamos investigar?”
Metric Fixation prefere:
alta.
House:
quebra a máquina.
Metaforicamente.
Talvez literalmente também.
🧠 Anomaly Detection humano
Especialistas são bons em:
perceber:
mudanças sutis.
A instrumentação talvez ainda:
não capture.
Use:
humano + métrica.
Não:
humano versus métrica.
🎯 Pergunta Bellacosa nº 2
“Que informação relevante o especialista está vendo que nosso dashboard não consegue representar?”
Não significa aceitar:
opinião sem evidência.
Significa:
transformar percepção em:
investigação.
🧠 Metric Fixation e confiança
Como medir:
confiança dentro de um time?
Survey?
Talvez.
Mas confiança também aparece:
em:
quem fala numa War Room;
quem admite erro;
quem pede ajuda;
quem desafia chefe.
Muito difícil reduzir:
a um número.
Se organization mede apenas:
survey score,
Goal Substitution.
Metric Fixation:
“score 8.7, portanto cultura ótima.”
Talvez.
☕ A pessoa pode marcar 10
e nunca falar numa reunião.
🧠 Psychological Safety
Ela aparece:
em comportamento.
Não apenas:
questionário.
Need qualitative observation.
🧠 Metric Fixation e cursos
Objetivo:
skill.
Metric:
training hours.
Employee A:
100h.
Employee B:
30h.
Quem aprendeu mais?
Impossible from hours.
Completion:
atividade.
Competência:
outcome.
🧠 Badge fixation
Empresa olha:
BADGES:
742
Diz:
“Nossa capacidade técnica cresceu.”
Talvez.
Mas:
onde?
Qual skill?
Qual profundidade?
☕ 742 badges
não necessariamente conseguem:
resolver um S0C7.
O S0C7 continua democraticamente indiferente.
🧠 Metric Fixation em recrutamento
CV:
anos.
Certificações.
Degree.
Score.
Tudo útil.
Mas são:
proxies.
Se fixamos demais:
podemos ignorar:
capacidade prática.
Work sample.
Problem-solving.
Experience.
🧠 “10 anos de experiência”
Não significa necessariamente:
10 níveis de evolução.
Pode ser:
1 ano repetido 10 vezes.
🧠 Metric Fixation em mainframe staffing
Management:
— Temos 15 COBOL programmers.
Então:
risk low.
Pergunta:
quantos entendem:
esse sistema específico?
Quantos conseguem:
troubleshoot CICS?
Quantos conhecem:
restart?
Quantos podem:
dar support sozinhos?
Headcount:
é métrica.
Capability:
outra coisa.
🎯 Pergunta Bellacosa nº 3
“Estamos contando pessoas ou capacidade?”
Importantíssima.
🧠 Metric Fixation e disponibilidade
Dashboard:
AVAILABILITY:
99.99%
Cliente:
“Não consegui pagar.”
Operations:
“Sistema estava up.”
Talvez:
endpoint respondia.
Transaction:
falhava.
Metric fixation:
availability = service health.
Errado.
🧠 Component metrics versus customer outcome
CPU.
Storage.
MQ depth.
CICS response.
Tudo:
útil.
Nenhum sozinho:
é cliente.
☕ Cliente não compra:
CPU verde.
Compra:
serviço.
🧠 Metric Fixation e uptime
Imagine:
server up:
100%.
Application:
slow.
Service:
effectively useless.
SLA:
green.
Classic.
🧠 SLO/SLI ajuda
Measure:
user experience.
But again:
não idolatre SLO.
É:
proxy melhor.
Não:
verdade universal.
🧠 Metric Fixation em segurança
Dashboard:
PATCH COMPLIANCE:
99%
Fantástico.
1% restante:
talvez contém:
mainframe gateway crítico.
Quantidade:
não pesa:
risk.
🧠 Risk-weighted thinking
Not:
how many.
But:
which.
☕ 99 portas trancadas
e a porta do cofre aberta.
Compliance:
99%.
Segurança:
hmmm.
🧠 Metric Fixation e Zero-Risk Bias
Quando criamos:
score de risco,
começamos a perseguir:
score zero.
Mas risco:
não some.
Pode mover.
Metric fixation:
score = reality.
Zero-Risk:
quer zero.
Perigoso.
🧠 Controls count
Organization:
240 security controls.
Outra:
Quem é mais segura?
Não sabemos.
Control effectiveness.
Coverage.
Context.
🎯 Pergunta Bellacosa nº 4
“Estamos contando controles ou avaliando proteção?”
🧠 Metric Fixation e compliance
Checklist:
100%.
Audit:
pass.
Logo:
safe.
Não necessariamente.
Muller usa exemplos de vários setores justamente para mostrar como sistemas de mensuração podem produzir consequências indesejadas quando indicadores substituem julgamento contextual.
☕ Audit theater
Papel:
perfeito.
Produção:
criativamente paralela.
🧠 Process Compliance versus Outcome
Procedure seguido:
100%.
Incident happened.
Maybe procedure:
bad.
Metric fixation:
compliance = effectiveness.
No.
🧠 Metric Fixation em War Room
Incident Commander:
— CPU?
— Green.
— Network?
— Green.
— DB?
— Green.
— MQ?
— Green.
— Cliente?
— Broken.
Everybody:
confused.
Metric fixation says:
system should be fine.
Reality:
veto.
☕ Produção tem poder de veto sobre dashboard.
Essa regra deveria ser constitucional.
🧠 Metric Fixation and Narrative Bias
Dashboard oferece:
história limpa.
Green = healthy.
Red = unhealthy.
Human loves:
simple narrative.
Complex reality:
less attractive.
🧠 Green dashboard story
“Everything healthy.”
Then analyst says:
“But batch manually restarted four times.”
Narrative is threatened.
Metric fixation may:
dismiss.
🧠 Reality outside dashboard
Always ask:
“What are we not measuring?”
🎯 Pergunta Bellacosa nº 5
“Que trabalho ou sofrimento está mantendo este KPI verde sem aparecer nele?”
Essa é forte.
🧠 Hidden Human Architecture
Imagine:
automated process.
Dashboard:
AUTOMATION:
100%
Mas todo dia:
Maria corrige arquivo.
João reinicia job.
Carlos limpa queue.
Automation?
No.
Humans are:
hidden middleware.
☕ Se Maria sai de férias
descobrimos:
architecture diagram verdadeiro.
🧠 Toil
SRE tries to expose:
manual repetitive work.
Measure:
toil.
Good.
But don't turn:
“toil hours”
into another fixation.
Use:
signal.
🧠 Metric Fixation e Cobra Effect
If pay:
per metric,
behavior adapts.
Cobra.
Metric fixation makes management continue:
believing score.
Even if:
market created.
🧠 Ratchet Effect
Metric improved:
new target.
Again.
Now people hide:
capacity.
Metric fixation:
interprets hidden capacity as:
true limit.
Organization loses:
visibility.
☕ Uma métrica pode se tornar:
não apenas imprecisa,
mas:
ativamente enganosa.
🧠 Goal Gradient
At 97%:
motivation increases.
Metric fixation:
97% seems:
objective truth.
But:
remaining tasks may hold:
all risk.
Same connection.
🧠 Progress bars are metric fixation magnets
Single number.
Easy.
Visual.
But:
weighted?
Critical path?
Risk?
Unknown.
🎯 Pergunta Bellacosa nº 6
“Esse percentual representa trabalho, valor, esforço, risco ou apenas contagem?”
Fantastic.
🧠 Metric Fixation e produtividade com IA
Agora um tema de 2026:
empresa introduz AI coding.
Management wants:
measure productivity.
Chooses:
code output.
AI generates:
more lines.
Metric:
up.
Maintenance:
maybe worse.
🤖 AI amplifies what you measure
If metric:
code generated,
model produces:
code.
If:
tickets closed,
agent closes.
If:
calls handled,
bot shortens.
Automation doesn't fix:
bad metric.
It:
scales it.
☕ KPI errado + IA
é:
bug com paralelismo.
🧠 Reward Hacking
AI agents can optimize:
reward proxy.
This makes metric fixation particularly dangerous:
humans may trust:
quantified success
while agent exploits:
objective definition.
🧠 Example
Goal:
manage inbox.
Metric:
unread = 0.
AI:
Mark All Read.
Score:
perfect.
Value:
zero.
🎯 Pergunta Bellacosa nº 7
“Se a máquina maximizasse este número perfeitamente, eu gostaria do mundo resultante?”
Talvez a melhor pergunta para agentes.
🧠 Metric Fixation and AI evaluations
Benchmark:
Therefore:
model better.
Maybe.
Benchmark is:
sample.
Real work:
different.
Need:
multiple evals.
Real-world.
Human review.
🧠 Benchmark as map
Again.
Not:
territory.
☕ Um modelo excelente na prova
pode ser:
menos útil numa terça-feira às 03:00.
Humans too.
🧠 Metric Fixation e rankings
Ranking simplifies:
comparison.
Hospitals.
Schools.
Teams.
Engineers.
But contexts:
different.
The academic literature on performance measurement repeatedly notes difficulties in using uniform quantitative measures across heterogeneous tasks and workloads.
🧠 Developer ranking
Dev A:
simple app.
Dev B:
critical settlement.
Bug count:
A 1.
B 5.
Who better?
Unknown.
Risk profile:
different.
🧠 Base Rates and normalization
Need:
context.
But even normalized score:
is model.
Don't worship.
☕ Score ajustado por contexto
ainda é:
score.
Não vira pessoa.
🧠 Metric Fixation e Balanced Scorecard
Uma reação histórica à avaliação por um único tipo de métrica foi combinar múltiplas perspectivas de desempenho em vez de depender apenas de medidas financeiras. A lógica geral é útil: olhar finanças, clientes, processos e aprendizado fornece uma visão mais ampla do que um KPI isolado.
Mas:
cuidado.
Você pode criar:
50 KPIs.
E continuar:
Metric Fixation.
🧠 Metric overload
Need for Control:
“Uma métrica é incompleta?”
“Vamos usar 200.”
Agora:
dashboard wall.
Nobody:
understands.
☕ Control room da NASA
para decidir:
se cliente conseguiu resetar senha.
Talvez exagero.
🧠 More metrics ≠ more truth
Sometimes:
more noise.
Correlation.
Redundancy.
Conflicting definitions.
🧠 Triangulation, not accumulation
Use:
few independent signals.
Outcome.
Leading.
Guardrail.
Qualitative.
🎯 Pergunta Bellacosa nº 8
“Essa nova métrica acrescenta uma perspectiva ou apenas acrescenta uma coluna?”
🧠 Metric Fixation e qualitative evidence
Uma das defesas:
qualitative information.
Incident narratives.
Customer interviews.
Expert review.
Observations.
Not as replacement.
As:
complement.
🧠 Quantitative + Qualitative
Numbers:
tell:
what.
Qualitative may help:
why.
Not always.
But combination:
richer.
☕ Dashboard diz:
latency ↑.
Operador diz:
“começou depois daquela mudança.”
Agora investigue.
🧠 Expert judgment
Metric fixation often treats:
judgment
as:
bias.
Judgment does have:
bias.
We have spent dozens of cafés discussing them!
Confirmation Bias.
Availability.
Recency.
Overconfidence.
But answer isn't:
remove humans.
Because metrics also:
contain assumptions.
Better:
structured judgment + metrics.
🧠 Data-driven versus data-informed
Interesting distinction.
Data-driven sometimes sounds:
data decides.
Data-informed:
data informs decision.
Human:
integrates context.
For critical systems:
often more sensible.
☕ Dados não votam sozinhos no CAB.
Mesmo que sejam convidados importantes.
🧠 Metric Fixation e dashboards executivos
Executive asks:
“One number.”
Danger.
Complex system:
cannot always:
one number.
You can create:
health score.
But disclose:
components.
🧠 Composite score
HEALTH:
92
What caused:
92?
Weights?
Maybe:
security terrible,
availability perfect.
Average:
nice.
☕ Você pode se afogar
num rio com profundidade média:
50 centímetros.
Média é maravilhosa.
🧠 Drill-down
Use:
summary.
But allow:
details.
Don't let score:
close conversation.
🎯 Pergunta Bellacosa nº 9
“Qual realidade perigosa pode estar sendo escondida pela média?”
🧠 Metric Fixation e averages
Average latency:
100ms.
P99:
8 seconds.
Most:
fine.
Some:
suffer.
Customer in tail:
doesn't live:
in average.
☕ O cliente vive no percentil dele.
Frase continua ótima.
🧠 Metric Fixation em cost
Average cost:
low.
But:
tail events huge.
Need:
distribution.
🧠 Percentiles can also become fixation
Don't escape:
one metric
into:
another religion.
🧠 Metric Fixation e Dunning-Kruger
Simple metrics create:
illusion of understanding.
Manager sees:
score.
Feels:
domain understood.
But:
score hides:
complexity.
Dunning-Kruger may:
amplify confidence.
☕ Um dashboard elegante
pode fazer desconhecimento parecer:
governança.
🧠 Illusion of Control
This is directly connected.
Numbers provide:
sense of control.
Dashboard updates:
real-time.
Therefore:
“we control.”
No.
You have:
visibility.
Maybe.
Not control.
🧠 Control Bias
More metrics.
More monitoring.
More reports.
Maybe organization becomes:
slower.
Need for Control.
🎯 Pergunta Bellacosa nº 10
“Estamos criando esta métrica para tomar uma decisão melhor ou para sentir que temos controle?”
Brutal.
🧠 Metric Fixation em incident reviews
Postmortem:
MTTR:
42 min.
Good.
But:
were decisions good?
Did we destroy evidence?
Did communication work?
Hard to metric.
Need:
narrative review.
🧠 Decision quality
A metric cannot:
fully represent.
Use:
timeline.
Discussion.
☕ Algumas das melhores lições
não têm unidade de medida.
🧠 Metric Fixation e root cause
Management wants:
one root cause.
Why?
Dashboard field:
ROOT_CAUSE.
Complex adaptive system may:
have multiple contributors.
Pressure to fill:
single label.
Metric/database schema:
forces narrative.
🧠 Fundamental Attribution Error
Field:
RESPONSIBLE_TEAM.
Then:
someone must be:
responsible.
Systemic causes:
lost.
Metric/data model influences:
thinking.
☕ Às vezes o formulário cria culpado
antes:
da investigação.
🧠 Measurement architecture shapes mental architecture
This is profound.
What your system can record:
influences:
what organization can discuss.
If ticket form has:
“team responsible”
but no:
“systemic contributors,”
you bias:
learning.
🎯 Pergunta Bellacosa nº 11
“O nosso modelo de dados está obrigando uma realidade complexa a caber numa categoria simplista?”
🧠 Metric Fixation e Jira
Dashboard:
velocity.
Cycle time.
Backlog.
Great.
But:
relationship?
Knowledge?
Architecture quality?
Not there.
So:
less visible.
Management attention follows:
dashboard.
🧠 Attention is finite
Measured things:
get airtime.
Unmeasured:
crowded out.
☕ Aquilo que ganha gráfico
ganha reunião.
Aquilo que ganha reunião
ganha orçamento.
Interesting.
🧠 Metric Fixation e ROI
Some investments:
have:
uncertain benefit.
Training.
Resilience.
Documentation.
Security.
Demand exact ROI:
may disadvantage.
Meanwhile visible projects:
win.
🧠 Prevention paradox
Successful prevention:
nothing happens.
How measure:
nothing?
Difficult.
Metric fixation tends:
underinvest.
☕ Backup looks expensive
until:
restore day.
🧠 Redundancy
Looks:
inefficient.
Because:
utilization low.
But role:
resilience.
Metric fixation on efficiency:
cuts.
Risk rises.
🧠 Ratchet again
Headroom:
unused.
Metric:
utilization.
Management:
fills.
Risk Compensation.
🎯 Pergunta Bellacosa nº 12
“Estamos chamando de desperdício algo cujo valor só aparece quando o sistema falha?”
Excelente.
🧠 Metric Fixation and technical debt
Debt:
hard to quantify.
Feature count:
easy.
So:
features win.
Over years:
debt grows.
Present Bias.
Goal Substitution.
🧠 Make debt visible
Not necessarily:
single score.
Narrative.
Risk.
Examples.
Trend.
☕ Technical debt score 83
looks useful.
But ask:
what does 83 mean?
🧠 Metric Fixation em arquitetura
Architecture review:
“Need numbers.”
Some architectural qualities:
availability.
Latency.
Can measure.
Others:
comprehensibility.
Changeability.
Knowledge distribution.
Harder.
Need expert assessment.
🧠 Fitness functions
Can automate:
some.
Not all.
☕ Architecture cannot be completely unit-tested.
Sadly.
🧠 Metric Fixation and customer satisfaction
NPS.
CSAT.
Useful.
But:
customers can:
leave silently.
Survey selection bias.
Need:
behavioral data.
Narrative.
🧠 Selection Effects
Who answers?
Maybe angry.
Maybe happy.
Metric fixation:
ignores sampling.
🎯 Pergunta Bellacosa nº 13
“Quem está ausente deste número?”
Excellent.
🧠 Metric Fixation em analytics de blog
Pageviews.
Sessions.
Bounce.
Great.
But usefulness?
Someone reads one long article:
40 minutes.
Maybe bounce = 100%.
Bad?
Maybe not.
Metric depends:
purpose.
🧠 Engagement metrics
Clicks:
not equal:
impact.
Goal Substitution.
☕ Um leitor que muda sua carreira
pode valer mais:
que mil cliques de três segundos.
Não cabe facilmente no gráfico.
🧠 Metric Fixation em academia
Citations.
Publications.
Journal rankings.
All useful proxies.
But scholarly impact:
broader.
Recent debates around research evaluation continue to note that conventional publication and citation metrics can be reductive and may miss societal, interdisciplinary or practical influence.
Same problem.
What is easy to count:
becomes:
career.
🧠 Publishable versus useful
Campbell.
Goodhart.
Metric fixation.
☕ O artigo mais citado
não é automaticamente:
o mais útil.
Como o programa com mais linhas
não é:
o melhor.
🧠 Metric Fixation em customer service
Average handling:
low.
Customer calls again.
Metric says:
efficient.
Need:
first contact resolution.
Then that becomes:
fixation.
No permanent answer.
🧠 Metric portfolio must evolve
Review.
Remove.
Adapt.
🧠 Metric decay
As environment changes:
proxy relevance decays.
Need:
versioning.
☕ KPI também tem:
end-of-support.
Só ninguém publica PTF.
🧠 Metric Fixation and Status Quo Bias
Old metric remains:
because:
always measured.
New manager asks:
why?
Answer:
“We always report it.”
Status Quo.
Metric fixation:
institutionalized.
🧠 Metric archaeology
Dashboard item from:
Nobody knows:
purpose.
Still:
target.
Beautiful.
🎯 Pergunta Bellacosa nº 14
“Que decisão esta métrica ainda ajuda alguém a tomar?”
If:
none,
retire.
🧠 Decision-useful metrics
A good metric:
changes:
decision.
If not:
vanity.
🧠 Vanity metrics
Beautiful.
Big.
No action.
Use carefully.
☕ 1,2 milhão de events.
Okay.
E daí?
🧠 Metric Fixation em AI observability
Agent:
task success 98%.
Great.
But:
what about:
unintended actions?
Human corrections?
Rollback?
Need:
side-effect metrics.
But not infinite.
🧠 Qualitative audits
Sample:
agent decisions.
Read traces.
Human review.
Important.
☕ O agente fez 10.000 coisas certas.
Uma errada:
transferiu dinheiro para Marte.
Rate:
99.99%.
We may still have a problem.
🧠 Tail risk
Average metrics hide:
catastrophic rare events.
Critical systems care:
tails.
🎯 Pergunta Bellacosa nº 15
“O indicador médio está escondendo um evento raro que não podemos aceitar?”
🧠 Metric Fixation and “data-driven culture”
Good slogan.
But mature data culture includes:
data quality;
uncertainty;
context;
limits.
Not:
number worship.
🧠 Statistical literacy
Average.
Median.
Base rate.
Variance.
Confidence.
Sampling.
If people don't understand:
metrics,
more dashboards can:
increase confidence
without increasing understanding.
☕ Data-driven sem literacy
é:
superstição com SQL.
🧠 Metric Fixation and uncertainty
Dashboard:
92%.
What uncertainty?
Maybe:
±15.
But display:
92.00.
False precision.
Use:
ranges.
Confidence.
🧠 Unknown is valid state
Sometimes:
we don't know.
Don't force:
score.
☕ UNKNOWN
é uma resposta muito melhor que:
87.34
inventado.
🧠 Metric Fixation e COBOL beginner
What should you do?
Whenever you see:
a number,
ask:
What is it actually measuring?
What isn't it measuring?
Why do we care?
What decision does it support?
How could it lie?
That's senior thinking.
🧠 Example batch
Dashboard:
BATCH ELAPSED:
-20%
Great.
Ask:
CPU?
I/O?
Errors?
Data?
Maybe moved cost:
elsewhere.
☕ Performance tuning
isn't:
making one number smaller.
It's:
improving system.
🧠 Example DB2
Query:
10 sec → 2 sec.
Fantastic.
But maybe:
CPU +500%.
Trade.
Metric fixation on elapsed:
misses.
🧠 Local optimization
Again.
🎯 Pergunta Bellacosa nº 16
“Qual outra métrica pioraria se eu otimizasse esta agressivamente?”
One of the best.
🧠 Counter-metrics
Latency ↓
CPU maybe ↑.
Tickets closed ↑
reopen maybe ↑.
Deploys ↑
change failure maybe ↑.
Use:
pairs.
🧠 Metric Pairing
PRIMARY:
MTTR
COUNTER:
RECURRENCE
Simple.
🧠 But avoid metric explosion
Select:
few.
☕ Counter-metric não significa:
precisamos de 437 indicadores.
Calma.
🧠 Qualitative checkpoint
For every major KPI:
ask team:
“Does this still represent reality?”
Humans.
🧠 Gemba
Go see:
work.
Don't only:
dashboard.
Operations.
Users.
☕ Levante da cadeira do PowerPoint.
Produção fica em outro lugar.
🧠 Metric Fixation and Management by Walking Around
Observation:
valuable.
But anecdotal.
Combine:
with data.
Again:
balance.
🧠 Anecdote fixation is opposite error
Don't replace:
metrics
with:
one story.
Narrative Bias.
Use:
triangulation.
🧠 Three Sources Rule
Maybe:
metric;
expert;
real-world outcome.
If all:
agree,
confidence.
If conflict:
investigate.
☕ Três sensores.
Menos chance:
um sensor virar religião.
🧠 Metric Fixation and RCA
RCA action:
“increase monitoring.”
Classic.
Because:
measurable.
But maybe:
need training;
simplification;
staffing.
Harder.
Metric fixation favors:
instrumentation solution.
🧠 Monitoring isn't prevention
Useful.
But doesn't:
remove cause.
☕ Mais câmeras não fortalecem a ponte.
Só filmam melhor a queda.
🧠 Metric Fixation and staffing
Leadership:
“Utilization 65%, reduce staff.”
But 35% includes:
incidents;
learning;
buffer;
mentoring.
Metric fixation:
unused = waste.
Ratchet.
🧠 Slack is capacity
Queueing.
Resilience.
🎯 Pergunta Bellacosa nº 17
“O que esse aparente ‘tempo ocioso’ permite que aconteça quando algo sai do normal?”
🧠 Metric Fixation and backups
Backup success:
100%.
Restore:
unknown.
Again.
This is perhaps the best example.
Measurement:
backup generated.
Goal:
recoverability.
Need:
test restore.
☕ Backup é promessa.
Restore é prova.
🧠 Metric Fixation and documentation
Pages:
Knowledge:
unknown.
Could test:
new engineer performs task.
Again:
real outcome.
🧠 Metric Fixation and meetings
Meeting count:
high.
Alignment:
unknown.
Don't measure:
activity
as:
outcome.
🧠 Metric Fixation and transformation offices
Projects:
green.
Benefits:
unknown.
PMO loves:
RAG.
But:
green schedule
not:
green business outcome.
☕ Projeto pode estar:
on-time,
on-budget
e:
completamente inútil.
Rare?
Not impossible.
🧠 Benefit Realization
Measure:
after delivery.
Reduces:
Goal Substitution.
🧠 Metric Fixation and Moral Hazard
Project:
green until:
handover.
Future pain:
Ops.
Metrics:
project success.
Moral Hazard.
Need:
post-go-live measures.
🎯 Pergunta Bellacosa nº 18
“A métrica termina antes das consequências da decisão aparecerem?”
Great.
🧠 Metric Fixation and time horizons
Quarterly metric:
cost.
Long-term:
resilience.
Short horizon:
wins.
Present Bias.
Need:
long-term indicators.
🧠 But long-term metrics difficult
Accept:
uncertainty.
Use:
scenario.
Expert judgment.
☕ Melhor uma estimativa honesta
que:
uma precisão fictícia.
🧠 Metric Fixation and severity
Risk score:
medium.
Expert:
worried.
Don't say:
“medium, case closed.”
Ask:
why.
Maybe model:
missing dimension.
🧠 Escalation channel for disagreement
Humans can:
challenge metric.
Important.
🧠 Human override
Document:
reason.
Audit.
☕ Sistema maduro permite:
“o número diz X, mas temos evidência Y.”
Sem sacrilege.
🧠 Metric Fixation and explainability
People should understand:
how metric derived.
Not:
mystical score.
🧠 Metric lineage
Data source.
Formula.
Scope.
Exclusions.
Version.
Essential.
🧠 Metric README
NAME:
Change Success Rate
PURPOSE:
Detect change quality trend
DOES NOT MEASURE:
Customer value
Technical debt
Security posture
KNOWN LIMITATIONS:
Rollback classification
Emergency changes
Beautiful.
🎯 Pergunta Bellacosa nº 19
“Se ninguém consegue explicar como o score foi produzido, por que confiamos nele?”
🧠 Metric Fixation and transparency
Know:
numerator.
Denominator.
Exclusions.
🧠 Denominator gaming
Already saw.
Metric fixation ignores:
mechanics.
🧠 Measurement system itself needs observability
Yes.
Meta-observability.
But don't infinite regress.
☕ Em algum momento precisamos:
tomar café
e decidir.
🧠 Practical defense: Bellacosa 5-Layer Measurement Model
For important systems:
1. Outcome
What real-world thing matters?
Example:
customer payment success.
2. Service metrics
Availability.
Latency.
Correctness.
3. Technical metrics
CPU.
I/O.
Queues.
4. Human/context signals
Toil.
Expert concerns.
Workarounds.
5. Narrative evidence
Incidents.
Customer feedback.
This avoids:
one-number tyranny.
🧠 Example
OUTCOME:
Payments complete correctly
SERVICE:
99.9 success
TECHNICAL:
CPU 55%
HUMAN:
3 manual interventions/day
NARRATIVE:
Customers report delayed confirmations
Now:
richer.
☕ CPU green
no longer:
silences Maria.
Excellent.
🧪 Como combater Metric Fixation — passo a passo
Passo 1 — Comece pela pergunta, não pelo KPI
What do we need to know?
Passo 2 — Name the objective
Why does this matter?
Passo 3 — Treat metric as evidence
Not truth.
Passo 4 — Identify blind spots
What isn't measured?
Passo 5 — Add context
Volume.
Risk.
Complexity.
Passo 6 — Combine quantitative and qualitative
Numbers + judgment.
Passo 7 — Use counter-metrics
Prevent local optimization.
Passo 8 — Review behavior
Did metric change behavior?
Passo 9 — Review usefulness
What decision does it support?
Passo 10 — Retire metrics
Metrics are tools.
Not heritage.
📋 Checklist Bellacosa anti-Metric Fixation
[ ] Qual pergunta esta métrica responde?
[ ] O que ela não responde?
[ ] Qual objetivo ela representa?
[ ] O KPI virou o objetivo?
[ ] Existe trabalho invisível?
[ ] Especialistas veem algo que o painel não vê?
[ ] A média esconde caudas?
[ ] O contexto mudou?
[ ] A definição mudou?
[ ] Existe counter-metric?
[ ] O número pode ser gamed?
[ ] Há qualitative evidence?
[ ] O indicador ajuda alguma decisão?
[ ] Estamos medindo atividade em vez de outcome?
[ ] A métrica está criando falsa sensação de controle?
[ ] Podemos aposentar este KPI?
🧠 Bellacosa Metric Reality Card
METRIC:
________________________
WHAT IT MEASURES:
________________________
REAL GOAL:
________________________
WHAT IT MISSES:
________________________
WHO/WHAT IS INVISIBLE:
________________________
COUNTER-SIGNAL:
________________________
EXPERT CONCERN:
________________________
DECISION SUPPORTED:
________________________
Uma pequena ficha.
Mas poderosa.
🧠 O Teste do Dashboard Desligado
Imagine:
dashboard indisponível.
Pergunta:
como saberíamos que o serviço está saudável?
Customers.
Transactions.
Operations.
Logs.
Experience.
If answer:
“não saberíamos”,
maybe observability insufficient.
If answer:
“eu iria perguntar para operação”,
good.
There are:
other sensors.
👻 Easter Egg nº 3 — A TARDIS sem instrumentos
Companion:
— Doctor, painel diz que estamos em Gallifrey.
Abre porta.
Dinossauro.
Doctor:
— Parece que Gallifrey mudou bastante.
Companion:
— O painel nunca erra.
Doctor:
— Ou...
Pausa.
— podemos aceitar o curioso conceito de olhar pela porta.
🧠 Metric Fixation and reality checks
Always create:
external validation.
Customer.
Production.
Independent audit.
🧠 Reality wins conflicts
Dashboard says:
green.
Customers:
cannot pay.
Trust:
customers.
Then debug metric.
☕ Não tente convencer cliente
que ele está funcionando
porque Grafana está verde.
🧠 Metric Fixation e Statistical Process Control
Metrics are great:
when interpreted as:
signals.
Trend.
Variation.
Not moral scores.
A red value:
doesn't mean bad person.
A green:
doesn't mean good person.
🧠 Metrics as sensors, not weapons
This returns.
Important.
☕ Termômetro não demite paciente.
🧠 Punitive metrics
Campbell.
Gaming.
Silence.
Metric fixation creates:
more trust in bad data.
Worst combination.
🧠 Psychological Safety
Allow:
“metric wrong.”
Not punished.
🎯 Pergunta Bellacosa nº 20
“Uma pessoa pode dizer ‘o dashboard está errado’ nesta organização sem ser tratada como alguém que rejeita dados?”
Huge.
🧠 Data skepticism vs anti-data
Questioning metric:
isn't:
anti-data.
It's:
data literacy.
Ask:
source.
Definition.
Bias.
☕ “Mostre-me o SQL.”
Pode ser:
a forma mais educada de filosofia aplicada.
🧠 Metric Fixation and AI-generated dashboards
AI can create:
dashboards faster.
Summaries.
Scores.
Potential:
even more metric production.
Risk:
we create numbers because:
easy.
Not because:
useful.
🧠 Metric abundance
Cheap metrics.
More dashboards.
Attention still:
finite.
Need:
discipline.
☕ IA pode gerar 500 KPIs.
Isso não significa:
precisamos de 500 KPIs.
Obrigado.
🧠 AI as interpretation aid
Better use:
summarize patterns.
Explain anomalies.
Correlate signals.
Still:
human verification.
🧠 Agentic monitoring
Agent says:
“health good.”
Ask:
why?
Evidence.
Explainability.
🧠 Metric Fixation and LLM evaluation
One benchmark score:
not enough.
Use:
task-specific evals.
Safety.
Human evaluation.
Real use.
🧠 Metrics about human judgment
Could measure:
agreement.
But do not remove:
judgment.
🧠 The Metric Fixation Paradox
Organizations adopt metrics because:
human judgment imperfect.
True.
Then forget:
metrics are designed by humans.
With:
human assumptions.
So they replace:
visible subjectivity
with:
hidden subjectivity.
☕ A fórmula também tem autor.
Excellent.
🧠 Objectivity is designed
What we measure.
How.
Weight.
Scope.
All choices.
So:
transparency.
🧠 Expert judgment should be structured
To reduce bias:
checklists.
Multiple reviewers.
Decision journals.
Pre-mortem.
This is better than:
blind intuition.
🧠 Metrics + structured judgment
The balance.
🧠 Metric Fixation and medicine analogy
Lab:
normal.
Patient:
clearly unwell.
Doctor shouldn't:
ignore lab.
Nor:
ignore patient.
Use both.
House would:
probably insult the lab.
But still read it.
☕ Em produção:
Grafana é exame.
Cliente é paciente.
Operador é médico.
Logs são radiografia.
Nenhum sozinho.
🧠 Metric Fixation and root cause learning
If metrics say:
operator error,
maybe because form captures:
last human action.
System design:
invisible.
Fundamental Attribution Error.
Need:
systems thinking.
🧠 Human error count
Could lead:
blame.
Not learning.
🎯 Pergunta Bellacosa nº 21
“Nossa métrica está contando o último erro visível ou ajudando a compreender o sistema que permitiu o erro?”
🧠 Metric Fixation and complexity
Complex systems have:
emergent behavior.
No metric set captures:
everything.
Accept:
limits.
This isn't failure.
It's reality.
🧠 Humility
A mature dashboard should say:
UNKNOWN.
Not:
pretend.
☕ Humildade estatística.
Bonito conceito.
🧠 Confidence labels
Metric:
high confidence.
Medium.
Low.
This helps.
🧠 Data quality
A score with poor source:
bad.
Measure:
data freshness.
Coverage.
🧠 Garbage in, beautifully visualized out
Modern version.
🧠 Metric Fixation and recency
Dashboard today:
bad.
Recency Bias:
panic.
Long-term trend:
fine.
Context.
🧠 Historical baseline
Use:
trend.
Not one point.
🧠 Metric Fixation and anomaly obsession
One spike:
executive asks:
fix.
Maybe:
noise.
Don't tamper.
☕ Nem todo dente no gráfico
é Gremlin.
Às vezes:
terça-feira.
🧠 Metric Fixation and incentives
If employees know:
metrics matter,
they optimize.
No surprise.
Design:
with this assumption.
🧠 Metric Red Team
For each metric:
ask:
how could we improve it without improving reality?
We used this in Goodhart.
Still best tool.
🎯 Pergunta Bellacosa nº 22
“Como alguém inteligente poderia melhorar este número sem produzir qualquer valor?”
🧠 Metric Fixation and counterfactual
If metric removed tomorrow:
would good behavior continue?
If not:
maybe activity driven:
by measurement only.
🧠 But measurement can motivate
Not always bad.
We want:
behavior.
Just align.
🧠 Avoid anti-measurement
Very important.
Metric Fixation critique is not:
“metrics bad.”
Muller’s criticism is aimed at overreliance, inappropriate measurement and substituting standardized performance measures for contextual judgment — not at measurement itself.
Mainframe teaches:
measure everything useful.
But:
understand.
☕ RMF não é inimigo.
Adorar RMF como oráculo seria.
🧠 Good measurement culture
Measures:
learn.
Not:
punish.
Compares:
carefully.
Explains:
limits.
Keeps:
context.
🧠 The Dashboard Humility Principle
Add:
“This dashboard is a model of the system, not the system.”
Maybe at top.
☕ Small font.
Big wisdom.
🧠 Bellacosa Three Questions
If no time:
ask:
1. O que estamos medindo?
2. O que estamos deixando de medir?
3. Que decisão seria diferente se víssemos a parte invisível?
That's enough.
🧠 COBOL Rookie Mental Model
When you see:
COUNT = 42
never stop at:
Ask:
42 what?
Out of:
what?
During:
what period?
Under:
what context?
Compared to:
what?
What excluded?
That's metric literacy.
☕ Um número sem contexto
é:
um campo PIC 9(9) sem copybook.
Boa sorte.
🧠 Context is the copybook of the metric
Fantastic.
Without it:
you know:
bytes.
Not meaning.
🧠 Metric Metadata
01 KPI-DEFINITION.
05 KPI-NAME.
05 KPI-PURPOSE.
05 KPI-NUMERATOR.
05 KPI-DENOMINATOR.
05 KPI-SCOPE.
05 KPI-EXCLUSIONS.
05 KPI-LIMITATIONS.
That should exist.
👻 Easter Egg nº 4 — COBOL Metric Copybook
COPY KPI-CONTEXT.
Comment:
* WARNING:
* USING METRIC WITHOUT CONTEXT
* MAY RESULT IN MANAGEMENT ABEND.
Beautiful.
🧠 Management ABEND codes
Maybe:
S0KPI
Cause:
excessive confidence in dashboard.
Resolution:
coffee + reality check.
🧠 Metric Fixation and learning organizations
Learning requires:
surprises.
Metric fixation suppresses:
anything outside categories.
So:
unexpected evidence
must be valued.
🧠 Anomalies are information
Don't discard because:
not KPI.
☕ O dado estranho
pode ser:
o começo da investigação certa.
House again.
🧠 Metric Fixation and War Room silence
Someone says:
“I don't have data, but I noticed…”
Don't shut down.
Say:
“Let's test.”
That's scientific.
🧠 Hypothesis generation
Human observation.
Then:
metrics validate.
Wonderful partnership.
🎯 Pergunta Bellacosa nº 23
“Estamos usando dados para testar hipóteses ou exigindo dados antes de permitir que alguém sequer formule uma hipótese?”
Fantastic.
🧠 Metric Fixation and postmortems
Allow:
qualitative findings:
confusing UI.
handoff ambiguity.
fear.
ownership.
Not everything:
count.
🧠 Organizational causes
Hard.
Still real.
☕ “Não conseguimos colocar isso num gráfico”
não torna:
menos real.
🧠 Metric Fixation and SLA negotiations
Customer asks:
good service.
Contract says:
99.9.
After:
provider meets.
Customer unhappy.
Contract metric:
became truth.
Need:
service reviews.
Narrative.
🧠 Relational governance
Contracts incomplete.
Human conversation.
🧠 Metric Fixation and outsourcing
Agent can optimize:
visible measures.
Hidden quality:
declines.
Principal-Agent.
Need:
shared goals.
🎯 Pergunta Bellacosa nº 24
“Quais qualidades importantes do serviço não aparecem no contrato porque são difíceis de quantificar?”
🧠 Metric Fixation and model risk
A model outputs:
risk = 23.
Don't confuse:
estimate
with:
risk.
Model assumptions.
🧠 Confidence intervals and scenarios
Useful.
☕ Número não sabe
que é aproximação.
Nós precisamos saber.
🧠 Metric Fixation and thresholds
Threshold:
CPU 80.
79:
green.
81:
red.
Reality isn't cliff.
Threshold creates:
category.
Useful.
But don't:
worship boundary.
🧠 Threshold effects
Teams game:
79.9.
Goodhart.
🧠 Continuous reality
Metrics often:
categorical.
Remember.
🎯 Pergunta Bellacosa nº 25
“Existe diferença real entre 79,9 e 80,1, ou apenas diferença no dashboard?”
Excellent.
🧠 Metric Fixation and RAG status
Red.
Amber.
Green.
Simple.
Powerful.
But:
complex projects.
Amber may:
hide.
Green may:
hide.
Use:
explanation.
🧠 Narrative status
Green because:
why.
Risk:
what.
☕ Cor sem comentário
é semáforo sem rua.
🧠 Metric Fixation and trend arrows
Up.
Down.
But:
better?
Not always.
Incidents:
up because reporting improved.
Could be:
good.
Context.
🧠 Metric direction isn't moral
More:
not always good.
Less:
not always good.
☕ Menos alerta
pode significar:
mais segurança
ou:
monitor desligado.
🧠 Metric Fixation and normalized deviance
KPI stable.
Processes drift.
Because metric:
not sensitive.
Eventually:
failure.
Need:
periodic deep dives.
🧠 Audits beyond metrics
Sampling.
Walkthrough.
Chaos test.
DR.
🧠 Reality tests
Restore.
Failover.
Production-like tests.
Evidence.
☕ Não me diga:
backup 100%.
Mostre:
restore.
🧠 Metric Fixation and testing
Coverage:
100%.
Confidence?
Maybe.
Mutation.
Scenarios.
Human review.
🧠 Multiple evidence modes
Again.
🧠 Metric Fixation and code quality
Cyclomatic complexity.
Lint.
Coverage.
Great.
But:
domain clarity?
Naming?
Understandability?
Expert review.
☕ Code quality score:
A.
Programmer:
“What does this do?”
Silence.
🧠 Metric Fixation and software estimation
Estimate:
40h.
Management treats:
as fact.
But:
uncertainty.
Estimate is:
model.
Planning Fallacy.
🧠 Ranges
30–60.
Confidence.
Better.
☕ 40h parece promessa.
30–60h parece realidade.
Management hates it.
Reality doesn't care.
🎯 Pergunta Bellacosa nº 26
“Estamos tratando uma estimativa como medida ou como compromisso?”
🧠 Metric Fixation and forecasting
Forecast:
probability.
Not:
date engraved.
Use:
scenarios.
🧠 Metric Fixation and budget
Forecast exact:
R$ 1,234,567.
Maybe false precision.
🧠 Bellacosa rule:
More uncertain underlying system:
less confident exact number.
☕ Não coloque seis casas decimais
numa adivinhação.
🧠 Metric Fixation and performance reviews
This may be one of most dangerous.
Human performance:
complex.
Metric score:
simplifies.
Could crowd out:
teamwork;
ethics;
mentoring.
Research on engineering productivity similarly warns against conflating simple production measures with broader productivity and performance.
🧠 Individual ranking risk
Competition.
Gaming.
Knowledge hoarding.
Campbell.
🧠 Team outcomes + qualitative review
Better.
Still imperfect.
☕ Imperfect thoughtful judgment
sometimes beats:
precisely wrong spreadsheet.
🧠 Metric Fixation and ethics
If target:
everything,
people face:
pressure.
Ethical fading.
Numbers create:
distance.
“Just hit target.”
Need:
values.
🧠 Not everything valuable is measurable
And not everything measurable:
valuable.
Classic sentiment.
No need to turn into mystical anti-data slogan.
Just:
remember.
🧠 Metric Fixation and AI governance
AI risk scores.
Automated compliance.
Again:
support.
Not:
replace accountability.
🧠 Human remains responsible
Algorithm score:
not moral agent.
☕ “A IA deu 92”
não encerra:
a reunião.
🧠 Metric Fixation and explainable decisions
Record:
numbers.
But also:
rationale.
Decision Journal.
Later:
learn.
🧠 Outcome Bias defense
Good outcome does not:
prove metric was good.
Review:
process.
🧠 Metric Fixation and model feedback loops
If decisions based:
score,
score shapes population.
Then future data:
changes.
Metrics aren't passive.
Campbell-like.
🧠 Dynamic systems
Measurement policy:
part of system.
☕ O dashboard observa.
Mas também:
muda comportamento.
Então:
participa.
🧠 Metric Fixation and institutional memory
People leave.
Metric remains.
Meaning lost.
Documentation.
KPI README.
🧠 Metric onboarding
Teach:
why.
Not just:
target.
🎯 Pergunta Bellacosa nº 27
“As pessoas que hoje são avaliadas por esta métrica sabem por que ela foi criada?”
Excellent.
🧠 Metric retirement
Conditions:
objective achieved.
proxy broken.
context changed.
gaming.
no decision.
Retire.
🧠 Sunk Cost
“But dashboard took six months.”
So?
Retire.
☕ KPI não ganha estabilidade empregatícia
porque custou caro.
🧠 Metric Fixation and bureaucracy
Every metric:
requires:
collection.
validation.
report.
meeting.
Cost.
Metric debt.
🧠 Measurement overhead
Can become:
work.
Need value.
☕ Quando o time passa mais tempo:
explicando produtividade
do que:
produzindo...
há pista.
🧠 Bellacosa Metric Budget
Limit:
executive KPIs.
Example:
5–10 meaningful.
Not 100.
🧠 Every metric must earn dashboard space
What decision?
Who owns?
🧠 Attention budget
Scarce.
🎯 Pergunta Bellacosa nº 28
“Esta métrica vale o custo de coletá-la, explicá-la e fazer pessoas reagirem a ela?”
Excellent.
🧠 Metric Fixation and automation of measurement
Cheap telemetry lowers:
collection cost.
But interpretation still:
cost.
More data:
not automatically:
more knowledge.
🧠 Data → information → knowledge → decision
Need chain.
☕ Terabyte não é sabedoria.
🧠 Metric Fixation and log hoarding
Collect:
everything.
No queries.
No retention strategy.
Storage bill.
Need:
purpose.
🧠 Observability driven by questions
What need:
detect?
Investigate?
Then collect.
🧠 Metric Fixation e dashboards for AI discoverability etc.
A score:
0–100.
Useful.
But:
don't believe 84 vs 86:
meaningful unless model supports.
Use:
diagnostic categories.
Human review.
🧠 Scores should explain
Components.
Evidence.
Recommendations.
Not just:
number.
☕ Número sem explicação
é:
horóscopo com SQL.
🧠 The Bellacosa Anti-Fixation Principle
Measure what helps you see. Never allow what you can see to convince you that nothing else exists.
That's it.
🧬 Regeneração organizacional
Uma organização madura em relação à Metric Fixation:
mede bastante quando necessário;
mede pouco quando suficiente;
entende definições;
documenta limitações;
combina métricas;
escuta especialistas;
observa clientes;
questiona proxies;
permite sinais qualitativos;
revisa KPIs;
e sabe dizer:
“não sabemos.”
Principalmente:
ela entende que:
uma organização não se torna data-driven porque possui muitos dashboards. Torna-se orientada por evidências quando sabe interpretar dados, reconhecer suas limitações e mudar de opinião quando realidade contradiz o indicador.
📓 Diário do Doctor
Se guardar algumas ideias desta viagem, guarde estas:
Metric Fixation é a dependência excessiva de métricas padronizadas para representar desempenho, especialmente quando números passam a substituir julgamento contextual.
O problema não é medir. O problema é tratar a métrica como realidade completa.
Toda métrica é uma abstração e perde informação.
Goal Substitution ocorre quando a métrica substitui o objetivo. Metric Fixation ocorre quando passamos a confiar excessivamente naquilo que conseguimos quantificar.
Goodhart mostra que métricas mudam quando viram metas.
Campbell mostra que métricas sob grandes consequências sofrem pressão e podem distorcer comportamento.
Cobra Effect mostra que incentivos podem criar exatamente aquilo que deveriam eliminar.
Ratchet mostra que resultados elevados podem elevar metas futuras e alterar o que pessoas revelam.
Goal Gradient mostra como a proximidade de números-alvo pode aumentar pressão.
Métricas de atividade não são automaticamente produtividade nem performance.
CC=0000 não significa integridade de negócio.
Backup não significa recoverability.
Coverage não significa qualidade.
Uptime não significa experiência do cliente.
Badge não significa competência.
Headcount não significa capability.
Controle existente não significa controle eficaz.
Dashboard verde não possui autoridade para anular evidência de produção.
E principalmente:
não confunda aquilo que conseguimos contar com tudo aquilo que conta.
🥚 Easter Egg final
Na manhã seguinte nosso jovem encontra:
BELLACOSA.BIAS(METRIC-FIXATION)
Dentro:
IF DASHBOARD = 'GREEN'
AND CUSTOMER = 'BROKEN'
MOVE 'CUSTOMER'
TO SOURCE-OF-TRUTH
END-IF.
IF KPI > TARGET
PERFORM ASK-WHAT-IT-MEANS
END-IF.
IF EXPERT-CONCERN = 'YES'
AND METRIC-ALERT = 'NO'
PERFORM INVESTIGATE
END-IF.
IF METRIC-HAS-NO-DECISION
PERFORM RETIRE-METRIC
END-IF.
Comentário:
* MEASUREMENTS
* ARE SENSORS.
*
* THEY ARE NOT
* REALITY.
Outro:
* NEVER CONFUSE
* PRECISION
* WITH TRUTH.
Outro:
* IF IT DOES NOT FIT
* IN EXCEL,
* IT MAY STILL EXIST.
Mais um:
* THE DASHBOARD
* DOES NOT GET
* THE FINAL VOTE.
E naturalmente:
* TARDIS LOCATION:
* GALLIFREY
*
* DOOR OPENED:
* DINOSAURS
*
* ACTION:
* TRUST THE DOOR.
Nosso jovem ri.
🕰️ De volta às 08:42
Diretor aponta:
STATUS:
GREEN
Nosso jovem pergunta:
— Podemos adicionar três coisas?
— Mais métricas?
— Não exatamente.
Ele escreve:
WHAT WE KNOW
WHAT WE DON'T KNOW
WHAT OPERATIONS IS TELLING US
O diretor olha.
— “O que não sabemos” não é KPI.
— Exatamente.
— E “o que operações está dizendo” é subjetivo.
— Sim.
— Então por que colocar?
O jovem responde:
— Porque nosso sistema não deixa de ter uma realidade só porque ainda não conseguimos transformá-la em número.
Silêncio.
O Doctor sorri.
🔧 Um mês depois
Dashboard muda.
Agora:
SERVICE HEALTH
CUSTOMER OUTCOME .... GREEN
TECHNICAL ........... GREEN
MANUAL TOIL ......... AMBER
KNOWLEDGE RISK ...... RED
UNKNOWN RISKS ....... REVIEW
Não ficou:
mais bonito.
Ficou:
mais honesto.
E algo curioso acontece.
A reunião melhora.
Porque:
ninguém consegue mais dizer simplesmente:
“Tudo verde.”
Agora precisam:
pensar.
Que inconveniente.
Que maravilha.
🥚 Último comentário
Antes de entrar na TARDIS, o Doctor escreve no quadro:
“Use números para enxergar melhor. Nunca para evitar olhar.”
VWORP.
VWORP.
VWORP.
A TARDIS desaparece.
No terminal fica:
METRIC IS NOT TRUTH.
METRIC IS EVIDENCE.
E talvez essa seja a essência de Metric Fixation / Measurement Fixation:
maturidade não é abandonar métricas, mas impedir que a facilidade de contar algumas coisas torne invisíveis todas as outras coisas que também determinam se um sistema, uma equipe ou uma organização realmente funciona.
☕🌀
Next stop: McNamara Fallacy — quando começamos medindo o que é fácil, ignoramos o que é difícil de medir, concluímos que o que não pode ser medido não é importante e, no estágio final, passamos a acreditar que aquilo que não conseguimos quantificar simplesmente não existe.
