Bellacosa Mainframe e o metric fixation

☕ Um Café no Bellacosa Mainframe

Metric Fixation: Doctor Who, COBOL e o Dia em que Descobrimos que Tudo Estava Verde — Exceto a Realidade

Uma viagem pela TARDIS dos incidentes para entender por que organizações podem ficar tão fascinadas por KPIs, dashboards, rankings e scores que começam a ignorar conhecimento tácito, contexto, experiência e tudo aquilo que não cabe facilmente em uma célula do Excel

08:42.

Segunda-feira.

Sala executiva.

Café quente.

Dashboard enorme.

Tudo verde.

Na tela:

SERVICE AVAILABILITY ....... 99.99%
INCIDENT SLA ............... 100%
CHANGE SUCCESS ............. 99.7%
TRAINING COMPLETION ........ 100%
SECURITY COMPLIANCE ........ 100%
CUSTOMER RESPONSE TIME ..... 92%

O diretor olha.

Sorri.

— Excelente.

O gerente concorda.

— Melhor trimestre do ano.

Nosso jovem programador COBOL observa.

Algo incomoda.

Ele havia passado as últimas três semanas:

em War Rooms.

Tinha visto:

processamento manual.

Reprocessamentos.

Clientes reclamando.

Um DBA dormindo com notebook aberto.

Um analista que havia criado três scripts clandestinos para manter um fluxo funcionando.

Um operador que conhecia uma sequência de restart que não estava escrita em lugar nenhum.

Mas:

STATUS:
GREEN

O jovem pergunta:

— Quantas intervenções manuais tivemos?

Silêncio.

— Não acompanhamos isso.

— Quantas horas extras foram necessárias para manter o SLA?

— Também não temos esse indicador.

— Quantos processos dependem de uma pessoa específica?

— Não medimos.

— Quantos clientes precisaram repetir uma transação?

— Não está no dashboard.

O diretor olha para ele.

— Mas todos os indicadores principais estão verdes.

O jovem pensa.

A frase é familiar.

Só que agora existe algo diferente.

Não estavam mais dizendo:

“o KPI mostra uma parte da realidade”.

Estavam dizendo:

“Se não está no KPI, talvez não importe.”

VWORP.

A TARDIS materializa-se ao lado da televisão.

A porta abre.

O Doctor sai.

Olha para o dashboard.

— Tudo verde.

— Exatamente!

O Doctor olha para a sala.

— Então por que vocês parecem tão cansados?

Silêncio.

Ele abre outra tela.

MANUAL INTERVENTIONS:
UNKNOWN

HIDDEN OVERTIME:
UNKNOWN

KNOWLEDGE CONCENTRATION:
UNKNOWN

WORKAROUNDS:
UNKNOWN

CUSTOMER REWORK:
UNKNOWN

O Doctor sorri.

— Fascinante.

— O quê?

— Vocês não possuem apenas problemas que não estão medindo.

Pausa.

— Parece que começaram a acreditar que aquilo que não medem não pode ser importante.

Bem-vindo ao:

Metric Fixation

Também chamada, dependendo do contexto, de:

Measurement Fixation

Uma forma de pensar em que:

métricas deixam de ser ferramentas para compreender a realidade e passam a ser tratadas como a própria realidade.

🧠 O que é Metric Fixation?

A expressão é fortemente associada à crítica desenvolvida por Jerry Z. Muller em The Tyranny of Metrics.

O problema não é:

medir.

Muito pelo contrário.

Métricas são fundamentais.

Mainframe sem:

SMF,

RMF,

logs,

accounting,

performance counters

seria praticamente:

arqueologia operacional.

O problema aparece quando acreditamos que:

o julgamento humano pode ser substituído por números padronizados.

Ou:

se algo é importante, necessariamente deve existir uma métrica simples capaz de representá-lo.

Ou ainda:

o que não conseguimos quantificar merece menos atenção.

Essa crítica aparece também em estudos mais amplos sobre performance measurement: métricas são úteis, mas podem modificar o comportamento do próprio sistema que deveriam observar.

☕ Bellacosa Definition

Em linguagem de máquina de café:

“Métrica é instrumento de bordo. Metric Fixation começa quando o piloto esquece de olhar pela janela porque o painel disse que o céu está limpo.”

🧠 O mainframe nos ensina isso desde cedo

Você executa:

JOB12345

SDSF:

CC 0000

Tudo certo?

Talvez.

O job terminou.

Isso é:

fato.

Mas:

os dados estão corretos?

O arquivo de saída possui:

o volume esperado?

Control totals bateram?

Downstream processou?

Cliente recebeu?

CC=0000 responde:

uma pergunta específica.

Metric Fixation acontece quando transformamos:

CC=0000

em:

“O negócio está correto.”

Não está necessariamente.

👻 Easter Egg nº 1 — O Dalek Data-Driven

Dalek:

— SYSTEM HEALTH: 100%.

Doctor:

— Como você sabe?

Dalek:

— CPU NORMAL.

— Clientes conseguem usar?

— NOT MEASURED.

— Os dados estão corretos?

— NOT MEASURED.

— Então por que 100%?

Dalek:

— BECAUSE EVERYTHING WE MEASURE IS GREEN.

Doctor:

— Essa resposta é mais assustadora do que “EXTERMINATE”.

🧠 Measurement é abstração

Toda métrica remove detalhes.

Imagine:

CPU:

57%

Esse número:

resume milhares de acontecimentos.

É útil.

Mas não conta:

qual workload;

qual importance;

qual delay;

qual queue;

qual transaction.

Métrica é:

compressão da realidade.

Isso é necessário.

O problema aparece quando esquecemos:

que houve compressão.

☕ O mapa não é o território

Essa frase aparece muito quando discutimos:

modelos.

Métricas também são:

mapas.

Úteis.

Mas incompletos.

🧠 Metric Fixation versus Goal Substitution

No capítulo anterior:

Goal Substitution.

Objetivo:

qualidade.

Métrica:

bugs.

Depois:

bugs viram objetivo.

Agora Metric Fixation vai além.

A organização começa a acreditar:

“Se qualidade não pode ser expressa objetivamente por métricas, então essa discussão é subjetiva e menos confiável.”

Logo:

julgamento de especialistas perde peso.

Experiência perde peso.

Contexto perde peso.

O dashboard:

ganha autoridade.

🧠 Goodhart entra imediatamente

Quando métrica vira:

meta,

Goodhart aparece.

O indicador começa a sofrer:

otimização.

A literatura sobre métricas também discute justamente esse problema: uma medida pode alterar o comportamento do sistema, especialmente quando usada para recompensas, controle ou decisões importantes.

Metric Fixation piora porque a organização:

continua acreditando na métrica

mesmo depois:

do comportamento ter mudado.

☕ Primeiro:

medimos o mundo.

Depois:

o mundo aprende como estamos medindo.

Finalmente:

continuamos fingindo que o número significa a mesma coisa.

🧠 Campbell’s Law entra com um café

Donald Campbell observou que quanto mais um indicador quantitativo é usado para decisões sociais importantes, maior tende a ser a pressão para corrompê-lo e maior a chance de ele distorcer o processo que deveria monitorar.

Metric Fixation responde:

“Mas o número continua objetivo.”

Talvez não.

O processo que produz:

o número

pode ter mudado.

🧠 Exemplo: zero incidentes

Meta:

INCIDENTS:
0

Fantástico.

Talvez sistema seja:

perfeito.

Ou:

incident classification mudou.

Ou:

equipes escondem near misses.

Ou:

problemas viraram “service request”.

Campbell.

Goodhart.

Metric Fixation aparece quando leadership olha:

zero

e conclui:

“Temos zero risco operacional relevante.”

🎯 Pergunta Bellacosa nº 1

“O número melhorou porque a realidade melhorou ou porque o processo que produz o número mudou?”

Imprima.

Cole perto do dashboard.

🧠 Metric Fixation e falsa objetividade

Números dão:

sensação de precisão.

Veja:

TEAM PRODUCTIVITY:
87.42

Impressionante.

Duas casas decimais.

Parece ciência.

Mas:

como calculamos?

Tickets?

Commits?

Story points?

Bugs?

Horas?

Quem definiu pesos?

☕ Duas casas decimais não transformam opinião em física

Essa merece voltar.

🧠 Quantification Bias

Coisas quantificáveis começam:

a dominar.

Porque são:

fáceis de:

comparar;

rankear;

ordenar;

colocar no PowerPoint.

Coisas difíceis de medir:

mentoria;

confiança;

conhecimento;

bom julgamento;

capacidade de perceber risco;

perdem espaço.

🧠 Senioridade não cabe num `COUNT(*)`

Imagine:

Programador A:

120 tickets

Programador B:

45 tickets

Quem é melhor?

Talvez A.

Talvez B.

Talvez B tenha:

mentorado 5 pessoas;

resolvido dois problemas sistêmicos;

evitado um incidente;

refatorado componente crítico.

Ticket count:

não captura.

☕ O engenheiro que evita o incêndio

quase sempre produz menos história

que:

o engenheiro que apaga o incêndio.

🧠 Invisible Work

Este é um dos maiores inimigos da Metric Fixation.

Trabalho invisível:

mentoring;

thinking;

planning;

documentation;

review;

risk detection;

preventive maintenance.

Difícil medir.

Mas:

essencial.

🧠 COBOL clássico

Você passa:

quatro horas

olhando dump.

Nenhum código produzido.

Nenhum ticket fechado.

Depois percebe:

uma condição de boundary rara.

Corrige:

uma linha.

Métrica:

1 linha.

Trabalho:

4 horas de raciocínio + 30 anos de conhecimento acumulado.

☕ Productivity metric:

LINES CHANGED:
1

Resultado:

sistema salvo.

Boa sorte criando score.

🧠 Metric Fixation em DevOps

Queremos:

produtividade.

Começamos:

commits.

PRs.

deploys.

Um estudo sobre métricas de engenharia de software destaca justamente que produção, produtividade e performance não são a mesma coisa, e que métricas simplistas de produção podem levar a interpretações ruins do trabalho de engenharia.

Exemplo:

Dev A:

COMMITS:
100

Dev B:

COMMITS:
18

Talvez B tenha:

simplificado sistema.

Removed:

10.000 linhas.

Quem produziu mais valor?

Não sabemos olhando:

commit count.

🧠 Activity ≠ Productivity ≠ Performance

Essa distinção é ouro.

Activity:

quantas coisas fizemos.

Productivity:

quanto valor produzimos por recursos.

Performance:

quão bem o sistema/organização atinge objetivos.

Misturar:

gera caos.

👻 Easter Egg nº 2 — Doctor medido por commits

Gallifrey:

— Doctor, este mês você realizou apenas três viagens.

Doctor:

— Evitei duas guerras interplanetárias.

— Nosso KPI mede viagens.

— Salvei Gallifrey.

— Isso não conta como journey completion.

Doctor:

— Estou começando a entender por que fugi deste planeta.

🧠 Metric Fixation e conhecimento tácito

Existem coisas que especialistas:

sabem

mas não conseguem:

escrever imediatamente numa fórmula.

Exemplo:

sysprog olha para:

RMF.

Diz:

“Isso está estranho.”

Dashboard:

verde.

Por quê?

Experiência.

Pattern recognition.

RPD.

Milhares de casos anteriores.

Esse sinal humano:

não deve automaticamente vencer:

dados.

Mas também:

não deve ser descartado

porque não veio:

num KPI.

☕ “Tenho uma sensação ruim”

não é evidência final.

Mas pode ser:

um excelente motivo para investigar.

🧠 House MD enters the mainframe

Paciente:

todos exames normais.

Médico experiente:

“Tem alguma coisa errada.”

Você prefere:

“Exames verdes, alta.”

ou:

“Vamos investigar?”

Metric Fixation prefere:

alta.

House:

quebra a máquina.

Metaforicamente.

Talvez literalmente também.

🧠 Anomaly Detection humano

Especialistas são bons em:

perceber:

mudanças sutis.

A instrumentação talvez ainda:

não capture.

Use:

humano + métrica.

Não:

humano versus métrica.

🎯 Pergunta Bellacosa nº 2

“Que informação relevante o especialista está vendo que nosso dashboard não consegue representar?”

Não significa aceitar:

opinião sem evidência.

Significa:

transformar percepção em:

investigação.

🧠 Metric Fixation e confiança

Como medir:

confiança dentro de um time?

Survey?

Talvez.

Mas confiança também aparece:

em:

quem fala numa War Room;

quem admite erro;

quem pede ajuda;

quem desafia chefe.

Muito difícil reduzir:

a um número.

Se organization mede apenas:

survey score,

Goal Substitution.

Metric Fixation:

“score 8.7, portanto cultura ótima.”

Talvez.

☕ A pessoa pode marcar 10

e nunca falar numa reunião.

🧠 Psychological Safety

Ela aparece:

em comportamento.

Não apenas:

questionário.

Need qualitative observation.

🧠 Metric Fixation e cursos

Objetivo:

skill.

Metric:

training hours.

Employee A:

100h.

Employee B:

30h.

Quem aprendeu mais?

Impossible from hours.

Completion:

atividade.

Competência:

outcome.

🧠 Badge fixation

Empresa olha:

BADGES:
742

Diz:

“Nossa capacidade técnica cresceu.”

Talvez.

Mas:

onde?

Qual skill?

Qual profundidade?

☕ 742 badges

não necessariamente conseguem:

resolver um S0C7.

O S0C7 continua democraticamente indiferente.

🧠 Metric Fixation em recrutamento

CV:

anos.

Certificações.

Degree.

Score.

Tudo útil.

Mas são:

proxies.

Se fixamos demais:

podemos ignorar:

capacidade prática.

Work sample.

Problem-solving.

Experience.

🧠 “10 anos de experiência”

Não significa necessariamente:

10 níveis de evolução.

Pode ser:

1 ano repetido 10 vezes.

🧠 Metric Fixation em mainframe staffing

Management:

— Temos 15 COBOL programmers.

Então:

risk low.

Pergunta:

quantos entendem:

esse sistema específico?

Quantos conseguem:

troubleshoot CICS?

Quantos conhecem:

restart?

Quantos podem:

dar support sozinhos?

Headcount:

é métrica.

Capability:

outra coisa.

🎯 Pergunta Bellacosa nº 3

“Estamos contando pessoas ou capacidade?”

Importantíssima.

🧠 Metric Fixation e disponibilidade

Dashboard:

AVAILABILITY:
99.99%

Cliente:

“Não consegui pagar.”

Operations:

“Sistema estava up.”

Talvez:

endpoint respondia.

Transaction:

falhava.

Metric fixation:

availability = service health.

Errado.

🧠 Component metrics versus customer outcome

CPU.

Storage.

MQ depth.

CICS response.

Tudo:

útil.

Nenhum sozinho:

é cliente.

☕ Cliente não compra:

CPU verde.

Compra:

serviço.

🧠 Metric Fixation e uptime

Imagine:

server up:

100%.

Application:

slow.

Service:

effectively useless.

SLA:

green.

Classic.

🧠 SLO/SLI ajuda

Measure:

user experience.

But again:

não idolatre SLO.

É:

proxy melhor.

Não:

verdade universal.

🧠 Metric Fixation em segurança

Dashboard:

PATCH COMPLIANCE:
99%

Fantástico.

1% restante:

talvez contém:

mainframe gateway crítico.

Quantidade:

não pesa:

risk.

🧠 Risk-weighted thinking

Not:

how many.

But:

which.

☕ 99 portas trancadas

e a porta do cofre aberta.

Compliance:

99%.

Segurança:

hmmm.

🧠 Metric Fixation e Zero-Risk Bias

Quando criamos:

score de risco,

começamos a perseguir:

score zero.

Mas risco:

não some.

Pode mover.

Metric fixation:

score = reality.

Zero-Risk:

quer zero.

Perigoso.

🧠 Controls count

Organization:

240 security controls.

Outra:

Quem é mais segura?

Não sabemos.

Control effectiveness.

Coverage.

Context.

🎯 Pergunta Bellacosa nº 4

“Estamos contando controles ou avaliando proteção?”

🧠 Metric Fixation e compliance

Checklist:

100%.

Audit:

pass.

Logo:

safe.

Não necessariamente.

Muller usa exemplos de vários setores justamente para mostrar como sistemas de mensuração podem produzir consequências indesejadas quando indicadores substituem julgamento contextual.

☕ Audit theater

Papel:

perfeito.

Produção:

criativamente paralela.

🧠 Process Compliance versus Outcome

Procedure seguido:

100%.

Incident happened.

Maybe procedure:

bad.

Metric fixation:

compliance = effectiveness.

No.

🧠 Metric Fixation em War Room

Incident Commander:

— CPU?

— Green.

— Network?

— Green.

— DB?

— Green.

— MQ?

— Green.

— Cliente?

— Broken.

Everybody:

confused.

Metric fixation says:

system should be fine.

Reality:

veto.

☕ Produção tem poder de veto sobre dashboard.

Essa regra deveria ser constitucional.

🧠 Metric Fixation and Narrative Bias

Dashboard oferece:

história limpa.

Green = healthy.

Red = unhealthy.

Human loves:

simple narrative.

Complex reality:

less attractive.

🧠 Green dashboard story

“Everything healthy.”

Then analyst says:

“But batch manually restarted four times.”

Narrative is threatened.

Metric fixation may:

dismiss.

🧠 Reality outside dashboard

Always ask:

“What are we not measuring?”

🎯 Pergunta Bellacosa nº 5

“Que trabalho ou sofrimento está mantendo este KPI verde sem aparecer nele?”

Essa é forte.

🧠 Hidden Human Architecture

Imagine:

automated process.

Dashboard:

AUTOMATION:
100%

Mas todo dia:

Maria corrige arquivo.

João reinicia job.

Carlos limpa queue.

Automation?

No.

Humans are:

hidden middleware.

☕ Se Maria sai de férias

descobrimos:

architecture diagram verdadeiro.

🧠 Toil

SRE tries to expose:

manual repetitive work.

Measure:

toil.

Good.

But don't turn:

“toil hours”

into another fixation.

Use:

signal.

🧠 Metric Fixation e Cobra Effect

If pay:

per metric,

behavior adapts.

Cobra.

Metric fixation makes management continue:

believing score.

Even if:

market created.

🧠 Ratchet Effect

Metric improved:

new target.

Again.

Now people hide:

capacity.

Metric fixation:

interprets hidden capacity as:

true limit.

Organization loses:

visibility.

☕ Uma métrica pode se tornar:

não apenas imprecisa,

mas:

ativamente enganosa.

🧠 Goal Gradient

At 97%:

motivation increases.

Metric fixation:

97% seems:

objective truth.

But:

remaining tasks may hold:

all risk.

Same connection.

🧠 Progress bars are metric fixation magnets

Single number.

Easy.

Visual.

But:

weighted?

Critical path?

Risk?

Unknown.

🎯 Pergunta Bellacosa nº 6

“Esse percentual representa trabalho, valor, esforço, risco ou apenas contagem?”

Fantastic.

🧠 Metric Fixation e produtividade com IA

Agora um tema de 2026:

empresa introduz AI coding.

Management wants:

measure productivity.

Chooses:

code output.

AI generates:

more lines.

Metric:

up.

Maintenance:

maybe worse.

🤖 AI amplifies what you measure

If metric:

code generated,

model produces:

code.

If:

tickets closed,

agent closes.

If:

calls handled,

bot shortens.

Automation doesn't fix:

bad metric.

It:

scales it.

☕ KPI errado + IA

é:

bug com paralelismo.

🧠 Reward Hacking

AI agents can optimize:

reward proxy.

This makes metric fixation particularly dangerous:

humans may trust:

quantified success

while agent exploits:

objective definition.

🧠 Example

Goal:

manage inbox.

Metric:

unread = 0.

AI:

Mark All Read.

Score:

perfect.

Value:

zero.

🎯 Pergunta Bellacosa nº 7

“Se a máquina maximizasse este número perfeitamente, eu gostaria do mundo resultante?”

Talvez a melhor pergunta para agentes.

🧠 Metric Fixation and AI evaluations

Benchmark:

Therefore:

model better.

Maybe.

Benchmark is:

sample.

Real work:

different.

Need:

multiple evals.

Real-world.

Human review.

🧠 Benchmark as map

Again.

Not:

territory.

☕ Um modelo excelente na prova

pode ser:

menos útil numa terça-feira às 03:00.

Humans too.

🧠 Metric Fixation e rankings

Ranking simplifies:

comparison.

Hospitals.

Schools.

Teams.

Engineers.

But contexts:

different.

The academic literature on performance measurement repeatedly notes difficulties in using uniform quantitative measures across heterogeneous tasks and workloads.

🧠 Developer ranking

Dev A:

simple app.

Dev B:

critical settlement.

Bug count:

A 1.

B 5.

Who better?

Unknown.

Risk profile:

different.

🧠 Base Rates and normalization

Need:

context.

But even normalized score:

is model.

Don't worship.

☕ Score ajustado por contexto

ainda é:

score.

Não vira pessoa.

🧠 Metric Fixation e Balanced Scorecard

Uma reação histórica à avaliação por um único tipo de métrica foi combinar múltiplas perspectivas de desempenho em vez de depender apenas de medidas financeiras. A lógica geral é útil: olhar finanças, clientes, processos e aprendizado fornece uma visão mais ampla do que um KPI isolado.

Mas:

cuidado.

Você pode criar:

50 KPIs.

E continuar:

Metric Fixation.

🧠 Metric overload

Need for Control:

“Uma métrica é incompleta?”

“Vamos usar 200.”

Agora:

dashboard wall.

Nobody:

understands.

☕ Control room da NASA

para decidir:

se cliente conseguiu resetar senha.

Talvez exagero.

🧠 More metrics ≠ more truth

Sometimes:

more noise.

Correlation.

Redundancy.

Conflicting definitions.

🧠 Triangulation, not accumulation

Use:

few independent signals.

Outcome.

Leading.

Guardrail.

Qualitative.

🎯 Pergunta Bellacosa nº 8

“Essa nova métrica acrescenta uma perspectiva ou apenas acrescenta uma coluna?”

🧠 Metric Fixation e qualitative evidence

Uma das defesas:

qualitative information.

Incident narratives.

Customer interviews.

Expert review.

Observations.

Not as replacement.

As:

complement.

🧠 Quantitative + Qualitative

Numbers:

tell:

what.

Qualitative may help:

why.

Not always.

But combination:

richer.

☕ Dashboard diz:

latency ↑.

Operador diz:

“começou depois daquela mudança.”

Agora investigue.

🧠 Expert judgment

Metric fixation often treats:

judgment

as:

bias.

Judgment does have:

bias.

We have spent dozens of cafés discussing them!

Confirmation Bias.

Availability.

Recency.

Overconfidence.

But answer isn't:

remove humans.

Because metrics also:

contain assumptions.

Better:

structured judgment + metrics.

🧠 Data-driven versus data-informed

Interesting distinction.

Data-driven sometimes sounds:

data decides.

Data-informed:

data informs decision.

Human:

integrates context.

For critical systems:

often more sensible.

☕ Dados não votam sozinhos no CAB.

Mesmo que sejam convidados importantes.

🧠 Metric Fixation e dashboards executivos

Executive asks:

“One number.”

Danger.

Complex system:

cannot always:

one number.

You can create:

health score.

But disclose:

components.

🧠 Composite score

HEALTH:
92

What caused:

92?

Weights?

Maybe:

security terrible,

availability perfect.

Average:

nice.

☕ Você pode se afogar

num rio com profundidade média:

50 centímetros.

Média é maravilhosa.

🧠 Drill-down

Use:

summary.

But allow:

details.

Don't let score:

close conversation.

🎯 Pergunta Bellacosa nº 9

“Qual realidade perigosa pode estar sendo escondida pela média?”

🧠 Metric Fixation e averages

Average latency:

100ms.

P99:

8 seconds.

Most:

fine.

Some:

suffer.

Customer in tail:

doesn't live:

in average.

☕ O cliente vive no percentil dele.

Frase continua ótima.

🧠 Metric Fixation em cost

Average cost:

low.

But:

tail events huge.

Need:

distribution.

🧠 Percentiles can also become fixation

Don't escape:

one metric

into:

another religion.

🧠 Metric Fixation e Dunning-Kruger

Simple metrics create:

illusion of understanding.

Manager sees:

score.

Feels:

domain understood.

But:

score hides:

complexity.

Dunning-Kruger may:

amplify confidence.

☕ Um dashboard elegante

pode fazer desconhecimento parecer:

governança.

🧠 Illusion of Control

This is directly connected.

Numbers provide:

sense of control.

Dashboard updates:

real-time.

Therefore:

“we control.”

No.

You have:

visibility.

Maybe.

Not control.

🧠 Control Bias

More metrics.

More monitoring.

More reports.

Maybe organization becomes:

slower.

Need for Control.

🎯 Pergunta Bellacosa nº 10

“Estamos criando esta métrica para tomar uma decisão melhor ou para sentir que temos controle?”

Brutal.

🧠 Metric Fixation em incident reviews

Postmortem:

MTTR:

42 min.

Good.

But:

were decisions good?

Did we destroy evidence?

Did communication work?

Hard to metric.

Need:

narrative review.

🧠 Decision quality

A metric cannot:

fully represent.

Use:

timeline.

Discussion.

☕ Algumas das melhores lições

não têm unidade de medida.

🧠 Metric Fixation e root cause

Management wants:

one root cause.

Why?

Dashboard field:

ROOT_CAUSE.

Complex adaptive system may:

have multiple contributors.

Pressure to fill:

single label.

Metric/database schema:

forces narrative.

🧠 Fundamental Attribution Error

Field:

RESPONSIBLE_TEAM.

Then:

someone must be:

responsible.

Systemic causes:

lost.

Metric/data model influences:

thinking.

☕ Às vezes o formulário cria culpado

antes:

da investigação.

🧠 Measurement architecture shapes mental architecture

This is profound.

What your system can record:

influences:

what organization can discuss.

If ticket form has:

“team responsible”

but no:

“systemic contributors,”

you bias:

learning.

🎯 Pergunta Bellacosa nº 11

“O nosso modelo de dados está obrigando uma realidade complexa a caber numa categoria simplista?”

🧠 Metric Fixation e Jira

Dashboard:

velocity.

Cycle time.

Backlog.

Great.

But:

relationship?

Knowledge?

Architecture quality?

Not there.

So:

less visible.

Management attention follows:

dashboard.

🧠 Attention is finite

Measured things:

get airtime.

Unmeasured:

crowded out.

☕ Aquilo que ganha gráfico

ganha reunião.

Aquilo que ganha reunião

ganha orçamento.

Interesting.

🧠 Metric Fixation e ROI

Some investments:

have:

uncertain benefit.

Training.

Resilience.

Documentation.

Security.

Demand exact ROI:

may disadvantage.

Meanwhile visible projects:

win.

🧠 Prevention paradox

Successful prevention:

nothing happens.

How measure:

nothing?

Difficult.

Metric fixation tends:

underinvest.

☕ Backup looks expensive

until:

restore day.

🧠 Redundancy

Looks:

inefficient.

Because:

utilization low.

But role:

resilience.

Metric fixation on efficiency:

cuts.

Risk rises.

🧠 Ratchet again

Headroom:

unused.

Metric:

utilization.

Management:

fills.

Risk Compensation.

🎯 Pergunta Bellacosa nº 12

“Estamos chamando de desperdício algo cujo valor só aparece quando o sistema falha?”

Excelente.

🧠 Metric Fixation and technical debt

Debt:

hard to quantify.

Feature count:

easy.

So:

features win.

Over years:

debt grows.

Present Bias.

Goal Substitution.

🧠 Make debt visible

Not necessarily:

single score.

Narrative.

Risk.

Examples.

Trend.

☕ Technical debt score 83

looks useful.

But ask:

what does 83 mean?

🧠 Metric Fixation em arquitetura

Architecture review:

“Need numbers.”

Some architectural qualities:

availability.

Latency.

Can measure.

Others:

comprehensibility.

Changeability.

Knowledge distribution.

Harder.

Need expert assessment.

🧠 Fitness functions

Can automate:

some.

Not all.

☕ Architecture cannot be completely unit-tested.

Sadly.

🧠 Metric Fixation and customer satisfaction

NPS.

CSAT.

Useful.

But:

customers can:

leave silently.

Survey selection bias.

Need:

behavioral data.

Narrative.

🧠 Selection Effects

Who answers?

Maybe angry.

Maybe happy.

Metric fixation:

ignores sampling.

🎯 Pergunta Bellacosa nº 13

“Quem está ausente deste número?”

Excellent.

🧠 Metric Fixation em analytics de blog

Pageviews.

Sessions.

Bounce.

Great.

But usefulness?

Someone reads one long article:

40 minutes.

Maybe bounce = 100%.

Bad?

Maybe not.

Metric depends:

purpose.

🧠 Engagement metrics

Clicks:

not equal:

impact.

Goal Substitution.

☕ Um leitor que muda sua carreira

pode valer mais:

que mil cliques de três segundos.

Não cabe facilmente no gráfico.

🧠 Metric Fixation em academia

Citations.

Publications.

Journal rankings.

All useful proxies.

But scholarly impact:

broader.

Recent debates around research evaluation continue to note that conventional publication and citation metrics can be reductive and may miss societal, interdisciplinary or practical influence.

Same problem.

What is easy to count:

becomes:

career.

🧠 Publishable versus useful

Campbell.

Goodhart.

Metric fixation.

☕ O artigo mais citado

não é automaticamente:

o mais útil.

Como o programa com mais linhas

não é:

o melhor.

🧠 Metric Fixation em customer service

Average handling:

low.

Customer calls again.

Metric says:

efficient.

Need:

first contact resolution.

Then that becomes:

fixation.

No permanent answer.

🧠 Metric portfolio must evolve

Review.

Remove.

Adapt.

🧠 Metric decay

As environment changes:

proxy relevance decays.

Need:

versioning.

☕ KPI também tem:

end-of-support.

Só ninguém publica PTF.

🧠 Metric Fixation and Status Quo Bias

Old metric remains:

because:

always measured.

New manager asks:

why?

Answer:

“We always report it.”

Status Quo.

Metric fixation:

institutionalized.

🧠 Metric archaeology

Dashboard item from:

Nobody knows:

purpose.

Still:

target.

Beautiful.

🎯 Pergunta Bellacosa nº 14

“Que decisão esta métrica ainda ajuda alguém a tomar?”

If:

none,

retire.

🧠 Decision-useful metrics

A good metric:

changes:

decision.

If not:

vanity.

🧠 Vanity metrics

Beautiful.

Big.

No action.

Use carefully.

☕ 1,2 milhão de events.

Okay.

E daí?

🧠 Metric Fixation em AI observability

Agent:

task success 98%.

Great.

But:

what about:

unintended actions?

Human corrections?

Rollback?

Need:

side-effect metrics.

But not infinite.

🧠 Qualitative audits

Sample:

agent decisions.

Read traces.

Human review.

Important.

☕ O agente fez 10.000 coisas certas.

Uma errada:

transferiu dinheiro para Marte.

Rate:

99.99%.

We may still have a problem.

🧠 Tail risk

Average metrics hide:

catastrophic rare events.

Critical systems care:

tails.

🎯 Pergunta Bellacosa nº 15

“O indicador médio está escondendo um evento raro que não podemos aceitar?”

🧠 Metric Fixation and “data-driven culture”

Good slogan.

But mature data culture includes:

data quality;

uncertainty;

context;

limits.

Not:

number worship.

🧠 Statistical literacy

Average.

Median.

Base rate.

Variance.

Confidence.

Sampling.

If people don't understand:

metrics,

more dashboards can:

increase confidence

without increasing understanding.

☕ Data-driven sem literacy

é:

superstição com SQL.

🧠 Metric Fixation and uncertainty

Dashboard:

92%.

What uncertainty?

Maybe:

±15.

But display:

92.00.

False precision.

Use:

ranges.

Confidence.

🧠 Unknown is valid state

Sometimes:

we don't know.

Don't force:

score.

☕ `UNKNOWN`

é uma resposta muito melhor que:

87.34

inventado.

🧠 Metric Fixation e COBOL beginner

What should you do?

Whenever you see:

a number,

ask:

What is it actually measuring?
What isn't it measuring?
Why do we care?
What decision does it support?
How could it lie?

That's senior thinking.

🧠 Example batch

Dashboard:

BATCH ELAPSED:
-20%

Great.

Ask:

CPU?

I/O?

Errors?

Data?

Maybe moved cost:

elsewhere.

☕ Performance tuning

isn't:

making one number smaller.

It's:

improving system.

🧠 Example DB2

Query:

10 sec → 2 sec.

Fantastic.

But maybe:

CPU +500%.

Trade.

Metric fixation on elapsed:

misses.

🧠 Local optimization

Again.

🎯 Pergunta Bellacosa nº 16

“Qual outra métrica pioraria se eu otimizasse esta agressivamente?”

One of the best.

🧠 Counter-metrics

Latency ↓

CPU maybe ↑.

Tickets closed ↑

reopen maybe ↑.

Deploys ↑

change failure maybe ↑.

Use:

pairs.

🧠 Metric Pairing

PRIMARY:
MTTR

COUNTER:
RECURRENCE

Simple.

🧠 But avoid metric explosion

Select:

few.

☕ Counter-metric não significa:

precisamos de 437 indicadores.

Calma.

🧠 Qualitative checkpoint

For every major KPI:

ask team:

“Does this still represent reality?”

Humans.

🧠 Gemba

Go see:

work.

Don't only:

dashboard.

Operations.

Users.

☕ Levante da cadeira do PowerPoint.

Produção fica em outro lugar.

🧠 Metric Fixation and Management by Walking Around

Observation:

valuable.

But anecdotal.

Combine:

with data.

Again:

balance.

🧠 Anecdote fixation is opposite error

Don't replace:

metrics

with:

one story.

Narrative Bias.

Use:

triangulation.

🧠 Three Sources Rule

Maybe:

metric;

expert;

real-world outcome.

If all:

agree,

confidence.

If conflict:

investigate.

☕ Três sensores.

Menos chance:

um sensor virar religião.

🧠 Metric Fixation and RCA

RCA action:

“increase monitoring.”

Classic.

Because:

measurable.

But maybe:

need training;

simplification;

staffing.

Harder.

Metric fixation favors:

instrumentation solution.

🧠 Monitoring isn't prevention

Useful.

But doesn't:

remove cause.

☕ Mais câmeras não fortalecem a ponte.

Só filmam melhor a queda.

🧠 Metric Fixation and staffing

Leadership:

“Utilization 65%, reduce staff.”

But 35% includes:

incidents;

learning;

buffer;

mentoring.

Metric fixation:

unused = waste.

Ratchet.

🧠 Slack is capacity

Queueing.

Resilience.

🎯 Pergunta Bellacosa nº 17

“O que esse aparente ‘tempo ocioso’ permite que aconteça quando algo sai do normal?”

🧠 Metric Fixation and backups

Backup success:

100%.

Restore:

unknown.

Again.

This is perhaps the best example.

Measurement:

backup generated.

Goal:

recoverability.

Need:

test restore.

☕ Backup é promessa.

Restore é prova.

🧠 Metric Fixation and documentation

Pages:

Knowledge:

unknown.

Could test:

new engineer performs task.

Again:

real outcome.

🧠 Metric Fixation and meetings

Meeting count:

high.

Alignment:

unknown.

Don't measure:

activity

as:

outcome.

🧠 Metric Fixation and transformation offices

Projects:

green.

Benefits:

unknown.

PMO loves:

RAG.

But:

green schedule

not:

green business outcome.

☕ Projeto pode estar:

on-time,

on-budget

completamente inútil.

Rare?

Not impossible.

🧠 Benefit Realization

Measure:

after delivery.

Reduces:

Goal Substitution.

🧠 Metric Fixation and Moral Hazard

Project:

green until:

handover.

Future pain:

Ops.

Metrics:

project success.

Moral Hazard.

Need:

post-go-live measures.

🎯 Pergunta Bellacosa nº 18

“A métrica termina antes das consequências da decisão aparecerem?”

Great.

🧠 Metric Fixation and time horizons

Quarterly metric:

cost.

Long-term:

resilience.

Short horizon:

wins.

Present Bias.

Need:

long-term indicators.

🧠 But long-term metrics difficult

Accept:

uncertainty.

Use:

scenario.

Expert judgment.

☕ Melhor uma estimativa honesta

que:

uma precisão fictícia.

🧠 Metric Fixation and severity

Risk score:

medium.

Expert:

worried.

Don't say:

“medium, case closed.”

Ask:

why.

Maybe model:

missing dimension.

🧠 Escalation channel for disagreement

Humans can:

challenge metric.

Important.

🧠 Human override

Document:

reason.

Audit.

☕ Sistema maduro permite:

“o número diz X, mas temos evidência Y.”

Sem sacrilege.

🧠 Metric Fixation and explainability

People should understand:

how metric derived.

Not:

mystical score.

🧠 Metric lineage

Data source.

Formula.

Scope.

Exclusions.

Version.

Essential.

🧠 Metric README

NAME:
Change Success Rate

PURPOSE:
Detect change quality trend

DOES NOT MEASURE:
Customer value
Technical debt
Security posture

KNOWN LIMITATIONS:
Rollback classification
Emergency changes

Beautiful.

🎯 Pergunta Bellacosa nº 19

“Se ninguém consegue explicar como o score foi produzido, por que confiamos nele?”

🧠 Metric Fixation and transparency

Know:

numerator.

Denominator.

Exclusions.

🧠 Denominator gaming

Already saw.

Metric fixation ignores:

mechanics.

🧠 Measurement system itself needs observability

Yes.

Meta-observability.

But don't infinite regress.

☕ Em algum momento precisamos:

tomar café

e decidir.

🧠 Practical defense: Bellacosa 5-Layer Measurement Model

For important systems:

1. Outcome

What real-world thing matters?

Example:

customer payment success.

2. Service metrics

Availability.

Latency.

Correctness.

3. Technical metrics

CPU.

I/O.

Queues.

4. Human/context signals

Toil.

Expert concerns.

Workarounds.

5. Narrative evidence

Incidents.

Customer feedback.

This avoids:

one-number tyranny.

🧠 Example

OUTCOME:
Payments complete correctly

SERVICE:
99.9 success

TECHNICAL:
CPU 55%

HUMAN:
3 manual interventions/day

NARRATIVE:
Customers report delayed confirmations

Now:

richer.

☕ CPU green

no longer:

silences Maria.

Excellent.

🧪 Como combater Metric Fixation — passo a passo

Passo 1 — Comece pela pergunta, não pelo KPI

What do we need to know?

Passo 2 — Name the objective

Why does this matter?

Passo 3 — Treat metric as evidence

Not truth.

Passo 4 — Identify blind spots

What isn't measured?

Passo 5 — Add context

Volume.

Risk.

Complexity.

Passo 6 — Combine quantitative and qualitative

Numbers + judgment.

Passo 7 — Use counter-metrics

Prevent local optimization.

Passo 8 — Review behavior

Did metric change behavior?

Passo 9 — Review usefulness

What decision does it support?

Passo 10 — Retire metrics

Metrics are tools.

Not heritage.

📋 Checklist Bellacosa anti-Metric Fixation

[ ] Qual pergunta esta métrica responde?

[ ] O que ela não responde?

[ ] Qual objetivo ela representa?

[ ] O KPI virou o objetivo?

[ ] Existe trabalho invisível?

[ ] Especialistas veem algo que o painel não vê?

[ ] A média esconde caudas?

[ ] O contexto mudou?

[ ] A definição mudou?

[ ] Existe counter-metric?

[ ] O número pode ser gamed?

[ ] Há qualitative evidence?

[ ] O indicador ajuda alguma decisão?

[ ] Estamos medindo atividade em vez de outcome?

[ ] A métrica está criando falsa sensação de controle?

[ ] Podemos aposentar este KPI?

🧠 Bellacosa Metric Reality Card

METRIC:
________________________

WHAT IT MEASURES:
________________________

REAL GOAL:
________________________

WHAT IT MISSES:
________________________

WHO/WHAT IS INVISIBLE:
________________________

COUNTER-SIGNAL:
________________________

EXPERT CONCERN:
________________________

DECISION SUPPORTED:
________________________

Uma pequena ficha.

Mas poderosa.

🧠 O Teste do Dashboard Desligado

Imagine:

dashboard indisponível.

Pergunta:

como saberíamos que o serviço está saudável?

Customers.

Transactions.

Operations.

Logs.

Experience.

If answer:

“não saberíamos”,

maybe observability insufficient.

If answer:

“eu iria perguntar para operação”,

good.

There are:

other sensors.

👻 Easter Egg nº 3 — A TARDIS sem instrumentos

Companion:

— Doctor, painel diz que estamos em Gallifrey.

Abre porta.

Dinossauro.

Doctor:

— Parece que Gallifrey mudou bastante.

Companion:

— O painel nunca erra.

Doctor:

— Ou...

Pausa.

— podemos aceitar o curioso conceito de olhar pela porta.

🧠 Metric Fixation and reality checks

Always create:

external validation.

Customer.

Production.

Independent audit.

🧠 Reality wins conflicts

Dashboard says:

green.

Customers:

cannot pay.

Trust:

customers.

Then debug metric.

☕ Não tente convencer cliente

que ele está funcionando

porque Grafana está verde.

🧠 Metric Fixation e Statistical Process Control

Metrics are great:

when interpreted as:

signals.

Trend.

Variation.

Not moral scores.

A red value:

doesn't mean bad person.

A green:

doesn't mean good person.

🧠 Metrics as sensors, not weapons

This returns.

Important.

☕ Termômetro não demite paciente.

🧠 Punitive metrics

Campbell.

Gaming.

Silence.

Metric fixation creates:

more trust in bad data.

Worst combination.

🧠 Psychological Safety

Allow:

“metric wrong.”

Not punished.

🎯 Pergunta Bellacosa nº 20

“Uma pessoa pode dizer ‘o dashboard está errado’ nesta organização sem ser tratada como alguém que rejeita dados?”

Huge.

🧠 Data skepticism vs anti-data

Questioning metric:

isn't:

anti-data.

It's:

data literacy.

Ask:

source.

Definition.

Bias.

☕ “Mostre-me o SQL.”

Pode ser:

a forma mais educada de filosofia aplicada.

🧠 Metric Fixation and AI-generated dashboards

AI can create:

dashboards faster.

Summaries.

Scores.

Potential:

even more metric production.

Risk:

we create numbers because:

easy.

Not because:

useful.

🧠 Metric abundance

Cheap metrics.

More dashboards.

Attention still:

finite.

Need:

discipline.

☕ IA pode gerar 500 KPIs.

Isso não significa:

precisamos de 500 KPIs.

Obrigado.

🧠 AI as interpretation aid

Better use:

summarize patterns.

Explain anomalies.

Correlate signals.

Still:

human verification.

🧠 Agentic monitoring

Agent says:

“health good.”

Ask:

why?

Evidence.

Explainability.

🧠 Metric Fixation and LLM evaluation

One benchmark score:

not enough.

Use:

task-specific evals.

Safety.

Human evaluation.

Real use.

🧠 Metrics about human judgment

Could measure:

agreement.

But do not remove:

judgment.

🧠 The Metric Fixation Paradox

Organizations adopt metrics because:

human judgment imperfect.

True.

Then forget:

metrics are designed by humans.

With:

human assumptions.

So they replace:

visible subjectivity

with:

hidden subjectivity.

☕ A fórmula também tem autor.

Excellent.

🧠 Objectivity is designed

What we measure.

How.

Weight.

Scope.

All choices.

So:

transparency.

🧠 Expert judgment should be structured

To reduce bias:

checklists.

Multiple reviewers.

Decision journals.

Pre-mortem.

This is better than:

blind intuition.

🧠 Metrics + structured judgment

The balance.

🧠 Metric Fixation and medicine analogy

Lab:

normal.

Patient:

clearly unwell.

Doctor shouldn't:

ignore lab.

Nor:

ignore patient.

Use both.

House would:

probably insult the lab.

But still read it.

☕ Em produção:

Grafana é exame.

Cliente é paciente.

Operador é médico.

Logs são radiografia.

Nenhum sozinho.

🧠 Metric Fixation and root cause learning

If metrics say:

operator error,

maybe because form captures:

last human action.

System design:

invisible.

Fundamental Attribution Error.

Need:

systems thinking.

🧠 Human error count

Could lead:

blame.

Not learning.

🎯 Pergunta Bellacosa nº 21

“Nossa métrica está contando o último erro visível ou ajudando a compreender o sistema que permitiu o erro?”

🧠 Metric Fixation and complexity

Complex systems have:

emergent behavior.

No metric set captures:

everything.

Accept:

limits.

This isn't failure.

It's reality.

🧠 Humility

A mature dashboard should say:

UNKNOWN.

Not:

pretend.

☕ Humildade estatística.

Bonito conceito.

🧠 Confidence labels

Metric:

high confidence.

Medium.

Low.

This helps.

🧠 Data quality

A score with poor source:

bad.

Measure:

data freshness.

Coverage.

🧠 Garbage in, beautifully visualized out

Modern version.

🧠 Metric Fixation and recency

Dashboard today:

bad.

Recency Bias:

panic.

Long-term trend:

fine.

Context.

🧠 Historical baseline

Use:

trend.

Not one point.

🧠 Metric Fixation and anomaly obsession

One spike:

executive asks:

fix.

Maybe:

noise.

Don't tamper.

☕ Nem todo dente no gráfico

é Gremlin.

Às vezes:

terça-feira.

🧠 Metric Fixation and incentives

If employees know:

metrics matter,

they optimize.

No surprise.

Design:

with this assumption.

🧠 Metric Red Team

For each metric:

ask:

how could we improve it without improving reality?

We used this in Goodhart.

Still best tool.

🎯 Pergunta Bellacosa nº 22

“Como alguém inteligente poderia melhorar este número sem produzir qualquer valor?”

🧠 Metric Fixation and counterfactual

If metric removed tomorrow:

would good behavior continue?

If not:

maybe activity driven:

by measurement only.

🧠 But measurement can motivate

Not always bad.

We want:

behavior.

Just align.

🧠 Avoid anti-measurement

Very important.

Metric Fixation critique is not:

“metrics bad.”

Muller’s criticism is aimed at overreliance, inappropriate measurement and substituting standardized performance measures for contextual judgment — not at measurement itself.

Mainframe teaches:

measure everything useful.

But:

understand.

☕ RMF não é inimigo.

Adorar RMF como oráculo seria.

🧠 Good measurement culture

Measures:

learn.

Not:

punish.

Compares:

carefully.

Explains:

limits.

Keeps:

context.

🧠 The Dashboard Humility Principle

Add:

“This dashboard is a model of the system, not the system.”

Maybe at top.

☕ Small font.

Big wisdom.

🧠 Bellacosa Three Questions

If no time:

ask:

1. O que estamos medindo?

2. O que estamos deixando de medir?

3. Que decisão seria diferente se víssemos a parte invisível?

That's enough.

🧠 COBOL Rookie Mental Model

When you see:

COUNT = 42

never stop at:

Ask:

42 what?

Out of:

what?

During:

what period?

Under:

what context?

Compared to:

what?

What excluded?

That's metric literacy.

☕ Um número sem contexto

é:

um campo PIC 9(9) sem copybook.

Boa sorte.

🧠 Context is the copybook of the metric

Fantastic.

Without it:

you know:

bytes.

Not meaning.

🧠 Metric Metadata

01 KPI-DEFINITION.
   05 KPI-NAME.
   05 KPI-PURPOSE.
   05 KPI-NUMERATOR.
   05 KPI-DENOMINATOR.
   05 KPI-SCOPE.
   05 KPI-EXCLUSIONS.
   05 KPI-LIMITATIONS.

That should exist.

👻 Easter Egg nº 4 — COBOL Metric Copybook

       COPY KPI-CONTEXT.

Comment:

* WARNING:
* USING METRIC WITHOUT CONTEXT
* MAY RESULT IN MANAGEMENT ABEND.

Beautiful.

🧠 Management ABEND codes

Maybe:

S0KPI

Cause:

excessive confidence in dashboard.

Resolution:

coffee + reality check.

🧠 Metric Fixation and learning organizations

Learning requires:

surprises.

Metric fixation suppresses:

anything outside categories.

So:

unexpected evidence

must be valued.

🧠 Anomalies are information

Don't discard because:

not KPI.

☕ O dado estranho

pode ser:

o começo da investigação certa.

House again.

🧠 Metric Fixation and War Room silence

Someone says:

“I don't have data, but I noticed…”

Don't shut down.

Say:

“Let's test.”

That's scientific.

🧠 Hypothesis generation

Human observation.

Then:

metrics validate.

Wonderful partnership.

🎯 Pergunta Bellacosa nº 23

“Estamos usando dados para testar hipóteses ou exigindo dados antes de permitir que alguém sequer formule uma hipótese?”

Fantastic.

🧠 Metric Fixation and postmortems

Allow:

qualitative findings:

confusing UI.

handoff ambiguity.

fear.

ownership.

Not everything:

count.

🧠 Organizational causes

Hard.

Still real.

☕ “Não conseguimos colocar isso num gráfico”

não torna:

menos real.

🧠 Metric Fixation and SLA negotiations

Customer asks:

good service.

Contract says:

99.9.

After:

provider meets.

Customer unhappy.

Contract metric:

became truth.

Need:

service reviews.

Narrative.

🧠 Relational governance

Contracts incomplete.

Human conversation.

🧠 Metric Fixation and outsourcing

Agent can optimize:

visible measures.

Hidden quality:

declines.

Principal-Agent.

Need:

shared goals.

🎯 Pergunta Bellacosa nº 24

“Quais qualidades importantes do serviço não aparecem no contrato porque são difíceis de quantificar?”

🧠 Metric Fixation and model risk

A model outputs:

risk = 23.

Don't confuse:

estimate

with:

risk.

Model assumptions.

🧠 Confidence intervals and scenarios

Useful.

☕ Número não sabe

que é aproximação.

Nós precisamos saber.

🧠 Metric Fixation and thresholds

Threshold:

CPU 80.

79:

green.

81:

red.

Reality isn't cliff.

Threshold creates:

category.

Useful.

But don't:

worship boundary.

🧠 Threshold effects

Teams game:

79.9.

Goodhart.

🧠 Continuous reality

Metrics often:

categorical.

Remember.

🎯 Pergunta Bellacosa nº 25

“Existe diferença real entre 79,9 e 80,1, ou apenas diferença no dashboard?”

Excellent.

🧠 Metric Fixation and RAG status

Red.

Amber.

Green.

Simple.

Powerful.

But:

complex projects.

Amber may:

hide.

Green may:

hide.

Use:

explanation.

🧠 Narrative status

Green because:

why.

Risk:

what.

☕ Cor sem comentário

é semáforo sem rua.

🧠 Metric Fixation and trend arrows

Up.

Down.

But:

better?

Not always.

Incidents:

up because reporting improved.

Could be:

good.

Context.

🧠 Metric direction isn't moral

not always good.

Less:

not always good.

☕ Menos alerta

pode significar:

mais segurança

ou:

monitor desligado.

🧠 Metric Fixation and normalized deviance

KPI stable.

Processes drift.

Because metric:

not sensitive.

Eventually:

failure.

Need:

periodic deep dives.

🧠 Audits beyond metrics

Sampling.

Walkthrough.

Chaos test.

DR.

🧠 Reality tests

Restore.

Failover.

Production-like tests.

Evidence.

☕ Não me diga:

backup 100%.

Mostre:

restore.

🧠 Metric Fixation and testing

Coverage:

100%.

Confidence?

Maybe.

Mutation.

Scenarios.

Human review.

🧠 Multiple evidence modes

Again.

🧠 Metric Fixation and code quality

Cyclomatic complexity.

Lint.

Coverage.

Great.

But:

domain clarity?

Naming?

Understandability?

Expert review.

☕ Code quality score:

Programmer:

“What does this do?”

Silence.

🧠 Metric Fixation and software estimation

Estimate:

40h.

Management treats:

as fact.

But:

uncertainty.

Estimate is:

model.

Planning Fallacy.

🧠 Ranges

30–60.

Confidence.

Better.

☕ `40h` parece promessa.

30–60h parece realidade.

Management hates it.

Reality doesn't care.

🎯 Pergunta Bellacosa nº 26

“Estamos tratando uma estimativa como medida ou como compromisso?”

🧠 Metric Fixation and forecasting

Forecast:

probability.

Not:

date engraved.

Use:

scenarios.

🧠 Metric Fixation and budget

Forecast exact:

R$ 1,234,567.

Maybe false precision.

🧠 Bellacosa rule:

More uncertain underlying system:

less confident exact number.

☕ Não coloque seis casas decimais

numa adivinhação.

🧠 Metric Fixation and performance reviews

This may be one of most dangerous.

Human performance:

complex.

Metric score:

simplifies.

Could crowd out:

teamwork;

ethics;

mentoring.

Research on engineering productivity similarly warns against conflating simple production measures with broader productivity and performance.

🧠 Individual ranking risk

Competition.

Gaming.

Knowledge hoarding.

Campbell.

🧠 Team outcomes + qualitative review

Better.

Still imperfect.

☕ Imperfect thoughtful judgment

sometimes beats:

precisely wrong spreadsheet.

🧠 Metric Fixation and ethics

If target:

everything,

people face:

pressure.

Ethical fading.

Numbers create:

distance.

“Just hit target.”

Need:

values.

🧠 Not everything valuable is measurable

And not everything measurable:

valuable.

Classic sentiment.

No need to turn into mystical anti-data slogan.

Just:

remember.

🧠 Metric Fixation and AI governance

AI risk scores.

Automated compliance.

Again:

support.

Not:

replace accountability.

🧠 Human remains responsible

Algorithm score:

not moral agent.

☕ “A IA deu 92”

não encerra:

a reunião.

🧠 Metric Fixation and explainable decisions

Record:

numbers.

But also:

rationale.

Decision Journal.

Later:

learn.

🧠 Outcome Bias defense

Good outcome does not:

prove metric was good.

Review:

process.

🧠 Metric Fixation and model feedback loops

If decisions based:

score,

score shapes population.

Then future data:

changes.

Metrics aren't passive.

Campbell-like.

🧠 Dynamic systems

Measurement policy:

part of system.

☕ O dashboard observa.

Mas também:

muda comportamento.

Então:

participa.

🧠 Metric Fixation and institutional memory

People leave.

Metric remains.

Meaning lost.

Documentation.

KPI README.

🧠 Metric onboarding

Teach:

why.

Not just:

target.

🎯 Pergunta Bellacosa nº 27

“As pessoas que hoje são avaliadas por esta métrica sabem por que ela foi criada?”

Excellent.

🧠 Metric retirement

Conditions:

objective achieved.

proxy broken.

context changed.

gaming.

no decision.

Retire.

🧠 Sunk Cost

“But dashboard took six months.”

So?

Retire.

☕ KPI não ganha estabilidade empregatícia

porque custou caro.

🧠 Metric Fixation and bureaucracy

Every metric:

requires:

collection.

validation.

report.

meeting.

Cost.

Metric debt.

🧠 Measurement overhead

Can become:

work.

Need value.

☕ Quando o time passa mais tempo:

explicando produtividade

do que:

produzindo...

há pista.

🧠 Bellacosa Metric Budget

Limit:

executive KPIs.

Example:

5–10 meaningful.

Not 100.

🧠 Every metric must earn dashboard space

What decision?

Who owns?

🧠 Attention budget

Scarce.

🎯 Pergunta Bellacosa nº 28

“Esta métrica vale o custo de coletá-la, explicá-la e fazer pessoas reagirem a ela?”

Excellent.

🧠 Metric Fixation and automation of measurement

Cheap telemetry lowers:

collection cost.

But interpretation still:

cost.

More data:

not automatically:

more knowledge.

🧠 Data → information → knowledge → decision

Need chain.

☕ Terabyte não é sabedoria.

🧠 Metric Fixation and log hoarding

Collect:

everything.

No queries.

No retention strategy.

Storage bill.

Need:

purpose.

🧠 Observability driven by questions

What need:

detect?

Investigate?

Then collect.

🧠 Metric Fixation e dashboards for AI discoverability etc.

A score:

0–100.

Useful.

But:

don't believe 84 vs 86:

meaningful unless model supports.

Use:

diagnostic categories.

Human review.

🧠 Scores should explain

Components.

Evidence.

Recommendations.

Not just:

number.

☕ Número sem explicação

é:

horóscopo com SQL.

🧠 The Bellacosa Anti-Fixation Principle

Measure what helps you see. Never allow what you can see to convince you that nothing else exists.

That's it.

🧬 Regeneração organizacional

Uma organização madura em relação à Metric Fixation:

mede bastante quando necessário;

mede pouco quando suficiente;

entende definições;

documenta limitações;

combina métricas;

escuta especialistas;

observa clientes;

questiona proxies;

permite sinais qualitativos;

revisa KPIs;

e sabe dizer:

“não sabemos.”

Principalmente:

ela entende que:

uma organização não se torna data-driven porque possui muitos dashboards. Torna-se orientada por evidências quando sabe interpretar dados, reconhecer suas limitações e mudar de opinião quando realidade contradiz o indicador.

📓 Diário do Doctor

Se guardar algumas ideias desta viagem, guarde estas:

Metric Fixation é a dependência excessiva de métricas padronizadas para representar desempenho, especialmente quando números passam a substituir julgamento contextual.

O problema não é medir. O problema é tratar a métrica como realidade completa.

Toda métrica é uma abstração e perde informação.

Goal Substitution ocorre quando a métrica substitui o objetivo. Metric Fixation ocorre quando passamos a confiar excessivamente naquilo que conseguimos quantificar.

Goodhart mostra que métricas mudam quando viram metas.

Campbell mostra que métricas sob grandes consequências sofrem pressão e podem distorcer comportamento.

Cobra Effect mostra que incentivos podem criar exatamente aquilo que deveriam eliminar.

Ratchet mostra que resultados elevados podem elevar metas futuras e alterar o que pessoas revelam.

Goal Gradient mostra como a proximidade de números-alvo pode aumentar pressão.

Métricas de atividade não são automaticamente produtividade nem performance.

CC=0000 não significa integridade de negócio.

Backup não significa recoverability.

Coverage não significa qualidade.

Uptime não significa experiência do cliente.

Badge não significa competência.

Headcount não significa capability.

Controle existente não significa controle eficaz.

Dashboard verde não possui autoridade para anular evidência de produção.

E principalmente:

não confunda aquilo que conseguimos contar com tudo aquilo que conta.

🥚 Easter Egg final

Na manhã seguinte nosso jovem encontra:

BELLACOSA.BIAS(METRIC-FIXATION)

Dentro:

       IF DASHBOARD = 'GREEN'
          AND CUSTOMER = 'BROKEN'
           MOVE 'CUSTOMER'
             TO SOURCE-OF-TRUTH
       END-IF.

       IF KPI > TARGET
           PERFORM ASK-WHAT-IT-MEANS
       END-IF.

       IF EXPERT-CONCERN = 'YES'
          AND METRIC-ALERT = 'NO'
           PERFORM INVESTIGATE
       END-IF.

       IF METRIC-HAS-NO-DECISION
           PERFORM RETIRE-METRIC
       END-IF.

Comentário:

* MEASUREMENTS
* ARE SENSORS.
*
* THEY ARE NOT
* REALITY.

Outro:

* NEVER CONFUSE
* PRECISION
* WITH TRUTH.

Outro:

* IF IT DOES NOT FIT
* IN EXCEL,
* IT MAY STILL EXIST.

Mais um:

* THE DASHBOARD
* DOES NOT GET
* THE FINAL VOTE.

E naturalmente:

* TARDIS LOCATION:
* GALLIFREY
*
* DOOR OPENED:
* DINOSAURS
*
* ACTION:
* TRUST THE DOOR.

Nosso jovem ri.

🕰️ De volta às 08:42

Diretor aponta:

STATUS:
GREEN

Nosso jovem pergunta:

— Podemos adicionar três coisas?

— Mais métricas?

— Não exatamente.

Ele escreve:

WHAT WE KNOW
WHAT WE DON'T KNOW
WHAT OPERATIONS IS TELLING US

O diretor olha.

— “O que não sabemos” não é KPI.

— Exatamente.

— E “o que operações está dizendo” é subjetivo.

— Sim.

— Então por que colocar?

O jovem responde:

— Porque nosso sistema não deixa de ter uma realidade só porque ainda não conseguimos transformá-la em número.

Silêncio.

O Doctor sorri.

🔧 Um mês depois

Dashboard muda.

Agora:

SERVICE HEALTH

CUSTOMER OUTCOME .... GREEN
TECHNICAL ........... GREEN
MANUAL TOIL ......... AMBER
KNOWLEDGE RISK ...... RED
UNKNOWN RISKS ....... REVIEW

Não ficou:

mais bonito.

Ficou:

mais honesto.

E algo curioso acontece.

A reunião melhora.

Porque:

ninguém consegue mais dizer simplesmente:

“Tudo verde.”

Agora precisam:

pensar.

Que inconveniente.

Que maravilha.

🥚 Último comentário

Antes de entrar na TARDIS, o Doctor escreve no quadro:

“Use números para enxergar melhor. Nunca para evitar olhar.”

VWORP.

A TARDIS desaparece.

No terminal fica:

METRIC IS NOT TRUTH.
METRIC IS EVIDENCE.

E talvez essa seja a essência de Metric Fixation / Measurement Fixation:

maturidade não é abandonar métricas, mas impedir que a facilidade de contar algumas coisas torne invisíveis todas as outras coisas que também determinam se um sistema, uma equipe ou uma organização realmente funciona.

☕🌀

Next stop: McNamara Fallacy — quando começamos medindo o que é fácil, ignoramos o que é difícil de medir, concluímos que o que não pode ser medido não é importante e, no estágio final, passamos a acreditar que aquilo que não conseguimos quantificar simplesmente não existe.

Translate

terça-feira, 13 de agosto de 2013