Translate

Mostrar mensagens com a etiqueta grafana. Mostrar todas as mensagens
Mostrar mensagens com a etiqueta grafana. Mostrar todas as mensagens

segunda-feira, 29 de maio de 2023

☕🔥 PROMETHEUS, MIMIR E O “SMF DO MUNDO CLOUD” — O UNIVERSO DA OBSERVABILIDADE EXPLICADO PARA UM SYSPROG JÚNIOR 🔥☕

 

Bellacosa Mainframe o mundo da observabilidade mainframe

☕🔥 PROMETHEUS, MIMIR E O “SMF DO MUNDO CLOUD” — O UNIVERSO DA OBSERVABILIDADE EXPLICADO PARA UM SYSPROG JÚNIOR 🔥☕

Se o Grafana é o “painel do operador moderno”…

Então:

  • Prometheus é o coletor de métricas
  • Mimir é o mega repositório escalável
  • Loki é o “SYSLOG gigante”
  • Tempo é o rastreador de transações
  • OpenTelemetry virou o “SMF universal”

E tudo isso junto forma o que o mercado chama hoje de:

☕ OBSERVABILIDADE

Mas um sysprog veterano olha isso e pensa:

“Isso parece RMF + SMF + OMEGAMON + SYSLOG + CICS MONITORING misturados…”

E honestamente?

Está certíssimo. ☕💾


☕ O QUE É OBSERVABILIDADE?

Observabilidade é a capacidade de:

  • enxergar o sistema
  • entender comportamento
  • prever falhas
  • diagnosticar problemas rapidamente

Ela normalmente trabalha em 3 pilares:

PilarEquivalente Mainframe
MétricasRMF / SMF
LogsSYSLOG / JESMSGLG
TracesCICS trace / Db2 accounting

☕ O QUE É PROMETHEUS?

O Prometheus é:

  • banco de métricas
  • coletor temporal
  • motor de queries
  • sistema de alertas

Criado em:

  • 2012
  • pela SoundCloud
  • open source
  • depois adotado pela CNCF

Site oficial:


☕ O PROBLEMA QUE ELE RESOLVEU

Antes do Prometheus:

  • monitoramento era caro
  • proprietário
  • complicado
  • cheio de agentes pesados

O Prometheus trouxe:

  • simplicidade
  • coleta HTTP
  • métricas em texto
  • integração cloud-native

Foi um divisor de águas.


☕ COMO O PROMETHEUS FUNCIONA?

☕ Modelo “Pull”

O Prometheus vai até o servidor e pergunta:

“Me mostre suas métricas.”

Isso é chamado:

  • scrape

☕ Exemplo de endpoint

Servidor exportando:

http://server:9100/metrics

Saída:

node_cpu_seconds_total 12345
node_memory_MemFree_bytes 987654321

Parece simples…

E é exatamente essa simplicidade que tornou o Prometheus gigante.


☕ EXPORTERS — O “COLETOR SMF” DO MUNDO MODERNO

Prometheus usa exporters.

Eles convertem dados do sistema para métricas.


☕ EXPORTERS MAIS FAMOSOS

ExporterFunção
node_exporterLinux
windows_exporterWindows
blackbox_exporterRede
mysqld_exporterMySQL
postgres_exporterPostgreSQL
jmx_exporterJava
snmp_exporterEquipamentos

☕ ANALOGIA MAINFRAME

MainframePrometheus
SMF Type RecordsMetrics
RMF Monitornode_exporter
OMEGAMONGrafana + Prometheus
Performance MonitorTime Series DB

☕ PROMQL — O “JCL DAS MÉTRICAS”

O Prometheus possui uma linguagem chamada:

☕ PromQL

Isso é o coração do sistema.


☕ Exemplo simples

CPU:

rate(node_cpu_seconds_total[5m])

☕ Média de memória

avg(node_memory_MemAvailable_bytes)

☕ Detectar servidor offline

up == 0

☕ O QUE TORNA O PROMETHEUS ESPECIAL?

☕ 1 — Time Series Database

Ele guarda:

  • métricas no tempo
  • compressão eficiente
  • consultas rápidas

Perfeito para:

  • tendências
  • capacity planning
  • troubleshooting

☕ 2 — Labels

Toda métrica pode ter rótulos:

http_requests_total{job="api",status="500"}

Isso lembra:

  • classificação SMF
  • accounting records
  • classes de workload

☕ 3 — Alertas

Exemplo:

CPU > 90%

Aciona:

  • email
  • Slack
  • Teams
  • PagerDuty

Equivalente moderno de:

“OPERADOR! O SISTEMA ESTÁ PEGANDO FOGO!” ☕💥


☕ LIMITAÇÕES DO PROMETHEUS

Aqui começa o lado “sysprog raiz”.

Prometheus é excelente…

Mas:

  • retenção longa é complicada
  • clustering nativo é limitado
  • escala massiva dói
  • multi-tenant é complexo

E foi exatamente daí que nasceu:

☕ MIMIR


☕ O QUE É MIMIR?

O Grafana Mimir é:

  • backend distribuído
  • armazenamento massivo de métricas
  • compatível com Prometheus

Site:


☕ A IDEIA DO MIMIR

Imagine:

Prometheus sozinho:

  • ótimo para ambientes pequenos/médios

Mas empresas gigantes precisam:

  • bilhões de métricas
  • retenção longa
  • HA
  • multi datacenter
  • multi tenant

Mimir resolve isso.


☕ ANALOGIA MAINFRAME

Mundo ModernoMundo Mainframe
PrometheusRMF local
MimirSMF central corporativo
Object StorageTape library
Long retentionArquivamento histórico

☕ COMO O MIMIR FUNCIONA?

Ele separa componentes:

ComponenteFunção
Distributorrecebe métricas
Ingestergrava dados
Querierfaz consultas
Compactorcompacta blocos
Store Gatewayacessa storage

Parece familiar?

Sim…

É praticamente arquitetura de subsistema enterprise:

  • filas
  • cache
  • storage
  • distribuído
  • paralelismo

Muito parecido com mentalidade mainframe.


☕ STORAGE

Mimir normalmente usa:

  • S3
  • MinIO
  • GCS
  • Azure Blob

Isso permite:

  • retenção gigantesca
  • baixo custo
  • alta escalabilidade

☕ LOKI — O “SYSLOG GIGANTE”

☕ O QUE É?

O Loki é:

  • sistema de logs
  • feito pela Grafana Labs

Site:


☕ DIFERENÇA IMPORTANTE

Elasticsearch indexa tudo.

Loki indexa:

  • apenas labels

Resultado:

  • menos custo
  • menos storage
  • mais eficiência

☕ EXEMPLO

{job="nginx"} |= "ERROR"

☕ ANALOGIA MAINFRAME

LokiMainframe
Logs distribuídosSYSLOG
LabelsClasses JES
QueriesSDSF filtros

☕ TEMPO — O “CICS TRACE MODERNO”

Tempo trabalha com:

  • distributed tracing

Site:


☕ O QUE É TRACE?

Imagine:

  • usuário clica no app
  • passa API
  • banco
  • microserviço
  • MQ
  • cache

Tempo rastreia:

  • toda jornada

☕ ANALOGIA MAINFRAME

Quase igual:

  • CICS trace
  • Db2 accounting trace
  • MQ activity trace

☕ OPEN TELEMETRY — O “SMF UNIVERSAL”

☕ O QUE É?

Framework padronizado de:

  • métricas
  • logs
  • traces

Site:


☕ POR QUE ISSO MUDOU O MERCADO?

Antes:

  • cada ferramenta tinha padrão próprio

Agora:

  • tudo fala OpenTelemetry

Virou:

“o TCP/IP da observabilidade”


☕ DATA SOURCES MAIS IMPORTANTES NO GRAFANA

Data SourceUso
PrometheusMétricas
LokiLogs
TempoTraces
ElasticsearchLogs/search
InfluxDBIoT/time series
PostgreSQLDados SQL
MySQLAnalytics
CloudWatchAWS
Azure MonitorAzure
SplunkEnterprise logs
OpenSearchObservabilidade

☕ O QUE UM SYSPROG JÚNIOR PRECISA APRENDER?

☕ PRIORIDADE 1

Aprender:

  • Grafana
  • Prometheus
  • PromQL

Isso já abre MUITAS portas.


☕ PRIORIDADE 2

Depois:

  • Loki
  • Alertmanager
  • OpenTelemetry

☕ PRIORIDADE 3

Avançado:

  • Mimir
  • Tempo
  • Thanos
  • Kubernetes observability

☕ THA NOS — O “PRIMO DO MIMIR”

Outro projeto famoso:

Também resolve:

  • escala
  • retenção longa
  • HA

Muito usado em Kubernetes.


☕ CURIOSIDADES INSANAS

☕ Netflix, Uber, bancos e bolsas usam isso

Hoje observabilidade é:

  • missão crítica
  • core business

☕ Um dashboard ruim pode derrubar operação

Porque:

  • operador não vê problema
  • alerta errado gera caos
  • excesso de métricas vira ruído

Exatamente como:

  • console floodado no JES2 ☕💥

☕ MÉTRICA DEMAIS VIRA O NOVO “SPAGHETTI”

Empresas geram:

  • bilhões de métricas por dia

Sem governança:

  • storage explode
  • custo explode
  • queries ficam lentas

☕ O FUTURO

A nova onda:

  • AIOps
  • IA analisando métricas
  • detecção automática
  • previsão de falhas
  • correlação inteligente

Mas o princípio continua o mesmo desde os tempos do MVS:

“Monitorar, entender e agir antes do desastre.” ☕💾🔥

terça-feira, 12 de julho de 2022

☕🔥 GRAFANA — O “PAINEL DE CONTROLE DO MAINFRAME MODERNO” QUE TODO SYSPROG JÚNIOR PRECISA CONHECER 🔥☕

 

Bellacosa Mainframe Grafana o dashbord de monitoramento mainframe

☕🔥 GRAFANA — O “PAINEL DE CONTROLE DO MAINFRAME MODERNO” QUE TODO SYSPROG JÚNIOR PRECISA CONHECER 🔥☕

Se você veio do mundo do MVS, JES2, RMF, OMEGAMON, SDSF e consoles verdes, prepare o choque cultural:

O Grafana é praticamente o equivalente moderno de um:

  • “painel operacional do datacenter”
  • console visual de monitoração
  • cockpit de performance
  • RMF turbinado com esteroides gráficos

E o mais curioso?

Muita gente de distributed acha que inventou observabilidade em 2018…

Enquanto sysprog de mainframe já monitorava CPU, DASD, canais, paging e throughput quando a internet ainda fazia barulho de modem. ☕💾


☕ O QUE É GRAFANA?

O Grafana é uma plataforma open source de:

  • visualização de métricas
  • dashboards
  • monitoramento
  • observabilidade
  • alertas
  • analytics

Ele pega dados de várias fontes e transforma tudo em:

  • gráficos
  • gauges
  • tabelas
  • alertas
  • mapas
  • painéis em tempo real

☕ A ORIGEM DO GRAFANA

O Grafana nasceu em:

  • 2014
  • criado por Torkel Ödegaard
  • inicialmente na empresa brasileira-norueguesa Orbitz/Neteye
  • depois evoluiu para a empresa:

A ideia original era simples:

“Por que monitoramento corporativo precisa ser feio e complicado?”

E aí nasceu uma interface moderna, web, rápida e absurdamente flexível.


☕ HISTÓRIA E EVOLUÇÃO

☕ 2014 — Primeiros Releases

O Grafana surgiu focado em:

  • métricas do Graphite
  • dashboards simples
  • visualização web

Na época já era revolucionário.

Enquanto muita ferramenta corporativa parecia software de 1997…

Grafana parecia tecnologia “do futuro”.


☕ 2015–2018 — Explosão DevOps

Com a ascensão de:

  • Docker
  • Kubernetes
  • Cloud
  • DevOps
  • Prometheus

…o Grafana virou praticamente padrão de mercado.


☕ 2019+ — Observabilidade Total

Hoje o Grafana monitora:

  • Linux
  • Windows
  • Kubernetes
  • APIs
  • Banco de dados
  • Mainframe
  • Cloud
  • aplicações
  • logs
  • traces
  • IoT
  • IA

Sim…

Tem empresa usando Grafana para monitorar:

  • CICS
  • MQ
  • z/OS
  • Db2
  • OpenTelemetry em mainframe

O mundo deu uma volta gigantesca. ☕


☕ RELEASES IMPORTANTES

VersãoDestaque
1.xPrimeira geração
2.xDashboards melhores
4.xAlertas modernos
6.xTransformações de dados
7.xPainéis novos
8.xUnified Alerting
9.xObservabilidade forte
10.xIA + performance + cloud

☕ COMO O GRAFANA FUNCIONA?

Pense assim:

O Grafana NÃO coleta dados sozinho.

Ele funciona como:

  • “o painel”
  • “a camada visual”
  • “o cockpit”

Os dados vêm de:

  • Prometheus
  • InfluxDB
  • Elasticsearch
  • Loki
  • PostgreSQL
  • MySQL
  • APIs
  • CloudWatch
  • Splunk
  • OpenTelemetry

☕ ANALOGIA MAINFRAME

MainframeGrafana World
RMFPrometheus
OMEGAMONObservabilidade
SDSFDashboards operacionais
JES2 consoleAlerting
SMF recordsMétricas
SysviewGrafana

☕ CONCEITOS IMPORTANTES

☕ Dashboard

Tela com gráficos e indicadores.

Como um:

  • painel do OMEGAMON
  • cockpit do operador
  • monitor da sala de controle

☕ Panel

Cada gráfico individual.

Ex:

  • CPU
  • memória
  • rede
  • jobs
  • response time

☕ Data Source

Origem dos dados.

Ex:

  • Prometheus
  • Loki
  • PostgreSQL

☕ Alerting

Alarmes automáticos.

Ex:

  • CPU > 90%
  • disco cheio
  • aplicação caída

Quase um:

“$HASP250 JOB ABENDED” moderno ☕💥


☕ CURIOSIDADES QUE QUASE NINGUÉM SABE

☕ O nome “Grafana”

Veio da ideia de:

  • “graphs”
  • visualização gráfica

☕ Empresas gigantes usam

  • IBM
  • SAP
  • PayPal
  • eBay
  • bancos
  • telecoms
  • governos

☕ Existe integração com mainframe

Hoje existem exporters para:

  • z/OS
  • CICS
  • Db2
  • MQ
  • SMF

Sim…

Você pode colocar:

  • CPU do z/OS
  • fila do MQ
  • transação CICS

num dashboard moderno web.

Isso explodiria a cabeça de um operador de 1989. ☕💾


☕ EASTER EGGS E DETALHES DIVERTIDOS

☕ Dark Theme

Sysprog ama terminal escuro.

O Grafana praticamente virou:

“o ISPF cyberpunk”


☕ Playlists Automáticas

Você pode colocar dashboards rotativos em TVs.

Igual:

  • NOC
  • sala de operações
  • centro de monitoração

☕ Drill Down

Clicar num gráfico e navegar.

Quase como:

  • entrar do SDSF no job
  • depois no spool
  • depois no SYSOUT

☕ INSTALAÇÃO PASSO A PASSO (LAB)

🔥 LAB 01 — PRIMEIRO DASHBOARD NO GRAFANA


☕ OBJETIVO

Você vai:

✅ instalar Grafana
✅ acessar via browser
✅ criar datasource
✅ criar dashboard
✅ criar gráficos
✅ salvar painel
✅ fazer manutenção básica


☕ CENÁRIO

Imagine:

Você é um sysprog júnior moderno monitorando:

  • servidor Linux
  • CPU
  • memória
  • disco

☕ PASSO 1 — INSTALAR DOCKER

Linux:

sudo apt update
sudo apt install docker.io -y

Validar:

docker --version

☕ PASSO 2 — SUBIR GRAFANA

docker run -d \
--name grafana \
-p 3000:3000 \
grafana/grafana

☕ PASSO 3 — ACESSAR

Browser:

http://localhost:3000

Login padrão:

admin
admin

Depois:

  • altere senha

☕ PASSO 4 — INSTALAR PROMETHEUS

Prometheus coleta métricas.

Criar container:

docker run -d \
--name prometheus \
-p 9090:9090 \
prom/prometheus

☕ PASSO 5 — ADICIONAR DATASOURCE

No Grafana:

⚙️ Connections

→ Add new connection

Escolha:

  • Prometheus

URL:

http://prometheus:9090

Salvar:

  • Save & Test

☕ PASSO 6 — CRIAR DASHBOARD

➕ Create

→ Dashboard
→ Add Visualization

Selecionar:

  • Prometheus

☕ PASSO 7 — PRIMEIRA QUERY

Exemplo:

up

Isso mostra:

  • targets online

☕ PASSO 8 — CRIAR GRÁFICO DE CPU

Query:

rate(node_cpu_seconds_total[1m])

Tipo:

  • Time Series

☕ PASSO 9 — ADICIONAR MEMÓRIA

Query:

node_memory_MemAvailable_bytes

☕ PASSO 10 — SALVAR DASHBOARD

Nome:

LAB-SYSPROG-JR

☕ MANUTENÇÃO BÁSICA

☕ Editar painel

Clique:

  • painel
  • Edit

☕ Duplicar painel

Menu:

  • Duplicate

Muito usado em operações.


☕ Exportar dashboard

Menu:

  • Export JSON

Equivalente moderno de:

“guardar PROC/JCL padrão” ☕


☕ BACKUP

Dashboards ficam em:

  • banco SQLite interno
  • PostgreSQL
  • MySQL

Sysprog raiz:

SEMPRE faz backup ☕💾


☕ DICAS DE OURO PARA SYSPROG JÚNIOR

☕ 1 — Não crie dashboard “carnaval”

Erro clássico:

  • 500 gráficos
  • 90 cores
  • poluição visual

Operação precisa:

  • clareza
  • leitura rápida

☕ 2 — CPU sem contexto engana

90% CPU pode ser:

  • normal
  • batch pesado
  • pico legítimo

Mesma filosofia do RMF.


☕ 3 — Aprenda PromQL

PromQL é o “JCL do observability”.

Quem domina:

  • vira referência rapidamente.

☕ 4 — Menos é mais

Bons dashboards:

  • simples
  • objetivos
  • operacionais

☕ 5 — Nomeie tudo direito

Nunca faça:

Dashboard1
PainelNovo2
TESTEFINALFINAL

Isso vira o:

PROCLIB bagunçado do DevOps ☕💥


☕ EXEMPLO DE ESTRUTURA PROFISSIONAL

OPS-LINUX
OPS-K8S
OPS-DB
OPS-MQ
OPS-ZOS
OPS-CICS

☕ O FUTURO

Grafana hoje está entrando forte em:

  • IA operacional
  • observabilidade inteligente
  • correlação automática
  • AIOps

Mas no fundo…

A lógica continua a mesma do velho operador de mainframe:

“Descobrir problema antes do usuário ligar reclamando.” ☕🔥


☕ FRASE FINAL ESTILO BELLACOSA MAINFRAME

“O sysprog antigo olhava SDSF.
O sysprog moderno olha Grafana.
Mas os dois têm a mesma missão:
manter o datacenter vivo enquanto o mundo dorme.” ☕💾🔥