 |
| Bellacosa Mainframe espiona o Youtube |
☕ Um Café no Bellacosa Mainframe
Hermes Entra no CPD — O Dia em que o Mensageiro dos Deuses Descobriu que o YouTube Era um JES2 Planetário com CDN, Cache, Filas e Bilhões de Jobs
Ou: como upload, transcoding, blob storage, filas, CDN, DNS, load balancer, sharding, replicação, microservices, recomendação por IA e observabilidade transformam um simples botão ▶ em uma das maiores máquinas distribuídas já construídas — e por que Hermes provavelmente pediria um RACF antes de entregar a mensagem
Prólogo — Hermes chegou voando, mas o pacote tinha 8 GB
Eram duas e quarenta e sete da manhã no CPD.
O ar-condicionado fazia aquele barulho que todo veterano de mainframe aprende a interpretar como:
“Estou funcionando. Não mexa em mim.”
Na mesa havia uma caneca de café, um terminal 3270, três dumps impressos que ninguém queria assumir como seus e um programador COBOL iniciante tentando entender uma pergunta aparentemente simples:
— Bellacosa, como o YouTube funciona?
Antes que alguém pudesse responder, as portas do CPD se abriram.
Entrou um sujeito usando sandálias aladas, capacete ornamentado e carregando um pacote enorme debaixo do braço.
— Hermes — apresentou-se. — Mensageiro dos deuses. Mercúrio para os romanos. Entregas terrestres, celestiais, interdimensionais e, recentemente, tráfego IP.
O operador levantou uma sobrancelha.
— Tem autorização?
Hermes apontou para as asas.
— Eu atravesso os mundos.
O operador virou-se para o terminal.
— Isso não responde à pergunta.
Bem-vindo ao mainframe.
Hermes havia trazido um vídeo.
Um arquivo em 4K.
O programador COBOL olhou para ele e imaginou que o processo fosse simples:
UPLOAD
↓
YOUTUBE
↓
PLAYHermes riu.
— Jovem mortal... se fosse assim, eu ainda estaria entregando mensagens em papiro.
E foi dessa maneira que começou nossa viagem.
Porque o YouTube parece simples apenas enquanto você permanece do lado de fora.
Você abre uma página.
Procura um vídeo.
Clica.
Assiste.
Mas atrás daquele pequeno triângulo ▶ existe uma cidade tecnológica gigantesca formada por armazenamento distribuído, processamento assíncrono, filas, bancos de dados, caches, servidores, índices de busca, sistemas de recomendação, telemetria e infraestrutura espalhada pelo planeta.
E o mais divertido para quem conhece mainframe?
Muitos dos problemas fundamentais parecem terrivelmente familiares.
1. Primeiro aviso de Hermes: o diagrama não é o território
Diagramas de “YouTube System Design” aparecem frequentemente na Internet.
Eles mostram caixas como:
Blob Storage
Encoder
Cache
App Server
Database
Search
Recommendation
Load BalancerSão excelentes para aprender.
Mas precisamos entender algo desde o início:
aquilo não é uma planta completa da infraestrutura real do YouTube.
É uma representação conceitual.
Seria semelhante a desenhar um ambiente bancário como:
Terminal
↓
CICS
↓
COBOL
↓
Db2Está errado?
Não necessariamente.
Está completo?
Nem remotamente.
Atrás dessas quatro caixas podem existir Parallel Sysplex, RACF, MQ, VSAM, WLM, JES2, SMF, storage, redes, replicação, disaster recovery, schedulers e dezenas de outras tecnologias.
O mesmo vale para uma plataforma de vídeo planetária.
A finalidade de um bom desenho de arquitetura não é registrar cada parafuso.
É mostrar responsabilidades, fluxos e pontos críticos.
Hermes chama isso de mapa.
O mainframe chama isso de “não tente explicar tudo no mesmo slide”.
2. Existem dois mundos: o vídeo e os dados sobre o vídeo
Essa distinção é fundamental.
Imagine um vídeo chamado:
INTRODUCAO-COBOL-EPISODIO-01.mp4O arquivo pode ter vários gigabytes.
Mas suas informações são pequenas:
VIDEO_ID
TITLE
CHANNEL
DURATION
UPLOAD_DATE
DESCRIPTION
VISIBILITYPortanto há duas famílias de dados.
De um lado:
ARQUIVO DE VÍDEODo outro:
METADADOSVocê normalmente não quer tratar ambos da mesma maneira.
O vídeo bruto pertence a uma infraestrutura apropriada para objetos grandes.
Os metadados pertencem a bancos e índices estruturados.
Pense num programador COBOL armazenando um filme inteiro dentro de cada registro de uma tabela operacional.
Hermes tiraria as sandálias aladas só para bater com uma delas no sujeito.
3. O upload começa uma jornada, não termina uma
O usuário seleciona um vídeo e aperta:
Upload.
Parece que o trabalho terminou.
Para a plataforma, acabou de começar.
Imagine um arquivo de 8 GB em 4K.
O sistema pode primeiro armazenar esse arquivo original em algum tipo de object/blob storage.
Mas enviá-lo exatamente daquela maneira para cada usuário seria péssimo.
Uma televisão 4K talvez aproveite a resolução.
Um celular numa rede móvel ruim certamente não.
Por isso entram os encoders, ou, mais precisamente, processos de transcodificação.
O vídeo original pode gerar múltiplas representações:
Original
↓
2160p
1440p
1080p
720p
480p
360p
240pSó que resolução é apenas uma variável.
Também temos codecs, bitrate, áudio, HDR, frames por segundo e formatos diferentes.
Ou seja:
1 vídeo enviado
↓
várias versões distribuíveisHermes gostou imediatamente.
Era como traduzir a mesma mensagem para gregos, romanos, egípcios, persas e o sujeito da contabilidade que só aceita CSV delimitado por ponto e vírgula.
4. A fila: Hermes conhece, JES2 também
Aqui começa o verdadeiro parentesco com o mundo mainframe.
Imagine que 100 mil usuários façam upload simultaneamente.
Você não quer executar imediatamente 100 mil processos pesados de encoding.
Em vez disso:
UPLOAD
↓
STORAGE
↓
QUEUE
↓
ENCODER WORKERSO upload é recebido.
Um trabalho é colocado numa fila.
Workers consomem os jobs conforme existe capacidade.
Qualquer veterano de mainframe pode sentir um arrepio nostálgico.
Porque a essência lembra:
SUBMIT
↓
JES2
↓
QUEUE
↓
EXECUTIONNão é a mesma tecnologia.
Não é a mesma implementação.
Mas é o mesmo problema fundamental:
há mais trabalho chegando do que convém executar instantaneamente.
A fila desacopla quem produz trabalho de quem o executa.
Isso é uma ideia profundamente poderosa.
5. Por que processamento assíncrono salva arquiteturas
Imagine uma aplicação ingênua.
O usuário manda um vídeo.
A conexão HTTP fica esperando enquanto o sistema:
recebe o arquivo, valida, converte, gera thumbnails, indexa, prepara formatos e distribui tudo.
Podem passar minutos.
Ou muito mais.
Isso é péssimo.
Uma arquitetura melhor responde algo conceitualmente equivalente a:
RECEBIDO
PROCESSAMENTO EM ANDAMENTOO trabalho prossegue em background.
Depois diferentes eventos podem ocorrer:
VIDEO_UPLOADED
VIDEO_VALIDATED
TRANSCODING_STARTED
TRANSCODING_COMPLETED
VIDEO_READYIsso nos leva à arquitetura orientada a eventos.
Hermes aprovou.
Afinal, se existe alguém mitologicamente qualificado para trabalhar com mensagens assíncronas, é o mensageiro dos deuses.
6. Curiosidade do Olimpo: Hermes seria um message broker perfeito
Na mitologia grega, Hermes era associado a mensagens, viagens, comércio e comunicação entre mundos.
Se estivesse num diagrama de arquitetura moderno, provavelmente apareceria assim:
ZEUS
↓
HERMES MESSAGE BUS
↓
MORTAISOu talvez:
EVENT: ZEUS_COMMAND
TOPIC: /olympus/thunder
CONSUMER: HERMESE, conhecendo Zeus, provavelmente precisaríamos de:
MAX_RETRY=0porque ninguém quer receber o mesmo raio duas vezes.
7. CDN: a tecnologia que impede o sucesso de matar você
Agora imagine que o vídeo fique viral.
Dez milhões de pessoas querem assistir.
Sem distribuição adequada:
10.000.000 usuários
↓
ORIGINParabéns.
Seu conteúdo viral acaba de executar um ataque DDoS contra você mesmo.
Uma das soluções fundamentais é a CDN, Content Delivery Network.
A ideia é distribuir ou armazenar conteúdo mais perto dos usuários.
Simplificando:
ORIGIN
|
+---------+---------+
| | |
Região A Região B Região C
| | |
caches caches cachesAssim, um usuário brasileiro não precisa necessariamente buscar cada segmento do vídeo a milhares de quilômetros de distância.
A física continua sendo uma dependência que nenhuma atualização de software corrigiu.
Velocidade da luz tem SLA extremamente rígido.
8. Cache: o funcionário que diz “já tenho isso aqui”
Cache é um dos conceitos mais importantes de system design.
Imagine o primeiro pedido por determinado conteúdo:
CACHE
↓
MISS
↓
ORIGIN
↓
RESPOSTA
↓
CACHEDepois outro usuário pede a mesma coisa:
CACHE
↓
HIT
↓
RESPOSTAMuito mais barato.
Muito mais rápido.
Menos carga no sistema original.
Essa lógica vale para páginas, metadados, consultas e partes de vídeo.
No universo mainframe, a ideia de evitar I/O caro mantendo conteúdo frequentemente utilizado próximo da execução certamente não causará choque filosófico.
É apenas mais uma versão da velha máxima:
não vá buscar longe aquilo que você já tem perto.
9. Vídeo não precisa viajar inteiro
Outro detalhe fascinante.
Quando você começa a assistir a um filme de duas horas, normalmente não precisa baixar as duas horas antes de começar.
O conteúdo pode ser dividido em segmentos:
VIDEO
|
+-- SEGMENT 001
+-- SEGMENT 002
+-- SEGMENT 003
+-- SEGMENT 004O player vai solicitando pedaços.
Isso é fundamental para streaming adaptativo.
Sua rede está ótima?
O sistema pode entregar segmentos de maior qualidade.
Sua conexão piorou?
Pode reduzir qualidade.
Exemplo:
1080p
1080p
720p
480p
720p
1080pVocê provavelmente já viu isso acontecendo.
O vídeo fica ligeiramente borrado por alguns segundos e depois melhora.
Isso não é necessariamente defeito.
É a plataforma negociando com a realidade.
10. Adaptive Bitrate: melhor assistir em 720p do que contemplar uma bolinha girando em 4K
Um algoritmo de streaming pode considerar coisas como largura de banda disponível, tamanho do buffer e capacidade do dispositivo.
O objetivo conceitual é:
máxima qualidade possível
+
mínimas interrupçõesPorque existe uma regra prática importantíssima:
usuário tolera queda de resolução melhor do que vídeo congelando a cada oito segundos.
Hermes lembrou que mensageiros antigos também faziam isso.
Quando a estrada estava boa, ele voava.
Quando tinha tempestade, descia.
Adaptive transport, versão mitológica.
11. DNS: antes de entregar a mensagem, descubra onde fica a casa
Quando digitamos um endereço, o computador precisa descobrir para onde enviar a conexão.
DNS ajuda a transformar um nome em informação de localização de rede.
Simplificando:
youtube.com
↓
DNS
↓
destino apropriadoEm sistemas globais, a história pode ficar bem mais sofisticada, envolvendo infraestrutura distribuída e decisões geográficas.
Mas conceitualmente DNS é o início da viagem.
Hermes é mensageiro.
DNS é o mapa.
Sem mapa, até deus se perde.
12. Load Balancer: o WLM da porta de entrada
Depois temos balanceamento.
Imagine milhares de servidores capazes de atender requisições.
O usuário não sabe qual deles deveria atender.
Nem deveria saber.
Entra o load balancer.
REQUEST
↓
LOAD BALANCER
/ | \
SERVER1 SERVER2 SERVER3Ele distribui demanda.
Se um servidor está indisponível, idealmente deixa de enviar tráfego para ele.
Aqui um veterano z/OS imediatamente reconhece a filosofia de workload management.
Novamente: não são tecnologias idênticas.
Mas o problema é conhecido.
Temos trabalho.
Temos recursos.
Precisamos casar ambos de maneira eficiente.
WLM olha do fundo da sala e murmura:
— Bonito esse “cloud native”.
13. Stateless: não se apaixone pelo servidor 42
Imagine que toda a sessão de um usuário exista apenas na memória de um único servidor.
USER
↓
SERVER 42Servidor 42 morre.
Adeus sessão.
Sistemas distribuídos tentam, sempre que adequado, evitar dependência excessiva de estado local.
Assim:
Request A → Server 12
Request B → Server 94
Request C → Server 33podem funcionar.
Isso facilita escalar horizontalmente e lidar com falhas.
É uma diferença importante entre:
“este servidor é especial”
e
“qualquer servidor saudável desse grupo pode executar o trabalho”.
14. Vertical versus horizontal: mainframe encontra hyperscale
Aqui entra uma discussão deliciosa.
Escalabilidade vertical significa colocar mais capacidade numa máquina:
16 CPUs
↓
32 CPUs
↓
64 CPUsEscalabilidade horizontal significa aumentar o número de máquinas:
10 servidores
↓
100
↓
1000O IBM Z tornou-se historicamente extraordinário em consolidação e escala vertical.
Ambientes hyperscale exploraram de maneira brilhante a distribuição horizontal.
Isso gerou quase duas escolas filosóficas.
Uma diz:
“Construa uma máquina absurda.”
Outra diz:
“Construa um exército de máquinas.”
Na prática, arquiteturas sérias combinam estratégias.
Hermes, naturalmente, sugeriu asas em todos os servidores.
Não foi aprovado pelo capacity planning.
15. Agora chegamos ao verdadeiro monstro: dados dos usuários
Imagine registrar:
histórico, likes, dislikes, inscrições, playlists, comentários, sessões, progresso de reprodução e preferências.
Isso gera quantidades extraordinárias de dados.
Uma tabela conceitual poderia ter:
USER_ID
VIDEO_ID
TIMESTAMP
WATCH_DURATION
POSITION
DEVICEAgora multiplique isso por milhões ou bilhões de usuários.
Uma única instância de banco eventualmente se torna insuficiente ou inadequada.
Entra o sharding.
16. Sharding: cortando o dragão em pedaços administráveis
Sharding significa particionar dados entre bancos ou grupos de servidores.
Exemplo simplificado:
Usuários A–F → SHARD 1
Usuários G–M → SHARD 2
Usuários N–S → SHARD 3
Usuários T–Z → SHARD 4Ou usando hash:
SHARD = HASH(USER_ID) MOD NEntão:
USER 100 → SHARD 4
USER 101 → SHARD 9Isso permite distribuir carga e armazenamento.
Só que cada solução cria novos problemas.
Agora precisamos pensar em:
hot shards, rebalanceamento, consultas entre shards, transações distribuídas, routing e recuperação.
Uma das grandes verdades de arquitetura é esta:
você raramente elimina complexidade; normalmente muda onde ela mora.
17. Vitess: quando alguém precisou ensinar MySQL a conversar com gigantes
Um detalhe especialmente interessante no desenho é a presença de Vitess.
O projeto Vitess nasceu justamente no contexto do YouTube para ajudar a escalar MySQL.
A aplicação poderia pensar aproximadamente:
Quero USER_ID = 123Enquanto uma camada intermediária ajuda a localizar onde aquele dado realmente está.
Conceitualmente:
APPLICATION
↓
VITESS
↓
SHARD CORRETO
↓
MYSQLEssa é uma curiosidade histórica excelente.
Quando uma empresa chega a uma escala absurda, começa a criar ferramentas para resolver problemas que poucas outras empresas possuíam naquele momento.
Depois essas ferramentas acabam servindo ao resto da indústria.
18. Replication não é sharding
É comum iniciantes confundirem.
Sharding responde:
como divido meus dados?
Replication responde:
quantas cópias tenho e como sobrevivo à falha?
Podemos ter:
PRIMARY
|
+---- REPLICA A
|
+---- REPLICA BSe uma máquina desaparece, existem cópias.
Isso ajuda disponibilidade, recuperação e distribuição de leitura.
Mas abre outra caixa mitológica:
consistência.
19. Eventual consistency: nem todo dado precisa estar perfeito no mesmo microssegundo
Imagine um vídeo com:
999 LIKESVocê clica Like.
Um servidor passa a mostrar:
1000Outro ainda mostra:
999por alguns instantes.
Pode ser aceitável.
Agora pense em:
SALDO BANCÁRIOA conversa muda.
Esse é um ensinamento importantíssimo para programadores vindos de ambientes altamente transacionais:
consistência é requisito, não dogma.
Alguns dados exigem precisão imediata e rigorosa.
Outros toleram propagação.
É o contexto de negócio que decide.
20. Microservices: a cidade deixa de ter um único prédio
No desenho aparecem serviços independentes:
Upload Service
Search Service
Comments ServiceA ideia é decompor funcionalidades.
Search pode precisar de muito mais capacidade que Comments.
Upload talvez tenha características completamente diferentes de Recommendation.
Então cada serviço pode crescer de maneira própria.
Mas aqui aparece um aviso de Hermes:
microservices não removem complexidade.
Eles transformam:
complexidade dentro do programaem:
complexidade entre programasAgora temos rede.
E rede traz:
timeouts, retries, latência, descoberta de serviços, compatibilidade de versões, tracing e falhas parciais.
O monólito explodiu.
Os pedaços agora discutem entre si pela Ethernet.
21. Search: nunca execute LIKE '%COBOL%' em bilhões de vídeos e espere um milagre
Imagine procurar:
curso cobol mainframeUma implementação ingênua faria algo semelhante a:
SELECT *
FROM VIDEOS
WHERE DESCRIPTION LIKE '%curso cobol mainframe%';Contra uma base gigantesca?
Hermes mandaria a consulta diretamente para Hades.
Sistemas de busca utilizam índices especializados.
Uma simplificação:
COBOL → vídeos 1, 10, 93, 456
MAINFRAME → vídeos 1, 93, 800
CURSO → vídeos 1, 7, 93Os candidatos comuns podem ser encontrados rapidamente.
Depois entra ranking.
Porque encontrar conteúdo não basta.
Precisamos decidir qual resultado vem primeiro.
22. Recommendation Engine: o Oráculo de Delfos com GPUs
Agora entramos numa das partes mais fascinantes.
Você abre a homepage.
Existe um universo gigantesco de vídeos.
O sistema precisa escolher algumas dezenas.
Seria absurdo executar o modelo mais pesado possível sobre cada vídeo existente.
Então podemos imaginar várias etapas.
Primeiro:
BILHÕES DE VÍDEOS
↓
CANDIDATE GENERATION
↓
MILHARES
↓
RANKING
↓
CENTENAS
↓
RE-RANKING / POLICIES
↓
FEEDEsse padrão aparece em grandes sistemas de recomendação.
Primeiro reduzimos o universo.
Depois gastamos processamento mais caro nos melhores candidatos.
É semelhante a procurar uma agulha no palheiro usando primeiro uma peneira industrial e só depois uma pinça.
23. O algoritmo não vê apenas Likes
Outro erro comum é imaginar:
mais likes = mais recomendaçãoNa prática, sistemas de recomendação podem analisar muitos sinais.
Você clicou.
Mas assistiu?
Assistiu por dois segundos?
Chegou ao fim?
Pulou?
Voltou?
Inscreveu-se?
Procurou outro conteúdo parecido?
Um clique isolado não significa satisfação.
Exemplo clássico:
"DESCOBERTA IMPOSSÍVEL EM MARTE!!!"Você clica.
Três segundos depois percebe que é clickbait.
Tecnicamente houve clique.
Comportamentalmente houve rejeição.
Por isso métricas como watch time e retenção são valiosas.
24. Adaptive Algorithm: o sistema observa você observando o sistema
Existe um loop fascinante:
Recommendation
↓
Usuário vê
↓
Clique / Skip / Watch
↓
Eventos
↓
Analytics
↓
Features / Models
↓
Nova RecommendationÉ um sistema que muda de comportamento com base nas respostas do usuário.
Mas aqui precisamos ser tecnicamente cuidadosos.
“Aprender em tempo real” não significa necessariamente:
um modelo gigantesco sendo retreinado a cada clique.
Podemos ter sinais atualizados imediatamente enquanto treinamentos pesados acontecem em outras cadências.
Por exemplo:
Clique agora
↓
perfil/features atualizados
Modelo pesado
↓
treinamento periódicoSão coisas diferentes.
25. Observabilidade: coloque Poirot junto com Hermes
No desenho original, observabilidade aparece quase como mais uma caixinha.
Na prática ela deve atravessar toda a arquitetura.
Precisamos observar:
DNS
Load Balancer
Apps
Queues
Encoders
Caches
Databases
Search
Recommendation
CDNO trio clássico é:
metrics, logs e traces.
Metrics dizem:
algo está estranho.
Logs ajudam a descobrir:
o que aconteceu?
Tracing pergunta:
por onde essa requisição passou?
Exemplo:
Gateway 10 ms
Auth 20 ms
App 50 ms
Search 70 ms
Database 4200 msEncontramos o cadáver.
Db2 demorou 4,2 segundos.
Poirot começa a sorrir.
26. Média engana; percentis contam a história
Suponha:
latência média = 200 msExcelente?
Talvez.
E se:
p50 = 100 ms
p95 = 600 ms
p99 = 9 segundosUm por cento dos usuários pode estar tendo uma experiência terrível.
Em sistemas com bilhões de requisições, 1% não é uma exceção pequena.
É uma multidão.
Por isso percentis, principalmente p95 e p99, são essenciais.
27. Fault tolerance: servidor quebrar não é evento raro
Em ambientes pequenos, alguém pergunta:
“E se o servidor cair?”
Em hyperscale, a frase correta é:
“Quando alguns servidores caírem hoje, o que acontecerá?”
Discos morrem.
Switches falham.
Máquinas reiniciam.
Links ficam lentos.
Deploys quebram serviços.
Datacenters podem enfrentar incidentes.
A arquitetura precisa assumir falha.
Entram mecanismos como health checks, replicas, retries, timeouts, failover e circuit breakers.
28. Graceful degradation: YouTube sem comentários ainda é YouTube
Imagine que Comments Service pare.
Arquitetura frágil:
COMMENTS DOWN
↓
SITE DOWNArquitetura resiliente:
VIDEO OK
SEARCH OK
STREAMING OK
COMMENTS TEMPORARILY UNAVAILABLEO usuário continua assistindo.
Isso é graceful degradation.
Outra hipótese:
Recommendation Engine está indisponível.
Em vez de morrer, a homepage poderia usar alternativas mais simples:
Popular
Subscriptions
Trending
RecentEssa filosofia é maravilhosa:
falhar parcialmente é melhor do que morrer completamente.
29. Backpressure: JES2 sabe que fila infinita não é estratégia
Suponha que os encoders consigam processar:
8 milhões de uploads/horaMas chegam:
10 milhões/horaFila cresce:
+2 milhões/horaDepois de dez horas:
20 milhões pendentesIsso é perigoso.
Sistemas precisam aplicar backpressure.
Podem aumentar capacidade, reduzir admissões, priorizar trabalhos ou aplicar quotas.
O princípio é antigo:
não aceite trabalho ilimitadamente se não consegue executá-lo.
JES2, sentado no canto do bar, levanta a caneca.
30. Hotspots: o problema não é apenas quanto tráfego existe, mas onde ele aparece
Talvez existam bilhões de vídeos.
Mas a demanda não será uniforme.
Um vídeo recebe:
3 views/diaOutro:
10 milhões em uma horaA média não ajuda muito.
Notícias, eventos esportivos, lançamentos musicais e memes criam hotspots.
Por isso caches e CDNs precisam responder rapidamente a mudanças bruscas de popularidade.
É como Black Friday.
Ninguém dimensiona varejo apenas olhando a terça-feira de fevereiro.
31. Retry storm: quando tentar ajudar piora tudo
Imagine um banco lento.
App Server espera.
Timeout.
Cliente tenta novamente.
Outro timeout.
Outro retry.
Agora o banco, que já estava sofrendo, recebe ainda mais carga.
Temos:
Sistema lento
↓
Retries
↓
Mais carga
↓
Sistema ainda mais lento
↓
Mais retriesUm círculo infernal digno de Hades.
Por isso retries precisam de limites, exponential backoff e jitter.
Nem toda falha deve ser respondida imediatamente com:
“Tenta outra vez!”
32. Idempotência: Hermes odeia entregar a mesma mensagem duas vezes
Considere:
POST /likeO servidor recebe, grava o Like e a conexão cai antes da resposta chegar.
O cliente pensa:
será que funcionou?
E envia de novo.
Sem cuidados, temos duplicidade.
Idempotência significa projetar determinadas operações para que repeti-las não cause efeitos duplicados indesejáveis.
Algo como:
REQUEST_ID = ABC123Se já foi processado:
não processe novamenteEsse conceito é fundamental em mensagens, pagamentos, uploads e integração.
Qualquer programador que já recebeu arquivo duplicado de batch sabe exatamente por quê.
33. “Exactly once”: cuidado com deuses prometendo milagres
Em sistemas distribuídos existem expressões como:
at-most-once
at-least-once
exactly-once“Exactly once” parece maravilhoso.
Mas exige grande cuidado para definir exatamente onde a garantia existe.
Muitas vezes é mais seguro assumir que mensagens podem chegar novamente e tornar o consumidor idempotente.
Ou seja:
evento repetido?
↓
detecte
↓
ignoreIsso evita transformar retry legítimo em duplicidade de negócio.
34. Segurança: Hermes não entra no CPD só porque tem asas
O desenho original quase não mostra segurança.
Eu colocaria uma enorme camada sobre tudo.
Uma plataforma desse tamanho precisa pensar em autenticação, autorização, fraude, abuso, bots, scraping, spam, DDoS, roubo de contas e proteção de APIs.
A questão não é apenas:
consigo executar esta requisição?
Mas:
este usuário está autorizado a executá-la?
Programador COBOL olha para RACF.
RACF olha para Hermes.
Hermes entrega a credencial.
RACF responde:
ICH408IHermes protesta:
— EU SOU UM DEUS!
RACF:
— Isso não consta no perfil.
Esse talvez seja o easter egg mais realista de todo o artigo.
35. Como assistir a um vídeo vira uma pequena Odisseia
Agora podemos seguir o caminho completo.
O usuário pressiona ▶.
DNS ajuda a encontrar infraestrutura apropriada.
A requisição atravessa mecanismos de edge e balanceamento.
Serviços recuperam metadados e verificam contexto.
O player obtém informações sobre as representações disponíveis.
Segmentos começam a ser entregues por infraestrutura distribuída.
O player mede as condições.
A qualidade muda conforme necessário.
Eventos de reprodução são registrados.
O progresso é salvo.
Sistemas de recomendação observam o comportamento.
Enquanto isso, o próximo vídeo talvez já esteja sendo selecionado.
Ou seja:
PLAY
↓
rede
↓
metadados
↓
segurança
↓
streaming
↓
CDN
↓
telemetria
↓
analytics
↓
recommendationVocê vê apenas:
▶
Esse é o grande truque da engenharia.
Esconder uma quantidade absurda de complexidade atrás de uma interface simples.
36. O que um programador COBOL deveria aprender com tudo isso?
Não tente memorizar “a arquitetura do YouTube”.
Aprenda a reconhecer problemas.
Se existe pico de tráfego, pense em balanceamento e escalabilidade.
Se existe conteúdo repetidamente acessado, pense em cache.
Se trabalho pesado não precisa ser imediato, pense em processamento assíncrono.
Se uma máquina é insuficiente para todos os dados, pense em particionamento.
Se falha é inevitável, pense em replicação.
Se serviços dependem uns dos outros, pense em timeouts e circuit breakers.
Se ninguém sabe onde a lentidão nasceu, pense em observabilidade.
Se um sistema está aceitando mais trabalho do que consegue processar, pense em backpressure.
Se uma função secundária morreu, pense em graceful degradation.
Perceba o padrão.
Não estamos estudando produtos.
Estamos estudando classes de problemas arquitetônicos.
37. Passo a passo para estudar System Design sem enlouquecer
Aqui está minha única receita prática.
Comece construindo mentalmente um pequeno serviço de vídeo com upload, armazenamento e playback. Depois acrescente metadata. Em seguida coloque uma fila entre upload e transcoding. Adicione múltiplas resoluções. Acrescente cache e CDN. Depois pense em usuários e histórico. Quando os dados crescerem, introduza replicação e sharding. Só então adicione search e índices. Depois recomendação. Finalmente provoque falhas deliberadamente: derrube o banco, atrase a fila, mate o encoder, sobrecarregue o cache e pergunte o que acontece.
Essa sequência ensina mais do que decorar cinquenta diagramas prontos.
System Design começa a ficar interessante quando você pergunta:
“O que quebra se multiplicarmos isso por mil?”
Depois:
“E por mais mil?”
Depois:
“E se uma região inteira ficar indisponível?”
Nesse momento você começou a pensar como arquiteto.
38. A grande ironia: o hyperscale reencontrou problemas que o CPD conhecia
Quando tecnologias modernas falam em:
queues
scheduling
workload
authorization
replication
monitoring
transactions
batch processing
cachingum veterano de mainframe reconhece muitos problemas.
O mainframe não resolveu tudo da mesma maneira.
Nem poderia.
Mas há parentesco conceitual.
No z/OS temos nomes como:
JES2
WLM
RACF
CICS
Db2
MQ
SMF
RMF
SysplexNo universo distribuído aparecem:
message brokers
orchestrators
IAM
microservices
distributed databases
telemetry
clusters
autoscalingÉ perigoso criar equivalências diretas.
Mas é extremamente educativo enxergar a genealogia dos problemas.
Tecnologia muda.
Problemas humanos e computacionais têm mania de reaparecer usando camiseta nova.
39. Easter egg: Hermes provavelmente inventaria Kafka
Hermes era mensageiro.
Levava informações entre entidades.
Tinha múltiplos destinos.
Operava entre diferentes domínios.
Precisava ser rápido.
Transportava eventos importantes.
Portanto não é difícil imaginar uma reunião no Olimpo:
— Precisamos de um barramento distribuído de eventos.
Hermes:
— Já faço isso há 3 mil anos.
Zeus:
— Precisamos de partitions.
Hermes:
— Tenho rotas.
Atena:
— Precisamos de consumers independentes.
Hermes:
— Tenho templos.
Hades:
— Precisamos de dead-letter queue.
Hermes:
— Você praticamente administra uma.
Silêncio constrangedor.
40. O verdadeiro segredo do YouTube
Não existe uma única tecnologia mágica.
Existe uma composição cuidadosa de milhares de decisões.
Storage resolve um tipo de problema.
Cache resolve outro.
CDN resolve outro.
Queue resolve outro.
Database resolve outro.
Replication resolve outro.
Sharding resolve outro.
Search index resolve outro.
Machine Learning resolve outro.
Observability resolve outro.
Security tenta impedir que algum mortal curioso destrua tudo.
O desafio monumental está em fazer essas partes coexistirem.
Porque cada uma pode falhar.
Cada uma tem limites.
Cada uma possui custo.
Cada uma introduz novos modos de falha.
Epílogo — Hermes finalmente apertou PLAY
Depois de horas de explicação, o programador COBOL olhou novamente para o ícone do YouTube.
▶
Antes, ele via um botão.
Agora via:
DNS, edge, load balancing, storage, encoding, filas, shards, replicas, caches, CDN, APIs, serviços, índices, algoritmos, telemetria, segurança e milhões de decisões acontecendo em camadas.
Hermes terminou o café.
— Então — perguntou o programador — qual é a principal lição?
O mensageiro guardou as sandálias aladas.
— Nunca confunda simplicidade da interface com simplicidade da arquitetura.
No terminal 3270, alguém submeteu um JOB.
SUBMITA resposta apareceu.
O programador ficou alguns segundos olhando.
Depois sorriu.
Porque subitamente JES2 parecia um pouco menos antigo.
E o YouTube parecia um pouco menos alienígena.
Ambos, cada um em seu universo, estavam respondendo à mesma pergunta eterna da computação:
Como recebemos uma quantidade absurda de trabalho, organizamos, priorizamos, processamos, armazenamos, protegemos, monitoramos e entregamos resultados sem deixar o usuário perceber o caos existente nos bastidores?
Hermes levantou voo.
Na saída do CPD, porém, tentou abrir uma porta restrita.
O console respondeu:
ICH408I USER(HERMES) GROUP(OLYMPUS)
NAME(MESSENGER OF GODS)
ACCESS INTENT(READ)
ACCESS ALLOWED(NONE)Do fundo da sala veio a voz do operador:
— Falei que precisava de autorização.
Hermes suspirou.
Zeus podia controlar os raios.
Poseidon podia controlar os mares.
Hades podia controlar o mundo dos mortos.
Mas no CPD...
quem mandava era o RACF. ☕🪽💻
