Bellacosa Mainframe espiona o Youtube

☕ Um Café no Bellacosa Mainframe

Hermes Entra no CPD — O Dia em que o Mensageiro dos Deuses Descobriu que o YouTube Era um JES2 Planetário com CDN, Cache, Filas e Bilhões de Jobs

Ou: como upload, transcoding, blob storage, filas, CDN, DNS, load balancer, sharding, replicação, microservices, recomendação por IA e observabilidade transformam um simples botão ▶ em uma das maiores máquinas distribuídas já construídas — e por que Hermes provavelmente pediria um RACF antes de entregar a mensagem

Prólogo — Hermes chegou voando, mas o pacote tinha 8 GB

Eram duas e quarenta e sete da manhã no CPD.

O ar-condicionado fazia aquele barulho que todo veterano de mainframe aprende a interpretar como:

“Estou funcionando. Não mexa em mim.”

Na mesa havia uma caneca de café, um terminal 3270, três dumps impressos que ninguém queria assumir como seus e um programador COBOL iniciante tentando entender uma pergunta aparentemente simples:

— Bellacosa, como o YouTube funciona?

Antes que alguém pudesse responder, as portas do CPD se abriram.

Entrou um sujeito usando sandálias aladas, capacete ornamentado e carregando um pacote enorme debaixo do braço.

— Hermes — apresentou-se. — Mensageiro dos deuses. Mercúrio para os romanos. Entregas terrestres, celestiais, interdimensionais e, recentemente, tráfego IP.

O operador levantou uma sobrancelha.

— Tem autorização?

Hermes apontou para as asas.

— Eu atravesso os mundos.

O operador virou-se para o terminal.

— Isso não responde à pergunta.

Bem-vindo ao mainframe.

Hermes havia trazido um vídeo.

Um arquivo em 4K.

O programador COBOL olhou para ele e imaginou que o processo fosse simples:

UPLOAD
   ↓
YOUTUBE
   ↓
PLAY

Hermes riu.

— Jovem mortal... se fosse assim, eu ainda estaria entregando mensagens em papiro.

E foi dessa maneira que começou nossa viagem.

Porque o YouTube parece simples apenas enquanto você permanece do lado de fora.

Você abre uma página.

Procura um vídeo.

Clica.

Assiste.

Mas atrás daquele pequeno triângulo ▶ existe uma cidade tecnológica gigantesca formada por armazenamento distribuído, processamento assíncrono, filas, bancos de dados, caches, servidores, índices de busca, sistemas de recomendação, telemetria e infraestrutura espalhada pelo planeta.

E o mais divertido para quem conhece mainframe?

Muitos dos problemas fundamentais parecem terrivelmente familiares.

1. Primeiro aviso de Hermes: o diagrama não é o território

Diagramas de “YouTube System Design” aparecem frequentemente na Internet.

Eles mostram caixas como:

Blob Storage
Encoder
Cache
App Server
Database
Search
Recommendation
Load Balancer

São excelentes para aprender.

Mas precisamos entender algo desde o início:

aquilo não é uma planta completa da infraestrutura real do YouTube.

É uma representação conceitual.

Seria semelhante a desenhar um ambiente bancário como:

Terminal
   ↓
CICS
   ↓
COBOL
   ↓
Db2

Está errado?

Não necessariamente.

Está completo?

Nem remotamente.

Atrás dessas quatro caixas podem existir Parallel Sysplex, RACF, MQ, VSAM, WLM, JES2, SMF, storage, redes, replicação, disaster recovery, schedulers e dezenas de outras tecnologias.

O mesmo vale para uma plataforma de vídeo planetária.

A finalidade de um bom desenho de arquitetura não é registrar cada parafuso.

É mostrar responsabilidades, fluxos e pontos críticos.

Hermes chama isso de mapa.

O mainframe chama isso de “não tente explicar tudo no mesmo slide”.

2. Existem dois mundos: o vídeo e os dados sobre o vídeo

Essa distinção é fundamental.

Imagine um vídeo chamado:

INTRODUCAO-COBOL-EPISODIO-01.mp4

O arquivo pode ter vários gigabytes.

Mas suas informações são pequenas:

VIDEO_ID
TITLE
CHANNEL
DURATION
UPLOAD_DATE
DESCRIPTION
VISIBILITY

Portanto há duas famílias de dados.

De um lado:

ARQUIVO DE VÍDEO

Do outro:

METADADOS

Você normalmente não quer tratar ambos da mesma maneira.

O vídeo bruto pertence a uma infraestrutura apropriada para objetos grandes.

Os metadados pertencem a bancos e índices estruturados.

Pense num programador COBOL armazenando um filme inteiro dentro de cada registro de uma tabela operacional.

Hermes tiraria as sandálias aladas só para bater com uma delas no sujeito.

3. O upload começa uma jornada, não termina uma

O usuário seleciona um vídeo e aperta:

Upload.

Parece que o trabalho terminou.

Para a plataforma, acabou de começar.

Imagine um arquivo de 8 GB em 4K.

O sistema pode primeiro armazenar esse arquivo original em algum tipo de object/blob storage.

Mas enviá-lo exatamente daquela maneira para cada usuário seria péssimo.

Uma televisão 4K talvez aproveite a resolução.

Um celular numa rede móvel ruim certamente não.

Por isso entram os encoders, ou, mais precisamente, processos de transcodificação.

O vídeo original pode gerar múltiplas representações:

Original
   ↓
2160p
1440p
1080p
720p
480p
360p
240p

Só que resolução é apenas uma variável.

Também temos codecs, bitrate, áudio, HDR, frames por segundo e formatos diferentes.

Ou seja:

1 vídeo enviado
      ↓
várias versões distribuíveis

Hermes gostou imediatamente.

Era como traduzir a mesma mensagem para gregos, romanos, egípcios, persas e o sujeito da contabilidade que só aceita CSV delimitado por ponto e vírgula.

4. A fila: Hermes conhece, JES2 também

Aqui começa o verdadeiro parentesco com o mundo mainframe.

Imagine que 100 mil usuários façam upload simultaneamente.

Você não quer executar imediatamente 100 mil processos pesados de encoding.

Em vez disso:

UPLOAD
   ↓
STORAGE
   ↓
QUEUE
   ↓
ENCODER WORKERS

O upload é recebido.

Um trabalho é colocado numa fila.

Workers consomem os jobs conforme existe capacidade.

Qualquer veterano de mainframe pode sentir um arrepio nostálgico.

Porque a essência lembra:

SUBMIT
  ↓
JES2
  ↓
QUEUE
  ↓
EXECUTION

Não é a mesma tecnologia.

Não é a mesma implementação.

Mas é o mesmo problema fundamental:

há mais trabalho chegando do que convém executar instantaneamente.

A fila desacopla quem produz trabalho de quem o executa.

Isso é uma ideia profundamente poderosa.

5. Por que processamento assíncrono salva arquiteturas

Imagine uma aplicação ingênua.

O usuário manda um vídeo.

A conexão HTTP fica esperando enquanto o sistema:

recebe o arquivo, valida, converte, gera thumbnails, indexa, prepara formatos e distribui tudo.

Podem passar minutos.

Ou muito mais.

Isso é péssimo.

Uma arquitetura melhor responde algo conceitualmente equivalente a:

RECEBIDO
PROCESSAMENTO EM ANDAMENTO

O trabalho prossegue em background.

Depois diferentes eventos podem ocorrer:

VIDEO_UPLOADED
VIDEO_VALIDATED
TRANSCODING_STARTED
TRANSCODING_COMPLETED
VIDEO_READY

Isso nos leva à arquitetura orientada a eventos.

Hermes aprovou.

Afinal, se existe alguém mitologicamente qualificado para trabalhar com mensagens assíncronas, é o mensageiro dos deuses.

6. Curiosidade do Olimpo: Hermes seria um message broker perfeito

Na mitologia grega, Hermes era associado a mensagens, viagens, comércio e comunicação entre mundos.

Se estivesse num diagrama de arquitetura moderno, provavelmente apareceria assim:

ZEUS
  ↓
HERMES MESSAGE BUS
  ↓
MORTAIS

Ou talvez:

EVENT: ZEUS_COMMAND
TOPIC: /olympus/thunder
CONSUMER: HERMES

E, conhecendo Zeus, provavelmente precisaríamos de:

MAX_RETRY=0

porque ninguém quer receber o mesmo raio duas vezes.

7. CDN: a tecnologia que impede o sucesso de matar você

Agora imagine que o vídeo fique viral.

Dez milhões de pessoas querem assistir.

Sem distribuição adequada:

10.000.000 usuários
          ↓
       ORIGIN

Parabéns.

Seu conteúdo viral acaba de executar um ataque DDoS contra você mesmo.

Uma das soluções fundamentais é a CDN, Content Delivery Network.

A ideia é distribuir ou armazenar conteúdo mais perto dos usuários.

Simplificando:

               ORIGIN
                 |
       +---------+---------+
       |         |         |
     Região A  Região B  Região C
       |         |         |
     caches    caches    caches

Assim, um usuário brasileiro não precisa necessariamente buscar cada segmento do vídeo a milhares de quilômetros de distância.

A física continua sendo uma dependência que nenhuma atualização de software corrigiu.

Velocidade da luz tem SLA extremamente rígido.

8. Cache: o funcionário que diz “já tenho isso aqui”

Cache é um dos conceitos mais importantes de system design.

Imagine o primeiro pedido por determinado conteúdo:

CACHE
  ↓
MISS
  ↓
ORIGIN
  ↓
RESPOSTA
  ↓
CACHE

Depois outro usuário pede a mesma coisa:

CACHE
  ↓
HIT
  ↓
RESPOSTA

Muito mais barato.

Muito mais rápido.

Menos carga no sistema original.

Essa lógica vale para páginas, metadados, consultas e partes de vídeo.

No universo mainframe, a ideia de evitar I/O caro mantendo conteúdo frequentemente utilizado próximo da execução certamente não causará choque filosófico.

É apenas mais uma versão da velha máxima:

não vá buscar longe aquilo que você já tem perto.

9. Vídeo não precisa viajar inteiro

Outro detalhe fascinante.

Quando você começa a assistir a um filme de duas horas, normalmente não precisa baixar as duas horas antes de começar.

O conteúdo pode ser dividido em segmentos:

VIDEO
 |
 +-- SEGMENT 001
 +-- SEGMENT 002
 +-- SEGMENT 003
 +-- SEGMENT 004

O player vai solicitando pedaços.

Isso é fundamental para streaming adaptativo.

Sua rede está ótima?

O sistema pode entregar segmentos de maior qualidade.

Sua conexão piorou?

Pode reduzir qualidade.

Exemplo:

Você provavelmente já viu isso acontecendo.

O vídeo fica ligeiramente borrado por alguns segundos e depois melhora.

Isso não é necessariamente defeito.

É a plataforma negociando com a realidade.

10. Adaptive Bitrate: melhor assistir em 720p do que contemplar uma bolinha girando em 4K

Um algoritmo de streaming pode considerar coisas como largura de banda disponível, tamanho do buffer e capacidade do dispositivo.

O objetivo conceitual é:

máxima qualidade possível
          +
mínimas interrupções

Porque existe uma regra prática importantíssima:

usuário tolera queda de resolução melhor do que vídeo congelando a cada oito segundos.

Hermes lembrou que mensageiros antigos também faziam isso.

Quando a estrada estava boa, ele voava.

Quando tinha tempestade, descia.

Adaptive transport, versão mitológica.

11. DNS: antes de entregar a mensagem, descubra onde fica a casa

Quando digitamos um endereço, o computador precisa descobrir para onde enviar a conexão.

DNS ajuda a transformar um nome em informação de localização de rede.

Simplificando:

youtube.com
     ↓
DNS
     ↓
destino apropriado

Em sistemas globais, a história pode ficar bem mais sofisticada, envolvendo infraestrutura distribuída e decisões geográficas.

Mas conceitualmente DNS é o início da viagem.

Hermes é mensageiro.

DNS é o mapa.

Sem mapa, até deus se perde.

12. Load Balancer: o WLM da porta de entrada

Depois temos balanceamento.

Imagine milhares de servidores capazes de atender requisições.

O usuário não sabe qual deles deveria atender.

Nem deveria saber.

Entra o load balancer.

             REQUEST
                ↓
          LOAD BALANCER
          /      |      \
       SERVER1 SERVER2 SERVER3

Ele distribui demanda.

Se um servidor está indisponível, idealmente deixa de enviar tráfego para ele.

Aqui um veterano z/OS imediatamente reconhece a filosofia de workload management.

Novamente: não são tecnologias idênticas.

Mas o problema é conhecido.

Temos trabalho.

Temos recursos.

Precisamos casar ambos de maneira eficiente.

WLM olha do fundo da sala e murmura:

— Bonito esse “cloud native”.

13. Stateless: não se apaixone pelo servidor 42

Imagine que toda a sessão de um usuário exista apenas na memória de um único servidor.

USER
 ↓
SERVER 42

Servidor 42 morre.

Adeus sessão.

Sistemas distribuídos tentam, sempre que adequado, evitar dependência excessiva de estado local.

Assim:

Request A → Server 12
Request B → Server 94
Request C → Server 33

podem funcionar.

Isso facilita escalar horizontalmente e lidar com falhas.

É uma diferença importante entre:

“este servidor é especial”

“qualquer servidor saudável desse grupo pode executar o trabalho”.

14. Vertical versus horizontal: mainframe encontra hyperscale

Aqui entra uma discussão deliciosa.

Escalabilidade vertical significa colocar mais capacidade numa máquina:

16 CPUs
 ↓
32 CPUs
 ↓
64 CPUs

Escalabilidade horizontal significa aumentar o número de máquinas:

10 servidores
 ↓
100
 ↓
1000

O IBM Z tornou-se historicamente extraordinário em consolidação e escala vertical.

Ambientes hyperscale exploraram de maneira brilhante a distribuição horizontal.

Isso gerou quase duas escolas filosóficas.

Uma diz:

“Construa uma máquina absurda.”

Outra diz:

“Construa um exército de máquinas.”

Na prática, arquiteturas sérias combinam estratégias.

Hermes, naturalmente, sugeriu asas em todos os servidores.

Não foi aprovado pelo capacity planning.

15. Agora chegamos ao verdadeiro monstro: dados dos usuários

Imagine registrar:

histórico, likes, dislikes, inscrições, playlists, comentários, sessões, progresso de reprodução e preferências.

Isso gera quantidades extraordinárias de dados.

Uma tabela conceitual poderia ter:

USER_ID
VIDEO_ID
TIMESTAMP
WATCH_DURATION
POSITION
DEVICE

Agora multiplique isso por milhões ou bilhões de usuários.

Uma única instância de banco eventualmente se torna insuficiente ou inadequada.

Entra o sharding.

16. Sharding: cortando o dragão em pedaços administráveis

Sharding significa particionar dados entre bancos ou grupos de servidores.

Exemplo simplificado:

Usuários A–F → SHARD 1
Usuários G–M → SHARD 2
Usuários N–S → SHARD 3
Usuários T–Z → SHARD 4

Ou usando hash:

SHARD = HASH(USER_ID) MOD N

Então:

USER 100 → SHARD 4
USER 101 → SHARD 9

Isso permite distribuir carga e armazenamento.

Só que cada solução cria novos problemas.

Agora precisamos pensar em:

hot shards, rebalanceamento, consultas entre shards, transações distribuídas, routing e recuperação.

Uma das grandes verdades de arquitetura é esta:

você raramente elimina complexidade; normalmente muda onde ela mora.

17. Vitess: quando alguém precisou ensinar MySQL a conversar com gigantes

Um detalhe especialmente interessante no desenho é a presença de Vitess.

O projeto Vitess nasceu justamente no contexto do YouTube para ajudar a escalar MySQL.

A aplicação poderia pensar aproximadamente:

Quero USER_ID = 123

Enquanto uma camada intermediária ajuda a localizar onde aquele dado realmente está.

Conceitualmente:

APPLICATION
    ↓
VITESS
    ↓
SHARD CORRETO
    ↓
MYSQL

Essa é uma curiosidade histórica excelente.

Quando uma empresa chega a uma escala absurda, começa a criar ferramentas para resolver problemas que poucas outras empresas possuíam naquele momento.

Depois essas ferramentas acabam servindo ao resto da indústria.

18. Replication não é sharding

É comum iniciantes confundirem.

Sharding responde:

como divido meus dados?

Replication responde:

quantas cópias tenho e como sobrevivo à falha?

Podemos ter:

PRIMARY
   |
   +---- REPLICA A
   |
   +---- REPLICA B

Se uma máquina desaparece, existem cópias.

Isso ajuda disponibilidade, recuperação e distribuição de leitura.

Mas abre outra caixa mitológica:

consistência.

19. Eventual consistency: nem todo dado precisa estar perfeito no mesmo microssegundo

Imagine um vídeo com:

999 LIKES

Você clica Like.

Um servidor passa a mostrar:

Outro ainda mostra:

por alguns instantes.

Pode ser aceitável.

Agora pense em:

SALDO BANCÁRIO

A conversa muda.

Esse é um ensinamento importantíssimo para programadores vindos de ambientes altamente transacionais:

consistência é requisito, não dogma.

Alguns dados exigem precisão imediata e rigorosa.

Outros toleram propagação.

É o contexto de negócio que decide.

20. Microservices: a cidade deixa de ter um único prédio

No desenho aparecem serviços independentes:

Upload Service
Search Service
Comments Service

A ideia é decompor funcionalidades.

Search pode precisar de muito mais capacidade que Comments.

Upload talvez tenha características completamente diferentes de Recommendation.

Então cada serviço pode crescer de maneira própria.

Mas aqui aparece um aviso de Hermes:

microservices não removem complexidade.

Eles transformam:

complexidade dentro do programa

em:

complexidade entre programas

Agora temos rede.

E rede traz:

timeouts, retries, latência, descoberta de serviços, compatibilidade de versões, tracing e falhas parciais.

O monólito explodiu.

Os pedaços agora discutem entre si pela Ethernet.

21. Search: nunca execute LIKE '%COBOL%' em bilhões de vídeos e espere um milagre

Imagine procurar:

curso cobol mainframe

Uma implementação ingênua faria algo semelhante a:

SELECT *
FROM VIDEOS
WHERE DESCRIPTION LIKE '%curso cobol mainframe%';

Contra uma base gigantesca?

Hermes mandaria a consulta diretamente para Hades.

Sistemas de busca utilizam índices especializados.

Uma simplificação:

COBOL → vídeos 1, 10, 93, 456
MAINFRAME → vídeos 1, 93, 800
CURSO → vídeos 1, 7, 93

Os candidatos comuns podem ser encontrados rapidamente.

Depois entra ranking.

Porque encontrar conteúdo não basta.

Precisamos decidir qual resultado vem primeiro.

22. Recommendation Engine: o Oráculo de Delfos com GPUs

Agora entramos numa das partes mais fascinantes.

Você abre a homepage.

Existe um universo gigantesco de vídeos.

O sistema precisa escolher algumas dezenas.

Seria absurdo executar o modelo mais pesado possível sobre cada vídeo existente.

Então podemos imaginar várias etapas.

Primeiro:

BILHÕES DE VÍDEOS
       ↓
CANDIDATE GENERATION
       ↓
MILHARES
       ↓
RANKING
       ↓
CENTENAS
       ↓
RE-RANKING / POLICIES
       ↓
FEED

Esse padrão aparece em grandes sistemas de recomendação.

Primeiro reduzimos o universo.

Depois gastamos processamento mais caro nos melhores candidatos.

É semelhante a procurar uma agulha no palheiro usando primeiro uma peneira industrial e só depois uma pinça.

23. O algoritmo não vê apenas Likes

Outro erro comum é imaginar:

mais likes = mais recomendação

Na prática, sistemas de recomendação podem analisar muitos sinais.

Você clicou.

Mas assistiu?

Assistiu por dois segundos?

Chegou ao fim?

Pulou?

Voltou?

Inscreveu-se?

Procurou outro conteúdo parecido?

Um clique isolado não significa satisfação.

Exemplo clássico:

"DESCOBERTA IMPOSSÍVEL EM MARTE!!!"

Você clica.

Três segundos depois percebe que é clickbait.

Tecnicamente houve clique.

Comportamentalmente houve rejeição.

Por isso métricas como watch time e retenção são valiosas.

24. Adaptive Algorithm: o sistema observa você observando o sistema

Existe um loop fascinante:

Recommendation
      ↓
Usuário vê
      ↓
Clique / Skip / Watch
      ↓
Eventos
      ↓
Analytics
      ↓
Features / Models
      ↓
Nova Recommendation

É um sistema que muda de comportamento com base nas respostas do usuário.

Mas aqui precisamos ser tecnicamente cuidadosos.

“Aprender em tempo real” não significa necessariamente:

um modelo gigantesco sendo retreinado a cada clique.

Podemos ter sinais atualizados imediatamente enquanto treinamentos pesados acontecem em outras cadências.

Por exemplo:

Clique agora
   ↓
perfil/features atualizados

Modelo pesado
   ↓
treinamento periódico

São coisas diferentes.

25. Observabilidade: coloque Poirot junto com Hermes

No desenho original, observabilidade aparece quase como mais uma caixinha.

Na prática ela deve atravessar toda a arquitetura.

Precisamos observar:

DNS
Load Balancer
Apps
Queues
Encoders
Caches
Databases
Search
Recommendation
CDN

O trio clássico é:

metrics, logs e traces.

Metrics dizem:

algo está estranho.

Logs ajudam a descobrir:

o que aconteceu?

Tracing pergunta:

por onde essa requisição passou?

Exemplo:

Gateway    10 ms
Auth       20 ms
App        50 ms
Search     70 ms
Database 4200 ms

Encontramos o cadáver.

Db2 demorou 4,2 segundos.

Poirot começa a sorrir.

26. Média engana; percentis contam a história

Suponha:

latência média = 200 ms

Excelente?

Talvez.

E se:

p50 = 100 ms
p95 = 600 ms
p99 = 9 segundos

Um por cento dos usuários pode estar tendo uma experiência terrível.

Em sistemas com bilhões de requisições, 1% não é uma exceção pequena.

É uma multidão.

Por isso percentis, principalmente p95 e p99, são essenciais.

27. Fault tolerance: servidor quebrar não é evento raro

Em ambientes pequenos, alguém pergunta:

“E se o servidor cair?”

Em hyperscale, a frase correta é:

“Quando alguns servidores caírem hoje, o que acontecerá?”

Discos morrem.

Switches falham.

Máquinas reiniciam.

Links ficam lentos.

Deploys quebram serviços.

Datacenters podem enfrentar incidentes.

A arquitetura precisa assumir falha.

Entram mecanismos como health checks, replicas, retries, timeouts, failover e circuit breakers.

28. Graceful degradation: YouTube sem comentários ainda é YouTube

Imagine que Comments Service pare.

Arquitetura frágil:

COMMENTS DOWN
     ↓
SITE DOWN

Arquitetura resiliente:

VIDEO OK
SEARCH OK
STREAMING OK
COMMENTS TEMPORARILY UNAVAILABLE

O usuário continua assistindo.

Isso é graceful degradation.

Outra hipótese:

Recommendation Engine está indisponível.

Em vez de morrer, a homepage poderia usar alternativas mais simples:

Popular
Subscriptions
Trending
Recent

Essa filosofia é maravilhosa:

falhar parcialmente é melhor do que morrer completamente.

29. Backpressure: JES2 sabe que fila infinita não é estratégia

Suponha que os encoders consigam processar:

8 milhões de uploads/hora

Mas chegam:

10 milhões/hora

Fila cresce:

+2 milhões/hora

Depois de dez horas:

20 milhões pendentes

Isso é perigoso.

Sistemas precisam aplicar backpressure.

Podem aumentar capacidade, reduzir admissões, priorizar trabalhos ou aplicar quotas.

O princípio é antigo:

não aceite trabalho ilimitadamente se não consegue executá-lo.

JES2, sentado no canto do bar, levanta a caneca.

30. Hotspots: o problema não é apenas quanto tráfego existe, mas onde ele aparece

Talvez existam bilhões de vídeos.

Mas a demanda não será uniforme.

Um vídeo recebe:

3 views/dia

Outro:

10 milhões em uma hora

A média não ajuda muito.

Notícias, eventos esportivos, lançamentos musicais e memes criam hotspots.

Por isso caches e CDNs precisam responder rapidamente a mudanças bruscas de popularidade.

É como Black Friday.

Ninguém dimensiona varejo apenas olhando a terça-feira de fevereiro.

31. Retry storm: quando tentar ajudar piora tudo

Imagine um banco lento.

App Server espera.

Timeout.

Cliente tenta novamente.

Outro timeout.

Outro retry.

Agora o banco, que já estava sofrendo, recebe ainda mais carga.

Temos:

Sistema lento
   ↓
Retries
   ↓
Mais carga
   ↓
Sistema ainda mais lento
   ↓
Mais retries

Um círculo infernal digno de Hades.

Por isso retries precisam de limites, exponential backoff e jitter.

Nem toda falha deve ser respondida imediatamente com:

“Tenta outra vez!”

32. Idempotência: Hermes odeia entregar a mesma mensagem duas vezes

Considere:

POST /like

O servidor recebe, grava o Like e a conexão cai antes da resposta chegar.

O cliente pensa:

será que funcionou?

E envia de novo.

Sem cuidados, temos duplicidade.

Idempotência significa projetar determinadas operações para que repeti-las não cause efeitos duplicados indesejáveis.

Algo como:

REQUEST_ID = ABC123

Se já foi processado:

não processe novamente

Esse conceito é fundamental em mensagens, pagamentos, uploads e integração.

Qualquer programador que já recebeu arquivo duplicado de batch sabe exatamente por quê.

33. “Exactly once”: cuidado com deuses prometendo milagres

Em sistemas distribuídos existem expressões como:

at-most-once
at-least-once
exactly-once

“Exactly once” parece maravilhoso.

Mas exige grande cuidado para definir exatamente onde a garantia existe.

Muitas vezes é mais seguro assumir que mensagens podem chegar novamente e tornar o consumidor idempotente.

Ou seja:

evento repetido?
 ↓
detecte
 ↓
ignore

Isso evita transformar retry legítimo em duplicidade de negócio.

34. Segurança: Hermes não entra no CPD só porque tem asas

O desenho original quase não mostra segurança.

Eu colocaria uma enorme camada sobre tudo.

Uma plataforma desse tamanho precisa pensar em autenticação, autorização, fraude, abuso, bots, scraping, spam, DDoS, roubo de contas e proteção de APIs.

A questão não é apenas:

consigo executar esta requisição?

Mas:

este usuário está autorizado a executá-la?

Programador COBOL olha para RACF.

RACF olha para Hermes.

Hermes entrega a credencial.

RACF responde:

ICH408I

Hermes protesta:

— EU SOU UM DEUS!

RACF:

— Isso não consta no perfil.

Esse talvez seja o easter egg mais realista de todo o artigo.

35. Como assistir a um vídeo vira uma pequena Odisseia

Agora podemos seguir o caminho completo.

O usuário pressiona ▶.

DNS ajuda a encontrar infraestrutura apropriada.

A requisição atravessa mecanismos de edge e balanceamento.

Serviços recuperam metadados e verificam contexto.

O player obtém informações sobre as representações disponíveis.

Segmentos começam a ser entregues por infraestrutura distribuída.

O player mede as condições.

A qualidade muda conforme necessário.

Eventos de reprodução são registrados.

O progresso é salvo.

Sistemas de recomendação observam o comportamento.

Enquanto isso, o próximo vídeo talvez já esteja sendo selecionado.

Ou seja:

PLAY
 ↓
rede
 ↓
metadados
 ↓
segurança
 ↓
streaming
 ↓
CDN
 ↓
telemetria
 ↓
analytics
 ↓
recommendation

Você vê apenas:

▶

Esse é o grande truque da engenharia.

Esconder uma quantidade absurda de complexidade atrás de uma interface simples.

36. O que um programador COBOL deveria aprender com tudo isso?

Não tente memorizar “a arquitetura do YouTube”.

Aprenda a reconhecer problemas.

Se existe pico de tráfego, pense em balanceamento e escalabilidade.

Se existe conteúdo repetidamente acessado, pense em cache.

Se trabalho pesado não precisa ser imediato, pense em processamento assíncrono.

Se uma máquina é insuficiente para todos os dados, pense em particionamento.

Se falha é inevitável, pense em replicação.

Se serviços dependem uns dos outros, pense em timeouts e circuit breakers.

Se ninguém sabe onde a lentidão nasceu, pense em observabilidade.

Se um sistema está aceitando mais trabalho do que consegue processar, pense em backpressure.

Se uma função secundária morreu, pense em graceful degradation.

Perceba o padrão.

Não estamos estudando produtos.

Estamos estudando classes de problemas arquitetônicos.

37. Passo a passo para estudar System Design sem enlouquecer

Aqui está minha única receita prática.

Comece construindo mentalmente um pequeno serviço de vídeo com upload, armazenamento e playback. Depois acrescente metadata. Em seguida coloque uma fila entre upload e transcoding. Adicione múltiplas resoluções. Acrescente cache e CDN. Depois pense em usuários e histórico. Quando os dados crescerem, introduza replicação e sharding. Só então adicione search e índices. Depois recomendação. Finalmente provoque falhas deliberadamente: derrube o banco, atrase a fila, mate o encoder, sobrecarregue o cache e pergunte o que acontece.

Essa sequência ensina mais do que decorar cinquenta diagramas prontos.

System Design começa a ficar interessante quando você pergunta:

“O que quebra se multiplicarmos isso por mil?”

Depois:

“E por mais mil?”

Depois:

“E se uma região inteira ficar indisponível?”

Nesse momento você começou a pensar como arquiteto.

38. A grande ironia: o hyperscale reencontrou problemas que o CPD conhecia

Quando tecnologias modernas falam em:

queues
scheduling
workload
authorization
replication
monitoring
transactions
batch processing
caching

um veterano de mainframe reconhece muitos problemas.

O mainframe não resolveu tudo da mesma maneira.

Nem poderia.

Mas há parentesco conceitual.

No z/OS temos nomes como:

JES2
WLM
RACF
CICS
Db2
MQ
SMF
RMF
Sysplex

No universo distribuído aparecem:

message brokers
orchestrators
IAM
microservices
distributed databases
telemetry
clusters
autoscaling

É perigoso criar equivalências diretas.

Mas é extremamente educativo enxergar a genealogia dos problemas.

Tecnologia muda.

Problemas humanos e computacionais têm mania de reaparecer usando camiseta nova.

39. Easter egg: Hermes provavelmente inventaria Kafka

Hermes era mensageiro.

Levava informações entre entidades.

Tinha múltiplos destinos.

Operava entre diferentes domínios.

Precisava ser rápido.

Transportava eventos importantes.

Portanto não é difícil imaginar uma reunião no Olimpo:

— Precisamos de um barramento distribuído de eventos.

Hermes:

— Já faço isso há 3 mil anos.

Zeus:

— Precisamos de partitions.

Hermes:

— Tenho rotas.

Atena:

— Precisamos de consumers independentes.

Hermes:

— Tenho templos.

Hades:

— Precisamos de dead-letter queue.

Hermes:

— Você praticamente administra uma.

Silêncio constrangedor.

40. O verdadeiro segredo do YouTube

Não existe uma única tecnologia mágica.

Existe uma composição cuidadosa de milhares de decisões.

Storage resolve um tipo de problema.

Cache resolve outro.

CDN resolve outro.

Queue resolve outro.

Database resolve outro.

Replication resolve outro.

Sharding resolve outro.

Search index resolve outro.

Machine Learning resolve outro.

Observability resolve outro.

Security tenta impedir que algum mortal curioso destrua tudo.

O desafio monumental está em fazer essas partes coexistirem.

Porque cada uma pode falhar.

Cada uma tem limites.

Cada uma possui custo.

Cada uma introduz novos modos de falha.

Epílogo — Hermes finalmente apertou PLAY

Depois de horas de explicação, o programador COBOL olhou novamente para o ícone do YouTube.

▶

Antes, ele via um botão.

Agora via:

DNS, edge, load balancing, storage, encoding, filas, shards, replicas, caches, CDN, APIs, serviços, índices, algoritmos, telemetria, segurança e milhões de decisões acontecendo em camadas.

Hermes terminou o café.

— Então — perguntou o programador — qual é a principal lição?

O mensageiro guardou as sandálias aladas.

— Nunca confunda simplicidade da interface com simplicidade da arquitetura.

No terminal 3270, alguém submeteu um JOB.

SUBMIT

A resposta apareceu.

O programador ficou alguns segundos olhando.

Depois sorriu.

Porque subitamente JES2 parecia um pouco menos antigo.

E o YouTube parecia um pouco menos alienígena.

Ambos, cada um em seu universo, estavam respondendo à mesma pergunta eterna da computação:

Como recebemos uma quantidade absurda de trabalho, organizamos, priorizamos, processamos, armazenamos, protegemos, monitoramos e entregamos resultados sem deixar o usuário perceber o caos existente nos bastidores?

Hermes levantou voo.

Na saída do CPD, porém, tentou abrir uma porta restrita.

O console respondeu:

ICH408I USER(HERMES) GROUP(OLYMPUS)
NAME(MESSENGER OF GODS)

ACCESS INTENT(READ)
ACCESS ALLOWED(NONE)

Do fundo da sala veio a voz do operador:

— Falei que precisava de autorização.

Hermes suspirou.

Zeus podia controlar os raios.

Poseidon podia controlar os mares.

Hades podia controlar o mundo dos mortos.

Mas no CPD...

quem mandava era o RACF. ☕🪽💻

Translate

terça-feira, 3 de outubro de 2023