Reed-Solomon: Como o Tesseras Sobrevive à Perda de Dados

2026-02-14

Seu disco rígido vai morrer. Seu provedor de nuvem vai pivotar. O array RAID no +seu armário vai sobreviver ao controlador, mas não ao dono. Se uma memória está +armazenada em exatamente um lugar, ela tem exatamente uma forma de se perder +para sempre.

Tesseras é uma rede que mantém memórias humanas vivas através de ajuda mútua. O +mecanismo central de sobrevivência é a codificação de apagamento +Reed-Solomon — uma técnica emprestada da comunicação espacial profunda que nos +permite reconstruir dados mesmo quando pedaços desaparecem.

O que é Reed-Solomon?

Reed-Solomon é uma família de códigos corretores de erros inventada por Irving +Reed e Gustave Solomon em 1960. O caso de uso original era corrigir erros em +dados transmitidos por canais ruidosos — pense na Voyager enviando fotos de +Júpiter, ou num CD tocando apesar de arranhões.

A ideia-chave: se você adicionar redundância cuidadosamente calculada aos seus +dados antes que algo dê errado, você pode recuperar o original mesmo depois de +perder alguns pedaços.

Eis a intuição. Suponha que você tenha um polinômio de grau 2 — uma parábola. +Você precisa de 3 pontos para defini-lo de forma única. Mas se você avaliá-lo em +5 pontos, pode perder quaisquer 2 desses 5 e ainda reconstruir o polinômio a +partir dos 3 restantes. Reed-Solomon generaliza essa ideia para trabalhar sobre +corpos finitos (corpos de Galois), onde o "polinômio" são seus dados e os +"pontos de avaliação" são seus fragmentos.

Em termos concretos:

Divida seus dados em k shards de dados
Calcule m shards de paridade a partir dos shards de dados
Distribua todos os k + m shards em diferentes locais
Reconstrua os dados originais a partir de quaisquer k dos k + m +shards

Você pode perder até m shards — quaisquer m, de dados ou paridade, em +qualquer combinação — e ainda recuperar tudo.

Por que não simplesmente fazer cópias?

A abordagem ingênua para redundância é a replicação: faça 3 cópias, armazene-as +em 3 lugares. Isso dá tolerância a 2 falhas ao custo de 3x o seu armazenamento.

Reed-Solomon é dramaticamente mais eficiente:

+ + + + +

Estratégia	Overhead de armazenamento	Falhas toleradas
Replicação 3x	200%	2 de 3
Reed-Solomon (16,8)	50%	8 de 24
Reed-Solomon (48,24)	50%	24 de 72

Com 16 shards de dados e 8 de paridade, você usa 50% de armazenamento extra mas +pode sobreviver à perda de um terço de todos os fragmentos. Para alcançar a +mesma tolerância a falhas só com replicação, você precisaria de 3x o +armazenamento.

Para uma rede que visa preservar memórias ao longo de décadas e séculos, essa +eficiência não é um luxo — é a diferença entre um sistema viável e um que se +afoga no próprio overhead.

Como o Tesseras usa Reed-Solomon

Nem todos os dados merecem o mesmo tratamento. Uma memória de texto de 500 bytes +e um vídeo de 100 MB têm necessidades de redundância muito diferentes. O +Tesseras usa uma estratégia de fragmentação em três camadas:

Small (< 4 MB) — Replicação do arquivo inteiro para 7 pares. Para tesseras +pequenas, o overhead da codificação de apagamento (tempo de codificação, +gerenciamento de fragmentos, lógica de reconstrução) supera seus benefícios. +Cópias simples são mais rápidas e mais simples.

Medium (4–256 MB) — 16 shards de dados + 8 de paridade = 24 fragmentos no +total. Cada fragmento tem aproximadamente 1/16 do tamanho original. Quaisquer 16 +dos 24 fragmentos reconstroem o original. Distribuídos entre 7 pares.

Large (≥ 256 MB) — 48 shards de dados + 24 de paridade = 72 fragmentos no +total. Maior contagem de shards significa fragmentos individuais menores (mais +fáceis de transferir e armazenar) e maior tolerância absoluta a falhas. Também +distribuídos entre 7 pares.

A implementação usa o crate reed-solomon-erasure operando sobre GF(2⁸) — o +mesmo corpo de Galois usado em códigos QR e CDs. Cada fragmento carrega um +checksum BLAKE3 para que a corrupção seja detectada imediatamente, não propagada +silenciosamente.

Tessera (álbum de fotos de 120 MB)
+    ↓ codificar
+16 shards de dados (7,5 MB cada) + 8 shards de paridade (7,5 MB cada)
+    ↓ distribuir
+24 fragmentos entre 7 pares (diversidade de sub-rede)
+    ↓ quaisquer 16 fragmentos
+Tessera original recuperada
+

Os desafios

Reed-Solomon resolve o problema matemático da redundância. Os desafios de +engenharia estão em tudo ao redor.

Rastreamento de fragmentos

Cada fragmento precisa ser localizável. O Tesseras usa uma DHT Kademlia para +descoberta de pares e mapeamento de fragmentos para pares. Quando um nó fica +offline, seus fragmentos precisam ser recriados e distribuídos para novos pares. +Isso significa rastrear quais fragmentos existem, onde estão e se ainda estão +intactos — numa rede sem autoridade central.

Corrupção silenciosa

Um fragmento que retorna dados errados é pior que um ausente — pelo menos um +fragmento ausente é honestamente ausente. O Tesseras aborda isso com +verificações de saúde baseadas em atestação: o loop de reparo periodicamente +pede aos detentores de fragmentos que provem posse retornando checksums BLAKE3. +Se um checksum não bater, o fragmento é tratado como perdido.

Falhas correlacionadas

Se todos os 24 fragmentos de uma tessera caírem em máquinas no mesmo datacenter, +uma única queda de energia os elimina todos. A matemática do Reed-Solomon assume +falhas independentes. O Tesseras impõe diversidade de sub-rede durante a +distribuição: no máximo 2 fragmentos por sub-rede /24 IPv4 (ou prefixo /48 +IPv6). Isso espalha fragmentos por diferentes infraestruturas físicas.

Velocidade de reparo vs. carga na rede

Quando um par fica offline, o relógio começa a contar. Fragmentos perdidos +precisam ser recriados antes que mais falhas se acumulem. Mas reparo agressivo +inunda a rede. O Tesseras equilibra isso com um loop de reparo configurável +(padrão: a cada 24 horas com 2 horas de jitter) e limites de transferências +simultâneas (padrão: 4 transferências simultâneas). O jitter previne tempestades +de reparo onde cada nó verifica seus fragmentos no mesmo momento.

Gerenciamento de chaves a longo prazo

Reed-Solomon protege contra perda de dados, não contra perda de acesso. Se uma +tessera é criptografada (visibilidade privada ou selada), você precisa da chave +de descriptografia para tornar os dados recuperados úteis. O Tesseras separa +essas preocupações: codificação de apagamento cuida da disponibilidade, enquanto +o Compartilhamento de Segredo de Shamir (uma fase futura) cuidará da +distribuição de chaves entre herdeiros. A filosofia de design do projeto — +criptografar o mínimo possível — mantém o problema de gerenciamento de chaves +pequeno.

Limitações do corpo de Galois

O corpo GF(2⁸) limita o número total de shards a 255 (dados + paridade +combinados). Para o Tesseras, isso não é uma restrição prática — mesmo a camada +Large usa apenas 72 shards. Mas significa que arquivos extremamente grandes com +milhares de fragmentos exigiriam um corpo diferente ou um esquema de codificação +em camadas.

Compatibilidade evolutiva do codec

Uma tessera codificada hoje precisa ser decodificável em 50 anos. Reed-Solomon +sobre GF(2⁸) é um dos algoritmos mais amplamente implementados na computação — +está em todo leitor de CD, em todo scanner de código QR, em toda sonda espacial. +Essa ubiquidade é em si uma estratégia de sobrevivência. O algoritmo não será +esquecido porque metade da infraestrutura do mundo depende dele.

O quadro geral

Reed-Solomon é uma peça de um quebra-cabeça maior. Ele trabalha em conjunto com:

DHT Kademlia para encontrar pares e rotear fragmentos
Checksums BLAKE3 para verificação de integridade
Reciprocidade bilateral para troca justa de armazenamento (sem blockchain)
Diversidade de sub-rede para independência de falhas
Reparo automático para manter a redundância ao longo do tempo

Nenhuma técnica isolada faz memórias sobreviverem. Reed-Solomon garante que +dados podem ser recuperados. A DHT garante que fragmentos podem ser +encontrados. A reciprocidade garante que pares querem ajudar. O reparo +garante que nada disso se degrade com o tempo.

Uma tessera é uma aposta de que a soma desses mecanismos, rodando em muitas +máquinas independentes operadas por muitas pessoas independentes, é mais durável +que qualquer instituição isolada. Reed-Solomon é a fundação matemática dessa +aposta.

+ +