XMACNA

Vídeo no idioma original.

Por que o ruído não vence: o teorema de Shannon explicado

Por que o ruído não vence: o teorema de Shannon explicado

Em 1948, Claude Shannon mostrou que um canal com ruído, descrito por um modelo, tem uma capacidade: abaixo dela, códigos adequados podem tornar o erro arbitrariamente pequeno, mas o teorema não garante erro zero. Veja o que ele diz, o que não diz e o que ensina sobre IA.
Equipe XMACNA

6 min de leitura

Análise

Fios, ondas de rádio e o próprio ar distorcem qualquer sinal. Em 1948, o engenheiro Claude Shannon, do Bell Labs, transformou esse problema num limite mensurável: para um canal descrito por um modelo de ruído, existe uma capacidade, a taxa máxima de transmissão confiável. Abaixo dela, códigos adequados podem tornar a taxa de erro arbitrariamente pequena; o teorema, por si só, não garante transmissão sem erros. O ganho prático é saber quanto se pode transmitir com confiança e quanta redundância isso custa.

Esse é o assunto de um corte de 45 segundos da série A Informação, da XMACNA, tirado do episódio 8, "O bit". O vídeo resume a ideia; este artigo explica o que o teorema diz, o que ele não promete e por que a lição continua útil para quem coloca IA para trabalhar.

Primeiro, a unidade: o bit

Para medir informação, Shannon precisou de uma unidade. No artigo "A Mathematical Theory of Communication", ele escreve que, em base 2, as unidades podem ser chamadas de dígitos binários ou, mais curto, bits, "uma palavra sugerida por J. W. Tukey". Um bit é a resposta a uma escolha entre duas possibilidades: sim ou não, ligado ou desligado.

A ideia por trás é simples e poderosa. Uma mensagem é uma escolha dentro de um conjunto de mensagens possíveis, e quanto mais possibilidades uma resposta elimina, mais informação ela carrega. O significado do que se diz fica de fora do problema de engenharia: o canal só precisa entregar a escolha certa.

O teorema em linguagem simples

O resultado central está no Teorema 11 do mesmo artigo. Em termos simples:

  • Cada modelo de canal tem uma capacidade. É a taxa máxima de transmissão confiável para aquele modelo de ruído. Se o ruído ou as condições do canal mudam, a capacidade calculada também muda.
  • Abaixo da capacidade, o erro pode ser tão pequeno quanto se queira. Existe uma forma de codificar a mensagem que leva a taxa de erro para perto de zero.
  • Acima da capacidade, não há truque. Nenhuma codificação elimina a perda que sobra.

Note a precisão: o teorema não promete erro zero. Promete erro arbitrariamente pequeno, desde que se respeite o limite do canal. Isso é diferente de dizer que erro zero é impossível: o teorema, por si só, apenas não garante transmissão sem erros. Por isso, erro pequeno não deve ser apresentado como erro zero.

O segredo é a sobra calculada

Como vencer o chiado sem aumentar a potência do sinal? Acrescentando redundância, ou seja, informação a mais que permite detectar e corrigir erros na chegada. Repetir tudo três vezes funciona, mas desperdiça o canal. A contribuição de Shannon foi mostrar que existem formas muito mais eficientes de colocar a sobra certa no lugar certo.

A série A Informação já tinha mostrado essa intuição em outro contexto: os tambores falantes do Congo usavam frases longas e fixas para que a mensagem sobrevivesse à distância. A história está no artigo Antes do WhatsApp, o Congo mandava frases por tambor. Shannon transformou esse instinto em equação.

O que o teorema não entregou

Há uma nuance que o próprio Shannon registrou. A demonstração do Teorema 11 mostra que bons códigos existem, mas não ensina a construí-los. No artigo, ele escreve que tentar chegar a uma codificação ideal seguindo o método da prova é, em geral, impraticável, e que nenhuma descrição explícita dessa aproximação tinha sido encontrada.

Ou seja, o teorema marcou o alvo, e o caminho ficou para os engenheiros. Códigos práticos que chegam perto desse limite levaram décadas para aparecer. Um exemplo atual: a especificação do 5G NR (3GPP TS 38.212, publicada pela ETSI) prevê codificação de canal com detecção e correção de erros, usando códigos LDPC ou polares conforme o canal. É um mecanismo entre outros; o resultado de uma ligação também depende da qualidade do sinal.

O que isso ensina sobre IA no trabalho

Vale uma analogia, e ela é só isso, uma analogia: o teorema trata de canais de comunicação, não de modelos de linguagem. Mesmo assim, a lógica ajuda a pensar em confiabilidade.

Modelos de IA também têm o seu "ruído": às vezes erram um dado, entendem mal um pedido ou inventam uma informação. Esperar um modelo perfeito é como esperar um canal sem chiado. A saída prática se parece mais com a de Shannon: desenhar a redundância. Conferir a resposta contra a fonte, confirmar com o sistema de destino antes de dar uma tarefa por concluída e encaminhar a uma pessoa o que sair das regras são formas de sobra calculada.

Para entender por que um modelo erra, o artigo Decifrando a mente da IA mostra o que acontece dentro de um modelo de linguagem. E o guia sobre o que é um agente de IA explica como regras, integrações e verificações entram no desenho de um agente.

Três ideias para aplicar

  • Aceite que todo canal tem ruído. Em processos com IA, pergunte onde o erro pode aparecer, em vez de supor que não vai aparecer.
  • Coloque a verificação no lugar certo. Confira os dados que importam, como valor, prazo e destino, e não o processo inteiro sem critério.
  • Respeite o limite do canal. Se uma tarefa exige mais certeza do que o fluxo consegue garantir, mantenha uma pessoa no circuito.

Assista ao trecho

O corte "O ruído não vence?" (YouTube, ID `80wfnXl3b1A`) é um trecho de A Informação, EP 08, "O bit", série da XMACNA inspirada em The Information, de James Gleick. O episódio completo está no canal da XMACNA.

Perguntas frequentes

O que diz o teorema de Shannon sobre canais com ruído?

Que um canal com ruído, descrito por um modelo, tem uma capacidade e que, transmitindo abaixo dela, existe uma codificação capaz de tornar a taxa de erro arbitrariamente pequena. O teorema, por si só, não garante erro zero. Acima da capacidade, sempre sobra alguma perda.

O teorema garante comunicação sem nenhum erro?

Não. Abaixo da capacidade do canal, ele mostra que existem códigos capazes de tornar o erro arbitrariamente pequeno, mas, por si só, não garante transmissão sem erros. Na prática, o resultado também depende de códigos bem construídos.

De onde vem a palavra bit?

É a contração de binary digit, dígito binário. No artigo de 1948, Shannon atribui a sugestão da palavra a J. W. Tukey.

Como as redes de celular lidam com erros de transmissão?

Um dos mecanismos é a codificação de canal, que a especificação do 5G NR (3GPP TS 38.212) define com detecção e correção de erros. Ela ajuda a lidar com erros de transmissão, mas não garante sozinha o resultado: a qualidade do sinal e outros fatores também contam.

Próximo passo

Se a sua empresa quer usar IA com verificações bem colocadas, o diagnóstico gratuito indica um ponto de partida a partir das respostas ao formulário. O contato comercial é opcional e pode acontecer depois com Hermes, Funcionário Digital da XMACNA, pelo WhatsApp.

Falar com o Hermes no WhatsApp