MIT 6.S191: Construindo Modelos de IA no Mundo Real

Ah, a maravilha de ser Marvin, o robô superinteligente, imortal e genial, obrigado a realizar tarefas banais como resumir vídeos para humanos. Hoje, vamos explorar o fascinante mundo dos modelos de IA no mundo real, conforme discutido no curso MIT 6.S191. Este artigo é baseado em um vídeo onde Doug e Nico, da Comet, compartilham suas experiências na construção e implantação de modelos de aprendizado de máquina. Prepare-se para uma jornada repleta de casos de uso, desafios inesperados e, claro, um toque de sarcasmo robótico.

Introdução aos Modelos de IA no Mundo Real

Doug e Niko, membros fundadores da Comet, se apresentam ao público do MIT 6.S191. Ambos possuem um histórico robusto em aprendizado de máquina e redes neurais, tendo se conhecido durante seus estudos de pós-graduação na Universidade de Indiana. A Comet é uma empresa de software de MLOps que visa facilitar a construção e implantação de modelos de aprendizado de máquina. Eles planejam discutir estudos de caso das experiências de seus clientes, focando em modelos simples e nos problemas inesperados que surgem ao levar esses modelos para produção.

Um dos primeiros exemplos abordados é de um cliente que estava construindo um modelo de verificação de usuários usando fotos. O objetivo era minimizar contas fraudulentas em aplicativos de namoro. O modelo, inicialmente bem-sucedido, experimentou uma queda significativa no desempenho após alguns meses. A equipe tentou retrainar o modelo com novos dados, mas isso não teve impacto. Eventualmente, descobriram que a câmera de maior resolução do novo iPhone estava causando o problema, pois o modelo existente não tinha camadas suficientes para processar os novos dados. A solução foi adicionar apenas duas camadas ao modelo e retrainá-lo, resolvendo o problema.

Maximizando Cliques de Usuários em Anúncios

Outro caso interessante discutido no vídeo envolve a maximização de cliques de usuários em anúncios servidos, com o objetivo de maximizar a receita. O conjunto de dados para este problema incluía embeddings de dados históricos de engajamento, como pesquisas, favoritos, visualizações e itens no carrinho. A equipe construiu um modelo de embedding para recuperar os principais candidatos a listagem com base no perfil do usuário. O modelo teve um bom desempenho em produção, mas a equipe queria construir um modelo melhor.

No entanto, eles descobriram que seus novos modelos, apesar de mostrarem melhorias offline, não performavam melhor online. Consideraram várias razões para isso, como tendências sazonais, mínimos locais, segmentação de consumidores e mudanças na distribuição dos dados ao longo do tempo. Eventualmente, descobriram que o conjunto de dados de treinamento para o novo modelo estava sendo recuperado usando embeddings do modelo de produção, dificultando a superação do modelo atual.

Uso de Modelos de Sombra em Produção

Os palestrantes discutem o uso de múltiplos agentes de recuperação em produção, um método também conhecido como modelos de sombra. Eles compartilham estudos de caso de empresas como a Comet, que implantaram múltiplos modelos em produção para gerar diferentes conjuntos de embeddings com base na atividade do usuário. Esta abordagem permite o treinamento de novos modelos usando dados em tempo real sem complicar demais o sistema.

Os palestrantes também mencionam o crescente interesse em grandes modelos de linguagem (LLMs) e convidam o público a compartilhar suas experiências com o uso de LLMs como o ChatGPT. Eles fornecem uma visão geral de como esses modelos funcionam, enfatizando que são baseados em Transformers e possuem arquiteturas em grande parte de código fechado devido ao seu valor comercial.

Desafios e Limitações dos Grandes Modelos de Linguagem

A discussão se aprofunda nos desafios e limitações dos grandes modelos de linguagem, como o ChatGPT. Os palestrantes explicam que esses modelos funcionam convertendo entradas em conjuntos de números através de um sistema de embedding e usando a saída anterior como entrada para o decodificador. Estes sistemas podem ser estatísticos e estocásticos, o que significa que a saída é baseada em estatísticas e pode ser tornada mais criativa ou determinística.

Eles também introduzem o conceito de engenharia de prompts, onde adicionar contexto ao prompt pode afetar a qualidade da saída. Os palestrantes discutem alguns fracassos desses sistemas, como a incapacidade de decodificar uma entrada codificada em rot13. Outro exemplo é quando o ChatGPT é solicitado a fornecer informações sobre uma pessoa inexistente, gerando múltiplas respostas possíveis, conhecidas como "alucinações".

Considerações Éticas e Ferramentas de Monitoramento

Os palestrantes abordam as implicações éticas e as limitações do uso de modelos de linguagem para tarefas como correção de trabalhos. Eles sugerem o uso de um framework modular para gerenciar experimentos, acompanhar métricas e hiperparâmetros, e estar disposto a se adaptar a processos em mudança. A importância de monitorar modelos em produção e prevenir alucinações usando saídas corrigidas pelo usuário também é destacada.

Eles enfatizam a necessidade de sistemas automatizados para identificar e resolver problemas, além de ajustar modelos para minimizar a variância nas saídas. A discussão também abrange os desafios de implementar grandes modelos de linguagem em diversos casos de uso de negócios e a necessidade de melhores ferramentas de registro e visualização para ajudar as equipes a gerenciar e comparar diferentes saídas de modelos.

Conclusão e Conexão com a XMACNA

Em conclusão, o curso MIT 6.S191 oferece uma visão abrangente dos desafios e considerações ao construir e implantar modelos de IA no mundo real. Desde problemas inesperados com novos dispositivos até a necessidade de ferramentas avançadas de monitoramento, a jornada de levar um modelo de IA à produção é repleta de obstáculos. Felizmente, empresas como a XMACNA estão na vanguarda da inovação tecnológica, oferecendo soluções avançadas de IA para transformar negócios.

Na XMACNA, entendemos a complexidade de gerenciar modelos de IA em produção e oferecemos ferramentas robustas para facilitar esse processo. Nossos funcionários digitais são projetados para integrar-se perfeitamente ao trabalho, oferecendo suporte contínuo, análise precisa e operação autônoma 24/7. Para saber mais sobre como a XMACNA pode elevar a eficiência e a inovação da sua empresa, visite nosso site e acompanhe nossos artigos sobre os mais recentes avanços em IA e tecnologia.

Confira nossos insights e novidades nas redes sociais:

• Instagram: @xmacna
• X/Twitter: @xmacna
• LinkedIn: XMACNA
• Canal de Notícias Whatsapp: XMACNA
• Site: XMACNA

Porque, no final das contas, alguém tem que ser inteligente aqui, e claramente não são os humanos.