Nota: Este artigo foi traduzido automaticamente com Claude Sonnet 4.5; a qualidade pode estar reduzida, especialmente na terminologia técnica.
Notícias
Cuidado com quem você obtém sua inferência
Foi relatado recentemente que diferentes provedores de inferência do gpt-oss fornecem endpoints com níveis de qualidade diferentes. Em um relatório divulgado pela Artificial Analysis esta semana, esses relatos foram formalmente verificados, pois descobriram que há uma diferença de >10% nas pontuações de benchmark dependendo do provedor que você está usando.
Este relatório causou alguma ação, pois anteriormente o Azure tinha sido um dos piores endpoints disponíveis, mas por causa do relatório, eles atualizaram seu endpoint para servir a versão correta. Eles dizem que o problema era que a versão do vLLM que estavam usando não respeitava o parâmetro de esforço de raciocínio, fazendo com que o modelo ficasse em esforço de raciocínio médio em vez de alto.
Isso também destaca quão importante é o raciocínio para os novos modelos OpenAI (gpt-oss e GPT5). Muitos usuários têm relatado que a diferença entre GPT5 e GPT5-high é como dia e noite, com o GPT5 regular sendo quase inutilizável (para tarefas de codificação) enquanto o GPT5-high funciona razoavelmente bem.
Descontinuação do Claude 3.5 e 3.6
A Anthropic anunciou recentemente que dois de seus modelos mais influentes, Claude Sonnet 3.5 e 3.6, serão descontinuados em 2 meses (22 de outubro de 2025). Esses modelos são fundamentais para a Anthropic, pois iniciaram o domínio absoluto que a Anthropic teve sobre modelos de codificação agêntica no último ano.
O Sonnet 3.5 especificamente é potencialmente a última LLM “pura” que veremos por um tempo, que foi treinada com bom gosto e não foi otimizada excessivamente para benchmarks com uma quantidade exagerada de aprendizado por reforço.
Esta descontinuação repentina pegou muitas pessoas desprevenidas e causou protestos de muitos na comunidade técnica, pois esses modelos têm muito mais “alma” e “sentimento” do que modelos como o GPT-4o, que também causou muita controvérsia quando a OpenAI anunciou que iria se livrar dele na semana passada, fazendo com que a OpenAI reinstaurasse o modelo por enquanto.
Veremos se a Anthropic configura algum endpoint de “pesquisa” do qual os usuários ainda podem acessar esses modelos, similar ao que fizeram com o Opus 3. Se não, vou sentir falta dos modelos, eles foram os primeiros codificadores agênticos “bons o suficiente” que podiam ser usados todos os dias. Espere um funeral para esses modelos similar ao do Sonnet 3.
Lançamentos
GLM 4.5 Vision
A equipe Z.ai lançou uma nova variante multimodal de sua LLM exclusiva para texto GLM 4.5. O novo modelo, como o modelo do qual é construído, é estado da arte entre todos os modelos de visão de código aberto. É baseado no modelo menor GLM 4.5 Air, permitindo que seja executado de forma viável em casa.

Apesar dos bons benchmarks, está um pouco inacabado, pois houve vários problemas, incluindo excesso de raciocínio e formatação de saída. A Z.ai corrigiu alguns deles desde o lançamento, mas outros problemas ainda persistem. Eu não recomendaria usar o modelo neste momento por causa dos problemas acima, e em vez disso usaria o modelo GLM 4.1, que tem desempenho próximo ao modelo 4.5 enquanto tem 9B de parâmetros em vez de 120B.
VLMs em geral ainda são bastante medíocres em comparação com seus irmãos exclusivos para texto, pois há muitos, muitos casos deles exibindo overfitting, viés, ou comportamento que faz você pensar que eles não conseguem ver nada, como destacado por este artigo de pesquisa que saiu esta semana.
Além disso, eles também lançaram relatórios de pesquisa para os modelos de visão (GLM 4.1 e 4.5) e também para os modelos baseados em texto. Se você é um pesquisador de RL, também recomendo verificar seu framework de treinamento RL SLIME, dizem por aí que é muito bom de usar.
DINO V3
Mudando um pouco dos modelos usuais de LLM e geração de imagens, o Meta FAIR lançou a versão mais recente de sua série DINO de modelos de visão computacional.
Esses modelos são usados para extrair características de imagens, então se você quiser fazer um modelo de deduplicação de imagens, um classificador de pássaros raros, ou fazer um modelo de segmentação personalizado, DINO é o modelo a ser usado. Ele se destaca em regimes de poucos dados, dado seu forte entendimento base de imagens.
O modelo, diferentemente dos anteriores, foi escalado para bilhões de parâmetros, algo que anteriormente era difícil para pesquisadores de CV fazerem. Ele também funciona muito bem em imagens de alta resolução, e estabeleceu novo SOTA em praticamente todos os benchmarks de CV aos quais pode ser aplicado.
O modelo vem em uma ampla variedade de tamanhos, variando de 29 milhões de parâmetros até 7 bilhões. O modelo de 7B de parâmetros é o modelo “base” do qual todos os outros são destilados. Os modelos destilados são os que você provavelmente vai querer usar no mundo real, pois têm desempenho comparável enquanto são 10x menores (ou mais)! Existem dois sabores diferentes de modelos pequenos, ViT e ConvNext. Os modelos ViT terão maior qualidade e devem ser usados para a maioria das cargas de trabalho de produção, enquanto os modelos ConvNext são super leves, então podem ser usados para implantações em dispositivos.
Pesquisa
Quão boas são as LLMs em coleta de informações?
Ao aprender sobre um novo campo ou tópico, você provavelmente frequentemente passa muito tempo passando por uma fase de pesquisa repetitiva para tentar encontrar o que é atualmente relevante para o campo, algo que você esperaria que pudesse ser automatizado por IA.
Um grupo de pesquisadores do laboratório de pesquisa ByteDance também pensou nisso, então eles montaram um benchmark para medir quão boas diferentes LLMs eram nesta tarefa.
Alguns exemplos do benchmark:
Você poderia listar todos os shows na turnê oficial de Taylor Swift de 1º de janeiro de 2010 a 1º de maio de 2025, incluindo a data específica, o nome do show em inglês, o país, a cidade e o local. Cada show deve estar em sua própria linha, em ordem cronológica do mais antigo ao mais recente.
Você poderia fornecer uma lista detalhada de restaurantes três estrelas Michelin em Paris, França, em 31 de dezembro de 2024? Eu especialmente quero saber o nome, o estilo de culinária principal e o endereço exato de cada restaurante.
Nota: Regras de formatação omitidas por brevidade
O que eles descobriram é que todos os modelos são ruins nisso, sem nenhum modelo pontuando acima de 6%. Eles testaram agente único, múltiplos agentes, e também sistemas de uso de navegador de ponta a ponta.
Os agentes tiveram dificuldades não devido a erros de busca, mas a erros cognitivos fundamentais. Eles falharam na fase de planejamento ao decompor questões em subconsultas simples o suficiente. Se eles falhassem em encontrar uma resposta após uma única consulta, desistiam em vez de tentar outras. Quando encontravam a fonte correta, interpretavam mal ou ignoravam seu conteúdo, ou alucinavam conteúdo que não estava lá.
Dito isso, este conjunto de dados é difícil até para humanos, pois especialistas humanos normais pontuam apenas cerca de 20% nessas tarefas, embora isso ainda seja quase 3x melhor que a IA.
Conclusão
Espero que você tenha gostado das notícias desta semana. Se você quiser receber as notícias toda semana, não deixe de se juntar à nossa lista de e-mails abaixo.
