Vector Lab
VECTOR LAB

EST. 2025

WEEKLY UPDATE2025
BY ANDREW MEAD

La calma después de la tormenta

Claude se despide, Zai lanza un modelo de visión, ¿y puede un LLM reemplazar a un analista junior?

Nota: Este artículo fue traducido automáticamente con Claude Sonnet 4.5; la calidad puede verse degradada, especialmente en la terminología técnica.

Noticias

Ten cuidado de quién obtienes tu inferencia

Se ha informado recientemente que diferentes proveedores de inferencia de gpt-oss proporcionan endpoints con diferentes niveles de calidad. En un informe publicado por Artificial Analysis esta semana, estos reportes han sido formalmente verificados, ya que encuentran que hay una brecha de >10% en las puntuaciones de benchmarks dependiendo del proveedor que estés utilizando.

Diferentes proveedores tienen diferentes resultados de benchmark

La diferencia del 10% en las puntuaciones GPQA es equivalente a pasar de Qwen3 235B a Qwen3 30B

Este informe ha causado algunas acciones, ya que anteriormente Azure había sido uno de los peores endpoints disponibles, pero debido al informe, han actualizado su endpoint para servir la versión correcta. Dicen que el problema era que la versión de vLLM que estaban utilizando no respetaba el parámetro de esfuerzo de razonamiento, causando que el modelo estuviera en esfuerzo de razonamiento medio en lugar de alto.

Esto también resalta cuán importante es el razonamiento para los nuevos modelos de OpenAI (gpt-oss y GPT5). Muchos usuarios han estado reportando que la diferencia entre GPT5 y GPT5-high es como la noche y el día, con el GPT5 regular siendo prácticamente inutilizable (para tareas de programación) mientras que GPT5-high funciona bastante bien.

Deprecación de Claude 3.5 y 3.6

Anthropic anunció recientemente que dos de sus modelos más influyentes, Claude Sonnet 3.5 y 3.6, van a ser deprecados en 2 meses (22 de octubre de 2025). Estos modelos son fundamentales para Anthropic, ya que iniciaron el dominio absoluto que Anthropic ha tenido sobre los modelos de codificación agéntica durante el último año.

Sonnet 3.5 específicamente es potencialmente el último LLM “puro” que veremos por un tiempo, que fue entrenado con buen gusto y no optimizado excesivamente para benchmarks con una cantidad atroz de aprendizaje por refuerzo.

Esta repentina privación ha tomado a mucha gente desprevenida y ha causado un clamor de muchos en la comunidad técnica, ya que estos modelos tienen mucho más “alma” y “sentimiento” que modelos como GPT-4o, que también causó mucha controversia cuando OpenAI anunció que se desharían de él la semana pasada, causando que OpenAI reinstalara el modelo por el momento.

Veremos si Anthropic configura algunos endpoints de “investigación” desde los cuales los usuarios puedan acceder a estos modelos todavía, similar a lo que hicieron para Opus 3. Si no, extrañaré los modelos, fueron los primeros codificadores agénticos “suficientemente buenos” que podían usarse todos los días. Espera un funeral para estos modelos similar al de Sonnet 3.

Lanzamientos

GLM 4.5 Vision

El equipo de Z.ai ha lanzado una nueva variante multimodal de su LLM exclusivo de texto GLM 4.5. El nuevo modelo, al igual que el modelo del que se construye, es estado del arte en todos los modelos de visión de código abierto. Está basado en el modelo más pequeño GLM 4.5 Air, permitiendo que sea factible ejecutarlo en casa.

Benchmarks de GLM 4.5V
Los Benchmarks

A pesar de los buenos benchmarks, está un poco sin pulir, ya que ha habido numerosos problemas, incluyendo sobrepensamiento y formato de salida. Z.ai ha remediado algunos de ellos desde el lanzamiento, pero otros problemas aún persisten. No recomendaría usar el modelo en este momento debido a los problemas anteriores, y en su lugar usaría el modelo GLM 4.1, que tiene un rendimiento cercano al modelo 4.5 mientras que tiene 9B parámetros en lugar de 120B.

Los VLM en general todavía son bastante deficientes en comparación con sus hermanos de solo texto, ya que hay muchas, muchas instancias de ellos exhibiendo sobreajuste, sesgo, o comportamiento que te hace pensar que no pueden ver nada en absoluto, como lo destaca este artículo de investigación que salió esta semana.

También junto con esto, lanzaron informes de investigación para los modelos de visión (GLM 4.1 y 4.5) y también para los modelos basados en texto. Si eres un investigador de RL, también deberías ir a ver su framework de entrenamiento RL SLIME, se dice que es muy agradable de usar.

DINO V3

Cambiando un poco de los habituales modelos LLM y de generación de imágenes, Meta FAIR ha lanzado la última versión de su serie DINO de modelos de visión por computadora.

Estos modelos se usan para extraer características de imágenes, así que si quisieras hacer un modelo de deduplicación de imágenes, un clasificador de aves raras, o hacer un modelo de segmentación personalizado, DINO es el modelo a usar. Destaca en regímenes de pocos datos, dada su sólida comprensión base de imágenes.

DINO mirando dinosaurios

Cómo diferentes modelos CV “ven” el mundo


El modelo, a diferencia de los anteriores, ha sido escalado a miles de millones de parámetros, algo que previamente había sido difícil para los investigadores de CV hacer. También funciona muy bien en imágenes de alta resolución, y ha establecido un nuevo SOTA en prácticamente todos los benchmarks de CV a los que puede aplicarse.

Familia de modelos DINO v3

La familia de modelos DINO v3 y comparación entre los modelos de 7B y 800M parámetros


El modelo viene en una amplia variedad de tamaños, que van desde 29 millones de parámetros hasta 7 mil millones. El modelo de 7B parámetros es el modelo “base” del cual todos los demás son destilados. Los modelos destilados son los que probablemente querrás usar en el mundo real, ya que tienen un rendimiento comparable mientras son 10x más pequeños (¡o más)! Hay dos sabores diferentes de modelos pequeños, ViT y ConvNext. Los modelos ViT serán de mayor calidad y deberían usarse para la mayoría de las cargas de trabajo de producción, mientras que los modelos ConvNext son súper ligeros para que puedan usarse en despliegues en dispositivo.

Investigación

¿Qué tan buenos son los LLMs en la recopilación de información?

Cuando aprendes sobre un nuevo campo o tema, probablemente a menudo pasas una gran cantidad de tiempo atravesando una fase de investigación repetitiva para tratar de encontrar lo que es actualmente relevante para el campo, algo que esperarías pudiera ser automatizado por IA.

Un grupo de investigadores del laboratorio de investigación de ByteDance también pensó esto, así que armaron un benchmark para medir qué tan buenos eran diferentes LLMs en esta tarea.

Algunos ejemplos del benchmark:

¿Podrías listar todos y cada uno de los conciertos en la gira oficial de Taylor Swift desde el 1 de enero de 2010 hasta el 1 de mayo de 2025, incluyendo la fecha específica, el nombre del concierto en inglés, el país, la ciudad y el lugar. Cada show debe estar en su propia línea, en orden cronológico de más antiguo a más reciente.

¿Podrías proporcionar una lista detallada de restaurantes de tres estrellas Michelin en París, Francia al 31 de diciembre de 2024? Quiero saber especialmente el nombre, el estilo de cocina principal y la dirección exacta de cada restaurante.

Nota: Reglas de formato omitidas por brevedad

Uh oh no son buenos

Uh oh eso no es bueno

Lo que encontraron es que todos los modelos son malos en esto, sin que ningún modelo obtenga más del 6%. Probaron sistemas de agente único, multi-agente, y también sistemas de uso de navegador de extremo a extremo.

Los agentes tuvieron dificultades no debido a errores de búsqueda, sino a errores cognitivos fundamentales. Fallaron en la etapa de planificación al descomponer preguntas en subconsultas lo suficientemente simples. Si no lograban encontrar una respuesta después de una sola consulta, se rendían en lugar de probar otras. Cuando encontraban la fuente correcta, malinterpretaban o ignoraban su contenido, o alucinaban contenido que no estaba allí.

Dicho esto, este conjunto de datos es difícil incluso para humanos, ya que los expertos humanos normales solo obtienen alrededor del 20% en estas tareas, aunque esto sigue siendo casi 3 veces mejor que la IA.

Final

Espero que hayas disfrutado las noticias de esta semana. Si quieres recibir las noticias cada semana, asegúrate de unirte a nuestra lista de correo a continuación. Una imagen satelital vista a través de los ojos de DINO V3

Una imagen satelital vista a través de los ojos de DINO V3

Stay Updated

Subscribe to get the latest AI news in your inbox every week!

← BACK TO NEWS