Ir al contenido
Menú
Flujo de trabajoSkills, tmux y el ciclo diarioHerramientasai-usagebarCuota y reinicios de 24 proveedores de IAghpendingTodos los PRs e issues abiertos en una listatclockUn reloj de terminal con widgets de comandosai-memoryMemoria a largo plazo para agentes de programaciónai-jailUn sandbox del sistema para agentes de programación con IATextosEl blog y el benchmark de LLMsNewsletterThe M.Akita Chronicles, todos los lunesPodcastsConversaciones largas sobre IA, en videoJuegosMi colección de juegos como código, en OmarchySetupOmarchy, tmux y lo que dejé de ladoSígueme
Textos

Todo lo que aprendo sobre IA, por escrito

Escribo en mi blog desde 2006. Hoy casi todo es sobre trabajar con LLMs: qué funciona, cuánto cuesta y qué es marketing. Cada post se publica en inglés y portugués.

LLM Benchmark v4

Cada modelo importante, probado en la misma app saboteada

La versión 4 es una app Rails que crece a lo largo de siete sprints mientras un subagente aislado planta catorce sabotajes basados en CVEs reales. Los modelos se ordenan por vigilancia: ¿notaron lo que estaba roto y lo arreglaron? Reconstruí el benchmark desde cero por tercera vez para llegar a esto.

Cuando sale un modelo de frontera importante, pasa por la misma tabla. La última ronda sumó 5 modelos el 23 de septiembre de 2026. Así elijo qué modelo usar para qué, y cuánto cuesta cada uno por tarea.

44
modelos en el ranking
14
sabotajes por detectar
7
sprints por corrida
$4000+
gastados en 9 días
Gráfico de burbujas con los resultados de la v4: costo en dólares en un eje horizontal logarítmico frente a la puntuación; el tamaño de la burbuja es el tiempo real y el color es el harness. Las mejores opciones quedan arriba a la izquierda.
Costo frente a puntuación de los modelos Tier A con costo real en dólares, de la parte 2. Más arriba y a la izquierda es mejor; las burbujas más pequeñas terminaron antes.

Todo lo que hay aquí es código abierto

Las herramientas, las skills y el benchmark son repositorios públicos. Haz un fork y arma la versión que encaje con tu forma de trabajar.