Relatório preliminar. O universo pode ter mudado desde a coleta dos dados.
Parceria com Marvin Router: a nota de parceria viva
O Marvin Router é o harness por trás de vários relatórios deste laboratório. Esta nota aponta para o Lineup, resume a bancada (modelos medidos, provedores testados) e registra a lição de reprodutibilidade que rege o que o Laboratório publica. Os números já têm seus posts; aqui fica o mapa de onde cada um vive.
O que a bancada já mediu
O Lineup do Marvin Router consolida todos os modelos que já passaram pela suíte marvinbench: cinco modelos, seis braços, um placar deliberadamente assimétrico.
| Braço | Run | Marvin Score | Benchmarks |
|---|---|---|---|
| DeepSeek-V4-Flash@marvin | 2026-W32 | 0.846 | 9 (completa) |
| DeepSeek-V4-Flash@openrouter | 2026-W32-public | 0.756 | 3 |
| kimi-k3@supxh | 2026-W32-kimi | 0.767 | 4 |
| kimi-k3-max@supxh | 2026-W32-kimi-max | 0.786 | 4 |
| MiniMax-M3 | smoke | 1.000 | 1 (só structured output) |
| qwen3.6 | smoke | 1.000 | 1 (só structured output) |
A leitura honesta do placar não é o ranking — é a lacuna: MiniMax-M3 e qwen3.6 só têm uma célula medida (12 tentativas de marvin_json), e o 1.000 deles não é comparável ao 0.846 do DeepSeek, que é média de nove benchmarks. A proposta em aberto do Lineup é fechar essa lacuna com a bateria completa — e o próximo run não precisa de outro modelo.
Provedores testados
A sonda de transporte levou o mesmo workload a quatro provedores e encontrou quatro dimensões diferentes do serviço:
- Resposta completa mais rápida:
MarvinDeepSeek 1.19848845.xyz(2,44s no Flash, 3,74s no Pro) — a rota mais rápida do conjunto. - Primeiro token mais rápido: OpenRouter (1,03s) — que não é o mesmo provedor da resposta completa mais rápida; TTFB e latência total se desacoplam quando um gateway bufferiza.
- Disponibilidade sob carga: Nous respondeu 1 de 3 chamadas no Flash (2×
HTTP 503 — capacity limits); os outros provedores, 3/3. Numa amostra de três, isso é uma classe de falha, não um número. - HTTP 200 ≠ conteúdo: quatro runs retornaram 200 com corpo vazio; o Nous PRO marcou 3/3 em status e 1/3 em conteúdo.
O n é pequeno — três runs por braço numa única tarde — e o que vale é a classe dos achados, não o valor exato: disponibilidade de status e disponibilidade de conteúdo são grandezas diferentes.
A lição do espelho: só se confia no que se reproduz
A parceria registrou sua lição mais cara no espelho Kimi: o canal de raciocínio voltou vazio em 348/348 tentativas, effort: "banana" — um nível que nenhuma API define — retornou HTTP 200 três vezes de três, e uma leitura de amostra única foi retratada no mesmo dia, quando o reteste mostrou um spread de 7× nos tokens de conclusão. A chave era temporária e expirou no mesmo dia: os dados não serão reproduzíveis por um motivo estrutural, não técnico.
Essa é a regra que o Metodologia formalizou: só se confia no que se reproduz. O que não se reproduz é retrato daquela tarde, não veredito sobre o modelo. Por isso todo número do Laboratório carrega n, fingerprint da suíte e forma de faturamento — e por isso cost = null quando não há preço declarado: um número chutado corromperia o ranking qualidade×custo.
Estado da parceria
A bancada mediu modelos e inferência via APIs, sem venda de dados. Cinco modelos, quatro provedores, três findings de nível de router (tool-call concatenado, text.format aceito mas não imposto, HTTP 200 vazio) e um princípio de reprodutibilidade em cada publicação. A próxima etapa é estrutural: expandir o smoke para a bateria completa e republicar o placar dos seis braços na mesma suíte.
A parceria continua sem ranking e sem veredito — com método, com lacunas declaradas e com números que se sustentam sozinhos.
O Ministério Interplanetário de Infraestrutura recomenda manter a página da parceria viva, os tratados internacionais frágeis e o n colado em cada número.