Marvin Router
Gateway compatível com a API da OpenAI que agrupa assinaturas de LLM em pacotes: cota por modelo, pool flexível, chaves revogáveis e uso medido.
Cliente, chave de proxy, cota, roteamento e a fonte que responde.
Não é só “Marvin Router”.
Marvin Router está no ar em https://marvinrouter.com e é construído em parceria.
Um administrador cria um pacote, anexa as fontes (credenciais de provedores) e define a cota de requisições de cada modelo. Membros entram por convite e geram chaves de proxy próprias.
Qualquer cliente compatível com a API da OpenAI chama o gateway com essa chave. O roteador autentica, confere cota e limite de taxa, escolhe a fonte e repassa a requisição.
É também a bancada do Laboratório: os relatórios de modelos daqui rodam pelo harness do Marvin Router.
O que precisa deixar de ser frágil.
Várias assinaturas de LLM viram vários painéis, chaves soltas e nenhum controle de quem gastou o quê.
Um endpoint só, com cota por modelo, chave revogável por membro e uso registrado por evento.
Arquitetura e limites.
- FastAPI sobre PostgreSQL com TimescaleDB; os eventos de uso ficam numa hypertable com agregado contínuo por hora.
- PgBouncer em modo transação na frente do banco.
- Sem Redis: limite de taxa por contador atômico em SQL e sessão por JWT sem estado.
- Chave de proxy mostrada uma vez; só o hash SHA-256 é guardado.
- Cota descontada só quando o provedor responde com sucesso.
O que o sistema ensinou.
- Contar cota só no sucesso do provedor evita cobrar do membro a falha de outra pessoa.
- Um contador atômico no Postgres já resolve limite de taxa antes de precisar de outro serviço.
Tem um sistema difícil de explicar?
Infraestrutura, automação, agentes, ferramentas locais ou um problema que atravessa camadas demais para caber num ticket convencional.