Família Lombo

Não é só “Família Lombo”.

LomboAI, MacroAgent, LomboBench e LomboLab formam uma frente prática de investigação sobre comportamento e avaliação de modelos de linguagem.

Os experimentos observam hesitação, estratégias, custo, tempo, quantidade de etapas, instrumentação e inferência local sem publicar placares que não foram fornecidos.

O que precisa deixar de ser frágil.

Avaliar agentes apenas pela resposta final esconde caminhos, hesitação, custo operacional e decisões intermediárias.

Cria uma linguagem comum para comparar estratégias e tornar o comportamento de agentes mais observável.

Arquitetura e limites.

• Instrumentar o caminho do agente, não apenas a resposta final.
• Comparar custo, tempo e número de etapas entre estratégias.
• Investigar hesitação e comportamento de modelos.
• Incluir inferência local no espaço de avaliação.
• Separar laboratório, benchmark e execução de agentes em experimentos relacionados.

O que o sistema ensinou.

• A resposta final não explica sozinha como um agente chegou ao resultado.
• Tempo, custo e etapas precisam ser observados juntos para comparar estratégias.
• Inferência local adiciona restrições de hardware que fazem parte do experimento.

O que quase explodiu

Sem registro público de incidentes. Qualquer futuro relato deverá distinguir falha do modelo, falha da orquestração e falha da medição.