NCMA ENGINEERING / FIELD NOTES 01 / OUTUBRO 2026
O que aprendemos construindo sistemas de IA na prática: resultados positivos, falhas reproduzidas e decisões de engenharia baseadas em evidências.
Em setembro organizamos um mapa de técnicas para ir além da LLM isolada. Um mês de experimentos depois, a pergunta mudou: qual arquitetura conclui o trabalho, comprova o resultado e recupera o progresso?
TREINAMENTO COM OBJETIVO
A adaptação de ASR para português técnico teve ganho real no corpus de avaliação. O checkpoint foi selecionado com dados de desenvolvimento, e não pela menor loss isolada.
Limite: Recorte controlado; não é certificação geral de transcrição.
PARIDADE NÃO É SEGURANÇA
O merge e a quantização preservaram aproximadamente o comportamento observado, mas quatro casos de violação de segurança continuaram presentes.
Limite: Gate de exportação aprovado não equivale a gate de produção.
BENCHMARK COM CONTABILIDADE
No conjunto de 25 tarefas textuais, o candidato mais rápido concluiu 22. O Phi-4 concluiu 25, embora com menor throughput. A comparação envolve backends diferentes.
Limite: Conclusão não mede correção; uma passada não produz ranking geral.
G3 → G4H
A execução monolítica G3 terminou sem JSON final. No G4H, evidências seletivas, propostas delimitadas, verificação de fonte e checkpoints permitiram finalizar os mesmos 12 casos, com 60/60 campos corretos.
Limite: 28 propostas foram rejeitadas em 22 rodadas de checkpoint. Resultado do runtime completo, não prova de autonomia geral.
NOSSA TESE
Treinar e escolher bons modelos continua sendo importante. Mas a confiança operacional exige contexto selecionado, autorização fora da geração probabilística, validação independente, observabilidade e estado recuperável.
G3 e G4H compartilham o corpus sintético. A primeira execução consumiu 77.103 tokens de entrada e 16.384 de saída sem completar. A segunda mudou o fluxo e aceitou 78 transições verificadas, rejeitou 28 propostas e persistiu trabalho em 22 rodadas de checkpoint. A janela de 98.304 tokens estava configurada, não significa que cada chamada a preencheu.
Não se trata de um benchmark universal, nem da alegação de que um agente está pronto para produção. É um registro verificável da evolução de um laboratório.
Os resultados são datados, delimitados por tarefa e acompanhados por evidência negativa. Dados pessoais, segredos, topologias privadas e modelos não foram publicados.