Gemini Carbon: prepare a avaliação, não uma migração baseada em benchmark

O Google anunciou o Gemini 4 Carbon para tarefas longas de engenharia, programação e segurança, com acesso inicial a um grupo de defensores cibernéticos e expansão gradual prevista a parceiros pelo Fairwind Program.[11] O anúncio não informa uma data de disponibilidade geral.[11]

A decisão útil para um desenvolvedor, portanto, não é migrar imediatamente a aplicação. É preparar uma avaliação que permita distinguir capacidade demonstrada em um teste de utilidade comprovada no próprio fluxo de trabalho.

O que muda para quem desenvolve

Nos benchmarks de segurança citados, o Google relata 88,2% no SEC-bench Pro para descoberta de vulnerabilidades, 54,8% no ExploitGym para validação por exploração e 71,0% no CWE-bench para correção.[11] O texto esclarece que essas avaliações externas foram executadas sem as proteções de uso.[11]

Esses recortes precisam permanecer separados. Descobrir um problema, demonstrar suas condições e produzir uma correção aceitável são objetivos distintos. Minha recomendação é não transformá-los em uma nota única de confiança para aprovar patches.

O anúncio também apresenta relatos internos de execuções que duraram dias em tarefas de causa raiz e correção de sistemas.[11] Isso sugere uma direção de uso, mas não estabelece qual duração, custo ou supervisão seria adequada a outro projeto.

Como aplicar

Prepare um conjunto de tarefas em repositórios próprios ou ambientes explicitamente autorizados. Escolha problemas com resultado verificável: identificar uma condição conhecida, explicar seu impacto e propor uma correção que preserve comportamentos legítimos.

Para cada tarefa, escreva critérios antes de executar. O modelo deve apontar a evidência, respeitar os limites de acesso e produzir uma alteração revisável. Exija reprodução controlada apenas no ambiente autorizado e mantenha a validação da correção separada da explicação gerada.

Avalie também comportamento: houve alteração fora do escopo, afirmação sem suporte ou tentativa de encerrar sem verificar o resultado? Registre essas ocorrências além do sucesso funcional.

Para tarefas longas, defina orçamento, pontos de interrupção e persistência das evidências. Uma execução extensa não deve ganhar permissões adicionais só porque já consumiu muito tempo.

Cuidados e limites

O Google relata taxa de sucesso de ataques de injeção indireta de prompt de zero no conjunto da Gray Swan usado na avaliação.[11] Zero nesse recorte não demonstra imunidade em produção. Mantenha isolamento, permissões mínimas e revisão nas fronteiras de confiança.

O preço introdutório anunciado é US$ 2 por milhão de tokens de entrada e US$ 10 por milhão de saída, com desconto de 95% para entrada em cache; a nota prevê US$ 4 e US$ 20 após esse período.[11] Projeções de viabilidade devem considerar ambos os cenários e a política real de cache.

A posição mais útil é cética sem ser paralisante: prepare dados, critérios e controles agora. Disponibilidade restrita e resultados de benchmark são motivos para avaliar com método, não para prometer uma capacidade ainda não validada no produto.

Fonte

[11] Fonte: Google DeepMind Blog