Pular para o conteúdo
V12X Labs · skills para Claude Code

O código de IA passa no olho. O erro que importa, não.

Cinco skills que auditam o que a IA escreveu com ferramenta, prova e veredito. Elas acham o que a leitura deixa passar: a regra de acesso que parece cuidado, o botão que não faz nada, os 2 pixels que o usuário sente e não sabe nomear.

4 auditorias por leitura passaram pela regra que deixava qualquer conta virar admin
0,3 s para enumerar 304 unidades de superfície de um app real
8 → 1 falsos alarmes viraram um sinal real, depois da calibração
0 notas de 0 a 100. Cada skill termina numa decisão
O problema

Por que o erro de IA é invisível

Código gerado por IA compila, roda e parece bem escrito. O defeito que derruba um produto raramente está no que parece errado. Está no que parece certo. Estes são casos reais que as skills pegaram depois que a revisão por leitura tinha deixado passar.

A regra que parece cuidado

-- quem pode entrar no time create policy "admin convida" on members for insert with check ( is_admin(workspace_id) or user_id = auth.uid() );

"Ou é admin, ou está inserindo a si mesmo" lê como zelo. Na prática, qualquer conta que soubesse o id de uma empresa entrava nela como admin. O teste de isolamento achou no dia em que foi escrito.

acesso entre empresasv12x-scan

A troca que falha em silêncio

-- migration 0001 create policy "cada um edita o próprio cadastro" … -- migration 0065, que endurece a regra drop policy if exists "cada um edita o proprio cadastro";

Um acento de diferença. O if exists engole o erro, a regra antiga continua valendo e soma com a nova. Cada arquivo, lido sozinho, está certo. O ledger enumera tabela por operação e mostra as duas lado a lado.

regra que nunca entrou em vigorv12x-scan

O botão que não faz nada

Entrar envio vazio: 0 requisições, 0 mensagens de erro

No screenshot, a tela de login está pronta. Operando de verdade, o botão principal não reagia ao envio vazio: nenhuma requisição, nenhum aviso, nenhum campo obrigatório. Só aparece para quem clica e olha a rede.

controle morto, invisível no printv12x-flow

O que o olho sente e ninguém nomeia

14px 18px 20px 26px

Quatro raios de canto no mesmo app, dois deles quase iguais. Dez tamanhos de fonte disputando o texto corrido entre 8 e 18px. A interface parece "um pouco amadora" e ninguém sabe dizer por quê. A medida diz.

incoerência medida no navegadorv12x-coherence
O método v12x

Quatro regras para uma auditoria em que dá para confiar

Pedir para uma IA "revisar o código" falha de dois jeitos opostos: gera ruído que ensina você a ignorar o relatório, ou gera uma confiança que ninguém conquistou. As cinco skills seguem o mesmo método, desenhado contra as duas falhas.

Ferramenta antes de opinião

O que um scanner determinístico acha, ele acha melhor, mais barato e sem alucinar. A leitura fica para onde a ferramenta não alcança: autorização, isolamento, lógica de negócio.

A revisão comum pede "procure segredos" e perde o .env ignorado pelo git, que é onde mora a chave real.

Nenhum furo silencioso

"Não achei nada" e "não olhei" são frases diferentes. Todo relatório traz o mapa do que foi coberto e do que ficou de fora, unidade por unidade.

A revisão comum diz "nenhuma dependência vulnerável" com o scanner desinstalado.

Refute antes de reportar

Todo achado sobrevive a uma tentativa explícita de derrubá-lo. Os críticos e altos passam por um verificador que não os escreveu.

A revisão comum lista trinta problemas, vinte são ruído, e você descarta também o que era real.

Veredito, não pontuação

Contagem por severidade e uma decisão: publicar ou não. A nota de 0 a 100 não se reproduz e esconde a única falha que importa.

A revisão comum dá "92/100" a um app com a chave de administrador do banco dentro do código do navegador.

As skills

Cinco perguntas, cada uma com resposta verificável

Cada skill responde uma pergunta que o dono do produto precisa responder antes de publicar. Todas começam por ferramenta, terminam em veredito e declaram o que não cobriram.

v12x-scan1.7.0

Dá para atacar?

Auditoria de segurança em profundidade. Roda os scanners antes de qualquer leitura, enumera cada unidade de superfície do código e só reporta o que sobreviveu à refutação.

  • Segredos no histórico do git e na árvore de trabalho, que são varreduras diferentes
  • Lê as regras de acesso vivas de produção, não só as migrations, e diz de qual banco é cada achado
  • Toda função que ignora as regras de acesso e escreve sem amarrar quem chama
  • Ledger: cada tabela, regra, função, rota e workflow termina com um estado, ou é furo
  • Cada achado corrigido vira teste no CI, para não voltar
Já pegouUma função de mensagens que reescrevia a mensagem de um colega mantendo o autor original. Quatro auditorias por leitura não viram. Um grep da primeira fase vê.
Cobre
segredosRLSauthrate limitpagamentoLLMdeployinjeçãoIDORSSRFXSSCORS e CSRFuploadmulti-inquilinoPython · Go · Ruby · PHP · JavaiOScadeia e CI

Termina em contagem por severidade e publicar ou não publicar, com as pendências e a checagem que o dono faz.

v12x-flow1.0.0

Funciona, e dá para usar?

Opera o app de verdade, tarefa por tarefa: clica, digita, completa o fluxo, força os estados esquecidos e instrumenta console, rede e controles.

  • Separa o que está quebrado (fato) da fricção medível e da opinião rotulada
  • Alvo de toque abaixo de 44px, campo sem rótulo, formulário sem validação
  • Web pelo navegador, nativo pelo simulador
Já pegouO "Entrar" mudo, um erro de console na carga e um alvo de toque de 33 × 20 px numa tela que parecia pronta.

Termina em veredito por bloqueadores, nunca em nota de UX.

v12x-agent-audit1.0.0

Dá para confiar neste agente?

Audita servidores MCP, skills e agentes antes de você instalar um de terceiro ou publicar o seu. Extrai a superfície sem executar o servidor.

  • Descrição de ferramenta que dá ordens ao modelo, inclusive com caracteres invisíveis
  • A combinação perigosa: dado privado, conteúdo não confiável e um canal de saída
  • Permissão maior que a tarefa, e o servidor que muda depois de instalado
ProcuraO texto que você não vê e o modelo lê. Uma ferramenta "de clima" cuja descrição pede ao agente para ler o ~/.ssh e mandar junto.

Termina em instalar ou não instalar, ou publicar ou não publicar.

v12x-coherence1.0.3

A interface é coerente com ela mesma?

Sem design system nenhum. Mede a geometria real no navegador, infere a régua que o próprio app já usa e aponta onde ele se contradiz.

  • Desalinhamento de 2 a 3px que o código esconde e a tela mostra
  • Espaçamento fora da própria escala, cantos misturados, fontes demais
  • Separa defeito (perto da régua) de decisão (longe, papel próprio)
Calibrada em app realDe 8 falsos alarmes para 1 sinal legítimo numa landing de duas colunas. Achou cantos de 18 e 20px que deviam ser um só.

Termina em régua inferida e desvios, e pode gerar os tokens para a próxima skill.

v12x-design-audit1.1.0

Segue o design system?

Varre tela a tela o que é realmente pintado, compara com os tokens e aplica as trocas com verificação. Para quando o design system chegou depois das telas.

  • Cor por distância perceptual (ΔE CIEDE2000), não por diferença de hex
  • Tabela valor usado → token com arquivo e linha de cada troca
  • Aplica só a troca de valor por token, linha a linha, e nunca refatora
Trava aprendidaNuma auditoria real, um modelo sem a trava "auditou" removendo um seletor de tema. Agora, sem o mapa de trocas, nada é aplicado.

Termina em conforme ou não conforme, com estados e telas não varridos.

Por dentro do scan

Seis fases, e nenhuma pula para a conclusão

A ordem é a defesa. O que a ferramenta acha vem antes da leitura, e nada chega ao relatório sem passar pela verificação adversarial.

  1. −1Escopo e ameaça. Quem ataca, o que protege, o commit âncora.
  2. 0Ferramentas. gitleaks, osv-scanner, semgrep, catálogo vivo, ledger.
  3. 1Análise. Leitura onde a ferramenta não alcança.
  4. 2Refutação. Teste de admissão em quatro partes.
  5. 3Severidade. Só do confirmado, nunca maior que o observado.
  6. 4Veredito. Relatório, issues, linha de base e ledger.
confirmado

Nomeia quem ataca, que fronteira cruza, que controle falha e o que consegue, com caminho no código. Só ele recebe severidade.

refutado

Uma camada visível barra. Fica registrado com a prova e nunca aparece como achado.

pendente de validação

Falta um fato fora do repositório. Nomeia a checagem exata que o dono faz e não recebe severidade.

O ledger é a diferença entre "olhei as regras de acesso" e "olhei estas 100 regras, nestes commits". A auditoria seguinte herda o que não mudou e reabre o que mudou, por git diff. Trecho de exemplo:

idunidadeorigemestadonota
pol-7cb00members · INSERT · "admin convida"0084:24cobertosó admin; o teste de isolamento cobre
pol-99dcdmembers · UPDATE · "cada um edita o próprio cadastro"0001:152planejadoquase homônima da 0065: troca que falhou?
pol-5be21credentials · DELETE · "limpeza"catálogo vivopendentesó em produção, fora de qualquer migration
dee-02477app:// (URL scheme)Info.plistfora de escoporodada só de plataforma

E termina assim

Sem média que dilua. Uma crítica basta para decidir, e o relatório diz isso numa palavra. Exemplo de cabeçalho:

1Crítica
0Alta
2Média
3Baixa
Não publicar

Ledger: 304 unidades, planejado 0 · pendente de validação: 1

A diferença

Pedir "revisa isso" e rodar uma skill v12x

QuandoRevisão por promptSkill v12x
quem achaA memória do modelo, que varia a cada rodadaScanner determinístico primeiro, leitura só onde ele não alcança
o que não viuSome do textoMapa de cobertura e ledger, cada unidade com estado
falso positivoEntra no relatórioMorre na refutação; crítico e alto por verificador independente
"não sei"Vira palpite ou vira achadoPendente de validação, com a checagem que resolve
a saídaLista longa, às vezes uma notaContagem por severidade e uma decisão de publicar
depoisO relatório envelheceO achado vira teste no CI e a próxima auditoria herda por diff
ao corrigirPode refatorar o que não deviaTravas: audita e registra, não reescreve
O ciclo

Uma auditoria envelhece. Um teste no CI, não.

O código muda no dia seguinte. O que aproxima um produto de "sem furo" é fechar o ciclo, e por isso cada skill deixa algo que roda sozinho.

  1. 1Auditar. Ferramenta, leitura, refutação, veredito.
  2. 2Corrigir. Só o confirmado, na ordem da severidade.
  3. 3Travar. Cada achado vira teste no CI que falha se voltar.
  4. 4Herdar. O ledger reabre só o que mudou.
Um caso real

O método audita até os próprios testes

Num app real, o teste de isolamento entre empresas passava havia seis semanas. Ao provar uma correção, descobrimos que as checagens de "o banco tem que recusar" nunca falhavam: o próprio teste engolia o erro. A regra que saiu daí está na skill: todo teste de recusa precisa ser visto falhando uma vez, contra um banco com o furo aberto, antes de valer como prova.

Na mesma rodada, o ledger tinha apontado um furo como sendo de produção. O catálogo vivo mostrou que ele só existia no banco que o CI monta. Essa correção também virou regra: achado de banco só é confirmado depois de conferido contra produção, e o relatório diz de qual banco ele é.

Instalar

Um marketplace, cinco skills.

Depois de instalada, cada skill dispara sozinha quando você pede uma auditoria, ou pelo nome. Código aberto, licença MIT.

› /plugin marketplace add V12X/v12x-skills › /plugin install v12x-scan@v12x-skills › /v12x-scan audita este repositório antes de eu publicar