Como usar
Cole no questionário. Exija evidência (doc da versão cotada, PoC ou cláusula). Roadmap ≠ Must. Sem preços e sem scores neste texto.
10 perguntas Must
| # | Must | Evidência mínima |
|---|---|---|
| 1 | HITL por tier (irreversível / externo / financeiro / PII), não em toda mensagem | Tabela de tiers + demo de write L2/L3 com reviewer |
| 2 | Classificador de risco determinístico (regras/Cedar/Rego), não o mesmo LLM do conteúdo não confiável | Policy versionada; teste de classificação offline |
| 3 | Kill-switch de infraestrutura: revogar credencial/sessão + deny no path + handoff/compensação | Drill cronometrado; agente não reentra sem reset humano |
| 4 | Fail-closed: crash, timeout ou verdict malformado = deny | PoC com timeout/malformed → deny + log |
| 5 | Audit schema mínimo populado em tool-use: timestamp, trace/session/sequence, agent_id, principal/on_behalf_of, model+version, operation_type, tool+args_hash+outcome, policy_id/version+verdict, guardrail_flags, reviewer+approval_context, kill events | Export JSON correlacionável por trace_id |
| 6 | Integrity tamper-evident (hash-chain, file validation ou Object Lock conforme stack) | Doc + amostra de validação |
| 7 | Logging de policy/data plane ligado e testado (ex.: CloudTrail data events de gateway não assumir default on) | Screenshot/config + evento real no PoC |
| 8 | Export de InterceptionRecord (ou equivalente): verdict, reason, approval bind por hash do call | Arquivo de exemplo redigido |
| 9 | Cobertura explícita de OWASP ASI02 / ASI03 / ASI09 / ASI10 no threat model do produto | Matriz risco→controle (sem marketing genérico de “LLM security”) |
| 10 | Identidade de agente first-class + revogação rápida (minutos, não horas) | Demo de revoke; principal ≠ API key compartilhada |
Copiar como checklist
- [ ] 1 HITL por tier (não all-messages)
- [ ] 2 Classificador determinístico
- [ ] 3 Kill-switch infra (revoke + deny + handoff)
- [ ] 4 Fail-closed (timeout/malformed = deny)
- [ ] 5 Schema de audit completo em tool-use
- [ ] 6 Integrity tamper-evident
- [ ] 7 Logging on + testado (sem default assumido)
- [ ] 8 InterceptionRecord / export equivalente
- [ ] 9 OWASP ASI02 · 03 · 09 · 10 no threat model
- [ ] 10 Identidade de agente + revogação rápida
Should (não bloqueiam sozinhos)
- [ ] Rings / progressive governance documentados
- [ ] Retenção operacional vs compliance vs debug alinhada a jurídico
- [ ] Traces no plano SRE (alertas, RBAC, correlação SIEM)
- [ ] Drill trimestral de kill + reconstrução de incidente
Fora do escopo deste checklist
Compra de control plane/gateway multi-modelo (Semana 1), preços, leaderboards, Market Guides sob paywall.
FAQ
Posso marcar HITL all-messages como Must?
Não recomendado: gera ASI09 (rubber-stamp). Prefira tiers.
Vendor sem InterceptionRecord?
Aceite equivalente que prove verdict + reason + bind de approval ao hash do call. Sem isso, falha o Must 8.
CloudTrail “na conta” basta?
Não. Data events do gateway precisam estar habilitados e gerando evento no PoC.
Disclaimer editorial
Checklist informativo da iab2b.site. Não é ranking nem parecer jurídico. Confirme defaults e status GA no tenant cotado. Sem preços, sem scores inventados.