Riscos e Limitações (S)

Um framework que governa o uso de IA mas não trata os riscos desse uso seria estruturalmente incompleto. Esta seção integra o compromisso do SinergIA com a transparência operacional.

O SinergIA é um referencial operacional com caráter inovador. Exatamente por isso, os riscos inerentes ao seu uso devem ser reconhecidos, classificados e mitigados — não ocultados.

Tecnológicos

Comportamento intrínseco de engines e pipelines de IA: alucinações, degradação silenciosa, dependência de provedor.

Governança e Conformidade

Aplicação incorreta ou superficial dos mecanismos de governança: supervisão insuficiente, rastreabilidade falha.

Adoção e Maturidade

Capacidade das equipes de absorver e manter o framework: adoção parcial, dependência excessiva da IA.

Do Próprio Framework

Riscos inerentes ao próprio modelo quando mal dimensionado: burocracia excessiva, conformidade de fachada.

Riscos Tecnológicos da IA

Riscos decorrentes do comportamento intrínseco das engines e pipelines de IA utilizados no ciclo de desenvolvimento.

Risco	Descrição	Severidade	Controle no framework
Alucinação não detectada	A engine primária gera artefato incorreto que passa pela validação cruzada	Alta	Validação multi-IA obrigatória (princípio 2); escalamento ao humano em divergência relevante
Degradação silenciosa de modelo	A engine muda comportamento entre versões sem aviso, alterando artefatos silenciosamente	Média	Versionamento de artefatos; histórico de inferências para auditoria (GTI)
Dependência crítica de provedor	Mudança de API, pricing ou encerramento do serviço quebra o pipeline	Alta	Critério anti-vendor lock-in (INF, PDP); política de avaliação periódica de engines (GTI)
Indisponibilidade da engine	Queda do serviço de IA paralisa o ciclo de entrega em andamento	Média	Política de contingência a definir pela GTI; priorização de engines com SLA formal
Viés sistêmico nos artefatos	IA reproduz padrões tendenciosos nas histórias, requisitos ou decisões	Alta	Contexto distinto obrigatório para a engine secundária; supervisão humana nos checkpoints críticos

Riscos de Governança e Conformidade

Riscos decorrentes da aplicação incorreta, incompleta ou superficial dos mecanismos de governança previstos no framework.

Risco	Descrição	Severidade	Controle no framework
Supervisão humana insuficiente	Validadores ignoram alertas ou aprovam sem análise real, por volume ou pressão de prazo	Alta	Checkpoints obrigatórios com evidência mínima; Linter de Governança bloqueia avanço sem evidência
Rastreabilidade incompleta	Evidências geradas mas não vinculadas corretamente aos artefatos	Média	Linter de Governança verifica vínculos antes de qualquer revisão; rastreabilidade bidirecional obrigatória
Uso indevido de dados pessoais por IA	Dados pessoais utilizados sem avaliação prévia de necessidade e adequação	Alta	PDP como requisito estrutural; RIPD obrigatório em tratamentos de alto risco; restrição explícita no princípio de conformidade
Escalamento não acionado	Divergência crítica entre engines não chega ao humano responsável	Alta	Critério de divergência obrigatória definido; GTI define gatilho de escalamento com notificação rastreável
ADRs sem revisão	Decisões arquiteturais registradas nunca revisadas, tornando-se obsoletas	Média	Política de revisão obrigatória a cada 12 meses (GTI)

Riscos de Adoção e Maturidade Organizacional

Riscos decorrentes da capacidade das equipes e instituições de absorver e manter o framework de forma consistente.

Risco	Descrição	Severidade	Controle no framework
Adoção parcial	Equipes usam apenas partes do framework, perdendo rastreabilidade cruzada e governança integrada	Alta	Modos de Aplicação calibrados por criticidade; Linter detecta artefatos ausentes
Dependência excessiva da IA	Humanos delegam decisões que não deveriam ser delegadas, esvaziando a supervisão real	Alta	Autonomia escalonada (níveis 1–3); checkpoints humanos não suprimíveis em tarefas críticas
Calibração incorreta de autonomia	Nível 1 aplicado onde deveria ser nível 3, expondo o projeto a riscos não gerenciados	Alta	GTI define os critérios de classificação; Linter verifica a coerência entre criticidade declarada e modo aplicado
Falta de maturidade da equipe	Equipe sem experiência real com IA tenta aplicar o Modo Completo sem capacitação prévia	Média	Recomendação de início pelo Modo Essencial; onboarding estruturado pelo artefato Orquestrador

Riscos do Próprio Framework

Risco	Descrição	Severidade	Mitigação
Burocracia excessiva	O volume de artefatos, evidências, ADRs e checkpoints pode tornar projetos de baixa criticidade inviáveis — gerando conformidade documental superficial em vez de governança real	Alta	Modos de Aplicação (Ágil, Essencial, Completo) existem para mitigar isso; calibrar pelo nível de risco real, não pela forma
Conformidade de fachada	Equipes geram artefatos apenas para satisfazer o Linter, sem conteúdo real — o framework vira uma checklist vazia	Alta	Supervisão humana qualificada nos checkpoints; evidências devem ser rastreáveis a fontes reais, não apenas existir
Rigidez evolutiva	O framework pode se tornar um obstáculo à inovação se não for revisado regularmente conforme a IA evolui	Média	Revisão obrigatória a cada 12 meses (GTI); política explícita de obsolescência
Subestimação do esforço de implantação	Adotar o framework tem custo real de capacitação, configuração de pipelines e cultura de governança — esse custo pode ser ignorado no planejamento	Média	Roadmap com fases progressivas; piloto em projeto de média criticidade antes da adoção plena
Sobrecarga do Validador Humano	O framework pode concentrar excesso de checkpoints num único papel humano, tornando esse papel um gargalo operacional	Média	Distribuição de papeis de supervisão (Validador Técnico, de Negócio, Encarregado de Dados); Linter reduz carga ao filtrar artefatos incompletos antes da revisão
Descolamento entre framework e realidade	O framework pode evoluir num nível teórico enquanto a implementação real diverge silenciosamente	Média	Piloto obrigatório antes de adoção plena; KPIs de aderência coletados no ciclo operacional

Riscos decorrentes do impacto da solução nos direitos fundamentais, na equidade e na confiança pública — dimensão identificada pelo Framework AIE Gov.BR como crítica para sistemas de IA no setor público.

Risco	Descrição	Severidade	Controle no framework
Discriminação algorítmica	IA reproduz ou amplifica vieses que resultam em tratamento desigual por raça, gênero, origem ou outros fatores protegidos	Alta	Validação multi-IA com contexto distinto; supervisão humana nos checkpoints
Opacidade de decisão automatizada	Sistema toma decisões que afetam cidadãos sem explicabilidade ou possibilidade de revisão	Alta	Rastreabilidade integral; ADRs obrigatórios; evidência de critérios de decisão
Vigilância biométrica não autorizada	Uso de reconhecimento facial ou biométrico em espaços públicos sem base legal explícita	Excessiva	Gatilho de interrupção imediata — consultar jurídico e DPO antes de qualquer continuidade
Decisão totalmente autônoma da IA	IA decide sem possibilidade de revisão humana sobre acesso a benefícios, crédito, saúde ou liberdade	Excessiva	Gatilho de interrupção imediata — redesenhar com supervisão humana obrigatória
Manipulação comportamental	Sistema projetado para influenciar decisões de cidadãos de forma não transparente	Excessiva	Gatilho de interrupção imediata — avaliar legalidade e reformular finalidade
Perfil de risco sem base legal	Sistema que cria perfis preditivos sobre indivíduos sem fundamento legal ou consentimento	Excessiva	Gatilho de interrupção imediata — avaliar RIPD e base autorizativa LGPD
Impacto socioambiental não avaliado	Automação introduzida sem avaliar impacto sobre empregos, comunidades ou consumo energético das engines	Média	Princípio de Proporcionalidade; avaliação de impacto social no GTI-AIE

Ver classificação completa de risco ético Gatilhos de risco excessivo, mapeamento AIE × SinergIA, autoavaliação do framework e base normativa.

Artefato de Gestão de Riscos

Os riscos identificados acima deverão ser formalizados e mantidos no artefato:

GTI-RRM-0001--registro-de-riscos-do-framework.md

Localizado em: artefatos/GTI-GovernancaTI/03-decisoes/

O RRM (Risk Register of the Model) deverá conter, para cada risco:

ID único e rastreável
Descrição precisa do cenário de risco
Probabilidade — critério abaixo
Impacto — critério abaixo
Nível de risco = Probabilidade × Impacto (matriz abaixo)
Controle mitigatório existente no framework
Ação pendente quando o controle for insuficiente
Responsável pela revisão periódica
Data da última revisão

Critérios de classificação

Probabilidade:

Nível	Critério
Baixa	Evento improvável no ciclo atual; sem ocorrências conhecidas
Média	Evento possível; há precedentes ou condições favoráveis à ocorrência
Alta	Evento provável ou recorrente; controle atual insuficiente para preveni-lo

Impacto:

Nível	Critério
Baixo	Efeito localizado, reversível sem esforço significativo, sem impacto externo
Médio	Afeta a qualidade ou prazo do projeto; requer esforço de correção; sem impacto direto a cidadãos ou dados pessoais
Alto	Impacto em segurança, dados pessoais, direitos de usuários ou conformidade legal; reversão complexa ou impossível

Matriz de priorização:

	Impacto Baixo	Impacto Médio	Impacto Alto
Probabilidade Alta	Médio	Alto	Crítico
Probabilidade Média	Baixo	Médio	Alto
Probabilidade Baixa	Baixo	Baixo	Médio

Riscos Críticos exigem plano de ação imediato com prazo e responsável. Riscos Altos entram no ciclo de revisão da próxima versão do framework.

← Pontos de Vista · Convenções, Ciclo e Governança →