NIST lança framework de gestão de riscos em Inteligência Artificial - Kryptus

Acompanhe a Kryptus no Google Notícias

Tecnologias que utilizam Inteligência Artificial (IA) vêm revolucionando nosso modo de vida nos últimos anos. Apesar dos avanços e bem-estar promovidos para a sociedade, elas também impõem uma série de riscos, como análises enviesadas e discriminatórias, eliminação de certos tipos de trabalhos operacionais (que não precisam mais de humanos para serem realizados), questões relacionadas à privacidade e segurança dos dados ou mesmo preocupações de ordem social e psicológica, ocasionadas pelo uso excessivo de aplicações que utilizam esse tipo de tecnologia. Esses e muitos outros riscos podem impactar negativamente indivíduos, grupos, sociedades, ou mesmo o meio ambiente e o próprio planeta.

Em janeiro deste ano, o órgão do governo norte-americano chamado NIST (National Institute of Standards and Technology) lançou a iniciativa de um framework de gestão de riscos em IA. Essa iniciativa é resultado de um esforço de 18 meses de discussões em colaboração com setores públicos e privados da sociedade, incluindo empresas, agências governamentais, academia e organizações sem fins lucrativos ao redor do mundo. O framework é um guia para organizações que desenvolvem ou utilizam soluções em IA, para que gerenciem os riscos oriundos desse tipo de tecnologia.

O framework é composto por quatro funções básicas: governança, mapeamento, medição e gestão. Cada função é sub-dividida em diversas categorias e sub-categorias, com ações específicas que devem ser tomadas pelas organizações e indivíduos continuamente ao longo de todo o ciclo de vida das aplicações em IA.

Governança

Governança é o princípio básico para que a gestão de risco em IA seja desempenhada dentro de uma organização. Alguns exemplos de ações que compõem a função de governança são:

Designar papéis e responsabilidades relacionadas às outras funções básicas (mapeamento, medição e gestão);
Desenvolver políticas e procedimentos para assegurar a conformidade legal e regulatória das aplicações em IA;
Estabelecer ferramentas para coleta, priorização e consideração de feedbacks de fontes externas.

Mapeamento

Estabelece o contexto para enquadrar os riscos relacionados às aplicações em IA. Envolve entender a rede complexa de atividades interdepententes das quais as aplicações em IA dependem, o que torna mais fácil para os atores de IA anteciparem os impactos que elas podem causar. Os resultados dessa função alimentam as funções restantes (medição e gestão).

Medição

Emprega ferramentas quantitativas, qualitativas ou de métodos mistos, técnicas e metodologias para analisar, avaliar, comparar e monitorar o risco e o impacto de aplicações em IA. Usa o conhecimento dos riscos de IA identificados na função de mapeamento e informa a função de gestão. Os sistemas de IA devem ser testados antes de sua implantação e, mesmo em operação, também devem continuar a serem testados regularmente.

Gestão

Envolve alocar recursos para riscos mapeados e medidos conforme descrito nas fases anteriores, e conforme definido pela função de governança. O tratamento de riscos compreende planos para responder, recuperar e comunicar sobre incidentes ou eventos.

Gestão de riscos em IA e o setor de segurança da informação

O framework para gestão de risco em IA lançado pelo NIST fornece um conjunto detalhado de diretrizes e ações para organizações e indivíduos envolvidos com IA implantarem em suas aplicações. Certamente, as organizações que aplicarem esse framework em seu modelo de gestão estarão mais bem preparadas para os riscos únicos e frequentemente imprevisíveis que os sistemas de IA apresentam. A implantação desse framework é ainda mais aconselhável para organizações da área de segurança da informação, na medida em que estão inseridas em contextos críticos, em que falhas ou mal-funcionamentos podem acarretar em riscos ainda mais prejudiciais para indivíduos e organizações.

Por outro lado, a implantação desse framework pode envolver uma série de desafios dentro de uma organização. O primeiro deles consiste na dificuldade em entender todos os seus detalhes técnicos e como aplicá-los dentro de um contexto específico. Além disso, sua implantação certamente demanda alocação de recursos dentro da instituição, seja em nível de tempo, dinheiro ou conhecimento. É preciso mobilizar e capacitar equipes para que a implantação desse framework seja conduzida de forma a eliminar ou ao menos mitigar os riscos que sistemas em IA podem provocar nos ecossistemas em que estão inseridos.

A Kryptus trabalha em sua plataforma de contrainteligência e análise de vulnerabilidades humanas usando técnicas de IA e Machine Learning, como um dos seus pilares de inovação. Para nós a gestão de risco em IA sempre foi uma preocupação. Trabalhamos integrados com um time de especialistas em ciências humanas, e discussões sobre riscos e ética em IA fazem parte de nossa rotina de desenvolvimento. Por isso, recebemos com muito interesse o lançamento desse framework pelo NIST, e começamos a analisar todos os seus aspectos para implantá-lo em nossa organização, levando em conta todos os desafios que isso certamente acarretará.