A inteligência artificial (IA) interpretável ou explicável é aquela que, além dos resultados desejados, produz os detalhes ou razões que levaram aos resultados por ela apresentados, permitindo sua compreensão por humanos e tornando seu funcionamento mais transparente. Esta pode parecer uma qualidade essencial para sistemas que rapidamente vêm sendo inseridos em funções cada vez mais críticas à sociedade, como controle da matriz energética, policiamento e saúde, especialmente em tempos de maior cobrança por transparência na coleta e uso de dados nos âmbitos público e privado. Entretanto, a realidade do desenvolvimento dos sistemas baseados em IA na indústria caminha na direção oposta, e entender essa dissonância e como ela é tratada será algo importante para um bom convívio com as tecnologias que emergem de IAs sofisticadas.

Em relação às IAs aplicadas à saúde, como a triagem de potenciais compostos para medicamentos, houve ganhos substanciais de desempenho em suas tarefas por meio de um aumento exponencial do número de parâmetros utilizáveis pelos modelos que definem seu comportamento. Com mais parâmetros, é possível armazenar padrões mais elaborados e mais diversos – como interações moleculares –, que são capturados a partir de quantidades igualmente crescentes de dados. O sucesso de tal abordagem por escala, entretanto, não se traduz na capacidade de compreender ou controlar os resultados da IA, pois a grande quantidade de parâmetros (centenas de bilhões atualmente) inviabiliza a análise dos padrões neles armazenados. São, portanto, conhecidas como IAs ‘caixa-preta’, pois seu funcionamento é opaco até para seus desenvolvedores.

Abrir as ‘caixas-pretas’ já criadas, ou construir novas que sejam transparentes, está no cerne da pesquisa em inteligência artificial interpretável. Os principais objetivos são: permitir o rastreamento preciso da causa de um erro para corrigi-lo e aperfeiçoar os sistemas; permitir que o usuário obtenha uma relação causa-consequência entre os dados apresentados ao sistema e suas respostas; permitir que o conhecimento obtido por meio do aprendizado de padrões pela IA seja aproveitado fora do contexto interno do sistema; e buscar a imparcialidade, de modo que seja possível esclarecer e eliminar vieses dos dados usados no treinamento dos sistemas e evitar seu uso danoso.

Os desafios para alcançar tais objetivos são consideráveis e podem ser resumidos em um conjunto de três níveis de transparência: transparência algorítmica, que significa tornar o processo de composição de uma resposta compreensível por um especialista humano; decomponibilidade, que significa tornar cada parte de um modelo (entradas, parâmetros e cálculos) compreensível separadamente e em conjunto; e simulabilidade, que significa tornar os passos percorridos pela IA para compor uma resposta replicáveis por um especialista humano. 

Soluções atualmente em uso recorrem à comunicação com o usuário por meio de técnicas de explicação visual ou textual, que associam características dos dados que lhe foram fornecidos (entradas) aos resultados obtidos, por exemplo, informando quais partes de uma molécula foram mais determinantes para o seu posicionamento em uma lista de classificação. Esforços mais recentes buscam aplicar o mesmo princípio para expor os padrões armazenados pelos modelos; e há também a opção de produzir modelos ‘caixa-branca’ que se aproximem em comportamento dos sistemas ‘caixa-preta’ já testados, mesmo que isso implique em perdas de desempenho, pois podem ser compensadas pelos especialistas responsáveis. Embora a diversidade de aplicações de IA torne improvável uma convergência de soluções, há um consenso em formação a respeito das necessidades comuns de comunicação independente do campo de atuação.

O caminho para a interpretabilidade da IA também expõe interesses conflitantes entre os agentes envolvidos nesse processo de inovação. Por um lado, as grandes empresas que financiam a pesquisa de ponta desejam manter hegemonia sobre o uso da tecnologia, por meio do controle sobre a infraestrutura massiva necessária para operá-la, e manter os dados e funcionamento dos seus modelos como segredos industriais. Por outro, universidades e centros de pesquisa buscam otimizar o funcionamento da IA e torná-la transparente, mais acessível e eticamente responsável.

Cabe ao usuário final cobrar dos fornecedores da tecnologia os meios necessários para tornar seu uso transparente, e cobrar do governo regulamentações nesse sentido. Da mesma forma que precisamos saber o que é colocado nos alimentos industrializados que consumimos, precisamos conhecer melhor os ingredientes que entram nos sistemas de automação cada vez mais presentes em nossa vida e como esses ingredientes e a maneira como são processados podem nos afetar.