A explicabilidade tem sido com certeza um dos tópicos mais quentes na área de Inteligência Artificial.

Mas como há cada vez mais investimentos na área de IA e as soluções estão se tornando cada vez mais eficazes, algumas empresas descobriram que não são capazes de aproveitar a IA de forma alguma! E porque? Simples, muitos desses modelos são considerados “caixas pretas” (você provavelmente já se deparou com esse termo), o que significa que não há como explicar o resultado de um determinado algoritmo (o que é um engano, pois é possível sim explicar, desde que a audiência compreenda os detalhes matemáticos e estatísticos por trás dos modelos). Mas para os usuários de negócio, eles não estão preocupados com a matemática do modelo e sim como o modelo poderá ajudar no negócio.

Na imagem abaixo, podemos ver uma expressão matemática complexa com muitas operações encadeadas. Esta imagem representa a maneira como as camadas internas de uma rede neural funcionam. Parece muito complexo para ser compreensível, certo?

 

chart2

 

E se eu dissesse que as expressões abaixo se referem à mesma rede neural da imagem acima. Muito mais fácil de entender, certo?

 

chart3

E se puder ser ainda mais fácil, apenas listando os atributos dos dados que explicam um determinado fenômeno, como na imagem abaixo?

 

chart1

 

Em suma, esta é a essência da Explainable AI (Explicabilidade da IA). Como podemos traduzir as expressões matemáticas complexas envolvidas no processo de treinamento de um modelo de Machine Learning de uma forma que os usuários de negócio e gestores possam entender?

Isso é chamado de Direito para uma Explicação e definitivamente abalou a forma como as empresas estão implementando IA.

Mas com as necessidades e regulamentações que estão surgindo, também surgiram novas soluções visando a Explicabilidade da IA para apoiar empresas que desejam alavancar sistemas baseados em IA ao mesmo tempo em que são capazes de interpretá-los! Chega de caixas pretas! Se você está curioso para saber mais sobre porque precisamos de explicabilidade, sugiro que continue a leitura deste artigo!

Frameworks Para Explicabilidade em IA

Este é um assunto que tem sido explorado por muitos autores, mas em 2016, em um seminário de trabalho de Marco Ribeiro, Sameer Singh e Carlos Guestrin, foi proposta uma nova solução para a interpretabilidade de um modelo caixa-preta. A solução proposta teve como objetivo construir dois tipos de confiança: confiar na previsão fornecida pelo modelo e confiar no modelo.

Desde então, muitas outras estruturas e ferramentas foram propostas para tornar a Explicabilidade da IA uma realidade em diferentes tipos de dados e setores. Aqui vamos explorar 2 dessas opções: LIME, TF-Explain e What-If.

LIME (Local Interpretable Model-Agnostic Explanations)

Desenvolvido por pesquisadores da Universidade de Washington para obter maior transparência sobre o que acontece dentro do algoritmo, LIME se tornou um método muito popular na comunidade para explicar os modelos de IA. A figura abaixo é de um gráfico gerado pelo LIME para explicar um modelo. Se quiser aprender mais sobre como usar essa técnica, ela é amplamente abordada no curso Machine Learning Para Medicina pois na área de saúde a explicabilidade é fundamental.

 

chart4

 

Quando se fala em desenvolver um modelo em cima de um conjunto de dados com baixa dimensionalidade, a explicabilidade pode ser mais fácil, mas quando se trata de um número maior de dimensões a complexidade dos modelos também aumenta, o que torna muito difícil manter a explicabilidade. LIME (Local Interpretable Model-Agnostic Explanations) aborda as necessidades de interpretabilidade não apenas na otimização dos modelos, mas também a noção de representação interpretável de uma forma que os critérios de interpretabilidade do domínio e da tarefa também sejam incorporados.

Existem alguns exemplos do uso combinado de LIME com pacotes comuns de Ciência de Dados, como Scikit-Learn ou XGBoost. 

Você também pode dar uma olhada mais profunda na ferramenta LIME na página oficial: https://github.com/marcotcr/lime

Tf-explain

Tf-explain é uma biblioteca que foi construída para oferecer métodos de interpretabilidade. Tf-explain implementa métodos de interpretabilidade enquanto aproveita callbacks do TensorFlow 2.0 para facilitar a compreensão das redes neurais. Este útil pacote nos é oferecido pela Sicara. Confira aqui: https://github.com/sicara/tf-explain

A biblioteca foi construída para oferecer uma lista abrangente de métodos de interpretabilidade, diretamente utilizável em seu fluxo de trabalho Tensorflow: Compatibilidade com TensorFlow 2.0, Interface unificada entre métodos e Suporte para integração de treinamento (callbacks, Tensorboard).

What-if?

chart5

E se existisse uma estrutura com uma interface visual interessante e interativa para entender melhor a saída dos modelos do TensorFlow? A ferramenta What-If é exatamente isso. Digamos que você precise analisar um modelo implantado anteriormente, você pode, independentemente se for um modelo desenvolvido usando TensorFlow ou outros pacotes, como XGBoost ou Scikit-Learn.

Além de monitorar os modelos após a implantação, você também pode dividir seus conjuntos de dados por recursos e comparar o desempenho entre as diferentes fatias, enquanto identifica em quais subconjuntos seus modelos terão melhor ou pior desempenho. Isso não apenas ajuda na explicabilidade do seu modelo, mas também abre a oportunidade de pesquisar e entender tópicos como parcialidade e justiça de dados.

Conclusão

A explicabilidade é, sem dúvida, um tópico importante que se tornará uma das primeiras preocupações das empresas nos próximos anos, não apenas devido às regulamentações, mas também porque as comunidades e as pessoas estão se tornando mais conscientes e sensíveis ao potencial das soluções baseadas em IA.

No entanto, e embora avanços significativos e interessantes tenham sido feitos em relação à explicabilidade da IA nos últimos anos, esses são desafios ainda a serem resolvidos tanto nos métodos quanto na teoria quanto à forma como as explicações obtidas podem ser usadas na prática – por exemplo. O chapéu de explicações vai além da visualização e de uma avaliação objetiva da qualidade das explicações!

Os métodos de explicação nos permitem obter insights sobre como os modelos de IA funcionam. Mas todas as respostas que procuramos estão na forma como os modelos funcionam? Ou a qualidade e a interpretabilidade dos dados podem desempenhar um papel importante?

Referências:

How can I explain my ML models to the business?

Machine Learning Para Medicina

IDC Forecasts Strong 12.3% Growth for AI Market in 2020 Amidst Challenging Circumstances

The ‘right to an explanation’ under EU data protection law

“Why Should I Trust You?” – Explaining the Predictions of Any Classifier