Puc Rio- Educação Continuada
Curso Engenharia de Software para Ciência de dados
Atividade prática de especificação de sistemas habilitados em ML
Contexto
Vamos supor que precisamos integrar uma funcionalidade em um aplicativo core de um Banco X que envolve criar um componente de ML para definir se um cliente do Banco é bom ou mal pagador. Esta funcionalidade pode ser descrita como uma historia de usuário.Historia do usuário
[US01] Como Gerente do Banco Quero realizar a classificação automática de um cliente Para saber se o cliente irá pagar um empréstimo e decidir sobre a sua concessão
Como usar PerSpecML
Espera-se que PerSpecML seja usado por engenheiros de requisitos ou alguém que esteja cumprindo as funções deste papel, para, em colaboração com outras partes interessadas, especificar sistemas de software inteligentes que envolvem componentes de ML.
O processo começa considerando as perspectivas do diagrama de tarefas e preocupações (veja a seguinte aba deste documento). Estabelecemos uma ordem intuitiva para analisá-las:
1. objetivos de ML
2. experiência do usuário
3. infraestrutura
4. modelo
5. dados.
Dada uma perspectiva, analisamos cada preocupação com os atores sugeridos, considerando também as relações de dependência. Neste caso, você deve asumir o papel de cada ator envolvido na tarefa / preocupação.
Se a preocupação for aplicável, deve ser especificada junto com os atores sugeridos usando o template de especificação de ML (veja a última aba deste documento). A figura a seguir resume as etapas para aplicar PerSpecML."
PerSpecML: Template de especificação de ML baseado em Perspectivas
[US01] Como Gerente do Banco Quero realizar a classificação automática de um cliente Para saber se o cliente irá pagar um empréstimo e decidir sobre a sua concessão
Perspectiva de objetivos de ML
Um bom sistema de software habilitado em ML conecta as saídas do modelo com experiência para alcançar os resultados desejados
Conheça o cliente
- Qual é o problema para o qual o ML é direcionado?
Classificação automática de um cliente para saber se o cliente irá pagar um empréstimo e decidir sobre a sua concessão
- Qual é o contexto em que o sistema habilitado em ML vai operar?
Começa na Jornada "Concessão de credito" e continua na jornada "Acompanhar situação do Cliente".Com base na classificação do cliente informada pelo aplicativo ao Gerente, decidirá a concessão de novos empréstimos ou renogociação.
Defina os objetivos do sistema habilitado em ML.
- Como ML contribuirá para atingir os objetivos organizacionais?
Reduzindo o número de inadiplência 3 meses após a concessão do emprestimo de 20% para 10%.
- Quais objetivos do usuário medirão o sucesso do sistema habilitado em ML? (Exemplo: se o seu sistema é sobre ajudar os usuários a encontrar conteúdo que eles gostam, então eles estão encontrando conteúdo que acabam gostando?)
Conseguiu empréstimo ou renogociou o empréstimo a taxas abaixo do mercado.
- Quais métricas de desempenho do modelo serão usadas para medir a qualidade das predições do modelo?
Quantidade de clientes inadiplentes após 3 meses da concessão de emprestimo. Quantidade total de clientes que pediram empréstimos nos últimos 3 meses.
Defina os indicadores de sucesso do sistema habilitado em ML
- Quais indicadores de sucesso medirão o sucesso do sistema habilitado em ML? (por exemplo, sentimento do usuário, envolvimento do usuário).
Se Número de inandiplentes após 3 meses= (Quantidade de clientes novos Inadiplentes após 3 meses / Quantidade total de clientes novos nos últimos 3 meses) x 100 é menor ou igual a 10.
Defina a funcionalidade de ML
- Qual é a funcionalidade de ML?.
Classificação automática de clientes novos em bons ou maus pagadores.
Defina o balance das expectativas do cliente
- Qual tipo de características de ML deverão ser priorizadas / compensadas? (por exemplo: um falso positivo é melhor do que um falso negativo? É melhor perder precisão que ganhar desempenho?)
1.Fairness/Ética 2.Explicabilidade 3.Qualidade dos dados 4.Acuracia 5. Desempenho.
Perspectiva de experiencia de usuário
Um bom sistema de software habilitado em ML apresenta a inteligência ao usuário, atinge os objetivos do sistema, minimiza possíveis falhas do modelo e gera dados para melhoria do mesmo.
Defina o valor das predições do modelo
- Qual é o valor agregado percebido pelos usuários a partir das previsões?
Estar apto a pedir novos empréstimos e renegociações no caso de imprevistos.
Defina a frequência das predições do modelo.
- Com que frequência o modelo interage com o usuário?
O modelo interage com o gerente a cada nova concessão de crédito ou renegociação. A frequencia é sob demanda.
Defina a força (intensidade) das predições do modelo
- Que tipo de ação o modelo exigirá do usuário após uma previsão?
Avaliar se os resultados estão dentro dos limites de confiança, Informar ajustes para o modelo devido algum erro na coleta de informação ou a inadiplência não prevista. Informar mais clientes ou mais feactures para melhorar o modelo.
Defina a visualização das predições
- Como as previsões do modelo serão exibidas?
"Pergunta: Qual o histórico de classificação de um cliente nos últimos 6 meses para decidir sobre a sua concessão de emprestimo
Variáveis de dados: 1 categoria nominal (nome dos meses) 1 quantitativa
(Grau de classificação).
Variáveis visual: Comprimento da barra, cores na barra
Método: Comparação de categorias.
Iteração: nenhuma
Descrição: Mostrar o histórico de classficações obtidas nos ultimos 6 meses,
para apoiar a tomada de decisão da gerencia bancaria"
Defina a estratégia para obter dados dos usuários.
- Como as interações do usuário apoiarão a melhoria do modelo? (Lembre-se que a coleta e rotulagem de dados é uma tarefa que demanda tempo e pessoas).
Coletar dados diretamentamento do banco de dados que contém as transações realizadas pelo cliente a 6 meses atrás.
Análise as predições erradas do modelo.
-Qual é o custo de uma predição errada? (por exemplo: impacto para o negócio, usuário...)
Aumento da inadiplência para o banco e impedimento de novos emprestimos e regociações aos clientes.
- Como as interações do usuário ajudarão a perceber que há um erro?
- Ajudará através da identificação de valores faltantes e discrepantes. Caracteristicas com pouca ou nenhuma representatividade.
- Quem será o responsável pelos erros?
- DE - Domain Expert
Perspectiva de Infraestrutura
Um bom sistema habilitado em ML é um sistema que usa as saídas do modelo e as transforma em um sistema totalmente funcional .
Defina a estratégia para transportar os dados que o modelo precisa
- Como os dados serão transmitidos da fonte para o modelo?
Através da Telemetria. Os dados são enviados através da web ou aplicativo apartir de um comando de envio das informações por uma interface específica.
Defina a estratégia para disponibilizar o modelo e ser consumido.
- Como o modelo será executado e consumido?
Através de Interface (tela) para executar conjunto de comandos (procedure) .
Defina a estratégia para atualizar o modelo
- Qual será a estratégia para atualizar o modelo e garantir um aprendizado incremental?
Criação de base de teste e treinamento.
Defina a estratégia para armazenar os artefatos de ML .
- Onde os artefatos de ML (por exemplo, modelos, dados, scripts, experimentos, ambientes) serão armazenados?
No usuário em conformidade com a LGPD local.
Defina a estratégia de automação do fluxo de trabalho de ML .
- Qual é a estratégia para garantir a reprodutibilidade e a manutenção envolvidas no projeto, construção e monitoramento do sistema habilitado em ML? (MLops).
Definição do problema -> Coleta e análise de dados -> Pré-processamento -> [Modelagem e inferência]n vezes -> pós processamento -> Apresentação de resultados -> implantação do modelo.
Defina a estratégia para obter dados de uso do sistema habilitado em ML.
- Telemetria envolve a coleta de dados como cliques em botões específicos e pode envolver outros dados de uso e desempenho sobre o sistema, como número de consultas ao banco de dados, porcentagem de uso do sistema .
Através cookie no aplicativo para coletar cliques.
Defina a estratégia para integrar o modelo.
- Como o modelo será integrado com o restante da funcionalidade do sistema e quais propriedades serão avaliadas? (por exemplo, segurança, proteção, privacidade, entre outros, podem ser aplicáveis).
Através de interface de liberação de processamento.
Avalie o custo financeiro envolvido na infraestrutura da solução.
- Estime o custo envolvido com a infraestrutura da solução (Isso pode condicionar as decisões arquiteturais. Não se esqueça que grandes modelos podem ser inutilizáveis devido ao custo para executá-los e mantê-los)
Criar instrumento contratual para liberação de demanda de seriço e respectivo desembolso.
Perspectiva do modelo
Construir um bom modelo de ML implica não apenas treinar um algoritmo com dados para prever ou classificar algum fenômeno. Vários outros aspectos determinam sua qualidade.
Defina as entradas (features) e a saída (label) do modelo
- Quais serão os dados de entrada e saída do modelo? (o conjunto de entradas pode ser refinado durante as atividades de experimentação)
Entrada: Código-Cliente Código-Emprestimo Numero-Parcela Valor-Parcela-Emprestimo Data-Prevista-Pagamento Data-Pagamento-Emprestimo Valor-Pagamento-Empréstimo
Saida: Código_Cliente Bom ou mau pagador.
Defina o conjunto de algoritmos a serem considerados durante a modelagem.
- - Qual é o conjunto de algoritmos que podem ser usados/investigados com base no tipo de problema de ML e outras restrições?
KNN - k Nearest Neighbours (k Vizinhos Mais Próximos)
ARVORE DE DECISÃO, ÁRVORE DE CLASSIFICAÇÃO, NAIVE BAYES, SVM (número de vetores de suporte)
Defina a capacidade do modelo de resumir as razões de suas decisões
- Necessidade de entender os motivos das inferências do modelo (outras preocupações relacionadas, como transparência e interpretabilidade, podem ser aplicadas).
A conferir.
Defina se existe alguma restrição com tempo de inferência do modelo.
-- Qual é o tempo de inferência esperado para o modelo calcular e entregar as predições?
A conferir
Defina se existe alguma restrição com o tempo de treinamento do modelo.
- Qual é o tempo de treinamento esperado?
A conferir.
Defina se existe alguma restrição com o tamanho/complexidade do modelo.
-- Existe alguma restrição sobre o tamanho do modelo em termos de armazenamento e complexidade? (por exemplo, para árvores de decisão pode haver necessidade de poda)
A conferir
Defina um modelo base como referência.
-- Existe uma linha de base do modelo para comparar os resultados do modelo treinado? (Um modelo simples opcional que atua como referência. Sua principal função é contextualizar os resultados dos modelos treinados.)
A conferir
Avalie a degradação do desempenho do modelo.
-- Você está ciente da degradação do desempenho do modelo? (Com o tempo, o desempenho preditivo de muitos modelos tende a diminuir à medida que um determinado modelo é testado em novos conjuntos de dados em ambientes em rápida evolução)
A conferir
Perspectiva de dados
Dados ruins resultarão em predições imprecisas. Assim, um bom sistema de software habilitado em ML conta com dados de entrada de alta qualidade.
Defina a estratégia de acesso aos dados
- Defina a estratégia de acesso aos dados ?
< Especifique aqui >
Defina a estratégia para selecionar e descrever os dados.
- Quantos e qual será a distribuição dos dados selecionados?
- O que significam os dados coletados? (considere criar um dicionário de dados)
< Especifique aqui >
Avalie a qualidade dos dados coletados (exploração dos dados)
- Os dados são corretos?
< Especifique aqui >
-Os dados são livres de viés?
< Especifique aqui >
- Os dados contêm observações suficientes de todas as situações em que o modelo irá operar?
< Especifique aqui >
- Os dados são consistentes?
< Especifique aqui >
- Os dados podem ser usados e processados livremente? (ética e privacidade)
< Especifique aqui >
Converta os dados na representação do modelo
- Data cleaning
- Feature engineering
- Labeling
- Modeling
< Especifique aqui >
Defina a estratégia para dividir os dados.
- Dataset de treinamento
- Dataset de validação
- Dataset de teste
< Especifique aqui >
Defina a pontualidade (timeliness) dos dados.
- Qual é o tempo entre quando os dados são esperados e quando estão prontamente disponíveis?
< Especifique aqui >
Defina um dataset de referência (golden dataset)
- Conjunto de dados aprovado por um especialista de domínio
< Especifique aqui >
ESPECIFICAÇÃO DO PROCESSO DE PRODUÇÃO DO PRODUTO ML
BIBLIOGRAFIA
Q que é ciência de dados?
Q que é ciência de dados?
Q que é Data Ops?
Livro Ciência de dados
Como escolher seu gráfico
Como selecionar algoritmos?
Como selecionar algoritmos - detahe?
14 Tipos de aprendizagem
Colab - Introdução Python
Python 5 minutos
Biblioteca de Algoritimos
Glossário de termos Machine leanirning
Tradutor
REFERÊNCIA
Resumo curso engenharia de software aplicada a ciência de dados
LEVANTAMENTO
Fluxo de trabalho ML
Canvas Redução inadimplência (objetivos organizacionais)
User Store Classificação automática
Stakeholders
Template Especificacao CD
Especificacao para template de CD
Esquema Projeto Ciência de dados.png
Processo de classificação
Atividade 1 - planilha Excel