Puc Rio- Educação Continuada
Curso Engenharia de Software para Ciência de dados
Atividade prática de especificação de sistemas habilitados em ML
Contexto
Vamos supor que precisamos integrar uma funcionalidade em um aplicativo core de um Banco X que envolve criar um componente de ML para definir se um cliente do Banco é bom ou mal pagador. Esta funcionalidade pode ser descrita como uma historia de usuário.Historia do usuário
[US01] Como Gerente do Banco Quero realizar a classificação automática de um cliente Para saber se o cliente irá pagar um empréstimo e decidir sobre a sua concessão
Como usar PerSpecML
"Espera-se que PerSpecML seja usado por engenheiros de requisitos ou alguém que esteja cumprindo as funções deste papel, para, em colaboração com outras partes interessadas, especificar sistemas de software inteligentes que envolvem componentes de ML.
O processo começa considerando as perspectivas do diagrama de tarefas e preocupações (veja a seguinte aba deste documento). Estabelecemos uma ordem intuitiva para analisá-las:
- objetivos de ML
- experiência do usuário
- infraestrutura
- modelo
- dados.
Dada uma perspectiva, analisamos cada preocupação com os atores sugeridos, considerando também as relações de dependência. Neste caso, você deve asumir o papel de cada ator envolvido na tarefa / preocupação.
Se a preocupação for aplicável, deve ser especificada junto com os atores sugeridos usando o template de especificação de ML (veja a última aba deste documento). A figura a seguir resume as etapas para aplicar PerSpecML."
PerSpecML: Template de especificação de ML baseado em Perspectivas
[US01] Como Gerente do Banco Quero realizar a classificação automática de um cliente Para saber se o cliente irá pagar um empréstimo e decidir sobre a sua concessão
Perspectiva de objetivos de ML
Um bom sistema de software habilitado em ML conecta as saídas do modelo com experiência para alcançar os resultados desejados
Conheça o cliente
- Qual é o problema para o qual o ML é direcionado?
Classificação automática de um cliente para saber se o cliente irá pagar um empréstimo e decidir sobre a sua concessão
- Qual é o contexto em que o sistema habilitado em ML vai operar?
Começa na Jornada "Concessão de credito" e continua na jornada "Acompanhar situação do Cliente".Com base na classificação do cliente informada pelo aplicativo ao Gerente, decidirá a concessão de novos empréstimos ou renogociação.
Defina os objetivos do sistema habilitado em ML.
- Como ML contribuirá para atingir os objetivos organizacionais?
Reduzindo o número de inadiplência 3 meses após a concessão do emprestimo de 20% para 10%.
- Quais objetivos do usuário medirão o sucesso do sistema habilitado em ML? (Exemplo: se o seu sistema é sobre ajudar os usuários a encontrar conteúdo que eles gostam, então eles estão encontrando conteúdo que acabam gostando?)
Conseguiu empréstimo ou renogociou o empréstimo a taxas abaixo do mercado.
- Quais métricas de desempenho do modelo serão usadas para medir a qualidade das predições do modelo?
Quantidade de clientes inadiplentes após 3 meses da concessão de emprestimo. Quantidade total de clientes que pediram empréstimos.
Defina os indicadores de sucesso do sistema habilitado em ML
- Quais indicadores de sucesso medirão o sucesso do sistema habilitado em ML? (por exemplo, sentimento do usuário, envolvimento do usuário).
Se Número de inandiplentes após 3 meses= (Quantidade de clentes Inadiplentes após 3 meses / Quantidade total de clentes) x 100 é menor ou igual a 10.
Defina a funcionalidade de ML
- Qual é a funcionalidade de ML?.
Classificação automática na concessão.
Defina o balance das expectativas do cliente
- Qual tipo de características de ML deverão ser priorizadas / compensadas? (por exemplo: um falso positivo é melhor do que um falso negativo? É melhor perder precisão que ganhar desempenho?)
1.Fairness/Ética 2.Explicabilidade 3.Qualidade dos dados 4.Acuracia 5. Desempenho.
Perspectiva de experiencia de usuário
Um bom sistema de software habilitado em ML apresenta a inteligência ao usuário, atinge os objetivos do sistema, minimiza possíveis falhas do modelo e gera dados para melhoria do mesmo.
Defina o valor das predições do modelo
- Qual é o valor agregado percebido pelos usuários a partir das previsões?
Estar apto a pedir novos empréstimos e renegociações no caso de imprevistos.
Defina a frequência das predições do modelo.
- Com que frequência o modelo interage com o usuário?
O modelo interage com o gerente a cada nova concessão de crédito ou renegociação. A frequencia é sob demanda.
Defina a força (intensidade) das predições do modelo
- Que tipo de ação o modelo exigirá do usuário após uma previsão?
Avaliar se os resultados estão dentro dos limites de confiança, Informar ajustes para o modelo devido algum erro na coleta de informação ou a inadiplência não prevista. Informar mais clientes ou mais feactures para melhorar o modelo.
Defina a visualização das predições
- Como as previsões do modelo serão exibidas?
"Pergunta: Qual o histórico de classificação de um cliente nos últimos 6 meses para decidir sobre a sua concessão de emprestimo
Variáveis de dados: 1 categoria nominal (nome dos meses) 1 quantitativa
(Grau de classificação).
Variáveis visual: Comprimento da barra, cores na barra
Método: Comparação de categorias.
Iteração: nenhuma
Descrição: Mostrar o histórico de classficações obtidas nos ultimos 6 meses,
para apoiar a tomada de decisão da gerencia bancaria"
Defina a estratégia para obter dados dos usuários.
- Como as interações do usuário apoiarão a melhoria do modelo? (Lembre-se que a coleta e rotulagem de dados é uma tarefa que demanda tempo e pessoas).
Coletar dados diretamentamento do banco de dados que contém as transações realizadas pelo cliente a 6 meses atrás.
Análise as predições erradas do modelo.
-Qual é o custo de uma predição errada? (por exemplo: impacto para o negócio, usuário...)
Aumento da inadiplência para o banco e impedimento de novos emprestimos e regociações aos clientes.
- Como as interações do usuário ajudarão a perceber eles que há um erro?
- Como as interações do usuário ajudarão a perceber eles que há um erro?
- Quem será o responsável pelos erros?
- Quem será o responsável pelos erros?
Perspectiva de Infraestrutura
Um bom sistema habilitado em ML é um sistema que usa as saídas do modelo e as transforma em um sistema totalmente funcional .
Defina a estratégia para transportar os dados que o modelo precisa
- Como os dados serão transmitidos da fonte para o modelo?
Serão obtido do banco de dados de transações empréstimo e pagamento 2 Processo ETL para baco de dados especifico 3 Disponibilizar para o aplicativo.
Defina a estratégia para disponibilizar o modelo e ser consumido.
- Como o modelo será executado e consumido?
Será executado em processamento batch e disponibiliza o resultado on line.
Defina a estratégia para atualizar o modelo
- Qual será a estratégia para atualizar o modelo e garantir um aprendizado incremental?
Mensallmente com dados até 6 meses atrás .
Defina a estratégia para armazenar os artefatos de ML .
- Onde os artefatos de ML (por exemplo, modelos, dados, scripts, experimentos, ambientes) serão armazenados?
No usuário em conformidade com a LGPD local.
Defina a estratégia de automação do fluxo de trabalho de ML .
- Qual é a estratégia para garantir a reprodutibilidade e a manutenção envolvidas no projeto, construção e monitoramento do sistema habilitado em ML? (MLops).
Processo de geração do modelo Processo de ajuste do modelo Processo da consulta a classificação.
Defina a estratégia para obter dados de uso do sistema habilitado em ML.
- Telemetria envolve a coleta de dados como cliques em botões específicos e pode envolver outros dados de uso e desempenho sobre o sistema, como número de consultas ao banco de dados, porcentagem de uso do sistema .
Através cookes no aplicativo para coletar cliques.
Defina a estratégia para integrar o modelo.
- Como o modelo será integrado com o restante da funcionalidade do sistema e quais propriedades serão avaliadas? (por exemplo, segurança, proteção, privacidade, entre outros, podem ser aplicáveis).
Através de interface de liberação de processamento.
Avalie o custo financeiro envolvido na infraestrutura da solução.
- Estime o custo envolvido com a infraestrutura da solução (Isso pode condicionar as decisões arquiteturais. Não se esqueça que grandes modelos podem ser inutilizáveis devido ao custo para executá-los e mantê-los)
Criar instrumento contratual para liberação de demanda de seriço e respectivo desembolso.
Perspectiva do modelo
Construir um bom modelo de ML implica não apenas treinar um algoritmo com dados para prever ou classificar algum fenômeno. Vários outros aspectos determinam sua qualidade.
Defina as entradas (features) e a saída (label) do modelo
- Quais serão os dados de entrada e saída do modelo? (o conjunto de entradas pode ser refinado durante as atividades de experimentação)
Código-Cliente Código-Emprestimo Numero-Parcela Valor-Parcela-Emprestimo Data-Prevista-Pagamento Data-Pagamento-Emprestimo Valor-Pagamento-Empréstimo
Defina o conjunto de algoritmos a serem considerados durante a modelagem.
- - Qual é o conjunto de algoritmos que podem ser usados/investigados com base no tipo de problema de ML e outras restrições?
A conferir
Defina o valor esperado das métricas de desempenho do modelo
- - Qual é o valor das métricas de desempenho do modelo para medir a qualidade das predições?
A conferir.
Defina a estratégia para melhorar o desempenho dos algoritmos de ML
-Pense na necessidade de maximizar o desempenho do modelo. (Ajustar os parâmetros do algoritmo e usar o autoML são opções)
"Pergunta: O cliente irá pagar emprestimo?
Variáveis de dados: 1 categoria nominal (nome da ferramenta) 1 quantitativa
(Grau de sucesso).
Variáveis visual: Comprimento da barra, cores na barra
Método: Comparação de categorias.
Iteração: nenhuma
Descrição: ajuda a mostrar a gama de valores quantitativos. Conta e Nome do cliente classificados como bom ou mau pagador."
Defina a estratégia para obter dados dos usuários.
- Como as interações do usuário apoiarão a melhoria do modelo? (Lembre-se que a coleta e rotulagem de dados é uma tarefa que demanda tempo e pessoas).
Coletar dados diretamentamento do banco de dados que contém as transações realizadas pelo cliente a 6 meses atrás.
Análise as predições erradas do modelo.
-Qual é o custo de uma predição errada? (por exemplo: impacto para o negócio, usuário...)
Aumento da inadiplência para o banco e impedimento de novos emprestimos e regociações aos clientes.
- Como as interações do usuário ajudarão a perceber eles que há um erro?
- Como as interações do usuário ajudarão a perceber eles que há um erro?
- Quem será o responsável pelos erros?
- Quem será o responsável pelos erros?
Perspectiva de dados
Dados ruins resultarão em predições imprecisas. Assim, um bom sistema de software habilitado em ML conta com dados de entrada de alta qualidade.
Defina a estratégia de acesso aos dados
- Defina a estratégia de acesso aos dados ?
< Especifique aqui >
Defina a estratégia para selecionar e descrever os dados.
- Quantos e qual será a distribuição dos dados selecionados?
- O que significam os dados coletados? (considere criar um dicionário de dados)
< Especifique aqui >
Avalie a qualidade dos dados coletados (exploração dos dados)
- Os dados são corretos?
< Especifique aqui >
-Os dados são livres de viés?
< Especifique aqui >
- Os dados contêm observações suficientes de todas as situações em que o modelo irá operar?
< Especifique aqui >
- Os dados são consistentes?
< Especifique aqui >
- Os dados podem ser usados e processados livremente? (ética e privacidade)
< Especifique aqui >
Converta os dados na representação do modelo
- Data cleaning
- Feature engineering
- Labeling
- Modeling
< Especifique aqui >
Defina a estratégia para dividir os dados.
- Dataset de treinamento
- Dataset de validação
- Dataset de teste
< Especifique aqui >
Defina a pontualidade (timeliness) dos dados.
- Qual é o tempo entre quando os dados são esperados e quando estão prontamente disponíveis?
< Especifique aqui >
Defina um dataset de referência (golden dataset)
- Conjunto de dados aprovado por um especialista de domínio
< Especifique aqui >
BIBLIOGRAFIA
Q que é ciência de dados?
Q que é ciência de dados?
Q que é Data Ops?
Livro Ciência de dados
Como escolher seu gráfico
Como selecionar algoritmos?
Como selecionar algoritmos - detahe?
14 Tipos de aprendizagem
Colab - Introdução Python
Python 5 minutos
Biblioteca de Algoritimos
Glossário de termos Machine leanirning
LEVANTAMENTO
Fluxo de trabalho ML
Canvas Redução inadimplência
User Store Classificação automática
