logo logo Puc Rio- Educação Continuada

CURSO DE ENGENHARIA DE SOFTWARE APLICADA A CIÊNCIA DE DADOS (CD)

Classificação da qualidade de um vinho

Especificação
Atividade 1

Comparação de Modelos de Machine Learning (ML) de Classificação (ou Regressão) utilizando boas práticas de Engenharia de Software.

Explorar as propriedades fisico-química de um vinho para saber como elas influenciam na classificação da qualidade de um vinho (obtida sensorialmente por especialistas, através de pontuação da qualidade de 0 a 10)

Marcos Kalinowski (Phd), Tatiana Escovedo(Phd) e Hugo Villamizar(Doutorando)

Walter Dominguez(MSc)

dez/2022

Especificação:
necessidade info / hipótese
Resultado esperado
(requisitos da necessidade info / hipótese)
Desenvolvimento
Projeto:
Resultado esperado
(necessidade info / hipótese)
Modelo escolhido
Operação:
Modelo escolhido
Resultado real

Onde esta a Ciência de Dados no contexto do século XXI

A Ciência dos Dados esta complementando o eixo da Ciência da informação estando as Ontologias como o outro eixo da Ciência da informação.

A Ciência dos Dados esta no contexto dos dados não estruturados enquanto as ontologias estão no eixo dos contextos estruturados.

A Engenharia de Software é orientada a frameworks que incluem Waterfall, Spiral, sistemas ágeis e muito mais. A ciência de dados inclui ferramentas de visualização de dados, ferramentas de análise de dados e ferramentas de banco de dados.

Tipos de Sitemas x Estrutura empresarial

Atividade prática de especificação de sistemas habilitados em ML

Contexto

Vamos supor que precisamos a classificação da qualidade de um vinho de uma vinicula . Esta funcionalidade pode ser descrita como uma historia de usuário.

Historia do usuário

Estória do Usuário : [US01] Como Gerente da vinícula Quero explorar as propriedades fisico-química de um vinho para saber como elas influenciam na classificação da qualidade de um vinho (obtida sensorialmente por especialistas, através de pontuação da qualidade de 0 a 10).

Como usar PerSpecML

Espera-se que PerSpecML seja usado por engenheiros de requisitos ou alguém que esteja cumprindo as funções deste papel, para, em colaboração com outras partes interessadas, especificar sistemas de software inteligentes que envolvem componentes de ML.

O processo começa considerando as perspectivas do diagrama de tarefas e preocupações (veja a seguinte aba deste documento). Estabelecemos uma ordem intuitiva para analisá-las:

1. objetivos de ML
2. experiência do usuário
3. infraestrutura
4. modelo
5. dados.

Dada uma perspectiva, analisamos cada preocupação com os atores sugeridos, considerando também as relações de dependência. Neste caso, você deve asumir o papel de cada ator envolvido na tarefa / preocupação.

Se a preocupação for aplicável, deve ser especificada junto com os atores sugeridos usando o template de especificação de ML (veja a última aba deste documento). A figura a seguir resume as etapas para aplicar PerSpecML."

PerSpecML: Template de especificação de ML baseado em Perspectivas

Estória do Usuário : [US01] Como Gerente da vinícula Quero explorar as propriedades fisico-química de um vinho para saber como elas influenciam na classificação da qualidade de um vinho (obtida sensorialmente por especialistas, através de pontuação da qualidade de 0 a 10).

Perspectiva de objetivos de ML

    Um bom sistema de software habilitado em ML conecta as saídas do modelo com experiência para alcançar os resultados desejados

    Conheça o cliente
    - Qual é o problema para o qual o ML é direcionado?

    Classificação automática de um vinho através da exploração das propriedades fisico-química de um vinho para saber como elas influenciam na classificação da qualidade de um vinho (obtida sensorialmente por especialistas, através de pontuação da qualidade de 0 a 10)

    - Qual é o contexto em que o sistema habilitado em ML vai operar?

    Começa na Jornada "Coleta das amostras", identificação das propriedades fisico-quimica de um vinho e classificação sensorial por especialistas, através da pontuação da qualidade de 0 a 10. A seguir começa a jornada de analise exploratoria das amostras e verificação de dados faltantes ou descrepantes. Para os valores com erros começa a jornada de acertos até que sejam liberados os valoes. Uma vez liberados os valores começa a jornada para separar as bases de testes e de treinamento até a verificação da acurácia dos testes. Começa então a jornada de modelagem e inferência até que os modelos sejam ajustados. Começa então a jornada do pós-processamento verificando pontos fortes e dificuldades na implementação de cada um dos modelos até que seja escolhido um modelo. Escolhido o modelo começa a apresentação de resultados, executando o modelo com novas amostras e resultados obtidos e conclusões. Aqui é planejada os passos para a implantação da solução proposta e sua manutenção evolutiva. Começa então a operação do modelo no desenvolvimento com objetivo de implantar na produção. Terminando com a implantação na produção.

    Defina os objetivos do sistema habilitado em ML.
    - Como ML contribuirá para atingir os objetivos organizacionais?

    A classificação automática irá permitir a melhora na acuracidade das classificações.

    - Quais objetivos do usuário medirão o sucesso do sistema habilitado em ML? (Exemplo: se o seu sistema é sobre ajudar os usuários a encontrar conteúdo que eles gostam, então eles estão encontrando conteúdo que acabam gostando?)

    Manter uma acuracidade maior que 70%. Qualidade dos vinhos acima da pontuação 6 (médio)

    - Quais métricas de desempenho do modelo serão usadas para medir a qualidade das predições do modelo?

    Acuracidade do modelo e qualidade do vinho.

    Defina os indicadores de sucesso do sistema habilitado em ML
    - Quais indicadores de sucesso medirão o sucesso do sistema habilitado em ML? (por exemplo, sentimento do usuário, envolvimento do usuário).

    Acuracidade do modelo acima de 70% e qualidade do vinho maior que 6.

    Defina a funcionalidade de ML
    - Qual é a funcionalidade de ML?.

    Classificação automática da qualidade dos vinhos. Coleta automática das amostras. Separação dos conjuntos de teste e treinamento. Avaliação de modelos.

    Defina o balance das expectativas do cliente
    - Qual tipo de características de ML deverão ser priorizadas / compensadas? (por exemplo: um falso positivo é melhor do que um falso negativo? É melhor perder precisão que ganhar desempenho?)

    1.Fairness/Ética 2.Explicabilidade 3.Qualidade dos dados 4.Acuracia 5. Desempenho.

Perspectiva de experiencia de usuário

    Um bom sistema de software habilitado em ML apresenta a inteligência ao usuário, atinge os objetivos do sistema, minimiza possíveis falhas do modelo e gera dados para melhoria do mesmo.

    Defina o valor das predições do modelo
    - Qual é o valor agregado percebido pelos usuários a partir das previsões?

    Melhora na qualidade dos vinhos.

    Defina a frequência das predições do modelo.
    - Com que frequência o modelo interage com o usuário?

    O modelo interage a partir da produção de um vinho . A frequencia é sob demanda.

    Defina a força (intensidade) das predições do modelo
    - Que tipo de ação o modelo exigirá do usuário após uma previsão?

    Avaliar se os resultados estão dentro dos limites de confiança, Informar ajustes para o modelo devido falta de valor na coleta ou em valores descrepantes. Informar mais amostras ou mais ou menos feactures para melhorar o modelo.

    Defina a visualização das predições
    - Como as previsões do modelo serão exibidas?

    "Pergunta: Qual o histórico de classificação de um cliente nos últimos 6 meses para decidir sobre a sua concessão de emprestimo
    Variáveis de dados: 1 categoria nominal (nome dos meses) 1 quantitativa (Grau de classificação).
    Variáveis visual: Comprimento da barra, cores na barra
    Método: Comparação de categorias.
    Iteração: nenhuma
    Descrição: Mostrar o histórico de classficações obtidas nos ultimos 6 meses, para apoiar a tomada de decisão da gerencia bancaria"

    Defina a estratégia para obter dados dos usuários.
    - Como as interações do usuário apoiarão a melhoria do modelo? (Lembre-se que a coleta e rotulagem de dados é uma tarefa que demanda tempo e pessoas).

    Coletar dados diretamentamente da produção do vinho.

    Análise as predições erradas do modelo.
    -Qual é o custo de uma predição errada? (por exemplo: impacto para o negócio, usuário...)

    Diminuição da qualidade dos vinhos.

    - Como as interações do usuário ajudarão a perceber que há um erro?

    - Ajudará através da identificação de valores faltantes e discrepantes. Caracteristicas com pouca ou nenhuma representatividade.

    - Quem será o responsável pelos erros?

    - DE - Especialista em vinho

Perspectiva de Infraestrutura

    Um bom sistema habilitado em ML é um sistema que usa as saídas do modelo e as transforma em um sistema totalmente funcional .

    Defina a estratégia para transportar os dados que o modelo precisa
    - Como os dados serão transmitidos da fonte para o modelo?

    Através da Telemetria. Os dados são enviados através da web ou aplicativo apartir de um comando de envio das informações por uma interface específica.

    Defina a estratégia para disponibilizar o modelo e ser consumido.
    - Como o modelo será executado e consumido?

    Através de Interface (tela) para executar conjunto de comandos (procedure) .

    Defina a estratégia para atualizar o modelo
    - Qual será a estratégia para atualizar o modelo e garantir um aprendizado incremental?

    Criação de base de teste e treinamento.

    Defina a estratégia para armazenar os artefatos de ML .
    - Onde os artefatos de ML (por exemplo, modelos, dados, scripts, experimentos, ambientes) serão armazenados?

    No usuário em conformidade com a LGPD local.

    Defina a estratégia de automação do fluxo de trabalho de ML .
    - Qual é a estratégia para garantir a reprodutibilidade e a manutenção envolvidas no projeto, construção e monitoramento do sistema habilitado em ML? (MLops).

    Definição do problema -> Coleta e análise de dados -> Pré-processamento -> [Modelagem e inferência]n vezes -> pós processamento -> Apresentação de resultados -> implantação do modelo.

    Defina a estratégia para obter dados de uso do sistema habilitado em ML.
    - Telemetria envolve a coleta de dados como cliques em botões específicos e pode envolver outros dados de uso e desempenho sobre o sistema, como número de consultas ao banco de dados, porcentagem de uso do sistema .

    Através cookie no aplicativo para coletar cliques.

    Defina a estratégia para integrar o modelo.
    - Como o modelo será integrado com o restante da funcionalidade do sistema e quais propriedades serão avaliadas? (por exemplo, segurança, proteção, privacidade, entre outros, podem ser aplicáveis).

    Através de interface de liberação de processamento.

    Avalie o custo financeiro envolvido na infraestrutura da solução.
    - Estime o custo envolvido com a infraestrutura da solução (Isso pode condicionar as decisões arquiteturais. Não se esqueça que grandes modelos podem ser inutilizáveis devido ao custo para executá-los e mantê-los)

    Criar instrumento contratual para liberação de demanda de serviço e respectivo desembolso para manutenção evolutiva.

Perspectiva do modelo

    Construir um bom modelo de ML implica não apenas treinar um algoritmo com dados para prever ou classificar algum fenômeno. Vários outros aspectos determinam sua qualidade.

    Defina as entradas (features) e a saída (label) do modelo
    - Quais serão os dados de entrada e saída do modelo? (o conjunto de entradas pode ser refinado durante as atividades de experimentação)

    Entrada: valor de cada caracteristica e classificação do vinho por especialistas
    Saida: Classificação de cada vinho.

    Defina o conjunto de algoritmos a serem considerados durante a modelagem.
    - - Qual é o conjunto de algoritmos que podem ser usados/investigados com base no tipo de problema de ML e outras restrições?

    KNN - k Nearest Neighbours (k Vizinhos Mais Próximos)
    ARVORE DE DECISÃO, ÁRVORE DE CLASSIFICAÇÃO, NAIVE BAYES, SVM (número de vetores de suporte)

    Defina a capacidade do modelo de resumir as razões de suas decisões
    - Necessidade de entender os motivos das inferências do modelo (outras preocupações relacionadas, como transparência e interpretabilidade, podem ser aplicadas).

    A conferir.

    Defina se existe alguma restrição com tempo de inferência do modelo.
    -- Qual é o tempo de inferência esperado para o modelo calcular e entregar as predições?

    A conferir

    Defina se existe alguma restrição com o tempo de treinamento do modelo.
    - Qual é o tempo de treinamento esperado?

    A conferir.

    Defina se existe alguma restrição com o tamanho/complexidade do modelo.
    -- Existe alguma restrição sobre o tamanho do modelo em termos de armazenamento e complexidade? (por exemplo, para árvores de decisão pode haver necessidade de poda)

    A conferir

    Defina um modelo base como referência.
    -- Existe uma linha de base do modelo para comparar os resultados do modelo treinado? (Um modelo simples opcional que atua como referência. Sua principal função é contextualizar os resultados dos modelos treinados.)

    A conferir

    Avalie a degradação do desempenho do modelo.
    -- Você está ciente da degradação do desempenho do modelo? (Com o tempo, o desempenho preditivo de muitos modelos tende a diminuir à medida que um determinado modelo é testado em novos conjuntos de dados em ambientes em rápida evolução)

    A conferir

Perspectiva de dados

    Dados ruins resultarão em predições imprecisas. Assim, um bom sistema de software habilitado em ML conta com dados de entrada de alta qualidade.

    Defina a estratégia de acesso aos dados
    - Defina a estratégia de acesso aos dados ?

    < Especifique aqui >

    Defina a estratégia para selecionar e descrever os dados.
    - Quantos e qual será a distribuição dos dados selecionados? - O que significam os dados coletados? (considere criar um dicionário de dados)

    < Especifique aqui >

    Avalie a qualidade dos dados coletados (exploração dos dados)
    - Os dados são corretos?

    < Especifique aqui >

    -Os dados são livres de viés?

    < Especifique aqui >

    - Os dados contêm observações suficientes de todas as situações em que o modelo irá operar?

    < Especifique aqui >

    - Os dados são consistentes?

    < Especifique aqui >

    - Os dados podem ser usados e processados livremente? (ética e privacidade)

    < Especifique aqui >

    Converta os dados na representação do modelo
    - Data cleaning
    - Feature engineering
    - Labeling
    - Modeling

    < Especifique aqui >

    Defina a estratégia para dividir os dados.
    - Dataset de treinamento
    - Dataset de validação
    - Dataset de teste

    < Especifique aqui >

    Defina a pontualidade (timeliness) dos dados.
    - Qual é o tempo entre quando os dados são esperados e quando estão prontamente disponíveis?

    < Especifique aqui >

    Defina um dataset de referência (golden dataset)
    - Conjunto de dados aprovado por um especialista de domínio

    < Especifique aqui >

REFERÊNCIAS

    Domínios do conhecimento
      Web
      1. Domínios
      1. Wikipedia
    Ciência de dados
      Pdf
      1. Engenharia de Software para Ciência de Dados
    Sistemas de Informação
      Teoria geral
        Sistema
          Web
          1. Conceitos sistema de informação
          Livros
          1. Teoria geral dos sistemas
          2. Creatividade em sistema de informação
    Engenharia de Software
      Clássicos
        Geral
          Livros
          1. Pressman, Rogers S. e Maxim, Bruce R. Engenharia de software uma abordagem profissional. McGraw Hill Brasil. 9a Ed. 2020
          2. Pressman, Rogers S. e Maxim, Lowe, David Engenharia Web. Gen/LTC. 2009
          Web
          1. Engenharia de software (SWEBOK Guide V3 Topics)
      Ciência de dados
        Pdf
        1. Engenharia de Software para Ciência de Dados
      Engenharia de Requisitos
        Web
        1. Modelo conceitual de requisitos
        Artigos
        1. WAGNER, S.; FERNÁNDEZ, D. M.; FELDERER, M.; VETRO, A.; KALINOWSKI, M.; WIERINGA, R.; PFAHL, D.; CONTE, T.; CHRISTIANSSON, M.; GREER, D.; LASSENIUS, C.; MÄNNISTÖ, T.; NAYEBI, M.; OIVO, M.; PENZENSTADLER, B.; PRIKLADNICKI, R.; RUHE, G.; SCHEKELMANN, A.; SEN, S.; SPÍNOLA, R. O.; TUZCU, A.; DE LA VARA, J. L.; AND WINKLER, D. Status Quo in Requirements Engineering: A Theory and a Global Family of Surveys. ACM Transactions on Software Engineering and Methdology, 28(2): 9:1-9:48. 2019.
        2. Amershi, S., Begel, A., Bird, C., et al., Software engineering for machine learning: A case study. In IEEE/ACM International Conference on Software Engineering: Software Engineering in Practice (ICSE-SEIP), 2019
    Teoria de software
      Artigos
        Revistas
        1. Revista de Sistemas e Software
        Artigos
        1. Alonso, S., Kalinowski, M., Viana, M., Ferreira, B. and Barbosa, S. D. J. A Systematic Mapping Study on the Use of Software Engineering Practices to Develop MVPs, Euromicro Conference on Software Engineering and Advanced Applications (SEAA), 2021
        2. Amershi, S., Begel, A., Bird, C., et al., Software engineering for machine learning: A case study. In IEEE/ACM International Conference on Software Engineering: Software Engineering in Practice (ICSE-SEIP), 2019
    Rede Internacional de Engenharia de Software
      Web
      1. Rede Internacional de Pesquisa em Engenharia de Software (ISERNE)
      1. Simpósio Internacional de Engenharia e Medição de Software Empírico (ESEM)
    Vinícula
      Web
      1. Uso da ML na indutria vinícula
      2. Modelo de classificação de vinho
      3. Modelo de classificação de vinho outro exemplo GitHub
    Laboratórios
      Web
      1. Laboratório de Engenharia de Software LES Software Science Lab ExACTa
    Cursos
      Zoom
      1. Engenharia de Software para Ciência de Dados Análise e Projeto de Sistemas Catálogo Integencia artificial