Usando o Python no InterSystems IRIS – Montando o Relatório de Análise Exploratória de Dados

Usando o Python no InterSystems IRIS – Montando o Relatório de Análise Exploratória de Dados

Olá,

Neste artigo vamos ver como usar o python para realizar a análise exploratória de dados (Exploratory Data Analysis - EDA) em um dataframe.

EDA é uma etapa importante no ciclo de análise de dados, É quando você examina os dados para entender suas características e padrões.

Uma EDA básica pode ser montada com dados estatísticos do dataframe como informações de média, mediana, moda, mínimo, máximo, desvio padrão de colunas do dataframe, e também de gráficos de barras, pizza, histogramas, boxplots, e outros que vão facilitar a visualização de tendências.

Vamos começar com a origem dos nossos dados. Para este artigo vamos pegar um arquivo do Kaggle,que é uma plataforma online muito popular na área de ciência de dados e aprendizado de máquina. Para este nosso trabalho vamos usar o dataset que está no arquivo healthcare-dataset-stroke-data.csv, que pode ser encontrado em https://www.kaggle.com/code/rishabh057/healthcare-dataset-stroke-data e importar no Iris.

Antes de importar os dados, vamos criar uma classe para armazenar os dados:

Class Kaggle.Stroke Extends (%Persistent, %XML.Adaptor)
{

Property index As %Integer [ SqlColumnNumber = 2 ];

Property gender As %String [ SqlColumnNumber = 3 ];

Property age As %Integer [ SqlColumnNumber = 4 ];

Property hypertension As %Boolean [ SqlColumnNumber = 5 ];

Property heartDisease As %Boolean [ SqlColumnNumber = 6 ];

Property everMarried As %String [ SqlColumnNumber = 7 ];

Property workType As %String [ SqlColumnNumber = 8 ];

Property residenceType As %String [ SqlColumnNumber = 9 ];

Property avgGlucoseLevel As %Numeric(SCALE = 2) [ SqlColumnNumber = 10 ];

Property bmi As %Numeric(SCALE = 2) [ SqlColumnNumber = 11 ];

Property smokingStatus As %String [ SqlColumnNumber = 12 ];

Property stroke As %Boolean [ SqlColumnNumber = 13 ];

}

Vá agora no SQL Explorer e vamos importar os dados do arquivo com o comando LOAD DATA do Iris. Para mais detalhes, veja a documentação em https://docs.intersystems.com/irislatest/csp/docbook/DocBook.UI.Page.cls?KEY=RSQL_loaddata

 

Execute o comando abaixo, trocando o diretório onde o arquivo CSV está armazenado:

 

LOAD DATA FROM FILE 'C://temp//healthcare-dataset-stroke-data.csv'

INTO Kaggle.Stroke

 

Veja agora a nossa tabela populada:

 

 

Agora vamos voltar ao nosso primeiro artigo sobre Python, quando exportamos os dados de uma tabela para o Excel: https://pt.community.intersystems.com/post/usando-o-python-no-intersystems-iris-%E2%80%93-exportando-dados-para-o-excel Vamos utilizar a mesma idéia agora para montar o nosso dataframe:

 

ClassMethod Relatorio() As %String [ Language = python ]
{
             
              import iris
              import pandas as pd

              rs = iris.sql.exec("select * from Kaggle.Stroke")
              df = rs.dataframe()

              print(df)

}

 

Este trecho de código irá ler a nossa tabela Kaggle.Stroke e gerar um dataframe pandas a partir do recordset que foi criado pelo SQL. Executando nosso código já podemos visualizar nossos dados:

 

Podemos adicionalmente pedir ao pandas para devolver a estrutura do nosso dataframe com o comando info() substituindo a linha no nosso código abaixo:

print(df)

Pela linha abaixo:

print(df.info())

A saída do nosso método agora ficará assim:

 

Agora com os dados carregados no dataframe já podemos realizar alguns levantamentos, como media, moda, mediana e outros:

 

ClassMethod Relatorio() As %String [ Language = python ]
{
             
              import iris
              import pandas as pd

              rs = iris.sql.exec("select * from Kaggle.Stroke")
              df = rs.dataframe()

              print(df.info())

              # Calculando estatísticas
              relatorio = pd.DataFrame({
                  'Média': df[['age', 'avgglucoselevel', 'bmi']].mean(),
                  'Mediana': df[['age', 'avgglucoselevel', 'bmi']].median(),
    'Moda': df[['age', 'avgglucoselevel', 'bmi']].apply(lambda x: x.mode()[0] if not x.mode().empty else None),
                  'Desvio Padrão': df[['age', 'avgglucoselevel', 'bmi']].std(),
                  'Valor Mínimo': df[['age', 'avgglucoselevel', 'bmi']].min(),
                  'Valor Máximo': df[['age', 'avgglucoselevel', 'bmi']].max()
              })

              print(relatório)

}

Executando nosso código já vemos as informações na tela:

 

 

Aqui já podemos ver algumas informações interessantes:

• A Média é o valor obtido dividindo a soma de todos os elementos de um conjunto de dados pelo número de elementos.
• A Mediana é o valor central de um conjunto de dados ordenado.
• A Moda é o valor que aparece com mais frequência em um conjunto de dados.
• O Desvio Padrão mede o quão espalhados os valores estão em relação à média.
• O Valor Máximo é o maior valor em um conjunto de dados.
• O Valor Mínimo é o menor valor em um conjunto de dados.

 

Vamos salvar nosso relatório como uma página HTML. Para isso vamos incluir alguns toques de CSS para termos uma apresentação mais agradável, e salvar nosso relatório em um arquivo HTML:

 

ClassMethod Relatorio(arquivo as %String = "") As %String [ Language = python ]
{
             
              import iris
              import pandas as pd

              rs = iris.sql.exec("select * from Kaggle.Stroke")
              df = rs.dataframe()

              print(df.info())

              if arquivo == "":
                            arquivo="relatorio"

              # Calculando estatísticas
              relatorio = pd.DataFrame({
                  'Média': df[['age', 'avgglucoselevel', 'bmi']].mean(),
                  'Mediana': df[['age', 'avgglucoselevel', 'bmi']].median(),
    'Moda': df[['age', 'avgglucoselevel', 'bmi']].apply(lambda x: x.mode()[0] if not x.mode().empty else None),
                  'Desvio Padrão': df[['age', 'avgglucoselevel', 'bmi']].std(),
                  'Valor Mínimo': df[['age', 'avgglucoselevel', 'bmi']].min(),
                  'Valor Máximo': df[['age', 'avgglucoselevel', 'bmi']].max()
              })
             
              # Renomeando as colunas do dataframe para o relatório
              relatorio.index = ['Idade', 'Nível Médio de Glicose', 'IMC']

              # Estilizando a tabela para o HTML
              styled_relatorio = (
                  relatorio.style
                  .set_table_styles(
                      [
                          {'selector': 'thead th', 'props': [('background-color', '#2F4F4F'),  # Título em cinza escuro
                                                             ('color', 'white'),
                                                             ('text-align', 'center')]},
                          {'selector': 'tbody tr:nth-child(odd)', 'props': [('background-color', '#f2f2f2')]}, 
                          {'selector': 'tbody tr:nth-child(even)', 'props': [('background-color', 'white')]},     
                          {'selector': 'tbody td', 'props': [('text-align', 'center')]},        
                      ]
                  )
              )
             
              # Salvando o relatório como HTML
              html_output = styled_relatorio.to_html()
              with open("c:\\temp\\" + arquivo + ".html", "w", encoding="utf-8") as f:
                  f.write(html_output)
}

Agora ao executar nosso código vemos o arquivo relatório.html no diretório c:\temp. Abrindo o arquivo vemos nossa tabela gerada:

Agora vamos passar aos gráficos. Vamos gerar um arquivo com todos os nossos gráficos. Poderíamos gerar arquivos separados com o mesmo código, fazendo algumas simples modificações. Vamos em frente:

ClassMethod Relatorio(arquivo as %String = "") As %String [ Language = python ]
{
             
              import json
              import iris
              import pandas as pd
              import seaborn as sns
              from scipy.stats import mode
              import matplotlib
              import matplotlib.pyplot as plt
              matplotlib.use("Agg")

              rs = iris.sql.exec("select * from Kaggle.Stroke")
              df = rs.dataframe()
             
              if arquivo == "":
                            arquivo="relatorio"
             
              # Calculando estatísticas
              relatorio = pd.DataFrame({
                  'Média': df[['age', 'avgglucoselevel', 'bmi']].mean(),
                  'Mediana': df[['age', 'avgglucoselevel', 'bmi']].median(),
    'Moda': df[['age', 'avgglucoselevel', 'bmi']].apply(lambda x: x.mode()[0] if not x.mode().empty else None),
                  'Desvio Padrão': df[['age', 'avgglucoselevel', 'bmi']].std(),
                  'Valor Mínimo': df[['age', 'avgglucoselevel', 'bmi']].min(),
                  'Valor Máximo': df[['age', 'avgglucoselevel', 'bmi']].max()
              })
             
              # Renomeando as colunas do dataframe para o relatório
              relatorio.index = ['Idade', 'Nível Médio de Glicose', 'IMC']

              # Estilizando a tabela para o HTML
              styled_relatorio = (
                  relatorio.style
                  .set_table_styles(
                      [
                          {'selector': 'thead th', 'props': [('background-color', '#2F4F4F'),  
                                                             ('color', 'white'),
                                                             ('text-align', 'center')]},
                          {'selector': 'tbody tr:nth-child(odd)', 'props': [('background-color', '#f2f2f2')]},  
                          {'selector': 'tbody tr:nth-child(even)', 'props': [('background-color', 'white')]},    
                          {'selector': 'tbody td', 'props': [('text-align', 'center')]},       
                      ]
                  )
              )
             
              # Salvando o relatório como HTML
              html_output = styled_relatorio.to_html()
              with open("c:\\temp\\" + arquivo + ".html", "w", encoding="utf-8") as f:
                  f.write(html_output)

              # Exibindo o relatório
              print("\n**Relatório Estatístico:**\n")
              print(relatorio)

              # Criando os gráficos
              plt.figure(figsize=(25, 20))

              # Boxplot
              plt.subplot(5, 2, 1)
              sns.boxplot(data=df[['age', 'avgglucoselevel']])
              plt.title('Boxplot de Idade e Índice Glicêmico')

              # Histograma para idade
              plt.subplot(5, 2, 2)
            df['age'].plot(kind='hist', bins=5, color='skyblue', title='Distribuição de Idade')
              plt.xlabel('Idade')

              # Gráfico de pizza para sexo
              plt.subplot(5, 2, 3)
df['gender'].value_counts().plot(kind='pie', color=['orange', 'blue'], title='Distribuição por Sexo')
              plt.ylabel('Frequência')

              # Gráfico de pizza para AVC
              plt.subplot(5, 2, 4)
df['stroke'].value_counts().plot(kind='pie', color=['lightgreen', 'salmon'], title='Ocorrência de AVC')
              plt.ylabel('Frequência')
              #plt.xticks(ticks=[0, 1], labels=['Não', 'Sim'])
             
              # Gráfico de pizza para heartDisease
              plt.subplot(5, 2, 5)
df['heartdisease'].value_counts().plot(kind='pie', color=['green', 'red'], title='Problema Cardiaco')
              plt.ylabel('Frequência')
              #plt.xticks(ticks=[0, 1], labels=['Não', 'Sim'])
             
              # Gráfico de pizza para hypertension
              plt.subplot(5, 2, 6)
df['hypertension'].value_counts().plot(kind='pie', color=['green', 'red'], title='Hipertensão')
              plt.ylabel('Frequência')
              #plt.xticks(ticks=[0, 1], labels=['Não', 'Sim'])
             
              # Gráfico de pizza para residencetype
              plt.subplot(5, 2, 7)
df['residencetype'].value_counts().plot(kind='pie', color=['green', 'red'], title='Tipo de Residencia')
              plt.ylabel('Frequência')
              #plt.xticks(ticks=[0, 1], labels=['Não', 'Sim'])
             
              # Gráfico de barra para smokingstatus
              plt.subplot(5, 2, 8)
df['smokingstatus'].value_counts().plot(kind='bar', color=['blue', 'red', 'green', 'gray'], title='Distribuição por Tipo de Fumante')
              plt.ylabel('Frequência')
              plt.xticks(rotation=45)
             
              # Histograma para bmi
              plt.subplot(5, 2, 9)
       df['bmi'].plot(kind='hist', bins=5, color='lightgreen', title='Distribuição de BMI')
              plt.xlabel('BMI')
             
              # Histograma para avgglucoselevel
              plt.subplot(5, 2, 10)
df['avgglucoselevel'].plot(kind='hist', bins=5, color='pink', title='Distribuição de Nivel de Glicose')
              plt.xlabel('Nivel de Glicose')

              # Ajustando o layout
              plt.tight_layout()
             
              # Salvando os Gráficos
              caminho_arquivo = 'c:\\temp\\' + arquivo + '.png'
              plt.savefig(caminho_arquivo, dpi=300, bbox_inches='tight')
              plt.close()

              # Gera JSON de saida
              resultado = { 'relatorio': str(relatorio)
               }

              return json.dumps(resultado)

}
             
}

Lembre de verificar a lista de importações e certificar que você tem todas as bibliotecas necessárias para a execução do código.

Agora, executando nosso código temos a imagem gerada com os gráficos solicitados:

Com estes dados já podemos começar a montar uma EDA inicial para nosso projeto. É importante completar a EDA com informações sobre a origem dos dados. Quanto mais detalhada a EDA, mais informações ele trará para a criação do modelo de dados a ser utilizado nas previsões.

A EDA nos ajuda a entender os dados, seu comportamento e tendências. Também nos ajuda a identificar os melhores modelos a serem utilizados com os nossos dados.

Ainda dentro do projeto, em associação a EDA é importante montar um canvas de workflow, que vai ajudar a guiar no andamento do projeto. Em https://towardsdatascience.com/a-data-science-workflow-canvas-to-kickstart-your-projects-db62556be4d0 existe um modelo bem interessante de canvas:

Ao preencher o modelo temos uma idéia muito boa do nosso projeto. Abaixo um canvas já preenchido de um projeto anterior:

O canvas workflow em conjunto com a EDA nos dá uma documentação inicial do nosso projeto como um guia para o desenvolvimento. Agora é refinar o material e montar o projeto.