Postagens

Trilha machine learning: Algoritmo de regressão linear

Imagem
Hoje vamos falar sobre a regressão linear que é um algoritmo de aprendizado de máquina supervisionado usado para modelar a relação entre uma variável dependente (alvo) e uma variável independente (característica ou atributo), o objetivo é encontrar a melhor linha reta que descreva a relação entre essas variáveis. A regressão é uma técnica estatística, e em machine learning podemos usá-la com intuito de prever dados de acordo com essas variáveis que temos. O método mais comum de regressão linear é a regressão linear simples (temos também a regressão linear múltipla, vamos falar dela na próxima semana), a equação da linha de regressão é essa aqui:  Y=aX+b onde:  Y é a variável dependente (ou resposta); X é a variável independente (ou preditora); a é o coeficiente angular, que representa a inclinação da linha de regressão; b é o intercepto, que indica onde a linha de regressão cruza o eixo vertical (Y) quando X é zero. Essa equação descreve a relação linear entre X e Y, q...

Trilha machine learning: Algoritmo de árvore de decisão

Imagem
Anteriormente vimos que dentro do aprendizado de máquina, podemos ter algoritmos de aprendizado supervisionado e não supervisionado, e dentro dos supervisionados temos aqueles que podem ser usados para regressão (previsão) ou classificação (separação).  Hoje vamos conhecer o algoritmo chamado árvore de decisão, que é um dos algoritmos de classificação mais conhecidos e com certeza já deve ter ouvido falar dele por aí, então vamos lá conhecer esse recurso melhor. A árvore é construída por meio da divisão dos dados e agrupados com base em características que eles tem em comum, quanto mais homogêneo é um grupo, mais assertivo é o resultado. Cada nó interno da árvore representa uma condição de divisão, enquanto as folhas representam as decisões ou rótulos finais.  A árvore é construída usando os atributos que melhor separam cada grupo, isso para casos de classificação. Para a predição, os dados percorrem a árvore seguindo as condições até alcançar uma folha, onde é atribuído um ró...

Trilha machine learning: ETL

Imagem
  No artigo anterior, tivemos uma introdução ao tema de aprendizado de máquina, e após entendê-lo, é bom sabermos também sobre uma etapa super importante , que é o processo de ETL (ou ELT em alguns casos) e deve anteceder qualquer projeto seja de aprendizado de máquina ou BI para garantir a qualidade da nossa base de dados e a eficiência na execução dos nossos algoritmos. Vamos lá! O ETL (Extract Transform Load, ou Extração Transformação e Carregamento) é capaz de tornar o processo mais preciso e eficiente, é nesse processo que os dados são padronizados e limpos e é nele que conseguimos entender os dados que nossa base tem e já ter uma noção prévia do que eles nos fornecem e são capazes de fornecer depois de aplicarmos técnicas de BI, machine learning... ELT (Extrair, carregar e transformar) nesse caso a carga é feita antes da transformação, ela otimiza a carga e é normalmente usada em Data Lakes e dados para serem usados em Big Data, ou casos de aprendizado de máquina que exigem q...

Trilha machine learning: O que é machine learning?

Imagem
  Vou dar início à trilha de machine learning , onde quero explorar com vocês, diversos algoritmos e suas aplicações, vendo toda sua teoria, mas também a sua prática. E quem quiser contribuir com essa trilha, vem comigo! E para iniciarmos esse caminho, vamos entender primeiro o que é o tão famoso machine learning (aprendizado de máquina, ou ML se preferir). O aprendizado de máquina é umas das técnicas da ciência de dados e consiste em usar algoritmos e técnicas de matemática e estatística para a partir dos dados que geramos, conseguir entender e realizar sua classificação, ou ainda, prever o seu futuro. Vou simplificar: Cada interação nossa em algum site, sistema ou até fisicamente em uma loja ou supermercado, gera um rastro de dados sobre nós mesmos, nossas preferências e nossos hábitos, com esses dados, cientistas de dados podem usar algoritmos de machine learning para nos oferecer exatamente o que podemos estar precisando (ou até nos induzir a comprar algo da nossa...

Resenha: Storytelling com dados - Cole Nussbaumer Knaflic

Imagem
No livro a escritora aborda de uma forma divertida e leve, pontos sobre como seria o desenvolvimento de visualizações de dados realmente eficientes, mostrando também visualizações não tão eficientes assim.  Num geral, são abordados seis principais pontos sobre o tema (além de todas as informações valiosas sobre tipos de gráficos e estudos de caso): • Entenda o contexto saiba quem é seu público e como o fará seguir os passos que deseja, use os artifícios necessários para afirmar seu argumento. • Escolha o visual apropriado, escolha os gráficos da forma certa, o gráfico certo irá valorizar seus dados.  • Elimine a saturação,  menos é mais! Muitas cores, formas e informação em excesso podem confundir e até passar a mensagem errada.  • Focalize a atenção para onde você deseja, utilizar de forma consciente as cores, tamanho das letras, negrito e inclusão de textos, podem trazer para o seu público um melhor entendimento da informação.  • Pense como um desi...

Análise de dados de seguro saúde

Imagem
A direção de uma seguradora levantou as seguintes questões para serem respondidas com os dados coletados dos seus usuários: Qual gasto total da operadora? Qual idade média dos usuários? Qual gasto médio por região? Qual faixa etária possui maior gasto com seguro saúde por região? Crianças tem gasto maior do que adultos? Qual proporção de crianças por região? O aumento da idade influencia no IMC? Quem tem maior gasto, homens ou mulheres? Se o usuário for mulher, tem IMC abaixo ou acima da média? Se for homem, com mais de 50 anos, da região sudeste, o gasto é maior ou menor do que o gasto médio por região? Após a análise do banco, o seguinte relatório foi usado para responder as perguntas da direção: Para responder as perguntas, foi analisado o banco de dados que era composto pelas seguintes colunas: Desse banco foi descartada a coluna "crianca", pois ela era composta por valores de 0 a 5, que não faziam sentido, não poderia ser um indicativo de ser ou não criança, ...

Análise de dados das vendas de um e-commerce

Imagem
Uma empresa do tipo e-commerce realizou a captura dos dados do site utilizando Google Analytics para realizar análise do perfil dos seus visitantes. Para essa análise foram respondidas as seguintes questões: Como são feitos os acessos ao site? (buscam no Google ou clicam nos anúncios do Instagram, por exemplo)  Quanto tempo uma pessoa permanece no portal por dia do mês? Qual a principal fonte de acesso? (Google, Facebook, Instagram...) Qual sistema operacional mais usado para o acesso? Qual o dispositivo mais usado para o acesso? Qual faturamento por dia? Todas essas perguntas podem ser respondidas pelo relatório abaixo, podendo ainda utilizar o filtro para exibir o resultado das perguntas para um País específico. Neste dashboard vemos sete indicadores, da esquerda para a direita: O primeiro, um gráfico de barras mostra a contagem dos meios de busca que levaram os visitantes até o site; O segundo é um indicador do tipo ** e mostra a quantidade e acessos que chegaram por...