Aprenda Machine Learning do Zero: Guia Completo com Exemplos Práticos

Introdução ao aprendizado de máquina e preparação do ambiente

Bem-vindo ao curso de aprendizado de máquina (machine learning). Nesta jornada, vamos explorar como computadores podem aprender padrões a partir de dados sem que precisemos programar cada regra manualmente. A instrutora Kylie Ying nos guia desde a teoria fundamental até a prática, utilizando ferramentas poderosas como o Google Colab, um ambiente de desenvolvimento na nuvem que permite escrever e executar códigos em Python diretamente pelo navegador.

Para começar, utilizamos o repositório UCI de Machine Learning, uma fonte clássica que disponibiliza conjuntos de dados (datasets) para estudo. O foco inicial é o dataset MAGMA, que contém informações sobre telescópios de raios gama. Imagine que você precisa separar grãos de café de pedrinhas: o computador fará algo similar, analisando propriedades físicas para diferenciar partículas gama de hádrons, que são ruídos indesejados no sinal.

No Google Colab, importamos bibliotecas essenciais como NumPy, para cálculos matemáticos, Pandas, para manipular tabelas de dados, e Matplotlib, para criar gráficos. Esses recursos são como as ferramentas de um marceneiro: cada uma tem uma função específica para preparar a madeira, ou neste caso, os dados, antes de construirmos nosso modelo final.

A limpeza dos dados é uma etapa crucial. Muitas vezes, os arquivos brutos não possuem nomes claros nas colunas ou contêm letras onde deveriam existir números. Convertemos classes textuais, como 'g' e 'h', em valores numéricos (0 e 1). Computadores são excelentes em matemática, mas não entendem conceitos humanos abstratos. Transformar tudo em números é o primeiro passo para que o algoritmo consiga processar a informação.

O que é machine learning e como ele se organiza

É comum confundir termos da área. A inteligência artificial (IA) é o termo guarda-chuva que engloba máquinas simulando o comportamento humano. O aprendizado de máquina (machine learning) é um subdomínio da ciência da computação focado em algoritmos que aprendem com dados. Já a ciência de dados busca extrair insights e padrões valiosos de grandes volumes de informações.

Existem três tipos principais de aprendizado. No aprendizado supervisionado (supervised learning), fornecemos ao computador dados que já possuem um rótulo (label), como uma etiqueta que diz 'isto é um gato' ou 'isto é um cachorro'. O modelo aprende com esses exemplos para prever o rótulo de novos dados. É como um aluno estudando com um gabarito de respostas ao lado.

No aprendizado não supervisionado (unsupervised learning), os dados não possuem rótulos. O computador tenta encontrar estruturas ocultas ou agrupar itens por similaridade, como um gerente que organiza produtos em uma prateleira sem saber exatamente quais são, apenas notando quais parecem pertencer ao mesmo grupo. Já o aprendizado por reforço (reinforcement learning) funciona como um adestramento: o sistema recebe recompensas por acertos e penalidades por erros, aprendendo a melhor estratégia por tentativa e erro.

Para o aprendizado supervisionado, trabalhamos com recursos (features), que são as colunas de dados que servem de entrada. O conjunto dessas características forma um vetor de recursos (feature vector). Os dados podem ser qualitativos, como países (nominais) ou faixas etárias (ordinais), ou quantitativos, como temperatura (contínuos) ou contagem de itens (discretos).

Processando dados e treinando o modelo

Para lidar com dados categóricos, como nomes de cidades, usamos a técnica de codificação de uma única categoria (one-hot encoding). Ela transforma uma coluna com várias categorias em várias colunas binárias, preenchidas apenas com 0 ou 1. Isso permite que o modelo entenda a presença ou ausência de uma característica sem atribuir uma ordem numérica falsa a itens que não possuem hierarquia.

As tarefas de aprendizado supervisionado dividem-se em classificação e regressão. A classificação é usada quando queremos prever uma categoria, como definir se um e-mail é spam ou não. A regressão serve para prever valores contínuos em uma escala, como estimar o preço de uma casa ou a temperatura do dia seguinte.

O treinamento de um modelo segue um ciclo rigoroso. Dividimos os dados em três conjuntos: treino, para o aprendizado; validação, para ajustes durante o processo; e teste, para a avaliação final com dados inéditos. Usamos uma função de perda (loss function) para medir o erro, ou seja, a distância entre a predição do modelo e o valor real. Funções como L1 e L2 Loss calculam essa diferença de formas matemáticas distintas.

Por fim, realizamos a normalização dos dados com o StandardScaler. Esse processo ajusta todas as colunas para uma mesma escala, evitando que variáveis com números muito grandes dominem o aprendizado. Com os dados organizados, normalizados e divididos, o modelo está pronto para aprender e ser validado, garantindo que ele consiga generalizar o conhecimento para situações reais que nunca viu antes.

Ajustando a balança dos dados antes do treino

Antes de colocar qualquer algoritmo para funcionar, precisamos organizar a casa. A instrutora conclui a função de escalonamento que normaliza os atributos numéricos. Isso significa colocar todas as medidas na mesma faixa de valores para que nenhuma coluna tenha mais peso só por usar números maiores. Imagine gerenciar uma planilha onde uma coluna mede o lucro em milhares de reais e outra mede a quantidade de funcionários em dezenas. Sem o ajuste, o modelo daria atenção exagerada ao dinheiro.

Ao inspecionar os dados do telescópio que a aula utiliza, surge um problema comum chamado de desbalanceamento de classes. Existem cerca de sete mil e quatrocentos exemplos de raios gama e apenas quase quatro mil exemplos de hádrons. Isso é parecido com uma agência de cartões de crédito que recebe milhares de transações normais por dia, mas pouquíssimas fraudes. Se o sistema não for treinado direito, ele aprende a ignorar a classe minoritária.

Para resolver isso, a aula recorre a uma técnica chamada de sobre-amostragem (oversampling). Usando a biblioteca imbalanced-learn com o RandomOverSampler, o programa duplica amostras da classe menor para equilibrar a quantidade. Pense em um professor que percebe que a turma tem poucos alunos de uma determinada região e decide criar exercícios extras baseados na realidade deles para nivelar o aprendizado.

Existe uma regra de ouro muito importante nesse processo. O ajuste de balanceamento é aplicado estritamente no conjunto de treinamento. Os conjuntos de validação e teste mantêm a distribuição original intacta. A instrutora explica o motivo com clareza: precisamos testar o modelo com dados que refletem o mundo real, onde a proporção original de eventos continua exatamente a mesma.

O algoritmo k-Nearest Neighbors e a vizinhança inteligente

Com os dados prontos, conhecemos o primeiro algoritmo de classificação da aula: o k-Nearest Neighbors, conhecido pela sigla kNN. A ideia central é simples e intuitiva. Pense em como você decide se um restaurante é bom. Você pergunta para os seus vizinhos mais próximos ou olha a opinião das mesas ao seu lado. O modelo faz exatamente isso para classificar uma nova informação.

Para calcular quem são os vizinhos, o sistema usa uma medida matemática chamada de Distância Euclidiana. É basicamente o comprimento do segmento de reta que liga dois pontos em um gráfico, calculado pela raiz quadrada das diferenças entre as coordenadas. Imagine marcar clientes em um mapa relacionando a idade e a renda. A distância física no papel indica quem se parece mais com quem.

A letra k representa o número exato de vizinhos que serão consultados. Se definirmos k como três, o algoritmo olha para os três pontos mais próximos da nova amostra e faz uma votação. A classe que tiver mais representantes entre esses três vence a disputa. Usar números ímpares, como três ou cinco, evita empates irritantes na hora da decisão.

No ambiente de programação com o scikit-learn, esse modelo é muito simples de configurar. Ele é instanciado, ajustado aos dados de treino e usado para prever resultados rapidamente. Mesmo sendo um método baseado em instâncias simples, ele entrega resultados surpreendentes e serve como uma base excelente para comparar com técnicas mais complexas.

Medindo o sucesso com precisão, revocação e F1-score

Construir o modelo é apenas metade do trabalho, pois precisamos saber se ele realmente funciona. Para isso, o relatório de classificação do scikit-learn detalha métricas fundamentais como acurácia, precisão (precision), revocação (recall) e o F1-score. Cada uma delas responde a uma pergunta diferente sobre o comportamento do sistema. Imagine uma peneira em uma fábrica de peças: precisamos saber se ela deixa passar defeitos ou se joga peças boas fora.

A precisão responde a uma pergunta direta: de todos os itens que o modelo rotulou como positivos, quantos eram realmente positivos? Se o sistema acusa um alarme de incêndio dez vezes, mas só havia fogo de verdade em sete ocasiões, a precisão tem margem para melhoria. Ela mede a confiança que podemos ter quando o modelo diz que encontrou algo.

Já a revocação, também chamada de recall, foca no total real de casos existentes. Ela responde: de todos os positivos que existem de verdade no mundo, quantos o nosso modelo conseguiu encontrar? Retornando ao exemplo do alarme, se havia dez incêndios na cidade e o sistema só detectou sete, a revocação mostra que estamos deixando ameaças passarem sem aviso.

Para unir essas duas visões em um único indicador, usamos o F1-score. Ele calcula a média harmônica entre a precisão e a revocação. Essa métrica é especialmente útil em bases de dados desbalanceadas, onde olhar apenas para a porcentagem geral de acertos pode esconder falhas graves em uma das classes.

A lógica do Teorema de Bayes e a suposição ingênua

A aula avança para um método diferente, fundamentado na teoria das probabilidades. O Teorema de Bayes nos ensina como atualizar a probabilidade de uma hipótese com base em novas evidências. Pense em um médico que avalia um sintoma. Ele começa com uma probabilidade básica de uma doença existir na população e ajusta esse cálculo conforme o resultado de um exame laboratorial.

A instrutora demonstra esse raciocínio usando uma tabela com dados de testes de COVID. Aplicando a fórmula formal, calculamos a probabilidade condicional de uma pessoa estar doente dado que o teste deu positivo. Esse cálculo combina a probabilidade inicial da doença, chamada de priori, com as taxas de acertos e erros dos exames para chegar a um retrato fiel da realidade.

O algoritmo chamado Naive Bayes aplica essa matemática assumindo uma premissa muito específica. O termo ingênuo (naive) existe porque o modelo assume que todas as características analisadas são completamente independentes entre si. Pense em analisar um carro usado considerando a cor da pintura e a quilometragem como fatos totalmente isolados, sem nenhuma relação entre eles.

No final, o modelo utiliza o princípio Maximum A Posteriori, conhecido como MAP. Ele seleciona a classe que apresenta a maior probabilidade final após considerar todas as evidências observadas. Quando a instrutora aplica o modelo GaussianNB no conjunto de dados do telescópio, o resultado aponta uma acurácia de setenta e dois por cento, mostrando que suposições teóricas às vezes encontram limites quando aplicadas a dados do mundo real.

A Limitação da Reta e a Chegada da Regressão Logística

Imagine que você tem uma pequena oficina e quer prever se uma peça vai quebrar com base no tempo de uso. Se você usar uma linha reta comum de regressão linear para tentar prever um resultado do tipo sim ou não, vai encontrar um problema prático. A reta continua subindo ou descendo para sempre. Ela pode indicar que a chance de quebra é de cento e vinte por cento ou de menos dez por cento, o que não faz o menor sentido para medir probabilidades reais.

Para consertar esse problema, a ciência de dados usa a regressão logística (logistic regression). O primeiro passo dessa técnica é converter a probabilidade pura em chances relativas, conhecidas como odds. Pense nisso como a proporção entre a chance de um evento acontecer e a chance de ele não acontecer. Se a chance de uma peça quebrar é de setenta por cento, a chance de não quebrar é de trinta por cento. Dividindo um valor pelo outro, criamos uma nova escala que vai de zero até o infinito positivo.

Mesmo com essa nova escala, ainda temos um incômodo matemático com os números negativos. Para resolver isso, aplicamos o logaritmo natural nessa proporção das chances. Essa operação matemática estica a nossa escala, fazendo com que ela vá de menos infinito até mais infinito. Assim, conseguimos lidar com qualquer volume de dados históricos da sua oficina sem quebras nos cálculos estatísticos.

O passo seguinte é isolar a probabilidade original nessa nova equação logarítmica. O resultado desse isolamento é a famosa função sigmoide (sigmoid function). Ela tem esse nome porque desenha um gráfico com o formato de um S suave. Essa curva mágica pega qualquer valor numérico que entra nela e o espreme obrigatoriamente para dentro da faixa entre zero e um.

Dessa forma, a função sigmoide transforma números complexos em porcentagens reais de probabilidade. Se o resultado final for próximo de um, o modelo aponta que o evento vai acontecer com quase certeza. Se for próximo de zero, o evento é improvável. É essa ferramenta matemática que permite aos computadores fazerem classificações binárias precisas, como separar e-mails normais de mensagens de spam.

Encontrando a Fronteira Perfeita com Máquinas de Vetores de Suporte

Apesar da utilidade da regressão logística, existem situações onde precisamos de uma abordagem visual diferente para separar grupos. Pense em uma loja que vende dois tipos de calçados e quer traçar uma linha divisória exata no chão para separar os clientes que compram o modelo esportivo dos que compram o social. Em vez de calcular curvas de probabilidade, podemos usar as Máquinas de Vetores de Suporte (support vector machines - SVM).

O objetivo principal de uma máquina de vetores de suporte é encontrar um hiperplano (hyperplane), que na prática funciona como a melhor linha de separação possível entre as classes. Só que o computador não quer apenas uma linha qualquer que separe os grupos. Ele busca a linha que fique o mais longe possível dos pontos mais difíceis de classificar de cada lado.

Os pontos de dados que ficam bem na beirada dessa fronteira, servindo como pilares para sustentar a posição da linha divisória, são chamados de vetores de suporte (support vectors). Pense neles como os clientes que ficam na divisa entre o corredor dos sapatos esportivos e o dos sociais. Se esses clientes específicos mudassem de ideia, a linha divisória da loja inteira precisaria mudar de lugar.

Muitas vezes, os dados do mundo real são bagunçados e não podem ser separados por uma simples linha reta no papel. Imagine bolinhas vermelhas misturadas no centro de um círculo formado por bolinhas azuis. Para resolver isso, os cientistas usam o truque do núcleo (kernel trick). Essa técnica pega os dados e os projeta mentalmente para uma dimensão superior, como se jogássemos as bolinhas para o alto.

Ao olhar os dados de cima, em uma nova perspectiva tridimensional, as bolinhas vermelhas se elevam e ficam separadas das azuis por um plano plano. Na prática, bibliotecas de programação como o Scikit-Learn fazem esse cálculo pesado nos bastidores de forma automática. Isso permite que o computador crie fronteiras complexas e resolva problemas difíceis de classificação com poucas linhas de código.

A Arquitetura das Redes Neurais e o Poder das Funções de Ativação

Quando os problemas de negócios se tornam complexos demais para métodos tradicionais, recorremos às redes neurais (neural networks). Inspiradas vagamente no funcionamento do cérebro humano, essas estruturas são formadas por camadas de pequenos nós interconectados, chamados de neurônios artificiais. Cada entrada de dados recebe um peso específico, somada a um valor de ajuste fixo chamado de viés (bias).

Se deixássemos apenas as somas matemáticas puras, uma rede neural com centenas de camadas colapsaria matematicamente em um simples modelo linear, perdendo toda a sua capacidade de inteligência. Para evitar isso e permitir que o computador aprenda padrões complexos, aplicamos uma função de ativação (activation function) na saída de cada neurônio. Essa função decide se o sinal deve ser repassado adiante e com que intensidade.

Existem vários tipos de funções de ativação usadas no dia a dia da tecnologia. A função tangente hiperbólica (tanh) espreme os valores entre menos um e um. Já a função ReLU (rectified linear unit) é extremamente popular por sua simplicidade: se o número de entrada for negativo, ela zera o sinal; se for positivo, ela deixa o valor passar exatamente como está.

O treinamento dessas redes neurais funciona como um processo contínuo de tentativa e erro monitorado. O conjunto de dados de treino passa pelo modelo, que gera uma previsão inicial. Em seguida, o sistema calcula a perda (loss), ou seja, o tamanho do erro cometido ao comparar a previsão com a realidade dos dados históricos.

Para corrigir os erros, o sistema usa o algoritmo de retropropagação (backpropagation). Ele caminha de trás para frente na rede, avaliando a responsabilidade de cada neurônio pelo erro. O ajuste dos pesos é guiado pelo gradiente descendente (gradient descent), um método matemático que busca o ponto mínimo de erro na curva de aprendizado do modelo.

Ajustando o Ritmo do Aprendizado e Protegendo o Modelo contra Vícios

O sucesso de uma rede neural depende muito de um ajuste fino chamado de taxa de aprendizado (learning rate, representada pela letra grega alfa). Pense nisso como o tamanho do passo que você dá ao caminhar em uma montanha escura tentando encontrar o vale mais baixo. Se o passo for grande demais, você passa correndo pelo ponto ideal e nunca acerta o fundo. Se for pequeno demais, você vai demorar uma eternidade para chegar lá.

Para colocar isso em prática, desenvolvedores utilizam frameworks modernos e poderosos como o TensorFlow e o Keras. Com eles, é possível construir arquiteturas complexas de redes neurais empilhando camadas densas e definindo as funções de ativação com extrema facilidade. O ambiente de desenvolvimento em nuvem Google Colab costuma ser o laboratório favorito para rodar esses códigos sem exigir supercomputadores locais.

Enquanto o modelo aprende, precisamos garantir que ele não esteja apenas decorando as respostas dos dados de treino. A validação cruzada ou a divisão de validação (validation split) separa uma fatia dos dados que o modelo nunca viu antes. A cada época ou ciclo completo de estudo, o sistema testa seu desempenho nessa porção isolada para medir a capacidade real de generalização.

Outra técnica fundamental de proteção é o abandono (dropout). Durante o treinamento da rede neural, essa ferramenta desativa aleatoriamente alguns neurônios a cada ciclo. Pense nisso como um rodízio onde funcionários específicos são proibidos de dar opiniões em dias alternados. Isso força os outros neurônios a trabalharem em conjunto e impede que a rede crie dependências rígidas, evitando o temido vício de memorização conhecido como sobreajuste (overfitting).

Dominar esses conceitos avançados de regressão logística, máquinas de suporte e redes neurais dá a você a base técnica necessária para entender o que está por trás das ferramentas de inteligência artificial atuais. Mesmo sem programar todos os dias, saber como os dados fluem, como os erros são corrigidos e como o aprendizado é regulado ajuda qualquer empreendedor a tomar decisões muito mais conscientes sobre tecnologia.

Treinando e avaliando a rede neural na prática

A instrutora avança para a fase de otimização da rede neural, criando um ciclo de repetição em Python para testar várias combinações de parâmetros. Ela testa diferentes números de nós, que são as unidades de processamento, variando entre dezesseis, trinta e dois e sessenta e quatro. Também ajusta a taxa de aprendizado (learning rate) com valores como zero vírgula zero um e zero vírgula zero zero um, além de testar tamanhos de lote (batch size) variados.

Para enxergar o desempenho de cada teste, ela utiliza a biblioteca de gráficos matplotlib para gerar figuras de perda (loss) e acurácia (accuracy) lado a lado em painéis chamados subplots. Essa visualização ajuda a entender se o modelo está melhorando ou piorando ao longo das épocas de treinamento. Imagine uma oficina mecânica onde o chefe testa diferentes calibragens de motor e anota o consumo de combustível em gráficos para achar a regulagem ideal.

Para garantir que o melhor aprendizado não seja perdido, a instrutora implementa uma lógica de salvamento automático. Ela cria uma variável para rastrear o menor valor de perda de validação, começando com um valor infinito para que qualquer resultado inicial seja melhor. Sempre que o modelo bate o recorde de acerto durante as validações, o sistema salva o arquivo daquele momento específico.

Após rodar todas as combinações, os resultados mostram que o modelo com sessenta e quatro nós, taxa de aprendizado de zero vírgula zero zero um, técnica de proteção de dropout de zero vírgula dois e tamanho de lote cento e vinte e oito atinge uma perda de zero vírgula dois mil novecentos e quarenta e três. No conjunto de teste final, esse modelo alcança uma acurácia de cerca de oitenta e sete vírgula cinco por cento.

Quando o modelo faz previsões utilizando uma função de saída sigmoide, ele gera valores de probabilidade que vão de zero a um. Para transformar essa chance em uma resposta definitiva, a instrutora aplica um limite de corte (threshold) de zero vírgula cinco. Valores acima desse limite viram um, e valores abaixo viram zero, permitindo comparar o desempenho final com o classificador de máquinas de vetores de suporte (SVM) visto anteriormente.

A transição para a regressão linear e seus objetivos

O curso muda de direção para introduzir a regressão linear, um conceito fundamental que resolve um problema diferente da classificação. Enquanto os modelos anteriores tentavam separar categorias ou responder sim ou não, a regressão tem o objetivo de prever valores numéricos contínuos. Pense na diferença entre adivinhar se um cliente vai comprar um carro (classificação) e adivinhar exatamente quanto ele vai pagar por esse carro (regressão).

A base da regressão linear simples é representada por uma equação matemática clássica onde se busca a linha de melhor ajuste (line of best fit). Essa linha tenta passar o mais perto possível de todos os pontos espalhados no gráfico. A fórmula utiliza o intercepto em y e a inclinação (slope) para desenhar essa reta que resume a tendência geral dos dados.

Para medir o erro de cada palpite, a instrutora explica o conceito de residual, que é a distância entre o ponto real e a linha prevista pelo modelo. O objetivo principal do algoritmo é encolher esses resíduos o máximo possível. Imagine uma marcenaria onde o artesão mede a distância entre o corte desejado e o corte real na madeira para ajustar a serra e errar menos na próxima peça.

Para que a regressão linear funcione de maneira confiável, o modelo precisa respeitar quatro premissas fundamentais. A primeira é a linearidade, que exige que a relação entre as variáveis siga um padrão de linha reta. A segunda é a independência das amostras, o que significa que um dado coletado não pode influenciar ou depender do outro.

As duas últimas premissas tratam da distribuição dos erros do modelo. A normalidade exige que os resíduos sigam uma distribuição estatística em forma de sino, enquanto a homocedasticidade garante que a variância desses erros seja constante ao longo de toda a linha. Se os erros crescem desordenadamente conforme o dado aumenta, o modelo perde a confiabilidade.

Medindo o sucesso com métricas de regressão

Avaliar um modelo que prevê números exige métricas diferentes daquelas usadas para contar acertos e erros categóricos. A instrutora apresenta a primeira medida chamada Erro Absoluto Médio (MAE, do inglês Mean Absolute Error). Essa métrica soma todas as distâncias absolutas entre o valor real e o valor previsto, dividindo pelo total de pontos, mantendo exatamente a mesma unidade de medida original.

Em seguida, ela introduz o Erro Quadrático Médio (MSE, do inglês Mean Squared Error). Antes de somar e tirar a média, essa métrica eleva cada erro ao quadrado. Esse passo é importante porque penaliza de forma muito mais dura os erros grandes, funcionando como um alarme que dispara quando o modelo erra por uma margem muito alta.

Como o erro ao quadrado altera a unidade de medida, a instrutora demonstra a Raiz do Erro Quadrático Médio (RMSE, do inglês Root Mean Squared Error). Ao aplicar a raiz quadrada no resultado do MSE, a métrica volta para a unidade original dos dados, como dólares ou quantidade de itens, facilitando a interpretação humana do erro cometido.

Outra métrica essencial explicada na aula é o Coeficiente de Determinação (R-squared ou R²). Esse indicador mede a proporção da variabilidade da variável dependente que consegue ser explicada pelas variáveis independentes do modelo. Um valor de R² muito próximo de um indica que o preditor é excelente, pois consegue capturar quase toda a lógica por trás dos dados.

O cálculo do R² utiliza a soma dos quadrados dos resíduos do modelo dividida pela soma total dos quadrados em relação à média. A instrutora também menciona o R² ajustado, que serve para proteger o projeto contra o excesso de variáveis inúteis, penalizando o resultado caso o criador adicione informações que não ajudam em nada na previsão.

Preparando o projeto prático de aluguel de bicicletas

Para aplicar os conceitos de regressão na prática, a instrutora apresenta um novo conjunto de dados obtido no repositório público da universidade UCI Machine Learning Repository. O material escolhido trata da demanda por compartilhamento de bicicletas em Seul, contendo registros detalhados sobre o uso do serviço ao longo do tempo.

O grande objetivo deste novo projeto é prever a contagem exata de bicicletas alugadas em cada hora do dia. Para alimentar os algoritmos com informações úteis, o dataset reúne dados meteorológicos horários, como temperatura ambiente, nível de umidade relativa do ar, velocidade do vento e outras condições climáticas do momento.

Como os computadores precisam de números para realizar os cálculos matemáticos, o projeto exige uma etapa de limpeza e preparação das colunas textuais. Informações categóricas que indicam sim ou não, como a coluna de funcionamento do serviço em determinados dias, são convertidas para valores numéricos simples de um e zero.

Essa preparação inicial garante que tanto as redes neurais quanto os futuros modelos de regressão consigam processar as variáveis sem travar. É o mesmo processo de organizar os livros de uma biblioteca em categorias numéricas antes de criar um sistema automatizado de busca e recomendação para os leitores.

Com os dados organizados, limpos e convertidos, o ambiente de desenvolvimento está pronto para receber os algoritmos de previsão. A aula encerra esta etapa preparando o terreno para que os alunos treinem modelos capazes de antecipar a demanda real da cidade com base nas variações do clima.

A virada de chave para o aprendizado não supervisionado

Até agora, focamos no aprendizado supervisionado (supervised learning). Nesse modelo, trabalhamos com dados que já possuem rótulos, ou seja, cada informação que entregamos ao computador já traz a resposta correta. É como um aluno que estuda para uma prova com um gabarito ao lado. O sistema aprende a associar características a resultados conhecidos.

No entanto, nem sempre temos esse luxo na vida real. Imagine que você é dono de uma loja e tem uma lista de milhares de clientes com seus hábitos de compra, mas não sabe exatamente quem eles são ou em quais grupos eles se encaixam. Você não tem um rótulo dizendo que o cliente A é um comprador fiel e o cliente B é um comprador sazonal.

Aqui entra o aprendizado não supervisionado (unsupervised learning). Diferente do modelo anterior, aqui não entregamos as respostas prontas. O objetivo é permitir que o computador analise os dados brutos e encontre padrões, estruturas ou agrupamentos ocultos por conta própria. É uma forma de descobrir o que os dados tentam nos dizer sem que tenhamos uma hipótese prévia.

Esse processo é fundamental para explorar grandes volumes de informações onde a classificação manual seria impossível. Em vez de ensinar o computador a identificar algo específico, nós o ensinamos a observar semelhanças e diferenças. É como organizar um estoque bagunçado apenas agrupando itens que parecem pertencer à mesma categoria, sem ter uma etiqueta prévia para cada caixa.

Entendendo o algoritmo K-Means Clustering

Para realizar essa tarefa de agrupamento, utilizamos um algoritmo chamado K-Means Clustering. O termo clustering significa agrupamento em português. O objetivo principal deste método é dividir um conjunto de dados em um número específico de grupos, que chamamos de clusters.

O número de grupos é definido por você antes de começar o processo, sendo representado pela letra k. Por isso o nome K-Means, ou médias de k grupos. Se você deseja dividir seus clientes em três perfis de consumo, você define k igual a três. O algoritmo então tentará organizar todos os dados dentro dessas três categorias distintas.

O primeiro passo desse processo é puramente aleatório. O algoritmo escolhe k pontos dentro do gráfico de dados para servirem como os centroides (centroids) iniciais. O centroide nada mais é do que o ponto central que representa a média de todos os pontos que pertencerão àquele grupo. Imagine que são bandeiras fincadas no chão para marcar o território de cada grupo.

Uma vez posicionadas essas bandeiras iniciais, o algoritmo inicia uma fase de atribuição. Ele calcula a distância entre cada ponto de dado disponível e todos os centroides que foram criados. Cada ponto é então designado ao grupo do centroide que estiver mais próximo dele, formando o primeiro esboço dos agrupamentos.

O ciclo de refinamento dos agrupamentos

Após atribuir cada ponto a um centroide, o algoritmo entra na fase de ajuste. Ele recalcula a posição de cada centroide, movendo-o para o ponto médio exato de todos os dados que foram atribuídos ao seu grupo. Isso significa que o centroide deixa de ser uma posição aleatória e passa a ser o coração matemático daquele conjunto de pontos.

Com os centroides em novas posições, o processo recomeça. O algoritmo calcula novamente a distância de todos os pontos em relação aos novos centroides. É muito provável que, após a mudança, alguns pontos que estavam no grupo A agora estejam mais próximos do grupo B. Eles são então reatribuídos para o grupo mais adequado.

Esse ciclo de calcular distâncias e atualizar a posição dos centroides é repetido iterativamente, ou seja, em várias rodadas sucessivas. O objetivo é que, a cada repetição, os grupos fiquem mais coesos e as fronteiras entre eles mais claras. O computador faz isso de forma muito rápida, processando milhares de cálculos em segundos.

O processo termina quando os agrupamentos se estabilizam. Isso ocorre quando os centroides param de se mover ou quando a mudança entre uma rodada e outra se torna insignificante. Nesse momento, temos uma estrutura organizada a partir de dados que, inicialmente, não tinham nenhuma identificação ou rótulo.

A chegada da estabilidade no K-Means e o ciclo de Expectativa e Maximização

A jornada pelo aprendizado de máquina chega ao fechamento da explicação sobre o agrupamento de dados sem supervisão. A instrutora Kylie Ying detalha as iterações finais do K-Means até que os pontos deixem de mudar de grupo. Imagine que você organiza a disposição das mesas em um restaurante repetidas vezes para que os garçons caminhem o mínimo possível. O processo para quando a movimentação cessa e ninguém precisa trocar de lugar.

Esse ciclo repetitivo possui uma estrutura formal chamada na matemática de Expectation-Maximization, ou expectativa e maximização. A primeira etapa, chamada de expectativa (expectation), consiste em atribuir cada observação ao centroide mais próximo. Pense nisso como os clientes escolhendo a mesa vazia mais perto da entrada.

A segunda etapa, conhecida como maximização (maximization), recalcula a posição exata de cada centroide usando a média matemática dos pontos que agora fazem parte daquele grupo. Retornando ao exemplo do restaurante, é o momento em que a gerência reposiciona a bandeja central para ficar exatamente no meio de todos os fregueses daquela seção.

O algoritmo repete esses dois passos de forma contínua até atingir a chamada convergência (convergence). A convergência é o ponto exato em que a reatribuição não altera mais o pertencimento de nenhum ponto. Quando o sistema estabiliza e os grupos não mudam mais de forma alguma, o aprendizado se dá por encerrado com sucesso.

Desvendando a Análise de Componentes Principais e a busca por variância

Com o agrupamento concluído, a aula avança para um conceito totalmente novo chamado PCA, abreviação em inglês para Análise de Componentes Principais (Principal Component Analysis). Trata-se de uma técnica de aprendizado não supervisionado focada estritamente na redução de dimensionalidade (dimensionality reduction). Imagine que você possui uma caixa cheia de fotografias com dezenas de ângulos e medidas diferentes de um mesmo objeto. O PCA serve para comprimir toda essa informação em poucas imagens essenciais sem perder o que importa.

Para entender o PCA sem confusão, a instrutora faz um pedido curioso: peça para esquecer momentaneamente tudo o que foi visto sobre a regressão linear. Embora ambos utilizem linhas no espaço, os objetivos são completamente opostos. Enquanto a regressão linear tenta prever um valor alvo com base em entradas e minimiza o erro vertical, o PCA lida com dados sem rótulos e busca uma direção espacial que preserve a maior variância (variance) possível.

A variância representa o quanto os dados estão espalhados e carregam informação útil. Encontrar a direção de maior variância significa traçar uma linha imaginária que melhor capture a dispersão dos pontos. Pense em uma pista de corrida desenhada no chão de forma a abranger o maior número possível de atletas espalhados por um campo aberto.

Para definir essa linha ideal, o algoritmo minimiza a soma dos quadrados das distâncias perpendiculares de cada ponto até o eixo principal. Esses desvios em ângulo reto são os resíduos de projeção ortogonal (orthogonal projection residuals). O primeiro componente principal resultante transforma várias dimensões complexas em uma representação mais simples, retendo a maior quantidade possível de informação original.

A matemática por trás das dimensões e a preparação do projeto prático

Por baixo do capô, o cálculo das componentes principais exige o uso de álgebra linear avançada. Os conceitos fundamentais aplicados envolvem autovetores (eigenvectors) e autovalores (eigenvalues) extraídos da matriz de covariância dos dados. Não se preocupe em decorar fórmulas complexas agora; o importante é saber que essas ferramentas matemáticas encontram os eixos de rotação perfeitos para enxergar os dados de frente.

Para colocar todo esse conhecimento em prática, a instrutora utiliza o ambiente de programação do Google Colab. O conjunto de dados escolhido é o Seeds Dataset, obtido no repositório público UCI Machine Learning Repository. Esse arquivo contém duzentas e dez amostras divididas em três variedades diferentes de trigo: Kama, Rosa e Canadian.

Cada semente é descrita por sete medidas geométricas detalhadas. Entre os atributos presentes no arquivo estão a área, o perímetro, a compacidade, o comprimento, a largura, a assimetria e o comprimento da ranhura do grão. É um verdadeiro raio-X digital da estrutura física de cada grão colhido no campo.

Para carregar esse material bruto no código utilizando a biblioteca Pandas, a instrutora aplica um comando específico com a expressão regular correspondente ao espaçamento variável dos dados. O arquivo original utiliza tabulações e espaços misturados como separadores. O parâmetro de separação textual configurado corretamente garante que a leitura da tabela ocorra sem falhas estruturais.

Aplicando agrupamento e PCA para enxergar padrões invisíveis

O experimento prático começa aplicando o algoritmo K-Means utilizando apenas duas variáveis do conjunto de sementes, como o perímetro e a assimetria. O resultado visual mostra que os agrupamentos formados nem sempre correspondem perfeitamente às classes reais das sementes. Há muita sobreposição entre os grupos quando olhamos apenas para uma fração pequena das características disponíveis.

A situação muda drasticamente quando o K-Means é treinado utilizando todas as sete dimensões numéricas do dataset. Processar a totalidade das características melhora de forma significativa a capacidade do algoritmo de discriminar as três classes intrínsecas de trigo. É o equivalente a julgar uma fruta não apenas pela cor da casca, mas também pelo peso, aroma, textura e doçura simultaneamente.

Em seguida, o PCA é acionado para reduzir as sete dimensões originais para apenas duas componentes principais. Matematicamente, a matriz complexa de tamanho duzentas e dez linhas por sete colunas é transformada em uma matriz compacta de duzentas e dez linhas por duas colunas. Essa compressão abre caminho para a criação de gráficos visuais claros.

Ao plotar essas duas novas componentes principais em um gráfico plano, a mágica acontece. Os dados se separam de maneira muito mais limpa do que nas combinações arbitrárias iniciais. As três variedades de trigo formam ilhas distintas no gráfico, provando o poder da redução de dimensionalidade para revelar estruturas ocultas em dados complexos.

O encerramento do curso e a celebração do conhecimento em aprendizado de máquina

Com a demonstração prática finalizada, a instrutora Kylie Ying encerra oficialmente a aula e o curso completo de machine learning. O momento serve para repassar mentalmente a longa caminhada percorrida. Desde os conceitos iniciais de probabilidade e estatística até a construção de redes neurais e algoritmos não supervisionados, a base técnica foi totalmente explorada.

Ao longo de toda a jornada, os espectadores aprenderam a diferença entre ensinar um computador com respostas prontas e permitir que a máquina descubra padrões por conta própria. Cada modelo estudado ganhou vida através de analogias do cotidiano e códigos executados passo a passo no ambiente de desenvolvimento.

O encerramento traz um agradecimento sincero a todos que acompanharam o treinamento até o minuto final. A comunidade de aprendizado é lembrada como um pilar essencial para o crescimento profissional de qualquer novo entusiasta da tecnologia e da inteligência artificial.

O convite final é para que os alunos continuem praticando, escrevam dúvidas e compartilhem ideias na seção de comentários. O aprendizado de máquina deixa de ser um mistério inacessível e passa a ser uma ferramenta poderosa nas mãos de quem decide estudar e aplicar os conceitos no mundo real.