O que é a aprendizagem não supervisionada?

Como funciona a aprendizagem não supervisionada?

Os algoritmos de aprendizagem não supervisionados foram concebidos para explorar e encontrar padrões ocultos em conjuntos de dados que carecem de rótulos predefinidos ou resultados alvo. Em vez de lhes dizerem o que procurar, estes algoritmos vasculham os dados para descobrir por si só estruturas e relações inerentes.

Exploração de Dados e Deteção de Padrões

O processo principal de inteligência artificial começa com a alimentação do algoritmo de aprendizagem automático com um conjunto de dados constituído apenas por funcionalidades de entrada, sem variáveis de saída correspondentes. O algoritmo processa esses dados de forma iterativa, tentando identificar padrões subjacentes. Isto pode envolver:

• Identificação de semelhanças ou diferenças: O algoritmo procura pontos de dados similares ou distintos em função das suas características.
• Compreender a distribuição dos dados: Pode tentar entender como os dados são espalhados e se há agrupamentos naturais.
• Reduzir a complexidade: Por vezes, o objetivo é simplificar os dados encontrando as suas características mais essenciais.

Abordagem Algorítmica

Diferentes algoritmos de aprendizagem não supervisionados utilizaram várias técnicas matemáticas e estatísticas para atingir os seus objetivos de treino. Por exemplo:

Os algoritmos de clustering têm como objetivo agrupar pontos de dados semelhantes. Eles podem calcular as distâncias entre os pontos e atribuir aqueles que estão próximos uns dos outros para o mesmo cluster. O algoritmo aprende as características desses grupos a partir dos próprios dados.

Os algoritmos de redução da dimensão procuram reduzir o número de variáveis de treino (funcionalidades) no conjunto de dados, preservando ao mesmo tempo informações importantes. Identificam correlações e redundâncias para criar uma representação mais compacta dos dados.

Os algoritmos de extração de regras de associação buscam relacionamentos ou co-ocorrências entre itens em grandes conjuntos de dados, como identificar produtos frequentemente comprados juntos em um supermercado.

O algoritmo de inteligência artificial aprende essencialmente a estrutura inerente dos dados, minimizando ou maximizando uma função objetiva que capta a essência da estrutura "boa" (por exemplo, minimizando a distância dentro dos clusters e maximizando a distância entre clusters). É um processo exploratório dirigido pelo próprio dado.

Desafios e limitações do ensino sem supervisão

Enquanto a aprendizagem não supervisionada oferece ferramentas poderosas para descobrir insights ocultos em dados usando o pipeline de machine learning para o modelo, ela também vem com seu próprio conjunto de desafios e limitações. Talvez um dos obstáculos mais significativos seja a dificuldade em avaliar os resultados.

Ao contrário da aprendizagem supervisionada, onde os modelos são avaliados em função de rótulos conhecidos, a aprendizagem não supervisionada carece de uma "verdade fundamental" definitiva. Isto faz com que seja inerentemente mais difícil medir objetivamente a qualidade ou o significado dos padrões descobertos, muitas vezes exigindo métodos de validação mais subjetivos ou indiretos.

Além disso, a interpretação dos resultados de algoritmos de inteligência artificial não supervisionados baseia-se fortemente na experiência do modelo relativamente a exemplos de domínios. Os padrões, clusters ou dimensões reduzidas identificados pelo modelo necessitam de um exame cuidadoso por alguém com conhecimentos no campo específico para determinar o seu significado real e implicações práticas. Sem o conhecimento destes especialistas, existe o risco de interpretar mal as descobertas ou de se focar em padrões que são estatisticamente interessantes mas praticamente irrelevantes.

Variações de desempenho

O desempenho de modelos de aprendizagem não supervisionados é altamente sensível à escolha e à escalabilidade das funcionalidades. Características irrelevantes ou pouco escaladas podem obscurecer padrões significativos ou levar os algoritmos a descobrir estruturas enganosas.

Consequentemente, é frequentemente necessário um esforço significativo na engenharia de funcionalidades e no pré-processamento para obter resultados de exemplos úteis. Além disso, enquanto a aprendizagem não supervisionada se destaca na identificação de estruturas inerentes, ela não prevê diretamente resultados específicos ou variáveis-alvo, o que pode ser uma limitação se uma tarefa preditiva for o objetivo final.

Alguns algoritmos, em particular os que lidam com grandes conjuntos de dados ou alta dimensionalidade, também podem ser computacionalmente intensivos, exigindo recursos consideráveis. Finalmente, existe sempre o potencial de os algoritmos descobrirem padrões fraudulentos ou sem sentido, especialmente se os dados forem ruidosos ou se o método escolhido não for adaptado à estrutura subjacente do conjunto de dados, tornando a análise e a validação cuidadosas cruciais.

Aprendizagem sem supervisão vs. aprendizagem supervisionada

Compreender a distinção entre o modelo de aprendizagem não supervisionado e supervisionado é fundamental para compreender a paisagem do machine learning. Embora ambos pretendam extrair informações a partir dos dados, as suas abordagens e objetivos diferem significativamente, baseando-se principalmente na natureza dos dados de entrada que utilizam. A diferença mais importante reside nos próprios dados.

Aprendizagem supervisionada

Os algoritmos supervisionados de machine learning funcionam com dados de exemplo classificados. Isto significa que, para o processo supervisionado, cada ponto de dados do conjunto de treino tem uma saída ou variável de destino conhecida associada. O algoritmo aprende a mapear as funcionalidades de entrada para estas etiquetas predefinidas.

O principal objetivo do processo supervisionado é prever um resultado específico ou a classificação dos dados em categorias conhecidas. Por exemplo, prever os preços das casas com base em características como tamanho e localização (onde os preços históricos são conhecidos), ou classificar e-mails como spam ou não spam (onde os e-mails são pré-classificados) são tarefas de aprendizagem supervisionadas comuns.

Aprendizagem não supervisionada

Algoritmos de machine learning não supervisionados, por outro lado, funcionam com dados de exemplo não classificados quando eles modelam. Os pontos de dados do modelo não têm saídas ou categorias predefinidas. O algoritmo deve explorar os dados para encontrar sozinho padrões inerentes, estruturas ou relações.

O principal objetivo aqui é descobrir padrões ocultos, agrupar itens semelhantes ou reduzir a complexidade dos dados. Um exemplo seria segmentar os clientes em diferentes grupos em função do seu comportamento de compra (sem conhecimento prévio destes grupos) ou identificar anomalias no tráfego de rede.

Comparação das Principais Características

Vamos dividir as características distintivas de cada abordagem do modelo de inteligência artificial. Quando pensamos em aprendizagens supervisionadas, encontramos as seguintes características:

• Input data: Utiliza dados classificados, o que significa que cada ponto de dados é fornecido com uma saída ou etiqueta correta correspondente.
   
• Objetivo principal: Visa prever os resultados para os novos dados ou classificar os dados em categorias predefinidas com base no mapeamento aprendido a partir dos dados de formação classificados.
   
• Algoritmos: Algoritmos comuns incluem Regressão Linear, Regressão Logística, Máquinas vetoriais de suporte (SVM), Árvores de decisão e Redes neurais (para tarefas supervisionadas).
   
• Orientação: O processo de aprendizagem é explicitamente guiado pelas variáveis-alvo conhecidas no conjunto de dados de treino.
   
• Tarefas comuns: Exemplos incluem a deteção de spam em e-mails, o reconhecimento de imagens (por exemplo, identificação de gatos em fotos), diagnósticos médicos baseados em dados de pacientes e previsão de preços de ações.
   
• Avaliação Geralmente, o desempenho é medido comparando as previsões do algoritmo com os rótulos conhecidos, utilizando métricas como precisão, revocação, pontuação F1 ou erro médio ao quadrado.

Por outro lado, um modelo de aprendizagem não supervisionado apresenta estas características:

• Input data: Funciona com dados de exemplo não classificados, em que apenas as funcionalidades de entrada são fornecidas sem quaisquer variáveis de saída correspondentes.
   
• Objetivo principal: Concentra-se em descobrir padrões ocultos, estruturas inerentes ou relações entre dados. Isto inclui o agrupamento de pontos de dados semelhantes (clustering), a redução do número de funcionalidades (redução da dimensionalidade) ou a procura de padrões de co-ocorrência (associação e regra de extração).
   
• Algoritmos: Algoritmos populares incluem o clustering K-Means, o clustering hierárquico, a análise de componentes principais (PCA), o algoritmo de apriori, os autoencoders, muitas vezes classificados como técnicas de aprendizagem autogerenciadas, podem ser usados para a redução de dimensionalidade e a deteção de anomalias.
   
• Orientação: O algoritmo explora os dados sem uma orientação explícita ou respostas corretas pré-definidas.
   
• Tarefas comuns: Os exemplos incluem a segmentação de clientes para marketing, a deteção de anomalias em transações financeiras, a modelação de tópicos em documentos de texto volumosos e a criação de sistemas de recomendação.
   
• Avaliação A avaliação é muitas vezes mais desafiadora e subjetiva, uma vez que não há respostas "corretas" para comparar. As métricas podem incluir a coesão e a separação dos clusters (para o clustering), a quantidade de variância retida (para a redução da dimensionalidade) ou a avaliação humana dos padrões descobertos.
   

Quando usar qual é uma pergunta completamente diferente. Provavelmente, deverá escolher a aprendizagem supervisionada quando tiver os dados classificados e quando tiver um resultado objetivo claro que pretende prever ou utilizar para a classificação.

Você deve optar por uma aprendizagem não supervisionada de inteligência artificial quando você tem dados não classificados e deseja explorá-los para insights ocultos, agrupá-los ou simplificar sua estrutura.

Casos de uso de machine learning não supervisionados

A aprendizagem não supervisionada, ao descobrir padrões ocultos em dados não classificados para um modelo, promove uma variedade de aplicações com impacto em vários sectores. Entre as principais aplicações incluem-se:

• Aplicações de clustering: Estes métodos agrupam pontos de dados semelhantes para descobrir segmentos naturais. As utilizações mais comuns incluem a segmentação de clientes para o marketing direcionado, a organização de grandes conjuntos de documentos por tópico (modelação de tópicos), a segmentação de imagens para identificar objetos e a identificação de comunidades em redes sociais.
   
• Aplicações de redução de dimensão: Estas técnicas simplificam conjuntos de dados complexos ao reduzir o número de funcionalidades e ao mesmo tempo preservam informações importantes. Isto é vital para a visualização de dados de grandes dimensões, para melhorar a eficiência e o desempenho de outros modelos de machine learning através da engenharia de funcionalidades e para reduzir o ruído nos dados.
   
• Aplicações de extração de regras de associação: Este tipo de algoritmo de máquina descobre relações interessantes e padrões de co-ocorrência entre itens em grandes conjuntos de dados. É famosa pela sua utilização para análise de cestos de mercado no retalho (para ver que produtos são comprados em conjunto), alimentação de motores de recomendação no comércio eletrónico e serviços de streaming, e análise de padrões de utilização da web.
   
• Aplicações de deteção de anomalias: Estas aplicações centram-se na identificação de itens raros, eventos ou observações que se desviem significativamente da norma. Os casos de uso críticos incluem a deteção de fraude em transações financeiras, a deteção de intrusões em sistemas de cibersegurança, a identificação de defeitos nos processos de fabrico e a monitorização da saúde dos pacientes para detetar sinais vitais invulgares.