O que é o Automated Machine Learning?

O que é o Automated Machine Learning (AutoML)?

O Machine Learning automatizado, também conhecido como AutoML, é o processo de automatização de tarefas end-to-end envolvidas na construção, treinamento e implementação de modelos de machine learning.

Engloba uma gama de técnicas de fluxo de trabalho e de conjuntos de ferramentas de machine learning concebidos para tornar a aplicação do machine learning mais simples e eficaz. Em vez de depender de cientistas de dados para realizar manualmente cada etapa - desde o pré-processamento de dados, engenharia de funcionalidades e seleção de funcionalidades, até à seleção de algoritmos e à otimização de hiperparâmetros - os sistemas AutoML têm como objetivo automatizar estes processos, muitas vezes demorados e complexos.

Isto permite a criação de algoritmos eficazes de machine learning com uma intervenção humana mínima, abrindo a potência do machine learning a um público mais vasto.

Principais objetivos do AutoML

O desenvolvimento e a adoção do AutoML são orientados por vários objetivos chave:

• Acessibilidade Um dos objetivos principais é democratizar o aprendizado supervisionado por máquinas, tornando-o acessível a indivíduos que possam não possuir uma experiência aprofundada em treinamento ou programação de data science. Isto inclui especialistas em domínios, analistas de negócios e programadores que podem utilizar as ferramentas da AutoML para construir os seus projetos consoante necessidades específicas.
   
• Eficiência e produtividade: O AutoML tem como objetivo aumentar significativamente a produtividade dos data scientists através da automatização de etapas e tarefas repetitivas e trabalhosas de ML. Isto liberta-lhes tempo para se concentrarem em aspetos mais estratégicos de um projeto, como a formulação de problemas, a interpretação de dados e a comunicação de resultados.
   
• Desempenho: Ao explorar sistematicamente uma vasta gama de arquiteturas e hiperparâmetros, a AutoML pode frequentemente identificar modelos de elevado desempenho que podem ser negligenciados numa pesquisa manual. O objetivo é atingir uma precisão preditiva e robustez ideais.
   
• Velocidade. A automatização do pipeline de desenvolvimento de modelos acelera o tempo necessário para passar de dados brutos para um modelo implementável no pipeline de machine learning. Isto é crucial em ambientes com um ritmo acelerado, nos quais são necessárias informações e soluções rápidas.

As ferramentas AutoML também permitem assegurar a reprodutibilidade dos MLOps, através da padronização do processo e do seguimento das configurações e das diligências para construir um modelo.

Simplifica a escalabilidade das aplicações de machine learning dentro de uma organização, permitindo a construção e a manutenção de mais modelos com menos recursos. O AutoML pode fornecer uma linha de base para o desempenho do modelo, em comparação com os modelos desenvolvidos manualmente.

Desafios do Machine Learning Tradicional

Tradicionalmente, o desenvolvimento do machine learning é um processo altamente iterativo e muitas vezes árduo, repleto de vários desafios:

• Demorada e consumidora de recursos: O percurso desde dados brutos até um modelo que pode ser implementado envolve várias etapas, incluindo a limpeza de dados, o pré-processamento, a engenharia de funcionalidades, a seleção de modelos, a otimização de hiperparâmetros e a validação. Cada uma destas fases pode requerer tempo considerável e recursos computacionais. A engenharia de características e a otimização de hiperparâmetros, em particular, são reconhecidamente trabalhosas.
   
• Necessita de conhecimentos especializados: Geralmente, para ser eficaz, a aprendizagem automática necessita de uma compreensão aprofundada de vários algoritmos, princípios estatísticos, técnicas de tratamento de dados e competências de programação. Os especialistas nestas áreas (data scientists, engenheiros de machine learning) são escassos e, por isso, caros.
   
• Complexidade da seleção e afinação do modelo: Com uma vasta gama de algoritmos disponíveis para treino e um espaço ainda maior de possíveis configurações de hiperparâmetros para cada um, a seleção da combinação ideal para um determinado problema pode ser incrivelmente desafiante. Muitas vezes, envolve uma quantidade significativa de tentativa e erro, baseando-se fortemente na experiência e intuição do cientista de dados.
   
• Dificuldade de reprodução e de evolução: Garantir a reprodutibilidade dos resultados pode ser difícil se o processo de dados não for meticulosamente documentado e normalizado. A escalabilidade dos esforços manuais em vários projetos ou em conjuntos de dados de maior dimensão também apresenta obstáculos significativos.

Também é verdade que um fluxo de trabalho manual é suscetível a erros humanos e tendências cognitivas, o que pode inadvertidamente influenciar a seleção ou avaliação de modelos, levando a resultados abaixo do ótimo ou injustos.

Vantagens da automatização

Automatizar o machine learning oferece soluções atraentes para estes desafios e traz inúmeras vantagens:

• Maior rapidez e eficácia: O AutoML acelera significativamente o ciclo de vida de desenvolvimento dos modelos. Ao automatizar tarefas repetitivas como a otimização de hiperparâmetros e a seleção de modelos, permite uma iteração e uma experimentação muito mais rápidas, reduzindo o tempo de comercialização das soluções ML.
   
• Produtividade melhorada Os cientistas de dados podem descarregar muitos dos aspetos mais fastidiosos da construção de modelos para sistemas AutoML. Isto liberta-os para se concentrarem em atividades de maior valor, como a formulação de problemas, a compreensão das necessidades das empresas, a interpretação dos resultados e a garantia de uma implementação ética da inteligência artificial.
   
• Democratização do machine learning: As ferramentas da AutoML reduzem a barreira de entrada, permitindo que indivíduos com conhecimentos menos especializados, como especialistas em domínios, analistas de negócios e programadores de software, construam e utilizem eficazmente modelos de machine learning. Isto ajuda a integrar capacidades de inteligência artificial de um modo mais geral numa organização.

Ao explorar sistematicamente uma gama mais vasta de algoritmos para o treino, técnicas de processamento de funcionalidades e definições de hiperparâmetros do que é normalmente possível através de esforços manuais, a AutoML pode muitas vezes descobrir modelos que utilizam um desempenho e uma generalização superiores.

Classificação e Regressão

A classificação e a regressão são são tarefas fundamentais de aprendizagem supervisionadas, nas quais o AutoML brilha particularmente.

Para os problemas de classificação, que envolvem a predição de um rótulo categórico (por exemplo, spam ou não spam, alterações de clientes ou ausência de agitação, diagnósticos médicos), os sistemas Auto ML podem testar rapidamente vários algos como a regressão logística, apoiar máquinas vetoriais, árvores de decisões e métodos de ensemble, além de utilizar uma engenharia de funcionalidades extensiva e de sintonização de hiperparâmetros, para construir classificadores altamente precisos.

Do mesmo modo, para as tarefas de regressão, que visam prever um valor numérico contínuo (por exemplo, preços das casas, valores dos stocks, previsões de vendas, temperatura), o Auto ML automatiza o processo de encontrar os modelos mais adequados, tratamento da escalabilidade das funcionalidades e as transformações para otimizar o desempenho em métricas como o Mean Squared Error ou o R-squared.

Assim, as organizações podem utilizar rapidamente ferramentas de deteção de fraudes, de avaliação de riscos, de previsão da procura e de marketing personalizado.

Visão computacional

No campo da visão computacional, a solução AutoML é cada vez mais utilizada para realizar tarefas que, tradicionalmente, requerem uma experiência aprofundada no processamento de imagens e no design de redes neurais.

O ML automático, especialmente graças a técnicas como a Procura de Arquitetura Neuronal (NAS) e a aprendizagem de transferência automática com modelos pré-treinados, contribui para a conceção e otimização automáticas de redes neurais convolucionais (CNN) para tarefas como a classificação de imagens (por exemplo, identificação de objetos em imagens), a deteção de objetos (localização e categorização de vários objetos numa imagem) e a segmentação de imagens (particionamento de uma imagem em segmentos significativos).

Isto permite um desenvolvimento mais rápido de aplicações baseadas em áreas como a análise de imagens médicas (por exemplo, identificação de tumores em exames), condução autónoma (por exemplo, reconhecimento de peões e veículos), e inspeção visual para controle de qualidade na fabricação.

Processamento de Linguagem Natural (PLN)

A AutoML também contribui de forma significativa para o Processamento da Linguagem Natural, simplificando a criação de modelos que compreendam e processem a linguagem humana.

Os casos de uso mais comuns do PLN que beneficiam do AutoML incluem a classificação de texto (por exemplo, análise de sentimento de opiniões de clientes, categorização de tópicos de artigos, filtragem de spam), o reconhecimento de entidades nomeadas (identificação de entidades-chave como nomes, localizações e organizações em texto) e ainda aspetos de geração de linguagem ou tradução.

A utilização de ferramentas AutoML permite automatizar a escolha e a afinação de vários passos de pré-processamento de texto, incorporações de palavras (como Word2Vec ou GloVe) e arquiteturas de modelos (desde modelos tradicionais a redes neurais recorrentes (RNN) ou transformadores), simplificando a criação de aplicações como chatbots em uso, sistemas de recomendação de conteúdos e conjuntos de ferramentas baseados na análise de dados textuais à escala.

Aplicações da indústria

Para além destas categorias de tarefas específicas, a utilização de drives AutoML em várias indústrias permite uma implementação mais rápida e eficaz de soluções de IA personalizadas:

• Finanças Para a classificação de crédito, a ciência da deteção de fraudes, a negociação algorítmica e a gestão da relação com os clientes. A AutoML ajuda as instituições financeiras a construir modelos robustos de forma rápida, ao mesmo tempo que se adapta às mudanças da dinâmica do mercado e dos requisitos regulatórios.
   
• Healthcare science: Na previsão e diagnóstico de doenças a partir de dados de pacientes, descoberta de medicamentos através da análise de estruturas moleculares, análise de imagem médica (como mencionado em Computer Vision), e ciência para personalizar planos de tratamento.
   
• Venda a retalho e E-commerce: Para a previsão da procura, utilizando a segmentação de clientes, motores de recomendação personalizados, previsão de falhas e estratégias dinâmicas de fixação de preços.
   
• Manufacturing science: Em manutenção preditiva para antecipar falhas de equipamentos, controle de qualidade por meio de autoinspeção visual, ciência da otimização da cadeia de fornecimento e melhoria do processo de produção.
   
• Marketing Para a previsão do valor de vida do cliente, otimização da campanha, análise de sentimento da perceção da marca e pontuação de chumbo.
   
• Telecomunicações: Para prever a perda de clientes, otimizar o desempenho da rede e detetar atividades fraudulentas.