Wat is gecontroleerd leren?

Het fundamentele doel van gecontroleerd leren is dat het algoritme een algemene regel of een toewijzingsfunctie "leert" die nieuwe, ongeziene inputs kan aannemen en de juiste output ervan kan voorspellen. Het wordt "gecontroleerd" genoemd omdat het proces van een algoritme dat leert van de trainingsdataset kan worden gezien als een leerkracht die toezicht houdt op het leerproces.

We kennen de juiste antwoorden (labels), het algoritme maakt iteratief voorspellingen op de trainingsdata en wordt gecorrigeerd door de docent. Het leren stopt wanneer het algoritme een aanvaardbaar prestatieniveau bereikt.

Hoe werkt gecontroleerd leren?

Gecontroleerd leren lijkt misschien complex, maar de onderliggende methoden volgen een gestructureerde workflow. Het gaat over een machine onderwijzen door haar voorbeelden te tonen en dan haar inzicht te testen. Hier volgt een overzicht van de typische stappen:

Gelabelde gegevens verzamelen en voorbereiden

Het proces begint met het verzamelen van relevante gegevens. Cruciaal voor gecontroleerd machine learning zijn de labels voor deze gegevens. Dit betekent dat elk stuk invoergegevens wordt gekoppeld aan een overeenkomende correcte uitvoer of "tag". Als u bijvoorbeeld een spammelder bouwt, dan zijn uw gegevens e-mails (invoer) die gelabeld zijn als "spam" of "niet spam" (uitvoer).

De kwaliteit en kwantiteit van deze gelabelde gegevens staan bij de gebruikte methoden voorop. Hoe meer hoogwaardige, relevante voorbeelden het functiemodel ziet, hoe beter het over het algemeen zal leren en presteren. Deze fase omvat vaak het opschonen van gegevens (het verwerken van ontbrekende waarden, het verwijderen van fouten) en het voorverwerken (het transformeren van gegevens in een geschikt formaat voor het algoritme).

De gegevens splitsen in training, validatie en testsets

Zodra u uw gelabelde gegevensset hebt, is het standaardgebruik om deze niet allemaal te gebruiken om het model direct te onderwijzen. In plaats daarvan is het typisch verdeeld. De trainingsset vormt het grootste deel van de gegevens en wordt gebruikt om het machine learning-model daadwerkelijk te trainen. Het model "ziet" deze voorbeelden en leert de relatie tussen de invoer en de bijbehorende labels.

Een validatieset (optioneel maar sterk aanbevolen) wordt gebruikt tijdens het trainingsproces om de parameters van het model (hyperparameters) af te stemmen en beslissingen te nemen over de architectuur van het model. Het helpt te voorkomen dat het model te gespecialiseerd wordt in de trainingsgegevens (een probleem dat overfitting wordt genoemd) door een onbevooroordeelde evaluatie te leveren terwijl het leert.

Ten slotte wordt de testset gebruikt nadat het model is getraind (en gevalideerd) om een onbevooroordeelde evaluatie van de uiteindelijke prestaties van het model te bieden. Deze gegevens zijn nog nooit eerder door het model gezien, dus het geeft een goede indicatie van hoe het model zal presteren op nieuwe, reële gegevens.

Een model kiezen (algoritmeselectie)

Op basis van het probleem dat u probeert op te lossen (bijvoorbeeld het voorspellen van een categorie als "spam/niet spam" - classificatie of het voorspellen van een continue waarde zoals een huizenprijs - regressie) en de aard van uw gegevens, selecteert u een geschikt algoritme voor gecontroleerd leren. Er zijn veel algoritmen om uit te kiezen, zoals Lineaire regressie, Logistische regressie, beslissingsstructuren, ondersteuning van vectormachines (SVM's), neurale netwerken en meer.

Het model trainen

Hier gebeurt het "leren". Het gekozen algoritme verwerkt de trainingset. Het model maakt voorspellingen op basis van de inputgegevens en vergelijkt deze voorspellingen met de feitelijk bekende labels.

Als er een verschil is (een fout), past het algoritme de interne parameters aan om de volgende keer betere voorspellingen te maken. Dit wordt vaak gedaan door te proberen een "verliesfunctie" te minimaliseren, die kwantificeert hoe ver de voorspellingen van het model verwijderd zijn van de werkelijke waarden.

Dit iteratieve aanpassingsproces gaat door totdat het model een bevredigend nauwkeurigheidsniveau voor de trainingsgegevens bereikt (en goed presteert wat betreft de validatiegegevens).

Het model evalueren

Zodra de training is voltooid, worden de prestaties van het model beoordeeld met behulp van de testset. Welke algemene metrische gegevens worden gebruikt voor evaluatie, is afhankelijk van het type probleem.

Voor classificatie zijn meetwaarden als nauwkeurigheid, precisie, terugroepen en F1-score gebruikelijk. Voor regressie wordt vaak de waarde Mean Squared Error (MSE) of R-squared gebruikt. Deze stap is van cruciaal belang om te begrijpen hoe goed het waarschijnlijk is dat het model generaliseert naar nieuwe, onzichtbare gegevens.

Als de prestaties van het model bevredigend zijn, kan het worden ingezet om voorspellingen te doen op nieuwe, live gegevens. Zo zou ons spamfilter nu inkomende e-mails gaan classificeren die het nog nooit heeft gezien. Het is ook belangrijk om de prestaties van het model in de echte wereld voortdurend te monitoren, omdat gegevenspatronen in de loop van de tijd kunnen veranderen (een concept dat bekend staat als "modeldrift"), wat mogelijk hertraining of aanpassingen aan het model vereist.

In essentie is gecontroleerd leren een iteratief proces waarbij gelabelde voorbeelden aan een algoritme worden doorgegeven, zodat het patronen kan leren en vervolgens het vermogen om deze patronen te veralgemenen naar nieuwe gegevens kan testen.

Voorbeelden van use cases voor gecontroleerd machine learning

Gecontroleerd leren is niet alleen een theoretisch concept of voorspelling; het is de motor achter een breed scala aan toepassingen die ons dagelijks leven en verschillende sectoren beïnvloeden. De mogelijkheid om te leren van gelabelde voorbeelden maakt het van onschatbare waarde voor taken die voorspelling en classificatie vereisen. Hier zijn enkele opvallende use cases:

• Afbeelding en object herkenning : Dit is een klassieke toepassing van classificatie. Gecontroleerde leermodellen worden getraind op enorme datasets van afbeeldingen, waarbij elke afbeelding wordt gelabeld met de objecten die hij bevat (bijvoorbeeld "kat", "auto", "voetganger", "boom").
   
• Spam email detectie : Een van de eerste en meest gebruikte toepassingen van gecontroleerd leren (met name classificatie) is het filteren van spam-e-mails. Modellen worden getraind op een uitgebreide corpus van e-mails die handmatig zijn gelabeld als "spam" of "niet spam" (vaak "ham" genoemd).
   
• Medical diagnosis and healthcare : Gecontroleerd leren speelt een steeds belangrijkere rol in de gezondheidszorg door medische professionals te helpen bij het diagnosticeren van ziekten. Modellen kunnen worden getraind op patiëntengegevens—waaronder symptomen, medische geschiedenis, laboratoriumresultaten en medische beelden—die zijn gelabeld met bevestigde diagnoses.
   
• Gevoelanalyse : Bedrijven en organisaties zijn in hoge mate afhankelijk van een goed begrip van de publieke opinie en feedback van klanten. Gecontroleerde leermodellen (classificatie) worden getraind op tekstgegevens (zoals productrecensies, berichten op sociale media of antwoorden op enquêtes) die zijn gelabeld met gevoelens als "positief", "negatief" of "neutraal".
   
• Detectie van financiële fraude : In de financiële sector is gecontroleerd leren essentieel om frauduleuze transacties te identificeren en te voorkomen. Modellen worden getraind op historische transactiegegevens, waarbij elke transactie wordt gelabeld als "frauduleus" of "legitiem".
   
• Voorspelling huizenprijzen en aandelenkoersen (regressie) : Regressiemodellen in gecontroleerd machine learning worden veel gebruikt in finance en onroerend goed. Om de huizenprijzen te voorspellen, worden de modellen getraind op data uit eerdere vastgoedverkopen, inclusief functies als grootte, aantal slaapkamers, locatie, leeftijd en voorzieningen, samen met de bijbehorende verkoopprijzen.

De bovenstaande voorbeeldlijst vertegenwoordigt slechts een fractie van de manieren waarop gecontroleerd leren wordt toegepast. Naarmate er meer gegevens in omloop zijn en de computerverwerkingskracht toeneemt, zullen het bereik en de verfijning van de use cases alleen maar groter worden.