De zoektocht naar synergie tussen werknemer, SOC-analist en machine learning technologie om gerichte phishing te bestrijden

Ooit een dubieuze sms of e-mail ontvangen van een onbekend adres? Vast wel! Tegenwoordig zijn we allemaal bekend met die phishing-campagnes die massaal naar een groot aantal ontvangers worden gestuurd. Maar wat als zo een kwaadaardig bericht persoonlijk aan jou is gericht? Wat als de inhoud van het bericht goed geschreven is en authentiek lijkt omdat deze gerelateerd is aan je dagelijkse werkactiviteiten of persoonlijke interesses? Wat als de afzender een legitieme bron lijkt en het logisch is dat hij je benadert met een geweldige kans voor jou of je bedrijf? Je hoeft alleen maar op de link te klikken! Zou je erin trappen?

Volgens FireEye¹ was gerichte phishing – ook bekend als spear phishing – in 2010 de populairste methode voor eerste toegang voor langdurige en doelgerichte cyberaanvallen (APT's²) en was dit in 2020 nog steeds het geval. Onze conclusie: phishing is nog steeds een zeer succesvolle aanvalsvector voor tegenstanders. Het is een hardnekkig probleem en blijkbaar zijn er geen oplossingen beschikbaar die dit probleem volledig oplossen. PCSI stelt een holistische oplossing voor waarin mens en machine nauw samenwerken om phishing e-mails te herkennen voordat er schade wordt aangericht: het AIWARENESS-project. 

Hoe gaan PCSI-partners om met phishing e-mails?

De meeste bedrijven hebben een eerste verdedigingslinie geïmplementeerd gericht op het onderscheppen en in quarantaine plaatsen van spam en phishing e-mails, bestaande uit producten die meestal worden geleverd door beveiligingsbedrijven. “Deze eerste verdedigingslinie onderschept een groot percentage van de pogingen tot phishing, maar een oplossing van 100% is helaas niet beschikbaar,” legt Bianca Verhagen, platform engineer bij de Volksbank, uit. “Alle e-mails worden gescand, maar als consument van een e-mailbeveiligingsproduct blijven we afhankelijk van de leverancier. We weten niet welke logica leveranciers gebruiken om e-mails te onderscheppen en in quarantaine te plaatsen en we hebben niet de kennis en expertise om zelf een product te ontwikkelen.

Bij ABN AMRO ontwikkelt een team van datawetenschappers modellen voor machine learning om de algehele beveiliging van de bank te verbeteren. Dit team heeft gewerkt aan de ontwikkeling van een model voor phishing-detectie als tweede verdedigingslinie, in nauwe samenwerking met het Security Operations Centre. De grootste uitdaging voor hen is het verminderen van het aantal vals-positieven (e-mails die ten onrechte als kwaadaardig worden geclassificeerd) in dergelijke modellen. “Elke dag versturen aanvallers nieuw ontworpen phishing e-mails, die vaak niet te onderscheiden zijn van goedaardige e-mails. Het kost ons veel tijd om hier goed mee om te gaan,” aldus Victor Garçia Cazorla, data scientist bij de CISO-afdeling van ABN AMRO.

Richard Verbrugge, awareness expert bij ABN AMRO, werkt voortdurend aan het vergroten van awareness bij medewerkers met betrekking tot cybercriminaliteit en cybersecurity. “Afgezien van een paar uitzonderingen, zoals DDoS-aanvallen, beginnen de meeste criminele cyberaanvallen met social engineering. We moeten onze werknemers daar voortdurend bewust van maken en houden. Daarom hebben we een doorlopend leerprogramma dat maandelijks wordt bijgewerkt met de nieuwste trends en ontwikkelingen. Bovendien testen we het kennisniveau van onze medewerkers en willen we monitoren welke onderwerpen extra aandacht nodig hebben.” 

Hoe wil het PCSI deze uitdaging gezamenlijk aanpakken?

Het PCSI werkt aan een holistische oplossing, het AIWARENESS-project, waarin we de synergie optimaliseren tussen:

• de werknemer en zijn contextkennis over zijn eigen inbox en groep-mailboxen
• de SOC-analist met deskundige kennis over phishing en de nieuwste bedreigingen
• detectietechnologie op basis van machine learning waarmee patronen kunnen worden herkend en afwijkingen kunnen worden gedetecteerd in grote hoeveelheden gegevens.

Binnen dit project willen we medewerkers realtime awareness-ondersteuning bieden en tegelijkertijd op machine learning gebaseerde detectiemodellen verbeteren op basis van de binnenkomende oordelen (labels) van de medewerkers en SOC-analisten. 

Maar hoe willen we dit gaan doen? Een puur technologische aanpak is erg moeilijk gebleken, omdat het bijna onmogelijk is om een perfecte detectiecapaciteit te ontwikkelen die alle inkomende kwaadaardige e-mails (true positives) detecteert en niet reageert op goedaardige e-mails (false positives) in een voortdurend veranderend dreigingslandschap. Hoewel modellen voor detectie van gerichte phishing op basis van machine learning misschien niet perfect zijn, vormen ze wel een solide uitgangspunt voor het doorgronden van grote hoeveelheden e-mailgegevens.

Het model bijscholen aan de hand van feedback van werknemers

Er kan een redelijk goed presterend model worden gebruikt om werknemers op het juiste moment te waarschuwen, bijvoorbeeld bij het openen van een mogelijk schadelijke e-mail. Vervolgens kan het eigen oordeel van de werknemer over de e-mail worden gebruikt als label voor het bijscholen van het Machine Learning (ML) model om de prestaties te verbeteren. In een ideale wereld zou een werknemer in staat zijn om deze e-mails effectief te beoordelen, in welk geval we niet eens een ML-model nodig zouden hebben. Dit is echter vaak niet het geval en daarom moeten we:

• de werknemer in staat stellen om deze e-mails beter te beoordelen
• rekening houden met het feit dat de beoordelingen die worden teruggekoppeld naar het ML-model niet altijd correct zijn.

Garçia Cazorla vervolgt: “De toepassing van ‘crowdsourcing onder medewerkers’ kan een zeer interessante aanvulling zijn op bestaande modellen en tools. In plaats van de SOC-analist te waarschuwen en zijn oordeel te gebruiken om machine learning te verbeteren (met gelabelde gegevens), krijgen we feedback van alle medewerkers. Als dit effectief blijkt te zijn, zal het de werkdruk voor SOC-analisten aanzienlijk verlagen.” 

Figuur 1: Interactie tussen Classifier (ML-model) en het menselijke orakel (werknemer of SOC-analist)

In figuur 1 laten we zien hoe de interactie tussen het menselijke orakel (medewerker of SOC-analist) en het op ML gebaseerde detectiemodel (classifier) is vormgegeven in een Explainable Active Learning (XAL) loop.
 
Het menselijke orakel kan een werknemer zijn die een e-mail ontvangt en moet beoordelen of hij deze vertrouwt of niet, of een SOC-analist die gerapporteerde e-mails doorneemt. De classifier is een machine learning model dat grote hoeveelheden inkomende gegevens gebruikt om een e-mail optimaal te classificeren als phishing of betrouwbaar.

Er wordt geprobeerd een gunstige feedback loop te bereiken waarmee de classifier beter wordt in het identificeren van potentieel schadelijke e-mails. Hierdoor wordt de classifier beter in het presenteren van de meest relevante e-mails aan het menselijke orakel, wat het menselijke orakel helpt om zich alleen te richten op het beoordelen van die e-mails die de meeste aandacht nodig hebben. Hiermee is uiteindelijk de cirkel rond, omdat de binnenkomende beoordelingen (labels) helpen om de prestaties van de classifier nog verder te verbeteren.

We kunnen het menselijke orakel versterken door hem een duidelijke uitleg te geven waarom het model een e-mail als kwaadaardig heeft geïdentificeerd, met behulp van een technologie die Explainable AI (XAI) wordt genoemd. Daar tegenover kan een menselijk orakel de classifier op de meest efficiënte manier helpen verbeteren door die items te labelen die het meest informatief zijn voor de classifier, door middel van een technologie die Active Learning (AL) wordt genoemd. De combinatie van die twee wordt Explainable Active Learning (XAL) genoemd.

In de volgende paragrafen lichten we de belangrijkste technologische uitdagingen toe voor een soepele interactie tussen menselijk orakel en classifier. Omdat we van plan zijn om een pilotexperiment uit te voeren met de AIWARENESS-oplossing, zullen we de reikwijdte in deze paragrafen beperken. 

Ten eerste zullen we ons voor een eerste pilotimplementatie richten op URL-gebaseerde phishing-detectie. We zullen een bestaand model hergebruiken dat URL's kan classificeren als goedaardig (geen phishing) of kwaadaardig (phishing). Deze classifier is deels ontwikkeld in eerder onderzoek door het PCSI. We richten ons op URL-gebaseerde detectie omdat URL momenteel de payload is die aanvallers het meest gebruiken in phishing e-mails. Phishing e-mails bevatten meestal veel URL's, mogelijk ook goedaardige URL's, dus onze redenering is als volgt: als een e-mail ten minste één echt kwaadaardige URL bevat, dan concluderen we dat het een kwaadaardige e-mail is. 

Ten tweede richten we ons in het pilotexperiment op de interactie met de werknemer (en dus niet met de SOC-analist), omdat dit een van de meest nieuwe aspecten van dit project is en naar verwachting het meeste onderzoek zal vergen. Bovendien, als we de medewerker in staat kunnen stellen om betere beoordelingen te maken, zal dit de werkdruk van de SOC-analisten verlichten.

Actief leren – gegevens efficiënt labelen

Het gebrek aan gegevens is een van de grootste uitdagingen voor het bouwen van goede modellen, zoals machine learning modellen, om gerichte phishing te filteren. Succesvolle phishing e-mails zijn tegenwoordig speciaal gemaakt voor één persoon of een kleine groep mensen. Hierdoor zijn ze voor “generieke” machine learning modellen, die al worden gebruikt om meer voor de hand liggende phishing e-mails te filteren, moeilijker te onderscheiden van gewone e-mails. De enige manier om correct gelabelde e-mails of URL's voor deze geavanceerde phishing e-mails te verkrijgen, is om de werknemers of SOC-analisten van een bedrijf handmatig elke afzonderlijke e-mail/URL te laten bekijken en deze te labelen als goedaardig of kwaadaardig. Je begrijpt waarschijnlijk wel dat dit een erg omslachtige taak is.

Actief leren wordt onderzocht als een veelbelovende techniek om dit proces te vergemakkelijken. Het idee van actief leren is om automatisch alleen de meest informatieve URL's te selecteren waarvan het model efficiënt kan leren. Op deze manier heeft een model minder gegevens nodig om een vergelijkbare prestatie te bereiken en worden de medewerkers en SOC-analisten ontlast, die daardoor minder datapunten handmatig hoeven te labelen. 

Figuur 2 Bron: Settles, B. (2010). Active learning literature survey. University of Wisconsin. Computer Science Department

Figuur 2 illustreert dit idee, waarbij er geclassificeerd moet worden tussen de groene en rode datapunten. In afbeelding (a) worden de werkelijke labels van de datapunten weergegeven. In (b) geeft de lijn de manier weer waarop een model onderscheid maakt tussen groen en rood als het een aantal willekeurig gekozen gelabelde datapunten krijgt. Zoals te zien, is het model enigszins in staat om een grens te vinden tussen de groene en rode gebieden, maar het is verre van perfect. Tot slot laat afbeelding (c) een model zien dat is getraind met hetzelfde aantal datapunten, maar dit keer geselecteerd met behulp van actief leren. Zoals te zien, kan dit model veel beter onderscheid maken tussen groen en rood omdat het meer informatieve datapunten heeft gekregen om op te trainen, namelijk de datapunten die dicht bij de grens liggen. Dit proces staat bekend als 'uncertainty sampling' en wordt ook in dit project gebruikt om alleen de meest informatieve URL's te selecteren om door de medewerkers en SOC-analisten te worden gelabeld. 

Medewerkers weerbaarder maken met Explainable AI

Een integraal onderdeel van de filosofie van dit project is dat een op zichzelf staand ML-model het probleem van gerichte phishing niet alleen kan oplossen. Aan de andere kant zal een werknemer zonder de juiste informatie het ook moeilijk vinden om gerichte phishing e-mails te herkennen. Daarom is het project gericht op het vinden van een manier om effectief gebruik te maken van de kracht van AI in het snel classificeren van URL's, versterkt door de contextkennis van menselijke medewerkers. 

Explainable AI (XAI) is een techniek waarmee we dit kunnen doen. Met XAI krijgt een medewerker of SOC-analist inzicht in waarom het model een URL verdacht vond, en kan de mens deze informatie gebruiken om de hele e-mail beter te beoordelen. XAI kan de werknemer bijvoorbeeld vertellen dat hij voorzichtig moet zijn met de URL omdat deze ongebruikelijke tekens bevat of omdat het certificaat ongeldig is. Deze details kunnen over het hoofd worden gezien door een werknemer die routinematig zijn inbox doorwerkt. De meest uitdagende taak zal zijn om informatie te presenteren op een niveau dat begrijpelijk is voor zowel de werknemer als de SOC-analist.

“Werknemers helpen technologie te verbeteren en vervolgens wordt de technologie beter in het beschermen en weerbaarder maken van de werknemer. Een mooie continue loop die geleidelijk beter gaat presteren. Daarnaast is het belangrijk om te begrijpen waarom een werknemer een e-mail als kwaadaardig beoordeelt. Met deze informatie zouden we het machine learning model iteratief kunnen verbeteren,” stelt Verbrugge.

Figuur 3: twee voorbeelden van XAI-uitleg en de bijbehorende URL's

In figuur 3 worden twee voorbeelden van XAI-uitleg en de bijbehorende URL's getoond. Links zien we een URL die als kwaadaardig is geclassificeerd vanwege, onder andere, het ongewoon lange pad. Rechts zien we een URL die als goedaardig is geclassificeerd vanwege, onder andere, het grote aantal certificaten dat in het verleden met de URL in verband is gebracht.

“De medewerker is verantwoordelijk voor het maken van een context-gerelateerd oordeel, waarbij gebruik wordt gemaakt van informatie, bijv. of hij of zij een e-mail verwacht van een bepaald adres omdat daar telefonisch contact over is geweest” legt Verhagen uit. “Een werknemer moet zich bewust zijn – en blijven – van het feit dat een kwaadaardige e-mail nog steeds de inbox kan bereiken, zelfs als er sprake is van een eerste verdedigingslinie.”

Resultaten van eerste experimenten

De eerste experimenten met het gebruik van actief leren voor het bestrijden van gerichte phishing hebben positieve resultaten opgeleverd. In figuur 4 is het gebruik van actief leren om een dataset van phishing e-mails te classificeren vergeleken met gewone training.

Figuur 4: vergelijking tussen gewone training en actief leren

Hier zien we dat het model inderdaad in staat is om met minder gegevens een beter onderscheid te maken tussen phishing e-mails en goedaardige e-mails. Met 50-80 datapunten was het model 10% effectiever in dit scenario. Verder is er een experiment uitgevoerd om de werking van actief leren te onderzoeken in een realistischer scenario waarin een medewerker of SOC-analist niet altijd het juiste label geeft. De resultaten van dit experiment staan in figuur 5.

Figuur 5: resultaten van werknemers met verschillen in nauwkeurigheid

Zoals verwacht presteert een werknemer die altijd gelijk heeft (de groene lijn) het best, terwijl een werknemer die slechts 50% van de tijd gelijk heeft, wat eigenlijk gelijk is aan willekeurig raden, het model niet significant verbetert. Interessant is dat een medewerker die in 80% van de gevallen gelijk heeft, nog steeds in staat is om het model vrij snel te verbeteren, wat een veelbelovend resultaat is en een motivatie voor verdere praktische experimenten.

De volgende stap in dit project is het implementeren van deze oplossing in een echte omgeving, om de oplossing met gebruikers te testen. Het doel in de huidige fase van het project is om de effectiviteit van deze technieken te meten met echte werknemers en echte phishing e-mails, en uiteindelijk om te zien of het inderdaad met succes werknemers en SOC-analisten ontlast, terwijl de modellen voor het bestrijden van gerichte phishing worden verbeterd.

“We zijn erg benieuwd naar de ervaringen van werknemers met de AIWARENESS-oplossing in een pilotexperiment. Bovendien zou ik, als we dit uiteindelijk in productie gebruiken, ook benieuwd zijn naar de invloed ervan op de prestaties van Microsoft Outlook. Tot nu toe ziet alles er veelbelovend uit,” aldus Verhagen.
Verbrugge voegt hieraan toe: “De inzichten die we zullen krijgen van onze medewerkers zijn zeer waardevol. Het is belangrijk om de waarde van de oplossing kwantitatief te bewijzen en de juiste conclusies te trekken. Dit kost tijd en moeite."

Conclusie

Om gerichte phishing te bestrijden, werkt het PCSI aan een holistische aanpak waarin we streven naar synergie tussen de medewerker met zijn contextkennis, de SOC-analist met zijn kennis van beveiliging en machine learning technologie die big data inzichtelijk maakt. Deze aanpak zal de medewerker helpen en in staat stellen om weerbaarder te worden, wat aansluit bij de filosofie van de Volksbank: “bankieren met de menselijke maat”. Verhagen legt uit: “Phishing is een complex probleem waaraan veel mensen dagelijks worden blootgesteld. Het is erg interessant om te zien hoe verschillende bronnen van expertise bij de PCSI-partners elkaar aanvullen. Persoonlijk heb ik geen expertise in het maken van nieuwe AI-modellen, maar redenerend vanuit mijn eigen expertise kan ik waardevolle bijdragen en eisen formuleren. Dat maakt dit project speciaal voor mij.

In een breder perspectief zou AIWARENESS moeten helpen het aantal phishing-incidenten te verminderen: minder phishing e-mails die de inbox van werknemers bereiken zullen leiden tot minder beveiligingsincidenten in het algemeen, aangezien succesvolle phishing-aanvallen vaak het begin zijn van andere beveiligingsgebeurtenissen, zoals bedrijfsspionage, diefstal van referenties, geldverlies of ransomware-aanvallen. Indirect kan AIWARENESS dus de werkdruk van het SOC verder verminderen. “De tegenstanders zullen hun tactieken en technieken blijven ontwikkelen en daar moeten we bovenop blijven zitten. Wij zijn ervan overtuigd dat deze oplossing zal leiden tot minder phishing-incidenten. Maar ik verwacht ook dat de tegenstanders zich zullen richten op social engineering via sociale media. We zullen ons zonder onderbreking moeten blijven ontwikkelen,” besluit Verbrugge.

1. [Rapport] M-Trends 2020, pagina 5
2. Een Advanced Persistent Threat (APT) is een heimelijke bedreigingsgroep die zich toegang verschaft tot computernetwerken, met als doel voor langere tijd onopgemerkt te blijven en gevoelige informatie te verzamelen, meestal gesponsord door een natiestaat.