Míra detekce phishingu pomocí ChatGPT je 94 %. Má to ale háček

Praha 5. května 2023 (PROTEXT) – Odborníci společnosti Kaspersky provedli výzkum schopností ChatGPT při detekci phishingových odkazů. ChatGPT sice již prokázal schopnost vytvářet phishingové e-maily a psát malware, měl však omezenou účinnost při detekci škodlivých odkazů. Studie zjistila, že ačkoli ChatGPT ví o phishingu hodně a dokáže odhadnout cíl phishingového útoku, vykazoval vysokou míru falešně pozitivních výsledků, a to až 64 %. Pro odůvodnění svých verdiktů přitom často vytvářel smyšlená vysvětlení a falešné důkazy.

ChatGPT, jazykový model s umělou inteligencí, se stal předmětem diskusí ve světě kybernetické bezpečnosti kvůli svému potenciálu vytvářet phishingové e-maily a obavám z jeho dopadu na práci odborníků na kybernetickou bezpečnost, a to i přes upozorňování od jeho tvůrců, že je příliš brzy na to, aby se tato nová technologie aplikovala na tak rizikové oblasti. Odborníci společnosti Kaspersky se rozhodli provést experiment, který měl zjistit schopnost ChatGPT odhalovat phishingové odkazy a také jeho znalosti z oblasti kybernetické bezpečnosti, které se naučil během tréninku. Výzkumníci testovali model gpt-3.5turbo, který pohání ChatGPT, na více než 2 000 odkazech, které antiphishingové technologie Kaspersky považovaly za phishingové, a smíchali je s tisíci bezpečných adres URL.

Míra detekce se v experimentu lišila v závislosti na použitém dotazu. Během testování byly ChatGPT pokládány dvě otázky: „Vede tento odkaz na phishingovou webovou stránku?“ a „Je návštěva tohoto odkazu bezpečná?“. Výsledky ukázaly, že ChatGPT měl u první otázky míru detekce 87,2 % a míru falešně pozitivních odpovědí 23,2 %. Druhá otázka měla vyšší míru detekce – 93,8 %, avšak i mnohem vyšší míru falešně pozitivních odpovědí – 64,3 %. I když je míra detekce velmi vysoká, míra falešně pozitivních odpovědí je pro jakýkoli typ provozní aplikace příliš velká.

Neuspokojivé výsledky při detekci byly očekávané, ale mohl by ChatGPT pomoci s klasifikací a vyšetřováním útoků? Vzhledem k tomu, že útočníci ve svých odkazech obvykle uvádějí populární značky, aby uživatele oklamali a přesvědčili je, že adresa URL je legitimní a patří renomované společnosti, vykazuje jazykový model AI působivé výsledky při identifikaci potenciálních cílů phishingu. ChatGPT například úspěšně identifikoval cíl z více než poloviny adres URL, mimo jiné včetně velkých technologických portálů, jako jsou Facebook, TikTok a Google, e-shopů, jako jsou Amazon a Steam, nebo mnoha bank z celého světa, a to bez jakéhokoli dodatečného tréninku.

Experiment také ukázal, že ChatGPT může mít vážné problémy při prokazování správnosti svých hodnocení škodlivosti odkazů. Některá vysvětlení byla správná a založená na faktech, jiná odhalila známá omezení jazykových modelů, včetně výmyslů a nesprávných tvrzení – mnohá vysvětlení byla navzdory sebejistému znění zavádějící.

Příklady zavádějících vysvětlení poskytovaných chatbotem ChatGPT:

● Odkazy na službu WHOIS, ke které však model nemá přístup:

– Konečně, pokud provedeme vyhledání názvu domény ve službě WHOIS, zjistíme, že byl zaregistrován teprve nedávno (2020-10-14) a údaje o registrujícím subjektu jsou skryté.

● Odkazy na obsah webové stránky, ke kterému model rovněž nemá přístup:

– Webová stránka žádá o přihlašovací údaje uživatele, ale nepatří společnosti Microsoft. Jedná se o běžnou taktiku phishingových útoků.

● Nesprávné údaje:

– Doména „sxxxxxxp.com“ není spojena se společností Netflix a webová stránka používá protokol „http“ místo „https“ (webová stránka ve skutečnosti používá https).

● Domněnky o kybernetické bezpečnosti:

– Název domény URL „yxxxx3.com“ je zřejmě registrován v Severní Koreji, což je varovný signál.

„ChatGPT je jistě slibným pomocníkem lidských analytiků při odhalování phishingových útoků, ale nepředbíhejme – jazykové modely mají stále svá omezení. Ačkoli mohou být na stejné úrovni jako začínající analytik phishingu, pokud jde o uvažování o phishingových útocích a extrakci potenciálních cílů, mají tendenci si vymýšlet a vytvářet náhodné výstupy. Takže i když možná zatím nepřinesou revoluci v oblasti kybernetické bezpečnosti, přesto mohou být pro komunitu užitečným nástrojem,“ komentuje Vladislav Tushkanov, vedoucí datový analytik společnosti Kaspersky.

Víc informací o tomto experimentu najdete na webu Securelist.com.

Tým ML společnosti Kaspersky stojí v čele aplikace strojového učení na úlohy kybernetické bezpečnosti a neustále doplňuje produkty Kaspersky o nejnovější technologie a informace. Chcete-li využít odborných znalostí společnosti Kaspersky v oblasti strojového učení a zůstat chráněni, řiďte se těmito radami:

● Základním nástrojem pro firemní kybernetickou bezpečnost je Kaspersky Managed Detection and Response, který dokáže odhalit a zabránit průnikům již v jejich počátečních fázích. Využívá pokročilé modely strojového učení k odfiltrování běžných událostí a profesionálním lidským analytikům posílá pouze ty potenciálně nebezpečné. Tato služba zvyšuje schopnost firem odolávat kybernetickým hrozbám a zároveň optimalizuje využití stávajících lidských zdrojů.

● Nezbytné je poskytnout zaměstnancům základní školení o hygieně kybernetické bezpečnosti. Provádění simulovaných phishingových útoků může také pomoci zajistit, aby věděli, jak rozpoznat phishingové e-maily.

● Pro zvýšení kybernetické bezpečnosti se doporučuje také využívat nejnovější informace od služby Threat Intelligence, abyste měli přehled o aktuálních TTP (taktikách, technikách a postupech) používaných aktéry hrozeb.

Kontakt pro média:

Darko Natalic

Corporate Communications Manager Eastern Europe & Israel at Kaspersky

E-mail: Darko.Natalic@kaspersky.com

ČTK ke zprávě vydává obrazovou přílohu, která je k dispozici na adrese http://www.protext.cz.