Generatywne chatboty i językowe duże modele (LLM) mogą być mieczem obosiecznym z perspektywy ryzyka.
Ale przy odpowiednim użyciu mogą również poprawić bezpieczeństwo cybernetyczne na kluczowe sposoby.
Scenariusz: Michael Hill | oryginał z IDGN
Szybkie pojawienie się ChatGPT z Open AI było jedną z największych historii roku, a głównym obszarem dyskusji był potencjalny wpływ generatywnych chatbotów AI i skondensowanych modeli językowych (LLM) na cyberbezpieczeństwo.
Wiele już zrobiono w kwestii zagrożeń bezpieczeństwa, jakie mogą stwarzać te nowe technologie:
- obaw związanych z udostępnianiem poufnych informacji biznesowych przy użyciu zaawansowanych algorytmów samouczących się
- Nawet złośliwi aktorzy używają ich do znacznego usprawnienia ataków
Niektóre kraje, stany i firmy USA zakazały korzystania z generatywnej technologii sztucznej inteligencji, takiej jak ChatGPT Względy bezpieczeństwaOchrona danych i prywatność.
Oczywiście zagrożenia bezpieczeństwa powodowane przez generatywne chatboty AI i duże LLM są znaczące.
Jednak te same urządzenia mogą poprawić cyberbezpieczeństwo korporacyjne na wiele sposobów, zapewniając zespołom ds. cyberbezpieczeństwa tak potrzebny impuls w walce z działalnością cyberprzestępczą.
Oto sześć sposobów, w jakie chatboty i LLM oparte na sztucznej inteligencji mogą poprawić bezpieczeństwo.
Analiza i filtrowanie podatności
według raport Od Cloud Security Alliance (CSA) badającego implikacje cyberbezpieczeństwa dla LLM, generatywne modele sztucznej inteligencji mogą być wykorzystywane do znacznego usprawnienia skanowania i filtrowania luk w zabezpieczeniach.
W artykule CSA wyjaśnia, że OpenAI Codex API jest skutecznym skanerem podatności na języki programowania, takie jak C, C#, Java i JavaScript.
„Możemy oczekiwać, że LLM, takie jak te z rodziny Codex, staną się standardowym komponentem przyszłych skanerów luk w zabezpieczeniach” – czytamy w dokumencie.
Można na przykład opracować skaner do wykrywania i zgłaszania niebezpiecznych wzorców kodu w różnych językach, pomagając programistom w usuwaniu potencjalnych luk, zanim staną się one poważnym zagrożeniem dla bezpieczeństwa.
Jeśli chodzi o filtrowanie, generatywne modele sztucznej inteligencji mogą wyjaśniać i dodawać wartościowy kontekst do identyfikatorów zagrożeń, które personel ochrony może przeoczyć.
Na przykład TT1059.001, identyfikator technologii w ramach MITRE ATT&CK, może zostać zgłoszony, ale jest nieznany niektórym specjalistom ds. cyberbezpieczeństwa, co uzasadnia potrzebę krótkiego wyjaśnienia.
ChatGPT może dokładnie rozpoznać kod jako identyfikator MITRE ATT&CK i wyjaśnić konkretny problem z nim związany, który obejmuje użycie złośliwych skryptów PowerShell.
Zagłębia się również w naturę PowerShell i jego potencjalne zastosowanie w atakach na cyberbezpieczeństwo, podając odpowiednie przykłady.
W maju OX Security ogłosiło uruchomienie OX-GPT, czyli integracji ChatGPT Zaprojektowany, aby pomóc programistom Dzięki niestandardowym rekomendacjom poprawek kodu i poprawkom kodu typu „wytnij i wklej”, w tym:
- Sposób, w jaki hakerzy mogą wykorzystać kody
- potencjalne skutki ataku
- i potencjalne szkody dla organizacji
Odwróć wtyczki, przeanalizuj interfejsy API plików PE
Matt Vollmer, dyrektor Electronic Intelligence Engineering w Deep Instinct zauważa, że generatywną technologię AI/LLM można wykorzystać do budowy podstaw i powrotu popularnych wtyczek opartych na platformach inżynierii odwrotnej, takich jak IDA i Ghidra.
„Jeśli określisz dokładnie, czego potrzebujesz i porównasz to z taktyką MITER ATT&CK, możesz oddzielić wynik i sprawić, by był lepszy do wykorzystania jako obrona” – mówi.
Dodaje, że LLM mogą również pomóc w komunikacji za pośrednictwem aplikacji, z możliwością analizowania interfejsów API pliku wykonywalnego (PE) i informowania go, do czego można go użyć.
„Może to skrócić czas, jaki badacze zajmujący się bezpieczeństwem spędzają na przeglądaniu plików PE i analizowaniu komunikacji API w ich obrębie”.
Zapytania dotyczące zagrożeń
Zwolennicy bezpieczeństwa mogą poprawić wydajność i skrócić czas reakcji, wykorzystując ChatGPT i inne LLM do generowania zapytań o skanowanie w poszukiwaniu zagrożeń, zgodnie z CSA.
Tworząc zapytania do wykrywania złośliwego oprogramowania i narzędzi badawczych, takich jak YARA, ChatGPT pomaga szybko identyfikować i ograniczać potencjalne zagrożenia, Dozwolone są obrońcy Skoncentruj się na krytycznych aspektach działań związanych z bezpieczeństwem cybernetycznym.
Ta umiejętność jest nieoceniona w utrzymywaniu silnej postawy bezpieczeństwa w ciągle zmieniającym się krajobrazie zagrożeń.
Reguły można projektować w oparciu o określone wymagania i zagrożenia, które organizacja chce wykrywać lub monitorować w swoim środowisku.
Sztuczna inteligencja może poprawić bezpieczeństwo łańcucha dostaw
Generatywne modele sztucznej inteligencji mogą być wykorzystywane do rozwiązywania zagrożeń dla bezpieczeństwa łańcucha dostaw poprzez identyfikację potencjalnych słabych punktów dostawców.
W kwietniu firma SecurityScorecard ogłosiła uruchomienie nowej platformy oceny bezpieczeństwa, która właśnie to umożliwia, integrując się z platformą OpenAI GPT-4 i globalnym wyszukiwaniem w języku naturalnym.
Według firmy klienci mogą zadawać otwarte pytania dotyczące ekosystemu biznesowego, w tym szczegółowe informacje o dostawcach, i szybko uzyskiwać odpowiedzi, aby podejmować decyzje dotyczące zarządzania ryzykiem.
Przykłady obejmują „Znajdź 10 najniżej ocenianych dostawców” lub „Pokaż mi, który znaczący dostawca został zhakowany w zeszłym roku”, pytania, które według SecurityScorecard dadzą wyniki, które umożliwią zespołom szybkie podejmowanie decyzji dotyczących zarządzania ryzykiem.
Generuj i przesyłaj tokeny bezpieczeństwa
LLM, takie jak ChatGPT, mogą być używane do generowania i przesyłania tokenów bezpieczeństwa.
CSA podaje przykład kampanii phishingowej, która z powodzeniem wymierzyła wielu pracowników w firmie, potencjalnie ujawniając ich dane uwierzytelniające.
Chociaż wiadomo, którzy pracownicy otworzyli wiadomość phishingową, nie jest jasne, czy nieumyślnie zaimplementowali złośliwy kod mający na celu kradzież danych uwierzytelniających.
„Aby to zbadać, można użyć zaawansowanego zapytania wyszukiwania w usłudze Microsoft 365 Defender w celu znalezienia 10 ostatnich zdarzeń logowania, które adresaci wiadomości e-mail mieli w ciągu 30 minut od otrzymania znanych złośliwych wiadomości e-mail” — wyjaśnił.
Wskazuje również, że zapytanie pomaga zidentyfikować wszelkie podejrzane działania związane z logowaniem, które mogą być związane z przejętymi danymi uwierzytelniającymi.
W tym przypadku ChatGPT może zapewnić wyszukiwanie w Microsoft 365 Defender w celu sprawdzenia prób logowania z przejętych kont e-mail, pomagając blokować osoby atakujące system i wskazując, czy użytkownik musi zmienić swoje hasło.
Jest to dobry przykład skrócenia czasu do działania podczas odpowiedzi elektronicznej.
Na podstawie tego samego przykładu możesz napotkać ten sam problem i znaleźć zapytanie wyszukiwania dla usługi Microsoft 365 Defender, ale Twój system nie działa z językiem programowania KQL. Zamiast szukać poprawnego przykładu w wybranym języku, możesz zrobić port w stylu HTML.
Ten przykład pokazuje, że podstawowe modele ChatGPT CODEX mogą pobierać przykładowy kod źródłowy i generować przykład w innym języku programowania. Upraszcza to również proces dla użytkownika końcowego, dodając kluczowe szczegóły do udzielonej odpowiedzi oraz metodologię stojącą za nowym tworzeniem.
Liderzy muszą zapewnić bezpieczne korzystanie z generatywnych chatbotów AI
Chaim Still, dyrektor generalny w firmie Gigamon Podobnie jak wiele ostatnich rozwiązań, sztuczna inteligencja i LLM mogą być mieczem obosiecznym z punktu widzenia ryzyka, dlatego ważne jest, aby liderzy upewnili się, że ich zespoły korzystają z ofert w sposób bezpieczny.
„Zespoły ds. bezpieczeństwa i prawnicy muszą ze sobą współpracować, aby znaleźć dla swoich organizacji najlepszą drogę do wykorzystania potencjału tych technologii bez narażania własności intelektualnej lub bezpieczeństwa”.
Generatywna sztuczna inteligencja Fulmera opiera się na starszych ustrukturyzowanych danych, więc traktuj ją tylko jako punkt wyjścia do oceny jej wykorzystania do celów bezpieczeństwa i obrony, mówi.
„Na przykład, jeśli używasz go do którejkolwiek z powyższych korzyści, uzasadnij swoją rezygnację. Wyłącz wyjście i pozwól ludziom uczynić je lepszym, dokładniejszym i bardziej praktycznym.”
Chatboty/LLM generowane przez sztuczną inteligencję w końcu w naturalny sposób poprawią bezpieczeństwo i obronę, ale wykorzystanie sztucznej inteligencji/LLM do pomocy, a nie do szkodzenia sytuacjom związanym z cyberbezpieczeństwem, powróci do wewnętrznej komunikacji i reagowania. – mówi Mazal.
„Generacyjne systemy AI/MBA mogą być sposobem na zaangażowanie interesariuszy w celu szybszego i bardziej efektywnego rozwiązywania problemów związanych z bezpieczeństwem. Liderzy muszą informować o sposobach wykorzystania narzędzi do wspierania celów organizacji, jednocześnie edukując ich o potencjalnych zagrożeniach.”
Chatboty oparte na sztucznej inteligencji również wymagają regularnych aktualizacji, aby zachować skuteczność w walce z zagrożeniami, a moderacja ze strony człowieka jest konieczna, aby zapewnić prawidłowe działanie LLM, mówi Joshua Kaiser, dyrektor wykonawczy ds. technologii sztucznej inteligencji i dyrektor generalny Tovie AI.
Chatboty oparte na sztucznej inteligencji również wymagają regularnych aktualizacji, aby zachować skuteczność w walce z zagrożeniami, a moderacja ze strony człowieka jest konieczna, aby zapewnić prawidłowe działanie LLM, mówi Joshua Kaiser, dyrektor wykonawczy ds. technologii sztucznej inteligencji i dyrektor generalny Tovie AI.
Ponadto LLM wymagają zrozumienia kontekstu, aby zapewnić dokładne odpowiedzi i wykryć wszelkie problemy z bezpieczeństwem, i muszą być regularnie testowane i oceniane w celu zidentyfikowania możliwych luk w zabezpieczeniach.
„Amatorski praktykujący muzykę. Wieloletni przedsiębiorca. Odkrywca. Miłośnik podróży. Nieskrępowany badacz telewizji.”