Bezpečnostní expert Bar Lanyado nedávno provedl průzkum o tom, jak generativní modely umělé inteligence neúmyslně přispívají k obrovským potenciálním bezpečnostním hrozbám ve světě vývoje softwaru. Takový výzkum od Lanyada zjistil alarmující trend: AI navrhuje balíčky imaginárního softwaru a vývojáři, aniž by si toho byli vědomi, jej zahrnuli do svých kódových základen.
Vydání odhaleno
Nyní je problém v tom, že vygenerované řešení bylo fiktivní jméno – něco typického pro AI. Tyto fiktivní názvy balíčků jsou však s jistotou navrhovány vývojářům, kteří mají potíže s programováním modelů AI. Ve skutečnosti některé vymyšlené názvy balíčků byly částečně založeny na lidech – jako Lanyado – a některé z nich pokračovaly a proměnily je ve skutečné balíčky. To následně vedlo k náhodnému zahrnutí potenciálně škodlivého kódu do skutečných a legitimních softwarových projektů.
Jedním z podniků, které spadaly pod tento dopad, byla Alibaba, jeden z hlavních hráčů v technologickém průmyslu. Lanyado ve svých instalačních pokynech pro GraphTranslator zjistil, že Alibaba obsahovala balíček nazvaný „huggingface-cli“, který byl falešný. Ve skutečnosti existoval skutečný balíček se stejným názvem hostovaný na Python Package Index (PyPI), ale průvodce Alibaba odkazoval na ten, který vytvořil Lanyado.
Testování vytrvalosti
Lanyadoův výzkum se zaměřil na posouzení životnosti a potenciálního využití těchto názvů balíčků generovaných AI. V tomto smyslu LQuery provedl odlišné modely umělé inteligence o programovacích výzvách a mezi jazyky v procesu porozumění, pokud by byla efektivně a systematicky doporučena tato fiktivní jména. V tomto experimentu je jasné, že existuje riziko, že by škodlivé entity mohly zneužít názvy balíčků vygenerované AI k distribuci škodlivého softwaru.
Tyto výsledky mají hluboké důsledky. Špatní herci mohou zneužít slepé důvěry, kterou vývojáři vkládají do přijatých doporučení, takovým způsobem, že mohou začít publikovat škodlivé balíčky pod falešnými identitami. U modelů AI se riziko zvyšuje s konzistentními doporučeními AI pro vymyšlené názvy balíčků, které by nevědomí vývojáři zahrnuli jako malware. **Cesta vpřed**
Proto, jak se umělá inteligence dále integruje s vývojem softwaru, může vyvstat potřeba opravit zranitelná místa, pokud je spojena s doporučeními generovanými umělou inteligencí. V takových případech je třeba provádět náležitou péči, aby softwarové balíčky navržené k integraci byly legitimní. Kromě toho by platforma hostující úložiště softwaru měla ověřovat a být dostatečně silná, aby nebyl distribuován žádný kód zlovolné kvality.
Průnik umělé inteligence a vývoje softwaru odhalil znepokojivou bezpečnostní hrozbu. Model AI může také vést k náhodnému doporučení falešných softwarových balíčků, což představuje velké riziko pro integritu softwarových projektů. Skutečnost, že ve svých pokynech Alibaba zahrnula krabici, která tam nikdy neměla být, je jen trvalým důkazem toho, jak by ve skutečnosti mohly nastat možnosti, když se lidé roboticky řídili doporučeními.
daná AI. V budoucnu bude třeba přijmout proaktivní opatření, aby bylo zabráněno zneužití umělé inteligence pro vývoj softwaru.
Zdroj: https://www.cryptopolitan.com/ai-generated-software-packages-threats/