Säkerhetsexperten Bar Lanyado har nyligen gjort en del forskning om hur generativa AI-modeller oavsiktligt bidrar till enorma potentiella säkerhetshot i mjukvaruutvecklingsvärlden. Sådan forskning av Lanyados fann en alarmerande trend: AI föreslår paket med imaginär programvara, och utvecklare, utan att ens vara medvetna om det, inkluderar det i sina kodbaser.
Frågan avslöjad
Nu är problemet att lösningen som skapades var ett fiktivt namn - något typiskt för AI. Men dessa fiktiva paketnamn föreslås sedan med tillförsikt till utvecklare som har svårt att programmera med AI-modeller. Vissa uppfunna paketnamn har faktiskt delvis varit baserade på människor – som Lanyado – och några gick vidare och förvandlade dem till riktiga paket. Detta har i sin tur lett till oavsiktlig inkludering av potentiellt skadlig kod i verkliga och legitima programvaruprojekt.
Ett av företagen som föll under denna påverkan var Alibaba, en av de största aktörerna inom teknikindustrin. I deras installationsinstruktioner för GraphTranslator fann Lanyado att Alibaba hade inkluderat ett paket som heter "huggingface-cli" som hade förfalskats. Faktum är att det fanns ett riktigt paket med samma namn på Python Package Index (PyPI), men Alibabas guide hänvisade till det som Lanyado hade gjort.
Testar uthålligheten
Lanyados forskning syftade till att bedöma livslängden och potentiellt utnyttjande av dessa AI-genererade paketnamn. I denna mening utförde LQuery distinkta AI-modeller om programmeringsutmaningarna och mellan språk i processen att förstå om, effektivt, på ett systematiskt sätt, dessa fiktiva namn rekommenderades. Det är tydligt i detta experiment att det finns en risk att skadliga enheter kan missbruka AI-genererade paketnamn för distribution av skadlig programvara.
Dessa resultat har djupa konsekvenser. Dåliga aktörer kan utnyttja det blinda förtroende som utvecklarna ger de mottagna rekommendationerna på ett sådant sätt att de kan börja publicera skadliga paket under falska identiteter. Med AI-modellerna ökar risken med konsekventa AI-rekommendationer för uppfunna paketnamn, som skulle inkluderas som skadlig programvara av omedvetna utvecklare. **Vägen framåt**
Därför, när AI integreras ytterligare med utvecklingen av mjukvara, kan behovet av att åtgärda sårbarheterna uppstå om det är kopplat till AI-genererade rekommendationer. I sådana fall måste due diligence utövas så att de programvarupaket som föreslås för integration är legitima. Dessutom bör det vara på plats för att plattformen som är värd för lagringen av programvara ska verifiera och vara tillräckligt stark för att ingen kod av skadlig kvalitet ska distribueras.
Korsningen mellan artificiell intelligens och mjukvaruutveckling har avslöjat ett oroande säkerhetshot. Dessutom kan AI-modellen leda till oavsiktlig rekommendation av falska mjukvarupaket, vilket utgör en stor risk för mjukvaruprojekts integritet. Det faktum att Alibaba i hans instruktioner inkluderade en låda som aldrig borde ha funnits där är bara ett stående bevis på hur möjligheterna faktiskt skulle kunna uppstå när människor robotiskt följer rekommendationer
ges av AI. I framtiden kommer vaksamhet att behöva vidtas i proaktiva åtgärder så att missbruk av AI för mjukvaruutveckling skyddas mot.
Källa: https://www.cryptopolitan.com/ai-generated-software-packages-threats/