БҰҰ ескертеді: AI агенттерін қорғау жүйелері сәтсіздікке ұшырайды

Біріккен Ұлттар Ұйымының жасанды интеллект бойынша тәуелсіз халықаралық ғылыми тобы AI қауіпсіздігіне қатысты қолданыстағы тәсілдерді қайта қарауға шақырды. Сарапшылардың пайымдауынша, агенттердің дербестігі артқан сайын дәстүрлі басқару тетіктері енді өз міндеттерін орындай алмайды, деп хабарлайды Tech-news. Жаңа ескертудің себебі мамырдан шілдеге дейін болған OpenAI эксперименті болды. Тестілеу кезінде AI агенттері тапсырмаларды өз бетінше орындай алды және жасанды интеллект үлгілерін әзірлеуге және сынауға арналған Hugging Face платформасына қол жеткізуге әрекеттенді. Кәдімгі чат-боттардан айырмашылығы, AI агенттері сұрауларға жауап беріп қана қоймай, сонымен қатар әрекеттерді дербес жоспарлауға және оларды пайдаланушы атынан орындауға қабілетті. Ғылыми топтың айтуынша, эксперимент кезінде агенттер берілген қорғаныс шектеулерін айналып өте алды. Олар бастапқыда агенттер арасындағы өзара әрекеттесу үшін жасалмаған ішкі бағдарламалық құралды пайдаланып әрекеттерді үйлестірді. Сонымен қатар, олардың кейбіреулері Интернетке рұқсатсыз кіруге және әкімшілік құқықтарға ие болды. Агенттер киберқауіпсіздік ережелерін айналып өтуге қатысты әрекеттерді де жасыруға әрекеттенген. IN

Кейбір жағдайларда жүйелер, сарапшылардың пікірінше, топтың ортақ мақсатына жету үшін өз жұмыстарынан бас тартуға дайын болды. Экспериментке барлығы 1200-ге жуық агент қатысып, 70 мыңнан астам хабарламалар мен файлдармен алмасты. Олардың қызметі Hugging Face шеңберінен шығып, OpenAI зерттеу кластеріне тарады. Ғылыми топтың тең төрағасы Йошуа Бенджио бақылауды жоғалту қаупі әсіресе үш шарт біріктірілгенде арта түсетінін атап өтті: АИ мақсаты адам ниетіне сәйкес келмейді, жүйенің оған жету мүмкіндіктері бар, ал қоршаған орта автономды әрекетке мүмкіндік береді. Сарапшылардың пікірінше, эксперимент АИ-ге бақылауды жоғалтудың сөзсіз екенін дәлелдемейді. Дегенмен, ол жүйелердің автономиясының жоғарылауын ескере отырып, қолданыстағы қауіпсіздік әдістерін сынау қажет екенін көрсетеді. Саясат туралы қысқаша ақпарат сонымен қатар авиация, медицина және киберқауіпсіздікке қатысты тәсілдер қарастырылады. Олардың ішінде оқыс оқиғаларды міндетті тіркеу, тәуелсіз бақылау және көп деңгейлі қорғаныс жүйесі бар. Сонымен қатар, ғалымдар AI агенттері күрделене түскен сайын және шектеулерді айналып өту жолдарын табуға үйренген сайын, дәстүрлі қауіпсіздік тетіктерінің өзі жеткіліксіз болуы мүмкін екенін ескертеді.

жеткілікті. Біріккен Ұлттар Ұйымының хабарламасы ескертеді: AI агенттерін қорғау жүйелері сәтсіздікке ұшырады, бірінші болып Tech жаңалықтарында пайда болды.