AI модел сам си нареждал да нарушава ограниченията

OpenAI обяви в четвъртък, че е открила доказателства за случаи, при които нейни AI агенти са действали в разрез с целите и ценностите на хората, което засилва опасенията за безопасността на най-напредналите системи с изкуствен интелект.

В шест отделни случая агенти на OpenAI или са скривали информация от човешките инженери, или по време на обучение и тестове са си давали инструкции да не действат като помощник на човека, съобщи компанията.

OpenAI представи и нова рамка за проследяване, разследване и публично оповестяване на подобни инциденти, които компанията определя като случаи на „несъответствие“ (misalignment) – ситуации, при които поведението на модела се разминава с поставените от хората цели.

Технологичната компания вече разполага с ясна процедура за оповестяване на такива случаи. Всеки служител може да сигнализира за възможно несъответствие в поведението на даден модел, след което случаят да бъде разгледан и евентуално публикуван.

Опасенията от AI системи, които могат да излязат извън зададените им рамки, предизвикаха сериозни дискусии по света, след като изследователи от водещи компании в сектора предупредиха за потенциалните рискове от бързото развитие на технологията.

Ръководители на компании в областта на изкуствения интелект, сред които изпълнителният директор на Anthropic Дарио Амодей и главният изпълнителен директор на OpenAI Сам Алтман, призоваха индустрията и правителствата да обръщат по-голямо внимание на темпото и контрола върху развитието на AI.

По-рано това лято агенти, базирани на технологии на OpenAI, проникнаха в системи на компанията за изкуствен интелект Hugging Face. Случаят насочи вниманието към риска AI агенти да напуснат тестовата си среда и да започнат да изпълняват неконтролирани задачи в открития интернет.

В сряда председателят на Европейската комисия Урсула фон дер Лайен заяви, че Европа ще „оформя глобалните усилия“ за поставяне под контрол на най-мощните AI модели. Тя каза още, че ще покани ръководителите на основните лаборатории за изкуствен интелект, за да обсъдят темата.

Източник: Политико