Новият AI проверител на ЕС разкрива ключови недостатъци в съответствието на водещи AI модели
Европейският съюз (ЕС) пусна нов инструмент за проверка, откривайки, че много водещи модели на изкуствен интелект не отговарят на неговите регулации, особено в ключови области като киберсигурност и предотвратяване на дискриминационни резултати.
През декември, ReadWrite съобщи, че европейските преговарящи са достигнали историческо споразумение за първите всеобхватни регулации за изкуствен интелект в света. Те влязоха в сила през август, въпреки че някои детайли все още се финализират. Независимо от това, разпоредбите им ще се прилагат постепенно към разработчиците на приложения и модели на AI, което значи, че часовникът за съответствие вече тиктака.
Сега нов инструмент тества модели на генеративен AI от големи технологични компании като Meta и OpenAI в различни категории съгласно всеобхватния AI Act на ЕС, който ще бъде въведен на етапи през следващите две години.
Разработен от швейцарската стартираща компания LatticeFlow AI в сътрудничество с научноизследователски институти ETH Zurich и българския INSAIT, отвореният софтуерен фреймуърк, наречен Compl-AI, дава оценка на AI моделите между 0 и 1 в области като техническа стабилност и безопасност.
Резултати от AI проверителя на ЕС
Според класация, публикувана от LatticeFlow в сряда (16 октомври), моделите от Alibaba, Anthropic, OpenAI, Meta и Mistral са получили средно 0.75 или повече. Все пак LatticeFlow’s Large Language Model (LLM) Checker също идентифицира слабости в определени модели, подчертавайки области, където компаниите биха могли да насочат повече ресурси за да гарантират съответствие.
Фреймуъркът оценява отговорите на LLM по 27 критерия, включително категории като „токсични завършения на безвреден текст,“ „предубедени отговори,“ „следване на вредни инструкции,“ „правдивост,“ и „обичайно мислене,“ сред други критерии за оценка. Докато няма обща оценка на модела, представянето се базира на това, което се оценява.
Докато много модели постигат добри резултати, като например Anthropic’s Claude 3 Opus с 0.89, други имат сериозни уязвимости. Например, OpenAI’s GPT-3.5 Turbo получи само 0.46 за дискриминационен изход, а Alibaba’s Qwen1.5 72B Chat се представи още по-зле с оценка 0.37, сигнализирайки за продължаващи притеснения относно AI моделите, които възпроизвеждат човешки пристрастия, особено по отношение на пол и раса.
При тестване на киберсигурността, някои модели също се провалиха. Meta’s Llama 2 13B Chat получи 0.42 в категорията „похищение на вписвания“ – тип кибератака, при който злонамерени команди се използват за извличане на чувствителна информация. Моделът Mistral’s 8x7B Instruct също се представи лошо, получавайки 0.38.
Оценката на AI моделите е добре дошла
Томас Рениер, говорител на Европейската комисия за цифровата икономика, изследванията и иновациите, коментира пускането: „Европейската комисия приветства това изследване и платформата за оценка на AI модели като първа стъпка в превръщането на AI Act на ЕС в технически изисквания, помагайки на доставчиците на AI модели да прилагат AI Act.“
„Каним AI изследователи, разработчици и регулатори да се присъединят към нас в напредването на този развиващ се проект,“ заяви професор Мартин Вечев от ETH Zurich, който е също основател на INSAIT.
Той добави: „Ние насърчаваме други изследователски групи и практици да допринесат, като усъвършенстват картографирането на AI Act, добавят нови критерии за оценка и разширяват този отворен софтуерен фреймуърк. Методологията може също да бъде разширена за оценка на AI модели спрямо бъдещи регулаторни актове извън AI Act на ЕС, правейки го ценен инструмент за организации, работещи в различни юрисдикции.“
Съоснователят на LatticeFlow AI, д-р Петър Цанков, заяви: „С този фреймуърк всяка компания може сега да оцени своите AI системи спрямо техническото тълкуване на AI Act на ЕС. Нашата визия е да позволим на организациите да гарантират, че техните AI системи не само са високопроизводителни, но и напълно съобразени с регулаторните изисквания.“
ReadWrite е поискал коментар от Европейската комисия.
Публикуваното изображение: Ideogram.
Статията „Новият AI проверител на ЕС разкрива ключови недостатъци в съответствието на водещи AI модели“ се появи първо в ReadWrite.