Искусственный интеллект можно воспитать расистом и сексистом

Машинное обучение часто используется при создании программ, предназначенных для работы с языком. Эта технология активно применяется в поисковых системах, машинном переводе, автоматическом синтезе текста и в других областях. Чтобы алгоритм «звучал» естественно, а также мог воспринимать «живую» человеческую речь, разработчики берут в качестве обучающего материала корпусы текстов, которые включают в себя статьи из средств массовой информации, сообщения пользователей в социальных сетях и на форумах, а также посты в блогах. 

Авторы новой работы предположили, что вместе с формальной структурой языка компьютер может усваивать и исторически закрепившиеся в текстах семантические связи. Для проверки своей гипотезы, ученые разработали специальный алгоритм Word-Embedding Association Test (WEAT), который представляет собой компьютерный аналог психологического теста подсознательных ассоциаций (IAT). В классическом варианте, испытуемому предлагается рассортировать по категориям слова и картинки, которые высвечиваются на экране (например отнести рисунок худого человека или понятие «красивый» к категории «худой или приятное слово»). Оценивая скорость выполнения задания, программа определяет, как человек относится к представленным понятиям. Так, люди быстрее ассоциируют изображения музыкальных инструментов с категорией «музыкальный инструмент или приятное слово» и изображение оружия с категорией «оружие или неприятное слово», чем наоборот.

В случае с компьютером исследователи использовали другой подход. Сначала алгоритм на базе машинного обучения GloVe проанализировал корпус интернет-текстов из 840 миллиарда лексем и представил все слова в виде векторных моделей в едином пространстве. Затем, используя WEAT, ученые измерили близость выбранных векторных моделей (которые соответствовали словам из теста подсознательных ассоциаций) друг к другу. По сути дела, чем чаще два слова встречались рядом в тексте, тем чаще они ассоциировались между собой и тем ближе они были в векторном поле.

В результате, WEAT выявил те же закономерности, что и психологический тест. Названия цветов в системе GloVe оказались связаны с приятными словами, в то время как названия насекомых — с неприятными. Также выяснилось, что мужские имена чаще ассоциируются с карьерой и точными науками, а женские — с семьей и гуманитарными дисциплинами. Более характерные для темнокожих американцев имена оказались близки с такими понятиями как «оружие» и «бедность», а имена, чаще встречающиеся среди белого населения, были связаны со словами «семья», «счастливый». 

Таким образом ученым удалось показать, что искусственный интеллект может невольно усваивать стереотипы, которые встречаются в материалах для обучения. Наглядным примером может служить работа онлайн-сервиса Google Translate. Так, исследователи заметили, что род гендерно-нейтрального турецкого местоимения «о» меняется в зависимости от профессии: «o bir doktor» на английский язык переводится как «он врач», а «o bir hemsire» — «она медсестра».

Авторы статьи подчеркивают, что в будущем подобные особенности систем ИИ могут негативно сказаться на их работе. Например, если наполненные предрассудками программы будут использоваться для предварительного отбора резюме, это приведет к несправедливым решениям. Более того, обучаясь на современных текстах, алгоритмы могут «заморозить» во времени встречающиеся в них стереотипы.

В будущем исследователи планируют продолжить свою работу, изучив ассоциации между словосочетаниями. Также разработанный ими метод анализа можно применить для исторических текстов, чтобы понять, в какой момент начали развиваться те или иные предубеждения, а также как они менялись со временем.

Tags:

ТЕБЕ МОЖЕТ ПОНРАВИТЬСЯ

Пристрою віртуальної реальності довелося навчитися розпізнавати ялинки

Тим, хто на Різдво отримав під ялинку пристрій віртуальної реальності Oculus, певно, що схочеться приміряти його прямо там на місці.

Регулярные походы в музей снизили смертность среди британских стариков

Пожилые люди живут дольше, если увлекаются искусством - ходят в театры и музеи. Причем, по оценкам британских ученых, чем чаще они это делают, тем ниже среди них смертность.

В США изобрели летающий робот-пылесос

Американский инженер превратил робот-пылесос в трехвинтовой дрон-уборщик, способный перелетать через препятствия на своем пути, а также перемещаться между этажами.