Искусственный интеллект можно воспитать расистом и сексистом

Машинное обучение часто используется при создании программ, предназначенных для работы с языком. Эта технология активно применяется в поисковых системах, машинном переводе, автоматическом синтезе текста и в других областях. Чтобы алгоритм «звучал» естественно, а также мог воспринимать «живую» человеческую речь, разработчики берут в качестве обучающего материала корпусы текстов, которые включают в себя статьи из средств массовой информации, сообщения пользователей в социальных сетях и на форумах, а также посты в блогах. 

Авторы новой работы предположили, что вместе с формальной структурой языка компьютер может усваивать и исторически закрепившиеся в текстах семантические связи. Для проверки своей гипотезы, ученые разработали специальный алгоритм Word-Embedding Association Test (WEAT), который представляет собой компьютерный аналог психологического теста подсознательных ассоциаций (IAT). В классическом варианте, испытуемому предлагается рассортировать по категориям слова и картинки, которые высвечиваются на экране (например отнести рисунок худого человека или понятие «красивый» к категории «худой или приятное слово»). Оценивая скорость выполнения задания, программа определяет, как человек относится к представленным понятиям. Так, люди быстрее ассоциируют изображения музыкальных инструментов с категорией «музыкальный инструмент или приятное слово» и изображение оружия с категорией «оружие или неприятное слово», чем наоборот.

В случае с компьютером исследователи использовали другой подход. Сначала алгоритм на базе машинного обучения GloVe проанализировал корпус интернет-текстов из 840 миллиарда лексем и представил все слова в виде векторных моделей в едином пространстве. Затем, используя WEAT, ученые измерили близость выбранных векторных моделей (которые соответствовали словам из теста подсознательных ассоциаций) друг к другу. По сути дела, чем чаще два слова встречались рядом в тексте, тем чаще они ассоциировались между собой и тем ближе они были в векторном поле.

В результате, WEAT выявил те же закономерности, что и психологический тест. Названия цветов в системе GloVe оказались связаны с приятными словами, в то время как названия насекомых — с неприятными. Также выяснилось, что мужские имена чаще ассоциируются с карьерой и точными науками, а женские — с семьей и гуманитарными дисциплинами. Более характерные для темнокожих американцев имена оказались близки с такими понятиями как «оружие» и «бедность», а имена, чаще встречающиеся среди белого населения, были связаны со словами «семья», «счастливый». 

Таким образом ученым удалось показать, что искусственный интеллект может невольно усваивать стереотипы, которые встречаются в материалах для обучения. Наглядным примером может служить работа онлайн-сервиса Google Translate. Так, исследователи заметили, что род гендерно-нейтрального турецкого местоимения «о» меняется в зависимости от профессии: «o bir doktor» на английский язык переводится как «он врач», а «o bir hemsire» — «она медсестра».

Авторы статьи подчеркивают, что в будущем подобные особенности систем ИИ могут негативно сказаться на их работе. Например, если наполненные предрассудками программы будут использоваться для предварительного отбора резюме, это приведет к несправедливым решениям. Более того, обучаясь на современных текстах, алгоритмы могут «заморозить» во времени встречающиеся в них стереотипы.

В будущем исследователи планируют продолжить свою работу, изучив ассоциации между словосочетаниями. Также разработанный ими метод анализа можно применить для исторических текстов, чтобы понять, в какой момент начали развиваться те или иные предубеждения, а также как они менялись со временем.

Tags:


Notice: Undefined offset: 0 in /home/test2.reklamaster.com/html/wp-content/themes/onfleek/inc/df-core/views/df-content/df-post-layout-1.php on line 172

ТЕБЕ МОЖЕТ ПОНРАВИТЬСЯ

Шведские свитера знают, у кого был тяжелый день (и кого надо утешить булочкой)

Сеть магазинов 7-Eleven в Швеции выдала персоналу рождественские свитера, способные анализировать состояние покупателей.

Компьютерному зрению не понять, что такое молоток на кровати

Но хотя точность таких алгоритмов совершила огромный скачок, эти системы до сих пор часто оказываются сбиты с толку картинками, которые для человека очевидны.

Том, Дик и Гарри – сельскохозяйственные роботы, которые бьют сорняки молнией

Представьте себе, что любой сорняк, который осмелится вырасти у вас на огороде, тут же поражает молния с ясного неба.