Специалисты по машинному обучению Amazon обнаружили, что искусственный интеллект, который обрабатывает резюме кандидатов на должности в компании, дискриминирует женщин-соискателей, сообщает Reuters. Эта особенность не закладывалась в систему умышленно — она явилась результатом машинного обучения.

Механизм сортировки резюме на базе искусственного интеллекта разрабатывается в Amazon с 2014 г. группой из 12 специалистов в Эдинбурге. Уже в 2015 г. в компании заметили, что новая система не придерживается принципа гендерной нейтральности при оценке кандидатов на должности разработчиков ПО и другие технические вакансии.

Вскоре они поняли причину: дело в том, что система проходила обучение на резюме, поступивших в компанию за последние 10 лет. Большая часть этих резюме принадлежала мужчинам, что в целом отражает положение дел в ИТ-отрасли. В результате искусственный интеллект Amazon усвоил, что соискатели-мужчины более предпочтительны, чем женщины.

В итоге искусственный интеллект начал отбраковывать резюме, содержавшие слово "женский" в таких, например, выражениях как "капитан женского шахматного клуба". Механизм также снижал оценки выпускницам двух женских колледжей, но источники Reuters не уточняют их названия. Оценивая резюме, искусственный интеллект присваивал им от одной до пяти звезд — очень похоже на то, как покупатели оценивают товары на сайте Amazon.

Система обращала внимание и на другие слова. Разработчики создали 500 компьютерных моделей для разных должностных обязанностей и географических локаций. Каждая модель была обучена распознавать около 50 тыс. слов-сигналов, которые присутствовали в резюме соискателей.

Примечательно, что механизм игнорировал слова, обозначающие навыки, которые часто прописаны в резюме ИТ-специалистов, такие как умение писать различные коды и т. п. Вместо этого система отслеживала, например, типичные для мужской речи глаголы в самоописании кандидатов, вроде "выполнил" (executed) или "захватил" (captured), поскольку они регулярно встречались в старых резюме, на которых училась машина. С таким подходом гендерная дискриминация была не единственной проблемой — механизм зачастую рекомендовал на должность людей, не обладающих нужными навыками.

Amazon скорректировала работу системы таким образом, чтобы она больше не реагировала на слова-сигналы. Однако это не было гарантией, что механизм не найдет другого способа определять резюме, принадлежащие женщинам. К началу 2017 г. компания разочаровалась в проекте и распустила команду. Источники Reuters утверждают, что специалисты по кадрам принимали во внимание рекомендации системы, но никогда не полагались на них исключительно.

Один из источников сообщает, что проект закрыт. Другой утверждает, что в Эдинбурге была сформирована новая команда, чтобы продолжить разработку механизма, но на этот раз с уклоном в равноправие и инклюзивность. Еще один источник сообщает, что сильно видоизмененная версия механизма сейчас используется для выполнения рутинной работы — например, для удаления повторяющихся резюме из базы данных.