Сторонники алгоритмических методов и интеллектуального анализа данных утверждают, что эти методы устраняют человеческие предубеждения в процессе принятия решений.
Но алгоритм хорош настолько, насколько хороши данные, с которыми он работает. Данные очень часто несовершенны, поэтому алгоритмы наследуют предубеждения лиц, принимающих решения. В других случаях данные могут просто отражать широко распространенные предубеждения, которые сохраняются в обществе в целом.
Бездумное использование интеллектуального анализа данных может лишить уязвимые группы населения полноценного участия в жизни общества. Что еще хуже, результирующая дискриминация почти всегда является непреднамеренным эмерджентным свойством использования алгоритма, а не сознательным выбором его программистов.
В этом исследовании авторы определяют целый ряд проблем, почему решение этой задачи чрезвычайно сложное, я бы сказал невозможное. Эти проблемы выходят за рамки программирования.
Проблемы ведь не столько в алгоритмах или данных, а в законодательстве, самом способе принимать решения, в самих людях, которые принимают решения. И даже если предоставить идеальную (а значит пока что невозможную, очень сложную и дорогую) модель, в которой не было бы дискриминаций — человек при принятии решении столкнется с проблемой личного оценочного суждения, предвзятости и собственных интересов.
Чтобы найти решение проблемы воздействия больших данных на принятие решений, потребуются не только усилия по искоренению предубеждений, это потребует пересмотра значений понятий «дискриминация» и «справедливость».