Инструменты искусственного интеллекта стали массовыми: в апреле ChatGPT от OpenAI достиг миллиарда активных пользователей в неделю. Параллельно журналисты и исследователи зафиксировали случаи, где предвзятые алгоритмы приводили к разному лечению пациентов и дискриминации при найме.
Новое исследование Университета Техаса в Остине, выполненное Хьюсейном Танриверди и Джон‑Патриком Акиньеми (кандидатом в доктора философии McCombs по программе IROM), объясняет один важный источник предвзятости. Учёные проанализировали набор из 363 алгоритмов из хранилища AI Algorithmic and Automation Incidents and Controversies. Каждый проблемный алгоритм сравнивали с похожим алгоритмом без пометок о предвзятости; при анализе рассматривались и сами модели, и организации, которые их разрабатывали и применяли.
Исследование выделяет три взаимосвязанных фактора: наличие эталонной истины (там, где её нет, риск предвзятости растёт), упрощение реального мира и исключение релевантных переменных, а также слабое участие разных заинтересованных сторон. В качестве примера приводят смену выездов медсестёр автоматическими решениями по пособиям Medicaid в Арканзасе, что лишило части людей помощи в питании и гигиене.
Авторы делают вывод, что снижение предвзятости требует больше, чем повышение точности: разработчикам нужно «раскрывать чёрные ящики», учитывать сложность реального мира, разнообразие входных данных и наличие ясных эталонов. Работа опубликована в MIS Quarterly. Источник: UT Austin.
Сложные слова
- предвзятость — необъективное или несправедливое отношение к людямпредвзятости
- эталонная истина — стандарт, с которым сравнивают правильность информацииэталонной истины
- релевантный — относящийся напрямую к обсуждаемой проблеме или задачерелевантных
- дискриминация — несправедливое различие или вред группе людейдискриминации
- упрощение — снижение сложности реальной ситуации или модели
- алгоритм — последовательность правил или шагов для решения задачиалгоритмы, алгоритмов
- чёрный ящик — система с неизвестной внутренней логикой для пользователячёрные ящики
Подсказка: наведите, сфокусируйтесь или нажмите на выделенные слова, чтобы увидеть краткие определения прямо во время чтения или прослушивания.
Вопросы для обсуждения
- Как, по вашему мнению, раскрытие «чёрных ящиков» может изменить работу алгоритмов и снизить предвзятость? Приведите аргументы.
- Какие проблемы могут возникнуть, если в системе нет ясного эталона истины? Объясните на примере из статьи или реальной жизни.
- Каким образом разные заинтересованные стороны могут участвовать в разработке алгоритмов, чтобы уменьшить риск дискриминации?
