Почему ИИ может быть предвзятым ^{CEFR B2}

Инструменты искусственного интеллекта стали массовыми: в апреле ChatGPT от OpenAI достиг миллиарда активных пользователей в неделю. Параллельно журналисты и исследователи зафиксировали случаи, где предвзятые алгоритмы приводили к разному лечению пациентов и дискриминации при найме.

Новое исследование Университета Техаса в Остине, выполненное Хьюсейном Танриверди и Джон‑Патриком Акиньеми (кандидатом в доктора философии McCombs по программе IROM), объясняет один важный источник предвзятости. Учёные проанализировали набор из 363 алгоритмов из хранилища AI Algorithmic and Automation Incidents and Controversies. Каждый проблемный алгоритм сравнивали с похожим алгоритмом без пометок о предвзятости; при анализе рассматривались и сами модели, и организации, которые их разрабатывали и применяли.

Исследование выделяет три взаимосвязанных фактора: наличие эталонной истины (там, где её нет, риск предвзятости растёт), упрощение реального мира и исключение релевантных переменных, а также слабое участие разных заинтересованных сторон. В качестве примера приводят смену выездов медсестёр автоматическими решениями по пособиям Medicaid в Арканзасе, что лишило части людей помощи в питании и гигиене.

Авторы делают вывод, что снижение предвзятости требует больше, чем повышение точности: разработчикам нужно «раскрывать чёрные ящики», учитывать сложность реального мира, разнообразие входных данных и наличие ясных эталонов. Работа опубликована в MIS Quarterly. Источник: UT Austin.