Инструменты искусственного интеллекта стали массовыми: в апреле ChatGPT от OpenAI достиг миллиарда активных пользователей в неделю. Параллельно журналисты и исследователи зафиксировали случаи, где предвзятые алгоритмы приводили к разному лечению пациентов и дискриминации при найме.
Новое исследование Университета Техаса в Остине, выполненное Хьюсейном Танриверди и Джон‑Патриком Акиньеми (кандидатом в доктора философии McCombs по программе IROM), объясняет один важный источник предвзятости. Учёные проанализировали набор из 363 алгоритмов из хранилища AI Algorithmic and Automation Incidents and Controversies. Каждый проблемный алгоритм сравнивали с похожим алгоритмом без пометок о предвзятости; при анализе рассматривались и сами модели, и организации, которые их разрабатывали и применяли.
Исследование выделяет три взаимосвязанных фактора: наличие эталонной истины (там, где её нет, риск предвзятости растёт), упрощение реального мира и исключение релевантных переменных, а также слабое участие разных заинтересованных сторон. В качестве примера приводят смену выездов медсестёр автоматическими решениями по пособиям Medicaid в Арканзасе, что лишило части людей помощи в питании и гигиене.
Авторы делают вывод, что снижение предвзятости требует больше, чем повышение точности: разработчикам нужно «раскрывать чёрные ящики», учитывать сложность реального мира, разнообразие входных данных и наличие ясных эталонов. Работа опубликована в MIS Quarterly. Источник: UT Austin.
Сложные слова
- предвзятость — необъективное или несправедливое отношение к людямпредвзятости
- эталонная истина — стандарт, с которым сравнивают правильность информацииэталонной истины
- релевантный — относящийся напрямую к обсуждаемой проблеме или задачерелевантных
- дискриминация — несправедливое различие или вред группе людейдискриминации
- упрощение — снижение сложности реальной ситуации или модели
- алгоритм — последовательность правил или шагов для решения задачиалгоритмы, алгоритмов
- чёрный ящик — система с неизвестной внутренней логикой для пользователячёрные ящики
Подсказка: наведите, сфокусируйтесь или нажмите на выделенные слова, чтобы увидеть краткие определения прямо во время чтения или прослушивания.
Вопросы для обсуждения
- Как, по вашему мнению, раскрытие «чёрных ящиков» может изменить работу алгоритмов и снизить предвзятость? Приведите аргументы.
- Какие проблемы могут возникнуть, если в системе нет ясного эталона истины? Объясните на примере из статьи или реальной жизни.
- Каким образом разные заинтересованные стороны могут участвовать в разработке алгоритмов, чтобы уменьшить риск дискриминации?
Похожие статьи
Учёные отследили активность мозга по отдельным клеткам в течение суток
Учёные разработали экспериментальные и вычислительные методы для отслеживания активности нейронов в мозге мышей в течение суточного цикла. Работа, опубликованная в PLOS Biology, показала сдвиг активности от глубины к коре мозга.
Синтезатор из деталей вейпа
Команда программы Interactive Telecommunications Program Школы искусств Tisch при NYU переделала выброшенные картриджи от вейпов в простой электронный музыкальный прибор и опубликовала инструкции, чтобы показать, как сократить электронные отходы через повторное использование.
Рост счетов за электроэнергию на Ямайке после Beryl
После урагана Beryl многие ямайцы пожаловались на резкий рост счетов за электроэнергию. Министр энергетики обратился в OUR, и регулятор рекомендовал снизить расхождения в августовских платёжках; обсуждают переход на возобновляемые источники.
