За последние семь лет работники Департамента социальных служб округа Аллегени часто использовали программу предиктивного моделирования рисков с помощью искусственного интеллекта для оценки факторов риска попадания детей в систему патронатного воспитания в районе Питтсбурга. Однако в последние месяцы алгоритмы, лежащие в основе программы Allegheny Family Screening Tool (AFST), стали объектом более пристального внимания в связи с их непрозрачным дизайном, учитывающим давние расовые, классовые и гендерные предубеждения инструментов предиктивного ИИ.
Предыдущее исследование алгоритма Allegheny Family Screening Tool, проведенное Associate Press, показало, что некоторые пункты данных могут быть интерпретированы как описания расовых групп. Но теперь выяснилось, что AFST может также затрагивать семьи из сообщества инвалидов, а также семьи с историей психических расстройств. И Министерство юстиции обратило на это внимание.
Согласно новому отчету, опубликованному сегодня Associated Press, многочисленные официальные жалобы на AFST были поданы в Отдел гражданских прав Министерства юстиции, ссылаясь на предыдущие расследования AP о его потенциальных проблемах. Анонимные источники в Министерстве юстиции утверждают, что чиновники обеспокоены тем, что чрезмерная зависимость AFST от потенциально искаженных исторических данных рискует "автоматизировать прошлое неравенство", особенно давние предубеждения против людей с ограниченными возможностями и проблемами психического здоровья.
AP объясняет, что Allegheny Family Screening Tool использует "новаторскую" программу искусственного интеллекта, призванную якобы помочь перегруженным работой социальным работникам в районе Питтсбурга определить, какие семьи нуждаются в дальнейшем расследовании в связи с заявлениями об охране детства. Более конкретно, этот инструмент был разработан для того, чтобы помочь предсказать потенциальный риск передачи ребенка в приемную семью в течение двух лет после расследования семейного окружения.
Как сообщается, "черный ящик" программы AFST учитывает множество факторов дела, включая "личные данные и данные о рождении, Medicaid, наркомании, психическом здоровье, тюремные и пробационные записи, а также другие наборы государственных данных", чтобы определить дальнейшее расследование на предмет отсутствия заботы. Хотя работники социальных служб в конечном итоге решают, проводить или не проводить дальнейшее расследование по результатам алгоритма AFST, критики утверждают, что потенциально ошибочные суждения программы могут повлиять на решения работников.
Представитель Департамента социальных служб округа Аллегени сообщил AP, что им не известно о каких-либо жалобах Министерства юстиции, и они не хотят обсуждать более серьезную критику в отношении инструмента проверки.
Системы служб защиты детей уже давно подвергаются критике в отношении как их общей эффективности, так и непропорциональных последствий, с которыми сталкиваются чернокожие, инвалиды, бедные и другие маргинализированные семьи. На официальном сайте AFST широко представлены сторонние исследования, отчеты и статьи, подтверждающие надежность и полезность программы.