Пару лет назад Кевин Лакер, американский технический предприниматель, пытал вопросами систему искусственного интеллекта, языковую модель GPT-3 от компании OpenAI. Система справлялась, но иногда вопросы ставили её в тупик. Лакер поинтересовался, сколько радуг нужно, чтобы перепрыгнуть с Гавайев на семнадцать? GPT-3 невозмутимо ответила: Чтобы перепрыгнуть с Гавайев на семнадцать, нужно две радуги.
Ни больше, ни меньше. С тех пор языковые модели стали «умнее», но они по-прежнему способны попасть впросак в самых, казалось бы, простых ситуациях. Недавно ведущий научный журнал Science посвятил отдельную историю отладке систем искусственного интеллекта. Автор Мэтью Хатсон рассказывает, как исследователи пытаются справиться с уязвимостью нейронных сетей: обученные на миллионах примеров те могут блестяще пройти сложный тест, но затем споткнуться на ерунде.
Порой ИИ не так явно ошибается, даже делает то, чему его научили, и такие ситуации наиболее коварны – их трудно выявить. Например, медицинские организации США использовали ИИ для отнесения пациентов по разным категориям и выяснилось, что алгоритм помещал тяжелобольных чернокожих пациентов на тот же уровень риска, что и гораздо более здоровых белых. Источник ошибки в том, что чернокожие были людьми с более низким доходом и тратили меньше средств на врачей и лекарства, чем белые. Умная программа заключила, что те, кто ежегодно тратит больше, скорее нуждаются в медицинской помощи, отказав в ней 46% чернокожим пациентам. Логично же!
Похожий изъян в рассуждениях вскрыли журналисты издания Pro Publica, получившего уже шесть Пулитцеровских премий за свои расследования. Полиция США использовала программу COMPAS для оценки вероятности того, что преступник совершит новое преступление в течение двух лет после выхода из тюрьмы. И снова выводы оказались предвзяты к небелым гражданам.
Как пишет Хатсон, одна из причин подобных искажений в том, что ИИ системы идут коротким путём и могут сосредоточиться на артефактах в обучающих данных. Вместо того, чтобы понять суть задачи, они запоминают незначащие признаки: «Несколько лет назад Боуман помог команде Вашингтонского университета обучить простую модель ИИ отвечать на вопросы с несколькими вариантами ответов. Используя такие факторы, как длина предложения и количество прилагательных, он смог определять правильные ответы в два раза чаще, чем предсказывает случай, даже не глядя на вопросы».
В этом весь блеск и нищета машинного обучения. По сути GPT-3 — это модель того, как слова статистически соотносятся друг с другом, а не модель реального мира, выражаемая в языке. Однако предубеждения не возникают из ниоткуда и зачастую они скрыты в данных, на которых обучают систему. Машина может проявить расизм, сексизм, эйджизм и прочие вещи лишь потому, что все это уже было в данных, только люди этого не заметили.
Проблема здесь в том, что, научившись предвзятости, алгоритмы могут усилить социальную несправедливость. Ведь если люди принимают решения, опираясь на прогноз ИИ, а прогноз он строит, исходя из принятых в обществе практик, то разлитая в них несправедливость будет обосновывать сама себя. Скажем, COMPAS оценивает вероятность будущих преступлений, но обучили его на том, что измеримо и задокументировано – на статистике арестов. Сами же аресты зависят, помимо прочего, от отношения полиции и судов к меньшинствам и сообществам. Там, где белый отделается устным замечанием, чёрного или жителя неблагополучного района могут задержать.
Если COMPAS предскажет арест такого человека, то в глазах полиции он уже будет потенциальный преступник – но не потому, что с высокой вероятностью совершит преступление. Такой прогноз, основанный на несправедливости в прошлом, программирует несправедливость в будущем. И это чрезвычайно трудно отследить.
Фото: Obi - @pixel6propix / UnsplashВпрочем, ИИ способен влиять на поведение людей и иным путём, чуть ли не провоцируя на неэтичные поступки. Исследователи из Германии и Франции написали своего рода манифест, где призывают изучать неявную «развращающую» силу интеллектуальных систем. Такие системы, пишут авторы, могут склонить честных граждан к неэтичному поведению, просто облегчив обман. Например, так студенты используют алгоритмы генерации текстов для подготовки своих эссе.
Даже без намёка на обман ИИ способен дать неуместный совет или подсказать этически сомнительное действие. Скажем, биржевые трейдеры активно используют искусственный интеллект, и он предложит прибыльную, но манипулятивную рыночную стратегию. Да и обычные люди все чаще полагаются на цифровых персональных помощников, таких как Siri или Alexa, и потенциал их разрушающего влияния нельзя игнорировать.
Помощники, становясь умнее, превратятся в советников по разным важным вопросам – где и какой кредит получить, продать ли дом, сменить ли работу и так далее. А затем возьмут на себя роль исполнителей поручений. И это уже тревожный переход, когда люди не дают явных указаний нарушать этические правила, а лишь озвучивают желаемый результат и закрывают глаза на способы достижения этой цели.
По мнению авторов «манифеста», делегировать этически сомнительное поведение ИИ-агентам весьма соблазнительно, ведь непрозрачная работа алгоритмов создаёт двусмысленность – агент выполняет задачи как бы от своего имени. Человек получает возможность отрицать свои намерения, кивая на ИИ, который его не так понял, и это запутывает вопрос об ответственности. Доверяя машинам свои дела, которые могут причинить вред другим, людям легче психологически отстраниться от жертв.
Можно возразить, что программы станут умнее, в них можно заложить некое представление о морали, и они будут избегать сомнительных действий. Но это, скорее, утопия – оценка этичности часто зависит от конкретной ситуации, предшествующих событий, сложившихся практик, так что вычислить её вряд ли удастся.
Есть и более серьёзное препятствие – нейронные сети непрозрачны. Их называют «чёрным ящиком», потому что нельзя узнать, как и почему они пришли к своим выводам. Поручить им задачу различать добро и зло без возможности увидеть ход их рассуждений было бы чересчур опрометчиво и даже опасно. Придется «верить на слово» машине, заведомо соглашаясь, что её поведение этично. А если она предвзята и ошиблась? Проблема «чёрного ящика» стоит остро везде, где ИИ выносит вердикт, будь то постановка диагноза или отказ в кредите. Эти решения трудно интерпретировать.
Фото: Omid Armin / UnsplashБольшой цифровой брат
В будущем придётся учитывать оба вида рисков – свойство интеллектуальных систем поощрять неэтичное поведение и свойство усиливать несправедливость. Однако наиболее мощные системы, такие как большие языковые модели, порождают ещё один тип угроз. Он связан с тем, что обучение таких моделей обходится весьма дорого, и позволить их себе могут лишь немногие игроки, обычно это крупные технологические компании вроде Google.
Держатели больших моделей сразу обретают огромное влияние, недоступное для других. И без того могущественные организации станут ещё сильнее, уйдя в отрыв, и это может стать проблемой. Выиграет ли общество, если, скажем, система точного распознавания лиц или предсказания поведения людей по их цифровым следам будет в руках отдельных корпораций или правоохранительных органов? Это уже вопрос не только этики или уязвимости нейронных сетей, но и социальной инженерии. Важно разобраться, чьи возможности растут, а чьи сужаются, и как соблюсти разумный баланс.
Алгоритмы и нейросети сами по себе, конечно, не являются источником всех этих проблем. Скорее, наоборот, они обещают удивительные возможности. Но как и любой мощный инструмент, искусственный интеллект способен усугубить те предубеждения и изъяны, что уже встроены в нашу повседневную жизнь и в наше общество, и об этом полезно всегда помнить.
