Сексизм и шовинизм искусственного интеллекта

Что такое "предвзятость искусственного интеллекта" (AI bias)? С чем связано возникновение этого явления и как с ним бороться?

В основе всего того, что является практикой ИИ (машинный перевод, распознавание речи, обработка текстов на естественных языках, компьютерное зрение, автоматизация вождения автомобилей и многое другое) лежит глубинное обучение. Это подмножество машинного обучения, отличающееся использованием моделей нейронных сетей, о которых можно сказать, что они имитируют работу мозга, поэтому их с натяжкой можно отнести к ИИ. Любая модель нейронной сети обучается на больших наборах данных, таким образом, она обретает некоторые «навыки», но то, как она ими пользуется - для создателей остается не ясным, что в конечном счете становится одной из важнейших проблем для многих приложений глубинного обучения. Причина в том, что такая модель работает с образами формально, без какого-либо понимания того, что она делает. Является ли такая система ИИ и можно ли доверять системам, построенным на основе машинного обучения? Значение ответа на последний вопрос выходит за пределы научных лабораторий.

Вот почему за последние пару лет заметно обострилось внимание средств массовой информации к явлению, получившему название AI bias. Его можно перевести как «необъективность ИИ» или «пристрастность ИИ». О расизме и сексизме, свойственном ИИ, пишут не только профессиональные издания как Engadget или TechTolks, но и массовые журналы и газеты, например Forbes, The Guardian, The New York Times.

Причина столь высокого интереса к AI bias объясняется тем, что результаты внедрения технологий ИИ в ряде случаев задевают основные ценности современного общества. Они проявляются в нарушении таких важных принципов как расовое и гендерное равенства.

Внешне AI bias проявляется в том, что многие аналитические системы, созданные на основе глубинного обучения, неожиданным образом демонстрируют склонность к принятию, скажем так, пристрастных выводов, таких, которые в последующем могут привести к ошибочным решениям, сделанным на их основе. Решения, страдающие AI bias, стали причиной общественных возмущений в связи с несправедливостью некоторых действий пенитенциарной системы США по отношению к афро-американцам, они были вызваны ошибками в распознавании лиц этнических меньшинств. Хорошо известен скандал с запуском корпорацией Microsoft голосового помощника Tay, вскорости замененного на Zo.

Проявление относительно несложными системами якобы «человеческих качеств» оказалась лакомым куском для тех, кто склонен антропоморфизировать ИИ. Вполне естественно, что первыми на возможные пагубные последствия AI bias обратили внимание философствующие защитники «Азиломарских принципов искусственного интеллекта». Среди этих 23 положений есть совершенно здравые (с 1 по 18), но другие (с 19 по 23), принятые под влиянием Илона Маска, Рея Курвейла и покойного Стивена Хокинга носят, скажем так, общеразговорный характер. Они распространяются в область сверхразума и сингулярности, которыми регулярно и безответственно пугают наивное народонаселение.

Возникают естественные вопросы – откуда взялась AI bias и что с этой предвзятостью делать? Справедливо допустить, что предвзятость ИИ не вызвана какими-то собственными свойствами моделей, а является прямым следствием двух других типов предвзятостей – хорошо известной когнитивной и менее известной алгоритмической. В процессе обучения сети они складываются в цепочку и в итоге возникает третье звено – AI bias.

Трехзвенная цепочка предвзятостей:

Начнем с когнитивных. Разработчики систем на принципах глубинного обучения, как и все остальные представители человеческой расы, являются носителями той или иной когнитивной пристрастности (cognitive bias). У каждого человека есть свой жизненный путь, накопленный опыт, поэтому он не в состоянии быть носителем абсолютной объективности. Индивидуальная пристрастность является неизбежной чертой любой личности. Психологи стали изучать когнитивную пристрастность как самостоятельное явление в семидесятых годах ХХ века, в отечественной психологической литературе ее принято называть когнитивным искажением.

«Когнитивные искажения являются примером эволюционно сложившегося ментального поведения. Некоторые из них выполняют адаптивную функцию, поскольку они способствуют более эффективным действиям или более быстрым решениям. Другие, по-видимому, происходят из отсутствия соответствующих навыков мышления или из-за неуместного применения навыков, бывших адаптивными в других условиях». Существует также сложившиеся направления как когнитивная психология и когнитивно-бихевиоральная терапия (КБТ). На февраль 2019 года выделено порядка 200 типов различных когнитивных искажений.

Пристрастности и предвзятости - это часть человеческой культуры. Любой создаваемый человеком артефакт является носителем тех или иных когнитивных пристрастностей его создателей. Можно привести множество примеров, когда одни и те же действия приобретают в разных этносах собственный характер, показательный пример – пользованием рубанком, в Европе его толкают от себя, а в Японии его тянут на себя.

Системы, построенные на принципах глубинного обучения в этом смысле не являются исключением, их разработчики не могут быть свободны от присущих им пристрастностей, поэтому с неизбежностью будут переносить часть своей личности в алгоритмы, порождая, в конечном итоге, AI bias. То есть AI bias не собственное свойство ИИ, о следствие переноса в системы качеств, присущих их авторам.

Существование алгоритмической пристрастности (Algorithmic bias) нельзя назвать открытием. Об угрозе возможного «заражения машины человеческими пристрастиями» много лет назад впервые задумался Джозеф Вейценбаум, более известный как автор первой способной вести диалог программы Элиза, написанной им в еще 1966 году. Название программы адресует нас к Элизе Дулиттл, героине «Пигмалиона» Бернарда Шоу. С ней Вейценбаум одним из первых предпринял попытку пройти тест Тьюринга, но он изначально задумывал Элизу как средство для демонстрации возможности имитационного диалога на самом поверхностном уровне. Это был академический розыгрыш высочайшего уровня. Совершенно неожиданно для себя он обнаружил, что к его «разговору с компьютером», в основе которого лежала примитивная пародия, основанная на принципах клиент-центрированной психотерапии Карла Роджерса, многие, в том числе и специалисты, отнеслись всерьез с далеко идущими выводами.

В современности мы называем такого рода технологии чат-ботами. Тем, кто верит в их интеллектуальность, стоит напомнить, что эти программы не умнее Элизы. Вейценбаум наряду с Хьюбертом Дрейфусом и Джоном Серлем вошел в историю ИИ как один из основных критиков утверждений о возможности создания искусственного мозга и тем более искусственного сознания, сравнимого с человеческим по своим возможностям. В переведенной на русский язык в 1982 году книге «Возможности вычислительных машин и человеческий разум» Вейценбаум предупреждал об ошибочности отождествления естественного и искусственного разума, основываясь на сравнительном анализе фундаментальных представлений психологии и на наличии принципиальных различий между человеческим мышлением и информационными процессами в компьютере. А возвращаясь к AI bias заметим, что более тридцати лет назад Вейценбаум писал о том, что предвзятость программы может быть следствием ошибочно использованных данных и особенностей кода этой самой программы. Если код не тривиален, скажем, не формула записанная на Fortran, то такой код так или иначе отражает представления программиста о внешнем мире, поэтому не следует слепо доверять машинным результатам.

А в далеко не тривиальных по своей сложности приложениях глубинного обучения алгоритмическая пристрастность тем более возможна. Она возникает в тех случаях, когда система отражает внутренние ценности ее авторов, на этапах кодирования, сбора и селекции данных, используемых для тренировки алгоритмов.

Алгоритмическая пристрастность возникает не только вследствие имеющихся культурных, социальных и институциональных представлений, но и из-за возможных технических ограничений. Существование алгоритмической предвзятости находится в противоречии с интуитивным представлением, а в некоторых случаях с мистической убежденностью в объективности результатов, полученных в результате обработки данных на компьютере.

Хорошее введение в тематику, связанную с алгоритмическими пристрастностями, можно найти в статье The Foundations of Algorithmic Bias.

В статье «Вот почему возникают ИИ-привязанности и почему с ними сложно бороться», опубликованной в феврале 2019 года в MIT Review, выделяются три момента, способствующие возникновению AI bias. Однако, как не странно, их не связывают когнитивными предвзятостями, хотя нетрудно заметить, что в корне всех трех лежат именно они.

Бороться с AI bias «в лоб» практически невозможно, в той же статье в MIT Review называются основные причины этого:

Какие же выводы можно сделать из факта существования феномена AI bias?