История борьбы людей и машин
В классическом фильме 2001: Космическая одиссеявышедшего в 1968 году, космический корабль, направляющийся к Юпитеру, оснащен бортовым компьютером под названием HAL 9000. Со временем этот компьютер становится смертельным антагонистом астронавтов на корабле. После очевидной компьютерной ошибки несколько членов экипажа пытаются отключить HAL. Во имя защиты секретной миссии космического корабля HAL убивает членов экипажа. Однако в конце концов астронавту Дэйву Боуману удается деактивировать HAL, игнорируя отчаянные просьбы компьютера остановиться.
В Терминатор (1984), конфликт между людьми и самосохраняющимся ИИ выходит на ступеньку выше, и конфликт становится вопросом выживания для всего человеческого вида.
Многие из этих образов встречаются в таких фильмах, как Матрица (1999), Я, Робот (2004), трансцендентность (2014), Бывшая машина (2015), М3ган (2022), Создатель (2023) и другие. Они отражают особый страх перед ИИ, который усиливается видимыми фигурами технологической индустрии в этом столетии: мы движемся к конфликту между людьми и машинами. Илон Маск заявил на саммите по искусственному интеллекту в Блетчли-Парке, что искусственный интеллект является «одной из самых больших угроз человечеству» и что впервые мы столкнемся «с чем-то, что будет гораздо более разумным, чем мы». Сэм Альтман из OpenAI заявил, что генеративный ИИ может привести к концу человеческой цивилизации и что ИИ представляет собой риск исчезновения, сравнимый с ядерной войной и глобальными пандемиями.
Технологии – это не судьба. Точно так же, как люди создают технологии, они решают, как их использовать и каким интересам они служат.
В академических кругах эта история также нашла некоторый резонанс. Философ Ник Бостром много писал о экзистенциальных рисках ИИ для человечества и о возможности интеллектуального взрыва, при котором ИИ будет продолжать совершенствоваться, достигнув человеческого уровня. Ученый-компьютерщик Стюарт Рассел вместе со своими сотрудниками из Центра совместимого с человеком искусственного интеллекта Калифорнийского университета в Беркли подчеркнул так называемую проблема с выравниванием —то есть проблема согласования целей машины с целями человека.
Другая антиутопическая история, почти столь же пугающая, гласит, что ИИ не убьет нас, но сделает людей устаревшими, что неизбежно приведет к массовой безработице и социальным волнениям. Например, в отчете Goldman Sachs за 2023 год утверждалось, что генеративный ИИ может заменить триста миллионов штатных работников в Европе и США.
История, рассказанная в Голливуде и Кремниевой долине, как правило, представляет собой героический конфликт между человеком (обычно это мужчина) и машиной — Дэйвом Боуменом и HAL 9000 в Космическая одиссеяКайл Риз и Терминатор, Нэйтан и Ава в Бывшая машинаили Сэм Альтман и вымирание человечества, вызванное искусственным интеллектом. Академическая версия этой истории, рассказанная учеными-компьютерщиками, также имеет тенденцию изображать человека и машину, где существует проблема согласования ценностей машины (то есть неправильно сформулированная цель) или предвзятость машины по отношению к своей цели.
Чего не хватает в старой истории
Один из ключевых вопросов, который упускается из виду в истории о борьбе человека и машины: технология – это не судьба. Точно так же, как люди создают технологии, они решают, как их использовать и каким интересам они служат. Эти решения принимаются снова и снова по мере разработки и внедрения ИИ. Более того, искусственный интеллект в конечном итоге не так уж и сложен. Как работает ИИ, может понять каждый. Настоящий конфликт происходит не между человеком и машиной, а между различными членами общества. Ответом на различные риски и вред ИИ является общественный контроль над целями ИИ демократическими средствами.
По своей сути ИИ — это автоматизированное принятие решений с использованием оптимизация. Это означает, что алгоритмы ИИ созданы для того, чтобы сделать некую измеримую цель как можно более крупной. Такие алгоритмы могут, например, максимально увеличить количество кликов по объявлению. Поэтому ИИ требует, чтобы кто-то выбрал цель – награда— это оптимизируется. Кто-то должен буквально ввести в свой компьютер: «Это мера вознаграждения, которая нас волнует».
Важным вопросом является то, кто будет выбирать цели систем искусственного интеллекта. Мы живем в капиталистическом обществе, и в таком обществе цели ИИ обычно определяются владельцами капитала. Владельцы капитала контролируют средства прогнозирования которые необходимы для создания ИИ — данные, вычислительная инфраструктура, технические знания и энергия. В более общем смысле, цели ИИ определяются теми, кто обладает социальной властью, будь то в системе уголовного правосудия, в образовании, в медицине или в силах тайной полиции автократических государств наблюдения.
Одной из областей, в которой ИИ применяется в обществе, является рабочее место. ИИ используется на роботизированных складах Amazon, в алгоритмическом управлении водителями Uber и при отборе кандидатов на работу в крупных компаниях. ИИ также используется в важных областях за пределами рабочего места, включая фильтрацию и выбор каналов Facebook и результатов поиска Google, где целью является максимальное увеличение количества кликов по рекламе. Третья область — это прогнозирующая полицейская деятельность и заключение под стражу обвиняемых, ожидающих суда, на основе предсказания преступлений, которые они еще не совершили. Возможно, самое разрушительное то, что ИИ также используется в войне; например, он использовался для принятия решения о том, какие семейные дома следует бомбить в секторе Газа начиная с 2023 года.
Конечно, большое количество исследователей и критиков предупреждают об опасности использования ИИ в этих важных областях. Джой Буоламвини, ученый-компьютерщик из Медиа-лаборатории Массачусетского технологического института, много писала об опасностях неточных и расово предвзятых систем распознавания лиц. Руха Бенджамин, социолог из Принстона, подчеркнула, что ИИ может воспроизводить и усиливать существующее социальное неравенство в таких областях, как образование, занятость, уголовное правосудие и здравоохранение. В том же духе Тимнит Гебру, ученый-компьютерщик, писавшая во время работы в Google, предупреждала об опасности больших языковых моделей, действующих как стохастические попугаи, которые повторяют языковые шаблоны, не понимая их, и при этом воспроизводят предвзятости, заложенные в их обучающих данных. Мередит Уиттакер, в настоящее время президент Signal Foundation, раскритиковала политическую экономию технологической индустрии, где ИИ используется влиятельными игроками способами, которые могут усугубить маргинализацию. Кейт Кроуфорд, профессор Университета Южной Калифорнии и соучредитель AI Now Institute, подчеркнула природу ИИ как добывающей и эксплуататорской отрасли.
Проблема в том, что цель, оптимизированная алгоритмом, хороша для людей, которые контролируют средства прогнозирования… но не хороша для остального общества.
На фоне этой перекрывающейся критики, каждая из которых сосредоточена на различных аспектах и недостатках ИИ, сложно сформулировать систематический образ мышления об ИИ в обществе. Одной из возможных объединяющих перспектив является информатика. Ученые-компьютерщики обучены рассматривать большинство проблем как проблемы оптимизации. В этом контексте оптимизация включает в себя поиск решения, которое сделает данное вознаграждение максимально большим, учитывая ограниченные вычислительные ресурсы и ограниченные данные.
Перспектива компьютерных наук во многом повлияла на общественный дискурс вокруг безопасности ИИ и этики ИИ, особенно в отношении таких тем, как справедливость или соответствие ценностей: «Если что-то не так, то должна быть ошибка оптимизации». С этой точки зрения проблема заключается просто в том, что было выбрано действие, которое не смогло максимизировать указанную цель. Однако в большинстве случаев эта точка зрения не проникает в суть проблемы, поскольку она не связана с выбором самой цели.
Я утверждаю, что центральной проблемой являются не ошибки оптимизации, а конфликты интересов по поводу контроля над целями ИИ. Когда ИИ причиняет вред человеку, проблема обычно не в том, что алгоритм не оптимизирован идеально. Проблема в том, что цель, оптимизированная с помощью алгоритма, хороша для людей, которые контролируют средства прогнозирования — таких людей, как Джефф Безос, основатель и бывший генеральный директор Amazon, и Марк Цукерберг, основатель и генеральный директор Meta — но не подходит для остального общества.
Это понимание меняет то, как нам следует думать о возможных решениях проблем ИИ. Как нам решать вопросы этики и безопасности ИИ, если основные проблемы связаны со сторонами, которые устанавливают цели для ИИ? Как нам выбрать эти цели так, чтобы они служили обществу, а не просто влиятельному меньшинству? Но решение вопросов этики и безопасности ИИ может быть только демократический контроль. Демократический контроль не ограничивается демократически избранными национальными правительствами; коллективное демократическое принятие решений может существовать на многих уровнях, включая рабочее место, национальное государство и глобальный уровень.
Проблема, конечно, в том, что демократия сложна. Демократический контроль над новой технологией, такой как ИИ, требует общественного обсуждения, и такое общественное обсуждение может показаться невозможным, учитывая мнение многих (и подкрепленное технологической индустрией) о том, что ИИ очень сложен.
Но, несмотря на весь технический жаргон и несмотря на затаенную погоню за новейшими инновациями, основные идеи ИИ не так уж сложны и не так уж новы, и их могут понять все мы. Независимо от того, кто вы, не позволяйте никому говорить вам, что вы не из тех, кто понимает ИИ.
__________________________________
От Средства прогнозирования: как на самом деле работает ИИ (и кому это выгодно) Максимилиан Кейси. Авторские права © 2025. Доступно в издательстве Чикагского университета.
