Перевод эссе Машины любящей грации от Дарио Амодеи (Machines of Loving Grace)

оригинал - https://darioamodei.com/machines-of-loving-grace

Я, Дарио Амодеи, хочу поделиться своими размышлениями – о том, как ИИ может всё изменить… к лучшему, конечно! Знаю-знаю, многие считают меня этаким… пессимистом, – мол, ИИ – это опасно! – потому что я, как глава Anthropic, много говорю о рисках. Но, блин, это совсем не так! Я просто верю, что риски – это единственное, что стоит между нами и… ну, просто офигенным будущим! Мне кажется, большинство недооценивает, насколько крутым может быть ИИ… прямо как недооценивают риски.

В этом эссе – типа, зарисовка… как мог бы выглядеть мир с мощным ИИ, если бы всё пошло… ну, как по маслу. Конечно, никто не знает будущего наверняка… и ИИ – это вообще тёмная лошадка… так что всё это – чистой воды догадки. Но я старался, чтобы эти догадки были… ну, типа, обоснованными… чтобы передать общую картину, даже если детали не совпадут. Деталей много – просто потому, что конкретика лучше для обсуждения, чем абстракции.

Сначала – почему я и Anthropic не очень-то распространялись о плюсах мощного ИИ. И почему мы, скорее всего, продолжим говорить о рисках. Короче, я выбрал этот путь, чтобы:

* Усилить влияние. Развитие ИИ и многие его плюсы – ну, типа, неизбежны (если риски всё не запорят) – это движимо рынком. А вот риски – не предопределены, и мы можем на них повлиять.
* Избежать пропаганды. Компании, расписывающие прелести ИИ, выглядят как… ну, пропагандисты… или пытаются отвлечь от минусов. И вообще, это плохо для души – слишком много хвалить свой товар.
* Избежать… грандиозности. Меня бесит, как многие эксперты по рискам ИИ (не говоря уже о главах компаний) говорят о мире после появления… ну, этого… общего ИИ… как будто они пророки, ведущие народ к спасению. Опасно считать, что компании единолично формируют мир, и рассматривать техно-цели как… ну, религиозные.
* Избежать… научно-фантастического бреда. Хотя я думаю, что люди недооценивают плюсы ИИ, те, кто говорит о радикальном будущем с ИИ, часто делают это в… ну, таком… киберпанковском стиле (загруженные разумы, космос и всё такое). Из-за этого к их словам относятся несерьёзно. Дело не в том, возможны ли эти технологии, а в том, что эта… атмосфера… несёт в себе кучу культурного багажа… и скрытых предположений о том, какое будущее желательно. В итоге это похоже на фантазии для узкой субкультуры.

Но… несмотря на всё это… я считаю важным обсудить, как мог бы выглядеть хороший мир с мощным ИИ… избегая этих ловушек. Нам нужно вдохновляющее видение будущего, а не только план тушения пожаров. Многие последствия ИИ – опасны, но в конце концов должно быть что-то, за что мы боремся… что-то, что объединит людей перед лицом вызовов. Страх – это мотиватор, но нужна ещё и надежда.

Список положительных применений ИИ – огромен (робототехника, производство, энергетика и т.д.), но я сосредоточусь на том, что может напрямую улучшить жизнь людей. Вот пять областей, которые меня больше всего волнуют:

* Биология и здоровье.
* Нейробиология и психическое здоровье.
* Экономическое развитие и бедность.
* Мир и управление.
* Работа и смысл.

Мои прогнозы – радикальны (по сравнению с… ну, обычными стандартами, не считая сингулярности), но я говорю серьёзно. Я могу ошибаться, но я хотя бы попытался обосновать свои взгляды… полуаналитически… оценивая, насколько может ускориться прогресс в разных областях. У меня есть опыт в биологии и нейробиологии, и я… ну, типа, информированный любитель… в области экономического развития, но я наверняка ошибусь во многом. Писать это эссе – было полезно, потому что я понял, что нужно собрать группу экспертов (биологов, экономистов, специалистов по международным отношениям и т.д.), чтобы написать более… ну, информированную версию. Мои усилия – это просто… начало.

**Основные предположения**

Чтобы всё было точнее, нужно определить, что мы подразумеваем под мощным ИИ (то есть порог, с которого начинается отсчёт 5–10 лет), и как такой ИИ повлияет на мир.

Как будет выглядеть мощный ИИ (термин «ОИИ» мне не нравится) и когда (или если) он появится – это отдельная большая тема. Я говорил об этом публично и мог бы написать отдельное эссе (наверное, напишу). Многие скептически относятся к тому, что мощный ИИ будет создан в ближайшее время, а некоторые – к тому, что он будет создан вообще. Я думаю, это может произойти уже в 2026 году, хотя есть и варианты, при которых это займёт гораздо больше времени. Но для целей этого эссе я хотел бы отложить эти вопросы в сторону, предположить, что это произойдёт достаточно скоро, и сосредоточиться на том, что произойдёт в течение 5–10 лет после этого. Я также хочу определить, как будет выглядеть такая система, каковы её возможности и как она взаимодействует, хотя по этому поводу есть разногласия.

Под мощным ИИ я подразумеваю модель ИИ – вероятно, похожую по форме на современные большие языковые модели, хотя она может быть основана на другой архитектуре, может включать несколько взаимодействующих моделей и может обучаться по-другому – со следующими свойствами:

* По чистому интеллекту она умнее нобелевского лауреата в большинстве областей – биологии, программировании, математике, инженерии, писательстве и т.д. Это значит, что она может доказывать нерешённые математические теоремы, писать очень хорошие романы, писать сложные базы кода с нуля и т.д.
* Помимо того, что это просто «умная штука, с которой можно поговорить», у неё есть все «интерфейсы», доступные человеку, работающему виртуально, включая текст, аудио, видео, управление мышью и клавиатурой, а также доступ в Интернет. Она может выполнять любые действия, общаться или выполнять удалённые операции, включая действия в Интернете, давать указания людям, заказывать материалы, руководить экспериментами, смотреть видео, создавать видео и так далее. Она выполняет все эти задачи с мастерством, превосходящим самых способных людей в мире.
* Она не просто пассивно отвечает на вопросы; вместо этого ей можно давать задания, на выполнение которых уходят часы, дни или недели, а затем она уходит и выполняет эти задания автономно, как это сделал бы умный сотрудник, задавая уточняющие вопросы по мере необходимости.
* У неё нет физического воплощения (кроме как на экране компьютера), но она может управлять существующими физическими инструментами, роботами или лабораторным оборудованием через компьютер; теоретически она может даже проектировать роботов или оборудование для собственного использования.
* Ресурсы, используемые для обучения модели, можно перепрофилировать для запуска миллионов её экземпляров (это соответствует прогнозируемым размерам кластеров к ~2027 году), и модель может поглощать информацию и генерировать действия примерно в 10–100 раз быстрее человека. Однако она может быть ограничена временем отклика физического мира или программного обеспечения, с которым она взаимодействует.
* Каждый из этих миллионов экземпляров может действовать независимо над несвязанными задачами, или, если необходимо, все они могут работать вместе так же, как сотрудничали бы люди, возможно, с различными субпопуляциями, точно настроенными на выполнение конкретных задач.

Мы могли бы назвать это «страной гениев в дата-центре».

Очевидно, что такая сущность была бы способна решать очень сложные проблемы очень быстро, но не так просто понять, насколько быстро. Две «крайние» позиции кажутся мне ложными. Во-первых, можно подумать, что мир мгновенно преобразится в масштабе секунд или дней («сингулярность»), поскольку превосходящий интеллект будет опираться на самого себя и решать все возможные научные, инженерные и операционные задачи почти мгновенно. Проблема в том, что существуют реальные физические и практические ограничения, например, связанные со сборкой оборудования или проведением биологических экспериментов. Даже новая страна гениев столкнётся с этими ограничениями. Интеллект может быть очень мощным, но это не волшебная пыль.

Во-вторых, и наоборот, можно считать, что технический прогресс насыщен или ограничен по скорости реальными данными или социальными факторами, и что интеллект, превосходящий человеческий, мало что добавит. Это кажется мне столь же неправдоподобным – я могу придумать сотни научных или даже социальных проблем, где большая группа действительно умных людей резко ускорила бы прогресс, особенно если они не ограничены анализом и могут добиваться результатов в реальном мире (что может наша постулируемая страна гениев, в том числе руководя или помогая командам людей).

Я думаю, что истина, скорее всего, представляет собой некую смесь этих двух крайних картин, что-то, что варьируется в зависимости от задачи и области и очень тонко в своих деталях. Я считаю, что нам нужны новые рамки, чтобы думать об этих деталях продуктивно.

Экономисты часто говорят о «факторах производства»: таких вещах, как труд, земля и капитал. Фраза «предельная доходность труда/земли/капитала» отражает идею о том, что в данной ситуации данный фактор может быть или не быть ограничивающим – например, военно-воздушным силам нужны как самолёты, так и пилоты, и наём дополнительных пилотов не очень поможет, если у вас нет самолётов. Я считаю, что в эпоху ИИ мы должны говорить о предельной отдаче от интеллекта и пытаться выяснить, какие другие факторы дополняют интеллект и становятся ограничивающими факторами, когда интеллект очень высок. Мы не привыкли думать таким образом – спрашивать: «насколько помогает быть умнее в этой задаче и в какие сроки?» – но это кажется правильным способом концептуализировать мир с очень мощным ИИ.

Моё предположение о списке факторов, которые ограничивают или дополняют интеллект, включает:

* Скорость внешнего мира. Интеллектуальным агентам необходимо действовать интерактивно в мире, чтобы достигать чего-либо, а также учиться. Но мир движется только с определённой скоростью. Клетки и животные работают с фиксированной скоростью, поэтому эксперименты на них занимают определённое время, которое может быть несократимым. То же самое относится к аппаратному обеспечению, материаловедению, всему, что связано с общением с людьми, и даже к нашей существующей программной инфраструктуре. Кроме того, в науке часто требуется проводить много экспериментов последовательно, каждый из которых учится на предыдущем или основывается на нём. Всё это означает, что скорость, с которой может быть завершён крупный проект – например, разработка лекарства от рака – может иметь несократимый минимум, который нельзя уменьшить ещё больше, даже если интеллект продолжает расти.

* Потребность в данных. Иногда не хватает необработанных данных, и в их отсутствие больший интеллект не помогает. Современные физики-ядерщики очень изобретательны и разработали широкий спектр теорий, но им не хватает данных, чтобы выбрать между ними, потому что данные ускорителей частиц очень ограничены. Неясно, справились бы они значительно лучше, если бы были сверх-интеллектуальными – кроме, пожалуй, ускорения строительства большего ускорителя.

* Внутренняя сложность. Некоторые вещи по своей природе непредсказуемы или хаотичны, и даже самый мощный ИИ не может предсказывать или распутывать их существенно лучше, чем человек или компьютер сегодня. Например, даже невероятно мощный ИИ мог бы предсказывать лишь незначительно дальше в хаотической системе (такой как задача трёх тел) в общем случае, по сравнению с современными людьми и компьютерами.

* Ограничения со стороны человека. Многие вещи нельзя сделать, не нарушая законы, не причиняя вреда людям или не разрушая общество. Согласованный ИИ не захочет делать эти вещи (а если у нас есть несогласованный ИИ, мы снова говорим о рисках). Многие структуры человеческого общества неэффективны или даже активно вредны, но их трудно изменить, соблюдая такие ограничения, как юридические требования к клиническим испытаниям, готовность людей менять свои привычки или поведение правительств. Примерами достижений, которые хорошо работают в техническом смысле, но чьё влияние было существенно снижено правилами или необоснованными опасениями, являются ядерная энергетика, сверхзвуковые полёты и даже лифты.

* Физические законы. Это более жёсткая версия первого пункта. Существуют определённые физические законы, которые, по-видимому, нерушимы. Нельзя путешествовать быстрее света. Пудинг не размешивается. Чипы могут иметь только определённое количество транзисторов на квадратный сантиметр, прежде чем они станут ненадёжными. Вычисления требуют определённого минимума энергии на стёртый бит, что ограничивает плотность вычислений в мире.

Существует дальнейшее различие, основанное на временных масштабах. То, что является жёсткими ограничениями в краткосрочной перспективе, может стать более податливым для интеллекта в долгосрочной перспективе. Например, интеллект можно использовать для разработки новой экспериментальной парадигмы, которая позволит нам узнать in vitro то, что раньше требовало экспериментов на живых животных, или для создания инструментов, необходимых для сбора новых данных (например, большего ускорителя частиц), или для (в рамках этических ограничений) поиска путей обхода ограничений, основанных на человеке (например, помощь в совершенствовании системы клинических испытаний, помощь в создании новых юрисдикций, где клинические испытания имеют меньшую бюрократию, или совершенствование самой науки, чтобы сделать клинические испытания на людях менее необходимыми или более дешёвыми).

Таким образом, мы должны представить себе картину, где интеллект изначально сильно ограничен другими факторами производства, но со временем сам интеллект всё больше обходит другие факторы, даже если они никогда полностью не исчезнут (а некоторые вещи, такие как физические законы, абсолютны). Ключевой вопрос заключается в том, насколько быстро всё это происходит и в каком порядке.

Имея в виду вышеизложенную структуру, я попытаюсь ответить на этот вопрос для пяти областей, упомянутых во введении.

1. Биология и здоровье

Биология – это, пожалуй, та область, где научный прогресс может реально улучшить качество жизни. В прошлом веке мы победили некоторые древние болезни (типа оспы), но… их ещё много! И победить их – было бы огромным достижением. Кроме того, биология может улучшить и общее здоровье – продлить жизнь, дать нам больше контроля над нашими телами… и решить проблемы, которые мы сейчас считаем неизбежными.

Главные препятствия для применения ИИ в биологии – это данные, скорость физического мира и… ну, внутренняя сложность (они все связаны). Ещё – человеческие ограничения, особенно на стадии клинических испытаний.

Эксперименты на клетках, животных и даже химических процессах ограничены скоростью физического мира: многие биологические протоколы включают культивирование бактерий или других клеток, или просто ожидание протекания химических реакций, и это иногда может занимать дни или даже недели, без очевидного способа ускорить это. Эксперименты на животных могут занимать месяцы (или больше), а эксперименты на людях часто занимают годы (или даже десятилетия для долгосрочных исследований результатов). В какой-то степени с этим связана нехватка данных – не столько по количеству, сколько по качеству: всегда не хватает чётких, однозначных данных, которые изолируют интересующий биологический эффект от других 10 000 мешающих вещей, которые происходят, или которые причинно вмешиваются в данный процесс, или которые непосредственно измеряют какой-то эффект (в отличие от вывода его последствий каким-то косвенным или шумным способом). Даже массивные количественные молекулярные данные, такие как данные протеомики, которые я собирал, работая над методами масс-спектрометрии, являются шумными и многое упускают (в каких типах клеток находились эти белки? В какой части клетки? На какой фазе клеточного цикла?).

Частично за эти проблемы с данными ответственна внутренняя сложность: если вы когда-либо видели диаграмму, показывающую биохимию человеческого метаболизма, вы знаете, что очень трудно изолировать влияние любой части этой сложной системы, и ещё труднее вмешиваться в систему точным или предсказуемым образом. И наконец, помимо того времени, которое требуется для проведения эксперимента на людях, фактические клинические испытания связаны с большой бюрократией и нормативными требованиями, которые (по мнению многих людей, включая меня) добавляют ненужное дополнительное время и задерживают прогресс.

Учитывая всё это, многие биологи долгое время скептически относились к ценности ИИ и «больших данных» в биологии. Исторически математики, специалисты по информатике и физики, которые применяли свои навыки в биологии за последние 30 лет, были довольно успешны, но не оказали того поистине преобразующего влияния, на которое изначально надеялись. Некоторый скептицизм был уменьшен благодаря крупным и революционным прорывам, таким как AlphaFold (который только что заслуженно принёс своим создателям Нобелевскую премию по химии) и AlphaProteo, но всё ещё существует мнение, что ИИ полезен (и будет продолжать быть полезным) только в ограниченном наборе обстоятельств. Распространённая формулировка: «ИИ может лучше анализировать ваши данные, но он не может создавать больше данных или улучшать качество данных. Мусор на входе, мусор на выходе».

Но я думаю, что эта пессимистическая точка зрения неправильно рассматривает ИИ. Если наша основная гипотеза о прогрессе ИИ верна, то правильный способ думать об ИИ – не как о методе анализа данных, а как о виртуальном биологе, который выполняет все задачи, которые выполняют биологи, включая проектирование и проведение экспериментов в реальном мире (управляя лабораторными роботами или просто говоря людям, какие эксперименты проводить – как это сделал бы главный исследователь со своими аспирантами), изобретая новые биологические методы или методы измерения и так далее. Именно ускоряя весь исследовательский процесс, ИИ может по-настоящему ускорить биологию. Я хочу повторить это, потому что это самое распространённое заблуждение, которое возникает, когда я говорю о способности ИИ преобразовать биологию: я говорю не об ИИ как просто инструменте для анализа данных. В соответствии с определением мощного ИИ в начале этого эссе, я говорю об использовании ИИ для выполнения, руководства и улучшения почти всего, что делают биологи.

Чтобы более конкретно определить, откуда, по моему мнению, может прийти ускорение, удивительно большая часть прогресса в биологии произошла благодаря действительно крошечному числу открытий, часто связанных с широкими измерительными инструментами или методами, которые позволяют точно, но обобщённо или программируемо вмешиваться в биологические системы. В год происходит примерно одно такое крупное открытие, и в совокупности они, возможно, обеспечивают >50% прогресса в биологии. Эти открытия настолько эффективны именно потому, что они преодолевают внутреннюю сложность и ограничения данных, непосредственно увеличивая наше понимание и контроль над биологическими процессами. Несколько открытий за десятилетие позволили получить как основную часть нашего базового научного понимания биологии, так и многие из самых мощных методов лечения.

Вот несколько примеров:

* CRISPR: метод, позволяющий редактировать любой ген в живых организмах (замена любой произвольной последовательности генов любой другой произвольной последовательностью). С момента разработки оригинального метода постоянно совершенствуются методы нацеливания на определённые типы клеток, повышения точности и уменьшения редактирования неправильного гена – всё это необходимо для безопасного использования у людей.
* Различные виды микроскопии для наблюдения за тем, что происходит на точном уровне: усовершенствованные световые микроскопы (с различными видами флуоресцентных методов, специальной оптикой и т.д.), электронные микроскопы, атомно-силовые микроскопы и т.д.

* Секвенирование и синтез генома, стоимость которых снизилась на несколько порядков за последние пару десятилетий.
* Оптогенетические методы, которые позволяют заставить нейрон срабатывать, посветив на него светом.
* мРНК-вакцины, которые, в принципе, позволяют нам разработать вакцину против чего угодно, а затем быстро адаптировать её (мРНК-вакцины, конечно, стали известны во время COVID).
* Клеточная терапия, такая как CAR-T, которая позволяет извлекать иммунные клетки из организма и «перепрограммировать» их для атаки, в принципе, чего угодно.
* Концептуальные идеи, такие как микробная теория болезней или осознание связи между иммунной системой и раком.

Я не поленился перечислить все эти технологии, потому что хочу сделать важное заявление о них: я думаю, что скорость их открытия можно увеличить в 10 раз или более, если бы было гораздо больше талантливых, творческих исследователей. Или, другими словами, я думаю, что отдача от интеллекта высока для этих открытий, и всё остальное в биологии и медицине в основном следует из них.

Почему я так думаю? Из-за ответов на некоторые вопросы, которые мы должны привыкнуть задавать, когда пытаемся определить «отдачу от интеллекта».

Во-первых, эти открытия обычно делаются небольшим числом исследователей, часто одними и теми же людьми неоднократно, что говорит о мастерстве, а не о случайном поиске (последнее может предполагать, что ограничивающим фактором являются длительные эксперименты).

Во-вторых, они часто «могли быть сделаны» на годы раньше, чем были: например, CRISPR был естественным компонентом иммунной системы бактерий, известным с 80-х годов, но потребовалось ещё 25 лет, чтобы люди поняли, что его можно использовать для общего редактирования генов. Они также часто откладываются на много лет из-за отсутствия поддержки со стороны научного сообщества для многообещающих направлений (см. этот профиль изобретателя мРНК-вакцин; подобных историй предостаточно).

В-третьих, успешные проекты часто бывают отрывочными или являются запоздалыми мыслями, которые люди изначально не считали многообещающими, а не массивно финансируемыми усилиями. Это говорит о том, что открытия движет не только массивная концентрация ресурсов, но и изобретательность.

Наконец, хотя некоторые из этих открытий имеют «последовательную зависимость» (вам нужно сначала сделать открытие А, чтобы иметь инструменты или знания для открытия Б) – что опять же может создать экспериментальные задержки – многие, возможно, большинство, являются независимыми, то есть многие из них могут быть разработаны параллельно.

И эти факты, и мой общий опыт биолога убедительно свидетельствуют о том, что существуют сотни таких открытий, ожидающих своего часа, если бы учёные были умнее и лучше умели устанавливать связи между огромным объёмом биологических знаний, которыми обладает человечество (снова рассмотрим пример CRISPR).

Успех AlphaFold/AlphaProteo в решении важных проблем гораздо эффективнее, чем у людей, несмотря на десятилетия тщательно разработанного физического моделирования, обеспечивает доказательство принципа (хотя и с узким инструментом в узкой области), которое должно указывать путь вперёд.

Таким образом, я предполагаю, что мощный ИИ может, по крайней мере, в 10 раз увеличить скорость этих открытий, дав нам следующие 50–100 лет биологического прогресса за 5–10 лет. Почему не в 100 раз?

Возможно, это возможно, но здесь важны как последовательная зависимость, так и время экспериментов: чтобы получить 100 лет прогресса за 1 год, нужно, чтобы многое сразу пошло правильно, включая эксперименты на животных и такие вещи, как проектирование микроскопов или дорогостоящего лабораторного оборудования. На самом деле я открыт для (возможно, абсурдно звучащей) идеи о том, что мы могли бы получить 1000 лет прогресса за 5–10 лет, но очень скептически отношусь к тому, что мы можем получить 100 лет за 1 год.

Другими словами, я думаю, что существует неизбежная постоянная задержка: эксперименты и проектирование оборудования имеют определённую «латентность» и должны повторяться определённое «несократимое» количество раз, чтобы узнать вещи, которые нельзя вывести логически. Но помимо этого возможен массовый параллелизм.

А как насчёт клинических испытаний? Хотя с ними связано много бюрократии и замедлений, правда в том, что большая часть (хотя и далеко не вся!) их медлительности в конечном счёте связана с необходимостью строгой оценки лекарств, которые едва работают или неоднозначно работают.

К сожалению, это справедливо для большинства методов лечения сегодня: средний препарат от рака увеличивает выживаемость на несколько месяцев, имея при этом значительные побочные эффекты, которые необходимо тщательно измерять (аналогичная история с препаратами от болезни Альцгеймера).

Это приводит к огромным исследованиям (для достижения статистической мощности) и трудным компромиссам, которые регулирующие органы, как правило, не очень хорошо делают, опять же из-за бюрократии и сложности конкурирующих интересов.

Когда что-то действительно хорошо работает, всё идёт гораздо быстрее: существует ускоренный путь утверждения, и лёгкость утверждения намного выше, когда размеры эффекта больше. мРНК-вакцины от COVID были одобрены за 9 месяцев – гораздо быстрее, чем обычно.

Тем не менее, даже в этих условиях клинические испытания всё ещё слишком медленны – мРНК-вакцины, возможно, должны были быть одобрены примерно за 2 месяца. Но такие задержки (~1 год от начала до конца для препарата) в сочетании с массовым распараллеливанием и необходимостью некоторой, но не слишком большой итерации («несколько попыток») вполне совместимы с радикальными преобразованиями за 5–10 лет.

Ещё более оптимистично то, что биологическая наука с поддержкой ИИ может уменьшить потребность в итерациях в клинических испытаниях, разработав лучшие экспериментальные модели на животных и клетках (или даже моделирование), которые более точно предсказывают, что произойдёт у людей. Это будет особенно важно при разработке лекарств против процесса старения, который длится десятилетиями и где нам нужен более быстрый цикл итераций.

Наконец, по теме клинических испытаний и социальных барьеров стоит отметить, что в некотором смысле биомедицинские инновации имеют необычайно сильный послужной список успешного внедрения, в отличие от некоторых других технологий. Как упоминалось во введении, многие технологии тормозятся социальными факторами, несмотря на то, что технически они хорошо работают. Это может свидетельствовать о пессимистическом взгляде на то, чего может достичь ИИ. Но биомедицина уникальна тем, что, хотя процесс разработки лекарств чрезмерно обременителен, после разработки они, как правило, успешно внедряются и используются.

Подводя итог вышесказанному, мой основной прогноз заключается в том, что биология и медицина с поддержкой ИИ позволят нам сжать прогресс, которого человеческие биологи достигли бы за следующие 50–100 лет, в 5–10 лет. Я буду называть это «сжатым XXI веком»: идея о том, что после разработки мощного ИИ мы через несколько лет добьёмся всего того прогресса в биологии и медицине, которого мы достигли бы за весь XXI век.

Хотя предсказать, что мощный ИИ сможет сделать через несколько лет, по-прежнему сложно и спекулятивно, есть некоторая конкретика в вопросе «что люди могли бы сделать без посторонней помощи в следующие 100 лет?». Просто взглянув на то, чего мы достигли в XX веке, или экстраполируя первые 2 десятилетия XXI века, или спросив, что дадут нам «10 CRISPR и 50 CAR-T», – всё это предлагает практические, обоснованные способы оценки общего уровня прогресса, который мы можем ожидать от мощного ИИ.

Ниже я пытаюсь составить список того, чего мы можем ожидать. Он не основан на какой-либо строгой методологии и почти наверняка окажется неверным в деталях, но он пытается передать общий уровень радикализма, который мы должны ожидать:

* Надёжная профилактика и лечение почти всех природных инфекционных заболеваний. Учитывая огромный прогресс в борьбе с инфекционными заболеваниями в XX веке, не радикально представить, что мы могли бы более или менее «завершить работу» в сжатом XXI веке. мРНК-вакцины и подобные технологии уже указывают путь к «вакцинам от всего». Будут ли инфекционные заболевания полностью искоренены из мира (в отличие от только некоторых мест), зависит от вопросов бедности и неравенства, которые обсуждаются в разделе 3.

* Устранение большинства видов рака. Показатели смертности от рака снижались ~ на 2% в год в течение последних нескольких десятилетий; таким образом, мы находимся на пути к устранению большинства видов рака в XXI веке при нынешних темпах развития человеческой науки. Некоторые подтипы уже в значительной степени излечены (например, некоторые виды лейкемии с помощью CAR-T-терапии), и я, пожалуй, ещё больше рад очень селективным препаратам, которые нацелены на рак в зачаточном состоянии и предотвращают его рост. ИИ также сделает возможными режимы лечения, очень точно адаптированные к индивидуализированному геному рака – они возможны и сегодня, но чрезвычайно дороги по времени и человеческому опыту, что ИИ должен позволить нам масштабировать. Возможно снижение смертности и заболеваемости на 95% или более. Тем не менее, рак чрезвычайно разнообразен и адаптивен, и, вероятно, это самое сложное из этих заболеваний, которое нужно полностью уничтожить. Не будет удивительно, если сохранится ассортимент редких, трудноизлечимых злокачественных новообразований.

* Очень эффективная профилактика и эффективное лечение генетических заболеваний. Значительно улучшенный скрининг эмбрионов, вероятно, позволит предотвратить большинство генетических заболеваний, а какой-нибудь более безопасный, более надёжный потомок CRISPR может вылечить большинство генетических заболеваний у существующих людей. Однако заболевания всего тела, затрагивающие большую часть клеток, могут быть последними проблемами.

* Профилактика болезни Альцгеймера. Нам очень трудно выяснить, что вызывает болезнь Альцгеймера (она как-то связана с белком бета-амилоидом, но фактические детали кажутся очень сложными). Это похоже именно на тот тип проблемы, которую можно решить с помощью лучших инструментов измерения, которые изолируют биологические эффекты; поэтому я оптимистично отношусь к способности ИИ решить её. Есть большая вероятность, что в конечном итоге её можно будет предотвратить с помощью относительно простых вмешательств, как только мы действительно поймём, что происходит. Тем не менее, повреждения от уже существующей болезни Альцгеймера может быть очень трудно обратить.
* Улучшенное лечение большинства других заболеваний. Это общая категория для других заболеваний, включая диабет, ожирение, болезни сердца, аутоиммунные заболевания и многое другое. Большинство из них кажутся «более лёгкими» для решения, чем рак и болезнь Альцгеймера, и во многих случаях уже находятся в крутом упадке. Например, смертность от сердечных заболеваний уже снизилась более чем на 50%, а простые вмешательства, такие как агонисты GLP-1, уже значительно продвинулись в борьбе с ожирением и диабетом.
* Биологическая свобода. Последние 70 лет были отмечены достижениями в области контроля над рождаемостью, фертильности, контроля веса и многого другого. Но я подозреваю, что ускоренная ИИ биология значительно расширит возможности: вес, внешний вид, репродукция и другие биологические процессы будут полностью контролироваться людьми. Мы будем называть это биологической свободой: идея о том, что каждый должен иметь возможность выбирать, кем он хочет стать, и жить так, как ему больше нравится. Конечно, возникнут важные вопросы о глобальном равенстве доступа; см. раздел 3 для этого.
* Удвоение продолжительности человеческой жизни. Это может показаться радикальным, но продолжительность жизни увеличилась почти в 2 раза в XX веке (с ~40 лет до ~75), поэтому «в тренде», что «сжатый XXI век» снова удвоит её до 150. Очевидно, что вмешательства, связанные с замедлением самого процесса старения, будут отличаться от тех, которые были необходимы в прошлом веке для предотвращения (в основном детской) преждевременной смерти от болезней, но масштаб изменений не является беспрецедентным. Конкретно, уже существуют препараты, которые увеличивают максимальную продолжительность жизни у крыс на 25–50% с ограниченными побочными эффектами. А некоторые животные (например, некоторые виды черепах) уже живут 200 лет, поэтому люди явно не находятся на каком-то теоретическом верхнем пределе. Полагаю, что самое важное, что необходимо, – это надёжные, не подверженные эффекту Гудхарта биомаркеры старения человека, поскольку это позволит быстро выполнять итерации экспериментов и клинических испытаний. Как только продолжительность человеческой жизни достигнет 150 лет, мы, возможно, сможем достичь «скорости убегания», выиграв достаточно времени, чтобы большинство из тех, кто живёт сегодня, могли жить столько, сколько захотят, хотя, конечно, нет никакой гарантии, что это биологически возможно.

Стоит взглянуть на этот список и подумать о том, насколько другим будет мир, если всё это будет достигнуто через 7–12 лет (что будет соответствовать агрессивному графику ИИ). Само собой разумеется, что это был бы невообразимый гуманитарный триумф, одновременное устранение большинства бедствий, преследовавших человечество на протяжении тысячелетий. Многие мои друзья и коллеги растят детей, и когда эти дети вырастут, я надеюсь, что любое упоминание о болезни будет звучать для них так же, как цинга, оспа или бубонная чума звучат для нас. Это поколение также выиграет от возросшей биологической свободы и самовыражения, и, если повезёт, сможет жить столько, сколько захочет.

Трудно переоценить, насколько удивительными эти изменения будут для всех, кроме небольшого сообщества людей, которые ожидали мощного ИИ. Например, тысячи экономистов и экспертов по политике в США в настоящее время обсуждают, как сохранить платёжеспособность социального обеспечения и Medicare, и в более широком смысле, как снизить стоимость здравоохранения (которое в основном потребляется людьми старше 70 лет и особенно теми, кто страдает неизлечимыми заболеваниями, такими как рак). Положение этих программ, вероятно, радикально улучшится, если всё это произойдёт, поскольку соотношение работающего населения и пенсионеров резко изменится. Несомненно, эти проблемы будут заменены другими, такими как обеспечение широкого доступа к новым технологиям, но стоит подумать о том, насколько сильно изменится мир, даже если биология – единственная область, которая будет успешно ускорена ИИ.

2. Нейронаука и разум

В предыдущем разделе я сосредоточился на физических заболеваниях и биологии в целом, а не на нейронауке или психическом здоровье. Но нейронаука – это подраздел биологии, а психическое здоровье так же важно, как и физическое. На самом деле, если уж на то пошло, психическое здоровье влияет на благополучие человека даже более непосредственно, чем физическое. Сотни миллионов людей имеют очень низкое качество жизни из-за таких проблем, как зависимость, депрессия, шизофрения, низкофункциональный аутизм, посттравматическое стрессовое расстройство, психопатия или умственная отсталость. Миллиарды других борются с повседневными проблемами, которые часто можно интерпретировать как гораздо более лёгкие версии одного из этих тяжёлых клинических расстройств. И, как и в случае с общей биологией, можно выйти за рамки решения проблем, чтобы улучшить базовое качество человеческого опыта.

Базовая структура, которую я изложил для биологии, в равной степени применима и к нейронауке. Область продвигается вперёд небольшим числом открытий, часто связанных с инструментами для измерения или точного вмешательства – в списке выше оптогенетика была открытием в области нейронауки, а совсем недавно CLARITY и экспансионная микроскопия являются достижениями в том же духе, в дополнение ко многим общим методам клеточной биологии, непосредственно переносящимся в нейронауку. Я думаю, что скорость этих достижений будет аналогичным образом ускорена ИИ и поэтому структура «100 лет прогресса за 5–10 лет» применима к нейронауке так же, как и к биологии, и по тем же причинам. Как и в биологии, прогресс в нейронауке XX века был огромен – например, мы даже не понимали, как и почему нейроны срабатывают, до 1950-х годов. Таким образом, представляется разумным ожидать, что ускоренная ИИ нейронаука обеспечит быстрый прогресс в течение нескольких лет.

**2. Нейронаука и разум**

Миллиарды других борются с повседневными проблемами, которые часто можно интерпретировать как гораздо более лёгкие версии одного из этих тяжёлых клинических расстройств. И, как и в случае с общей биологией, можно выйти за рамки решения проблем, чтобы улучшить базовое качество человеческого опыта.

Я думаю, что скорость этих достижений будет аналогичным образом ускорена ИИ и поэтому структура «100 лет прогресса за 5–10 лет» применима к нейронауке так же, как и к биологии, и по тем же причинам. Как и в биологии, прогресс в нейронауке XX века был огромен – например, мы даже не понимали, как и почему нейроны срабатывают, до 1950-х годов. Таким образом, представляется разумным ожидать, что ускоренная ИИ нейронаука обеспечит быстрый прогресс в течение нескольких лет.

Есть одна вещь, которую мы должны добавить к этой базовой картине, а именно то, что некоторые вещи, которые мы узнали (или узнаём) о самом ИИ за последние несколько лет, вероятно, помогут продвинуть нейронауку, даже если ею будут продолжать заниматься только люди. Интерпретируемость – очевидный пример: хотя биологические нейроны внешне работают совершенно иначе, чем искусственные нейроны (они общаются посредством спайков и частоты спайков, поэтому существует временной элемент, отсутствующий в искусственных нейронах, и множество деталей, связанных с физиологией клеток и нейротрансмиттерами, существенно изменяет их работу), основной вопрос «как распределённые, обученные сети простых единиц, выполняющих комбинированные линейные/нелинейные операции, работают вместе для выполнения важных вычислений» тот же, и я твёрдо подозреваю, что детали связи отдельных нейронов будут абстрагированы в большинстве интересных вопросов о вычислениях и схемах. В качестве одного из примеров этого вычислительный механизм, обнаруженный исследователями интерпретируемости в системах ИИ, недавно был вновь открыт в мозге мышей.

Проводить эксперименты на искусственных нейронных сетях гораздо проще, чем на реальных (последнее часто требует разрезания мозга животных), поэтому интерпретируемость вполне может стать инструментом для улучшения нашего понимания нейронауки. Более того, мощный ИИ сам, вероятно, сможет разрабатывать и применять этот инструмент лучше, чем люди.

Однако помимо интерпретируемости то, что мы узнали из ИИ о том, как обучаются интеллектуальные системы, должно (хотя я не уверен, что это уже произошло) вызвать революцию в нейронауке. Когда я работал в нейронауке, многие люди сосредотачивались на том, что я сейчас считаю неправильными вопросами об обучении, потому что концепции гипотезы масштабирования / горького урока ещё не существовало.

Идея о том, что простая целевая функция плюс большой объём данных могут управлять невероятно сложным поведением, делает более интересным понимание целевых функций и архитектурных смещений и менее интересным понимание деталей возникающих вычислений. Я не следил за этой областью в последние годы, но у меня есть смутное ощущение, что вычислительные нейробиологи до сих пор не полностью усвоили этот урок.

Моё отношение к гипотезе масштабирования всегда было таким: «ага, это объяснение, на высоком уровне, того, как работает интеллект и как он так легко эволюционировал», но я не думаю, что это мнение среднего нейробиолога, отчасти потому, что гипотеза масштабирования как «секрет интеллекта» не полностью принята даже в рамках ИИ.

Я думаю, что нейробиологи должны попытаться объединить это базовое понимание с особенностями человеческого мозга (биофизические ограничения, эволюционная история, топология, детали двигательных и сенсорных входов/выходов), чтобы попытаться разгадать некоторые ключевые головоломки нейронауки. Некоторые, вероятно, этим занимаются, но я подозреваю, что этого пока недостаточно, и что нейробиологи ИИ смогут более эффективно использовать этот подход для ускорения прогресса.

Я ожидаю, что ИИ ускорит прогресс в нейронауке по четырём различным направлениям, которые, будем надеяться, смогут работать вместе, чтобы вылечить психические заболевания и улучшить функции:

* Традиционная молекулярная биология, химия и генетика. Это, по сути, та же история, что и общая биология в разделе 1, и ИИ, вероятно, может ускорить её с помощью тех же механизмов. Существует множество препаратов, которые модулируют нейротрансмиттеры, чтобы изменить функцию мозга, повлиять на бдительность или восприятие, изменить настроение и т.д., и ИИ может помочь нам изобрести ещё больше. ИИ, вероятно, также может ускорить исследования генетической основы психических заболеваний.

* Точное нейронное измерение и вмешательство. Это способность измерять, что делают многие отдельные нейроны или нейронные цепи, и вмешиваться, чтобы изменить их поведение. Оптогенетика и нейронные зонды – это технологии, способные как измерять, так и вмешиваться в живые организмы, и ряд очень передовых методов (таких как молекулярные тикерные ленты для считывания паттернов возбуждения большого количества отдельных нейронов) также были предложены и кажутся возможными в принципе.

* Усовершенствованная вычислительная нейронаука. Как отмечалось выше, как конкретные идеи, так и гештальт современного ИИ, вероятно, могут быть плодотворно применены к вопросам системной нейронауки, включая, возможно, выявление истинных причин и динамики сложных заболеваний, таких как психоз или расстройства настроения.

* Поведенческие вмешательства. Я не так много говорил об этом, учитывая акцент на биологической стороне нейронауки, но психиатрия и психология, конечно же, разработали широкий репертуар поведенческих вмешательств в течение XX века; само собой разумеется, что ИИ может ускорить и их, как разработку новых методов, так и помощь пациентам в соблюдении существующих методов. В более широком смысле, идея «ИИ-тренера», который всегда помогает вам быть лучшей версией себя, который изучает ваши взаимодействия и помогает вам научиться быть более эффективным, кажется очень многообещающей.

Я предполагаю, что эти четыре пути прогресса, работая вместе, как и в случае с физическими заболеваниями, будут на пути к излечению или профилактике большинства психических заболеваний в течение следующих 100 лет, даже если ИИ не будет задействован, и, таким образом, могут быть разумно завершены за 5–10 лет, ускоренных ИИ. Конкретно, моё предположение о том, что произойдёт, выглядит примерно так:

* Большинство психических заболеваний, вероятно, можно вылечить. Я не эксперт в области психиатрических заболеваний (своё время в нейронауке я потратил на создание зондов для изучения небольших групп нейронов), но я предполагаю, что такие заболевания, как посттравматическое стрессовое расстройство, депрессия, шизофрения, зависимость и т.д., можно выяснить и очень эффективно лечить с помощью какой-либо комбинации четырёх вышеупомянутых направлений.

Ответ, вероятно, будет представлять собой некую комбинацию «что-то пошло не так биохимически» (хотя это может быть очень сложно) и «что-то пошло не так с нейронной сетью, на высоком уровне».

То есть это вопрос системной нейронауки, хотя это не умаляет влияния поведенческих вмешательств, обсуждавшихся выше. Инструменты для измерения и вмешательства, особенно у живых людей, вероятно, приведут к быстрой итерации и прогрессу.

* Состояния, которые очень «структурны», могут быть более сложными, но не невозможными. Есть некоторые свидетельства того, что психопатия связана с очевидными нейроанатомическими различиями – что некоторые области мозга просто меньше или менее развиты у психопатов. Также считается, что психопаты не испытывают эмпатии с раннего возраста; что бы ни отличалось в их мозгу, вероятно, так было всегда.

То же самое может быть верно и в отношении некоторых интеллектуальных нарушений, и, возможно, других состояний. Реструктуризация мозга звучит сложно, но это также кажется задачей с высокой отдачей от интеллекта. Возможно, есть какой-то способ заставить взрослый мозг перейти в более раннее или более пластичное состояние, где его можно изменить. Я очень не уверен, насколько это возможно, но мой инстинкт – быть оптимистом в отношении того, что ИИ может изобрести здесь.

* Эффективная генетическая профилактика психических заболеваний кажется возможной. Большинство психических заболеваний частично наследственны, и полногеномные исследования ассоциаций начинают набирать обороты в выявлении соответствующих факторов, которых часто много. Вероятно, можно будет предотвратить большинство этих заболеваний с помощью скрининга эмбрионов, аналогично истории с физическими заболеваниями.

Одно из отличий заключается в том, что психиатрическое заболевание с большей вероятностью будет полигенным (способствуют многие гены), поэтому из-за сложности существует повышенный риск неосознанного отбора против положительных черт, которые коррелируют с заболеванием. Как ни странно, однако, в последние годы исследования GWAS, похоже, предполагают, что эти корреляции, возможно, были преувеличены.

В любом случае, ускоренная ИИ нейронаука может помочь нам разобраться в этих вещах. Конечно, скрининг эмбрионов на сложные признаки поднимает ряд социальных вопросов и будет спорным, хотя я предполагаю, что большинство людей поддержат скрининг на тяжёлые или изнурительные психические заболевания.

* Повседневные проблемы, которые мы не считаем клиническим заболеванием, также будут решены. У большинства из нас есть повседневные психологические проблемы, которые обычно не считаются поднимающимися до уровня клинического заболевания. Некоторые люди быстро злятся, другие испытывают трудности с концентрацией внимания или часто бывают сонливыми, некоторые боятся или тревожатся, или плохо реагируют на изменения.

Сегодня уже существуют препараты, которые помогают, например, с бдительностью или концентрацией внимания (кофеин, модафинил, риталин), но, как и во многих других предыдущих областях, вероятно, возможно гораздо больше. Вероятно, существует ещё много таких препаратов, которые не были обнаружены, и могут также существовать совершенно новые способы вмешательства, такие как целенаправленная световая стимуляция (см. оптогенетику выше) или магнитные поля.

Учитывая, сколько препаратов мы разработали в XX веке, которые настраивают когнитивные функции и эмоциональное состояние, я очень оптимистично отношусь к «сжатому XXI веку», где каждый может заставить свой мозг работать немного лучше и получать более полноценный повседневный опыт.

* Базовый человеческий опыт может быть намного лучше. Делая ещё один шаг вперёд, многие люди пережили необычайные моменты откровения, творческого вдохновения, сострадания, удовлетворения, трансцендентности, любви, красоты или медитативного покоя.

Характер и частота этих переживаний сильно различаются от человека к человеку и у одного и того же человека в разное время, а также иногда могут быть вызваны различными препаратами (хотя часто с побочными эффектами). Всё это говорит о том, что «пространство того, что можно испытать», очень широко и что большая часть жизни людей может состоять из этих необычайных моментов. Вероятно, также можно улучшить различные когнитивные функции по всем направлениям. Это, пожалуй, нейронаучная версия «биологической свободы» или «продления жизни».

Одна тема, которая часто поднимается в научно-фантастических изображениях ИИ, но которую я намеренно не обсуждал здесь, – это «загрузка разума», идея захвата паттерна и динамики человеческого мозга и реализации их в программном обеспечении. Эта тема могла бы стать предметом отдельного эссе, но достаточно сказать, что, хотя я думаю, что загрузка почти наверняка возможна в принципе, на практике она сталкивается со значительными технологическими и социальными проблемами, даже с мощным ИИ, которые, вероятно, выводят её за рамки 5–10-летнего окна, которое мы обсуждаем.

Таким образом, ускоренная ИИ нейронаука, вероятно, значительно улучшит лечение или даже вылечит большинство психических заболеваний, а также значительно расширит «когнитивную и психическую свободу» и когнитивные и эмоциональные способности человека.

Это будет столь же радикально, как и улучшения физического здоровья, описанные в предыдущем разделе. Возможно, мир внешне не будет сильно отличаться, но мир, воспринимаемый людьми, будет гораздо лучшим и более гуманным местом, а также местом, которое предлагает больше возможностей для самореализации. Я также подозреваю, что улучшение психического здоровья смягчит многие другие социальные проблемы, в том числе те, которые кажутся политическими или экономическими.

3. Экономическое развитие и бедность

В предыдущих двух разделах речь шла о разработке новых технологий, которые лечат болезни и улучшают качество жизни. Однако очевидный вопрос с гуманитарной точки зрения: «будет ли у всех доступ к этим технологиям?».

Одно дело – разработать лекарство от болезни, другое дело – искоренить болезнь из мира. В более широком смысле, многие существующие медицинские вмешательства ещё не применяются повсеместно в мире, и то же самое верно в отношении технологических улучшений (не связанных со здоровьем) в целом. Другими словами, уровень жизни во многих частях мира по-прежнему отчаянно низок: ВВП на душу населения составляет ~$2000 в странах Африки к югу от Сахары по сравнению с ~$75 000 в Соединённых Штатах.

Если ИИ будет способствовать дальнейшему экономическому росту и повышению качества жизни в развитых странах, мало помогая развивающимся странам, мы должны рассматривать это как ужасный моральный провал и пятно на подлинных гуманитарных победах в предыдущих двух разделах. В идеале мощный ИИ должен помочь развивающимся странам догнать развитые страны, даже если он революционизирует последние.

Я не так уверен, что ИИ может решить проблему неравенства и экономического роста, как я уверен, что он может изобретать фундаментальные технологии, потому что технологии имеют такую очевидную высокую отдачу от интеллекта (включая способность обходить сложности и отсутствие данных), в то время как экономика связана со многими ограничениями со стороны человека, а также с большой дозой внутренней сложности.

Я несколько скептически отношусь к тому, что ИИ может решить знаменитую «проблему социалистического расчёта», и я не думаю, что правительства передадут (или должны передать) свою экономическую политику такой сущности, даже если она сможет это сделать. Существуют также такие проблемы, как убедить людей принимать лечение, которое эффективно, но к которому они могут относиться с подозрением.

Проблемы, стоящие перед развивающимся миром, ещё более усложняются повсеместной коррупцией как в частном, так и в государственном секторах. Коррупция создаёт порочный круг: она усугубляет бедность, а бедность, в свою очередь, порождает ещё большую коррупцию. Планы экономического развития, основанные на ИИ, должны учитывать коррупцию, слабые институты и другие очень человеческие проблемы.

Тем не менее, я вижу серьёзные основания для оптимизма. Болезни были искоренены, и многие страны прошли путь от бедных к богатым, и ясно, что решения, связанные с этими задачами, демонстрируют высокую отдачу от интеллекта (несмотря на человеческие ограничения и сложность). Следовательно, ИИ, вероятно, может выполнять их лучше, чем это делается в настоящее время.

Также могут быть целенаправленные вмешательства, которые обходят человеческие ограничения и на которые ИИ мог бы сосредоточиться. Но ещё важнее то, что мы должны попытаться. И компании, занимающиеся ИИ, и политики развитых стран должны внести свой вклад в то, чтобы развивающийся мир не остался в стороне; моральный императив слишком велик. Поэтому в этом разделе я продолжу излагать оптимистичный сценарий, но имейте в виду, что успех не гарантирован и зависит от наших коллективных усилий.

Ниже я высказываю некоторые предположения о том, как, по моему мнению, могут развиваться события в развивающемся мире в течение 5–10 лет после разработки мощного ИИ:

* Распространение медицинских вмешательств. Область, в которой я, пожалуй, наиболее оптимистичен, – это распространение медицинских вмешательств по всему миру. Болезни фактически были искоренены сверху вниз: оспа была полностью ликвидирована в 1970-х годах, а полиомиелит и гвинейский червь почти искоренены, менее 100 случаев в год.

Математически сложное эпидемиологическое моделирование играет активную роль в кампаниях по искоренению болезней, и очень вероятно, что есть возможности для более умных, чем человек, систем ИИ делать это лучше, чем люди.

Логистику распределения, вероятно, также можно значительно оптимизировать. Одна вещь, которую я узнал как ранний донор GiveWell, заключается в том, что некоторые благотворительные организации в области здравоохранения работают гораздо эффективнее, чем другие; надежда на то, что усилия, ускоренные ИИ, будут ещё более эффективными.

Кроме того, некоторые биологические достижения фактически значительно упрощают логистику распределения: например, малярию было трудно искоренить, потому что она требует лечения каждый раз, когда болезнь заражается; вакцина, которую нужно вводить только один раз, значительно упрощает логистику (и такие вакцины от малярии фактически разрабатываются в настоящее время).

Возможны ещё более простые механизмы распространения: некоторые болезни в принципе можно искоренить, воздействуя на их животных-переносчиков, например, выпуская комаров, заражённых бактерией, которая блокирует их способность переносить болезнь (которые затем заражают всех остальных комаров), или просто используя генный драйв, чтобы уничтожить комаров. Это требует одного или нескольких централизованных действий, а не скоординированной кампании, которая должна лечить миллионы людей индивидуально.

В целом, я думаю, что 5–10 лет – это разумные сроки для того, чтобы хорошая часть (может быть, 50%) преимуществ для здоровья, обусловленных ИИ, распространилась даже на самые бедные страны мира. Хорошей целью может быть то, чтобы развивающийся мир через 5–10 лет после появления мощного ИИ был, по крайней мере, значительно здоровее, чем развитый мир сегодня, даже если он продолжает отставать от развитого мира.

Достижение этого, конечно, потребует огромных усилий в области глобального здравоохранения, филантропии, политической защиты интересов и многих других усилий, которым должны помочь как разработчики ИИ, так и политики.

* Экономический рост. Может ли развивающийся мир быстро догнать развитый мир не только в области здравоохранения, но и в целом в экономическом плане? Есть прецедент: в последние десятилетия XX века несколько восточноазиатских экономик достигли устойчивых темпов роста реального ВВП ~10% в год, что позволило им догнать развитый мир.

Плановики-люди принимали решения, которые привели к этому успеху, не путём прямого контроля над всей экономикой, а путём использования нескольких ключевых рычагов (таких как промышленная политика экспортно-ориентированного роста и сопротивление искушению полагаться на богатство природных ресурсов); вполне вероятно, что «министры финансов и управляющие центральных банков ИИ» могли бы повторить или превзойти это достижение в 10%.

Важный вопрос заключается в том, как заставить правительства развивающихся стран принять их, соблюдая при этом принцип самоопределения – некоторые могут быть в восторге от этого, но другие, вероятно, будут настроены скептически. С оптимистической стороны, многие из медицинских вмешательств, описанных в предыдущем пункте, вероятно, будут органично способствовать экономическому росту: искоренение СПИДа/малярии/паразитических червей окажет преобразующее влияние на производительность, не говоря уже об экономических выгодах, которые некоторые нейронаучные вмешательства (такие как улучшение настроения и концентрации внимания) принесут как в развитых, так и в развивающихся странах.

Наконец, технологии, ускоренные ИИ, не связанные со здоровьем (такие как энергетические технологии, транспортные дроны, улучшенные строительные материалы, улучшенная логистика и распределение и так далее), могут просто естественным образом распространиться по всему миру; например, даже сотовые телефоны быстро проникли в страны Африки к югу от Сахары через рыночные механизмы, без необходимости филантропических усилий.

С другой стороны, хотя ИИ и автоматизация имеют много потенциальных преимуществ, они также создают проблемы для экономического развития, особенно для стран, которые ещё не индустриализированы. Поиск путей обеспечения того, чтобы эти страны могли развиваться и улучшать свою экономику в эпоху растущей автоматизации, является важной задачей для экономистов и политиков.

В целом, сценарий мечты – возможно, цель, к которой нужно стремиться, – это 20% годовой темп роста ВВП в развивающихся странах, причём по 10% приходится на экономические решения с поддержкой ИИ и естественное распространение технологий, ускоренных ИИ, включая, помимо прочего, здравоохранение. В случае достижения этой цели страны Африки к югу от Сахары достигнут нынешнего ВВП Китая на душу населения за 5–10 лет, в то время как большая часть остального развивающегося мира поднимется до уровней, превышающих нынешний ВВП США. Опять же, это сценарий мечты, а не то, что происходит по умолчанию: это то, над чем все мы должны работать вместе, чтобы сделать его более вероятным.

* Продовольственная безопасность. Достижения в области технологий выращивания сельскохозяйственных культур, такие как улучшенные удобрения и пестициды, большая автоматизация и более эффективное использование земли, резко повысили урожайность сельскохозяйственных культур в течение XX века, спасая миллионы людей от голода. Генная инженерия в настоящее время ещё больше улучшает многие культуры. Поиск ещё большего количества способов сделать это, а также сделать цепочки поставок сельскохозяйственной продукции ещё более эффективными, может дать нам вторую «зелёную революцию», управляемую ИИ, помогая сократить разрыв между развивающимися и развитыми странами.

* Смягчение последствий изменения климата. Изменение климата будет гораздо сильнее ощущаться в развивающихся странах, препятствуя их развитию. Мы можем ожидать, что ИИ приведёт к улучшению технологий, которые замедляют или предотвращают изменение климата, от удаления углерода из атмосферы и технологий чистой энергии до выращенного в лаборатории мяса, которое снижает нашу зависимость от углеродоёмкого промышленного сельского хозяйства.

Конечно, как обсуждалось выше, технологии – не единственное, что ограничивает прогресс в борьбе с изменением климата – как и во всех других вопросах, обсуждаемых в этом эссе, важны социальные факторы человека. Но есть веские основания полагать, что исследования с использованием ИИ дадут нам средства, чтобы сделать смягчение последствий изменения климата гораздо менее дорогостоящим и разрушительным, что сделает многие возражения спорными и освободит развивающиеся страны для достижения большего экономического прогресса.

* Неравенство внутри стран. Я в основном говорил о неравенстве как о глобальном явлении (которое, как мне кажется, является его наиболее важным проявлением), но, конечно, неравенство существует и внутри стран. С передовыми медицинскими вмешательствами и особенно радикальным увеличением продолжительности жизни или препаратами для улучшения когнитивных функций, безусловно, будут обоснованные опасения, что эти технологии «только для богатых».

Я более оптимистичен в отношении неравенства внутри стран, особенно в развитом мире, по двум причинам. Во-первых, рынки лучше функционируют в развитом мире, а рынки, как правило, хорошо снижают стоимость высокотехнологичных технологий с течением времени.

Во-вторых, политические институты развитого мира более отзывчивы к своим гражданам и обладают большей государственной способностью выполнять программы всеобщего доступа, и я ожидаю, что граждане будут требовать доступа к технологиям, которые так радикально улучшают качество жизни.

Конечно, не предопределено, что такие требования будут успешными, и здесь есть ещё одно место, где мы все вместе должны сделать всё возможное, чтобы обеспечить справедливое общество. Существует отдельная проблема неравенства богатства (в отличие от неравенства доступа к жизненно важным и улучшающим жизнь технологиям), которая кажется более сложной и которую я обсуждаю в разделе 5.

* Проблема отказа. Одна из проблем как в развитых, так и в развивающихся странах – это отказ людей от преимуществ, предоставляемых ИИ (аналогично движению против вакцинации или луддитским движениям в более широком смысле). В конечном итоге могут возникнуть плохие циклы обратной связи, когда, например, люди, которые меньше всего способны принимать правильные решения, отказываются от тех самых технологий, которые улучшают их способность принимать решения, что приводит к постоянно растущему разрыву и даже созданию антиутопического низшего класса (некоторые исследователи утверждают, что это подорвёт демократию, тему, которую я подробнее обсуждаю в следующем разделе).

Это, опять же, поставит моральное пятно на положительных достижениях ИИ. Это сложная проблема для решения, так как я не думаю, что этично принуждать людей, но мы можем, по крайней мере, попытаться повысить научное понимание людей – и, возможно, сам ИИ может помочь нам в этом. Один обнадеживающий знак заключается в том, что исторически антитехнологические движения были больше лаем, чем укусом: выступать против современных технологий популярно, но большинство людей в конечном итоге принимают их, по крайней мере, когда это вопрос личного выбора.

Отдельные лица, как правило, принимают большинство медицинских и потребительских технологий, в то время как технологии, которые действительно затруднены, такие как ядерная энергетика, как правило, являются коллективными политическими решениями.

В целом, я оптимистично отношусь к быстрому доведению биологических достижений ИИ до людей в развивающихся странах. Я надеюсь, хотя и не уверен, что ИИ также может обеспечить беспрецедентные темпы экономического роста и позволить развивающемуся миру, по крайней мере, превзойти то, где сейчас находится развитый мир.

Меня беспокоит проблема «отказа» как в развитых, так и в развивающихся странах, но я подозреваю, что со временем она сойдёт на нет и что ИИ может помочь ускорить этот процесс. Это не будет идеальный мир, и те, кто отстаёт, не догонят полностью, по крайней мере, не в первые несколько лет. Но приложив большие усилия с нашей стороны, мы сможем, по крайней мере, внести первоначальный взнос в обещания достоинства и равенства, которые мы должны каждому человеку на земле.

4. Мир и управление

Предположим, что всё в первых трёх разделах идёт хорошо: болезни, бедность и неравенство значительно сокращаются, а базовый уровень человеческого опыта существенно повышается. Из этого не следует, что все основные причины человеческих страданий устранены. Люди всё ещё представляют угрозу друг для друга.

Хотя существует тенденция к технологическому совершенствованию и экономическому развитию, ведущая к демократии и миру, это очень свободная тенденция с частыми (и недавними) откатами назад. На заре XX века люди думали, что оставили войну позади; затем пришли две мировые войны. Тридцать лет назад Фрэнсис Фукуяма писал о «конце истории» и окончательном торжестве либеральной демократии; этого ещё не произошло.

Двадцать лет назад американские политики считали, что свободная торговля с Китаем приведёт к его либерализации по мере того, как он станет богаче; этого очень не произошло, и теперь мы, похоже, движемся к второй холодной войне с возрождающимся авторитарным блоком. И правдоподобные теории предполагают, что интернет-технологии могут фактически дать преимущество авторитаризму, а не демократии, как первоначально считалось (например, в период «арабской весны»). Представляется важным попытаться понять, как мощный ИИ будет взаимодействовать с этими вопросами мира, демократии и свободы.

К сожалению, я не вижу веских оснований полагать, что ИИ будет предпочтительно или структурно продвигать демократию и мир, так же, как я думаю, что он будет структурно продвигать здоровье человека и бороться с бедностью. Человеческий конфликт носит состязательный характер, и ИИ в принципе может помочь как «хорошим парням», так и «плохим парням».

Во всяком случае, некоторые структурные факторы кажутся тревожными: ИИ, вероятно, позволит создавать гораздо лучшую пропаганду и слежку, которые являются основными инструментами в арсенале автократа. Поэтому от нас как отдельных субъектов зависит, склонить чашу весов в правильном направлении: если мы хотим, чтобы ИИ отдавал предпочтение демократии и правам человека, нам придётся бороться за этот результат.

Я чувствую это ещё сильнее, чем международное неравенство: торжество либеральной демократии и политической стабильности не гарантировано, возможно, даже не вероятно, и потребует больших жертв и самоотверженности с нашей стороны, как это часто бывало в прошлом.

Я думаю об этой проблеме как о состоящей из двух частей: международный конфликт и внутренняя структура государств. На международном уровне представляется очень важным, чтобы демократии имели преимущество на мировой арене, когда будет создан мощный ИИ.

Авторитаризм с использованием ИИ кажется слишком ужасным, чтобы его рассматривать, поэтому демократии должны быть в состоянии устанавливать условия, при которых мощный ИИ будет привнесён в мир, как для того, чтобы избежать подавления авторитариями, так и для предотвращения нарушений прав человека в авторитарных странах.

Моё нынешнее предположение о наилучшем способе сделать это – через «стратегию антанты», в которой коалиция демократий стремится получить явное преимущество (даже временное) в области мощного ИИ, обеспечивая свою цепочку поставок, быстро масштабируясь и блокируя или задерживая доступ противников к ключевым ресурсам, таким как чипы и оборудование для производства полупроводников.

Эта коалиция, с одной стороны, использовала бы ИИ для достижения надёжного военного превосходства (кнут), а с другой стороны, предлагала бы распространять преимущества мощного ИИ (пряник) на всё более широкую группу стран в обмен на поддержку стратегии коалиции по продвижению демократии (это было бы немного похоже на «Атом для мира»).

Коалиция стремилась бы заручиться поддержкой всё большего числа стран мира, изолируя наших злейших противников и в конечном итоге поставив их в такое положение, когда им будет лучше заключить ту же сделку, что и остальной мир: отказаться от конкуренции с демократиями, чтобы получить все преимущества и не бороться с превосходящим противником.

Если мы сможем сделать всё это, у нас будет мир, в котором демократии будут лидировать на мировой арене и обладать экономической и военной силой, чтобы избежать подрыва, завоевания или саботажа со стороны автократий, и, возможно, смогут использовать своё превосходство в области ИИ в долгосрочное преимущество.

Это могло бы в оптимистичном сценарии привести к «вечному 1991 году» – миру, где демократии имеют преимущество и мечты Фукуямы реализуются. Опять же, этого будет очень трудно достичь, и, в частности, потребуется тесное сотрудничество между частными компаниями, занимающимися ИИ, и демократическими правительствами, а также чрезвычайно мудрые решения относительно баланса между пряником и кнутом.

Даже если всё это пойдёт хорошо, остаётся вопрос борьбы между демократией и автократией внутри каждой страны. Очевидно, что трудно предсказать, что здесь произойдёт, но я испытываю некоторый оптимизм в отношении того, что в условиях глобальной среды, в которой демократии контролируют самый мощный ИИ, ИИ может фактически структурно поддерживать демократию повсюду. В частности, в этой среде демократические правительства могут использовать свой превосходящий ИИ для победы в информационной войне: они могут противостоять операциям по оказанию влияния и пропаганды со стороны автократий и, возможно, даже смогут создать глобально свободную информационную среду, предоставляя каналы информации и услуги ИИ таким образом, что автократии не имеют технической возможности блокировать или контролировать их.

Вероятно, нет необходимости распространять пропаганду, достаточно противостоять злонамеренным атакам и разблокировать свободный поток информации. Хотя и не сразу, но такие равные условия имеют хорошие шансы постепенно склонить глобальное управление в сторону демократии по нескольким причинам.

Во-первых, повышение качества жизни в разделах 1–3 должно, при прочих равных условиях, способствовать демократии: исторически это происходило, по крайней мере, в некоторой степени. В частности, я ожидаю, что улучшения в области психического здоровья, благополучия и образования будут способствовать развитию демократии, поскольку все три фактора отрицательно коррелируют с поддержкой авторитарных лидеров. В целом люди хотят больше самовыражения, когда удовлетворены их другие потребности, а демократия, помимо прочего, является формой самовыражения. И наоборот, авторитаризм процветает на страхе и обиде.

Во-вторых, есть большая вероятность, что свободная информация действительно подрывает авторитаризм, пока авторитарные режимы не могут её цензурировать. И нецензурируемый ИИ также может дать людям мощные инструменты для подрыва репрессивных правительств. Репрессивные правительства выживают, отказывая людям в определённом общем знании, не давая им понять, что «король голый».

Например, Срджа Попович, который помог свергнуть правительство Милошевича в Сербии, много писал о методах психологического лишения авторитариев их власти, о разрушении чар и мобилизации поддержки против диктатора. Сверхчеловечески эффективный вариант Поповича с ИИ (чьи навыки, похоже, имеют высокую отдачу от интеллекта) в кармане каждого, который диктаторы не могут заблокировать или подвергнуть цензуре, может создать ветер в спину диссидентов и реформаторов по всему миру.

Повторюсь, это будет долгая и затяжная борьба, в которой победа не гарантирована, но если мы спроектируем и создадим ИИ правильно, это может быть, по крайней мере, борьба, в которой сторонники свободы во всём мире будут иметь преимущество.

Как и в случае с нейронаукой и биологией, мы также можем спросить, как всё может быть «лучше, чем обычно» – не только как избежать автократии, но и как сделать демократии лучше, чем они есть сегодня. Даже в демократических странах несправедливость случается постоянно.

Правовые общества дают своим гражданам обещание, что все будут равны перед законом и все имеют право на основные права человека, но очевидно, что люди не всегда получают эти права на практике. То, что это обещание хотя бы частично выполняется, делает его предметом гордости, но может ли ИИ помочь нам добиться большего?

Например, может ли ИИ улучшить нашу правовую и судебную систему, сделав решения и процессы более беспристрастными? Сегодня люди в основном беспокоятся в юридическом или судебном контексте о том, что системы ИИ станут причиной дискриминации, и эти опасения важны и нуждаются в защите. В то же время жизнеспособность демократии зависит от использования новых технологий для улучшения демократических институтов, а не только реагирования на риски. По-настоящему зрелая и успешная реализация ИИ может уменьшить предвзятость и быть более справедливой для всех.

На протяжении веков правовые системы сталкивались с дилеммой: закон стремится быть беспристрастным, но по своей сути субъективен и поэтому должен интерпретироваться предвзятыми людьми. Попытки сделать закон полностью механическим не сработали, потому что реальный мир беспорядочен и не всегда может быть зафиксирован в математических формулах. Вместо этого правовые системы полагаются на заведомо неточные критерии, такие как «жестокое и необычное наказание» или «совершенно без искупительной социальной ценности», которые затем интерпретируют люди – и часто делают это таким образом, что проявляют предвзятость, фаворитизм или произвол. «Умные контракты» в криптовалютах не произвели революцию в праве, потому что обычный код недостаточно умен, чтобы выносить решения по всем вопросам, представляющим интерес. Но ИИ может быть достаточно умен для этого: это первая технология, способная выносить широкие, нечёткие суждения повторяемым и механическим способом.

Я не предлагаю буквально заменить судей системами ИИ, но сочетание беспристрастности со способностью понимать и обрабатывать запутанные ситуации реального мира, похоже, должно иметь некоторые серьёзные положительные применения в области права и правосудия. По крайней мере, такие системы могли бы работать вместе с людьми в качестве вспомогательного средства для принятия решений. Прозрачность была бы важна в любой такой системе, и зрелая наука об ИИ могла бы её обеспечить: процесс обучения таких систем можно было бы тщательно изучить, а передовые методы интерпретируемости можно было бы использовать, чтобы заглянуть внутрь окончательной модели и оценить её на наличие скрытых предубеждений, что просто невозможно с людьми. Такие инструменты ИИ также можно было бы использовать для мониторинга нарушений основных прав в судебном или полицейском контексте, делая конституции более самоисполнимыми.

В том же духе ИИ можно было бы использовать как для сбора мнений, так и для достижения консенсуса среди граждан, разрешения конфликтов, поиска общего языка и поиска компромиссов. Некоторые ранние идеи в этом направлении были предприняты проектом вычислительной демократии, включая сотрудничество с Anthropic. Более информированное и вдумчивое гражданское общество, очевидно, укрепит демократические институты.

ИИ также имеет явную возможность помогать в предоставлении государственных услуг – таких как медицинские пособия или социальные услуги, – которые в принципе доступны каждому, но на практике часто серьёзно отсутствуют, и в одних местах хуже, чем в других. Это включает в себя медицинские услуги, DMV, налоги, социальное обеспечение, соблюдение строительных норм и так далее. Наличие очень вдумчивого и информированного ИИ, чья работа заключается в том, чтобы предоставить вам всё, на что вы имеете законное право от правительства, в понятной вам форме – и который также помогает вам соблюдать часто запутанные правительственные правила, – будет иметь большое значение. Повышение потенциала государства помогает как выполнить обещание равенства перед законом, так и укрепляет уважение к демократическому управлению. Плохо реализованные услуги в настоящее время являются основной причиной цинизма по отношению к правительству.

Все эти идеи несколько расплывчаты, и, как я сказал в начале этого раздела, я не так уверен в их осуществимости, как в достижениях в области биологии, нейронауки и борьбы с бедностью. Они могут быть нереально утопичными. Но важно иметь амбициозное видение, быть готовым мечтать о великом и пробовать что-то новое. Видение ИИ как гаранта свободы, прав человека и равенства перед законом слишком мощное, чтобы за него не бороться. Государство XXI века с поддержкой ИИ может быть как более сильным защитником личной свободы, так и маяком надежды, который поможет сделать либеральную демократию той формой правления, которую хочет принять весь мир.

5. Работа и смысл

Даже если всё в предыдущих четырёх разделах пойдёт хорошо – мы не только победим большинство болезней, увеличим биологическую и когнитивную свободу, выведем миллиарды людей из бедности, чтобы они могли пользоваться новыми технологиями, возродим либеральную демократию и права человека, – по крайней мере, один важный вопрос всё ещё остаётся. «Здорово, что мы живём в таком технологически развитом мире, а также в справедливом и достойном мире», – может возразить кто-то, – «но когда ИИ делает всё, как люди обретут смысл? Если уж на то пошло, как они выживут экономически?».

Я думаю, что этот вопрос сложнее других. Я не имею в виду, что я обязательно более пессимистично отношусь к нему, чем к другим вопросам (хотя я вижу проблемы). Я имею в виду, что это более размыто и труднее предсказать заранее, потому что это связано с макроскопическими вопросами об организации общества, которые, как правило, решаются только со временем и децентрализованно.

Например, исторические общества охотников-собирателей могли бы представить, что жизнь бессмысленна без охоты и различных видов охотничьих религиозных ритуалов, и могли бы представить, что наше сытое технологическое общество лишено цели. Они также могли бы не понимать, как наша экономика может обеспечить всех, или какую функцию люди могут полезно выполнять в механизированном обществе.

Тем не менее, стоит сказать хотя бы несколько слов, имея в виду, что краткость этого раздела вовсе не следует воспринимать как признак того, что я не отношусь к этим вопросам серьёзно – наоборот, это признак отсутствия чётких ответов.

Что касается вопроса о смысле, я думаю, что очень вероятно ошибочно полагать, что задачи, которые вы выполняете, бессмысленны просто потому, что ИИ может выполнять их лучше. Большинство людей не являются лучшими в мире ни в чём, и это, похоже, их не особо беспокоит. Конечно, сегодня они всё ещё могут вносить свой вклад благодаря сравнительному преимуществу и могут получать смысл от производимой ими экономической ценности, но люди также очень любят занятия, которые не производят никакой экономической ценности.

Я провожу много времени, играя в видеоигры, плавая, гуляя на улице и общаясь с друзьями, всё это не приносит никакой экономической ценности. Я могу потратить день, пытаясь стать лучше в видеоигре или быстрее ездить на велосипеде в гору, и мне всё равно, что кто-то где-то намного лучше в этих вещах.

В любом случае, я думаю, что смысл происходит в основном из человеческих отношений и связей, а не из экономического труда. Люди хотят ощущения выполненного долга, даже ощущения конкуренции, и в мире после ИИ будет вполне возможно потратить годы, пытаясь выполнить какую-то очень сложную задачу со сложной стратегией, подобно тому, что люди делают сегодня, когда начинают исследовательские проекты, пытаются стать голливудскими актёрами или основывают компании.

Тот факт, что (А) ИИ где-то в принципе мог бы выполнить эту задачу лучше, и (Б) эта задача больше не является экономически вознаграждаемым элементом мировой экономики, не имеет для меня большого значения.

Экономическая составляющая на самом деле кажется мне более сложной, чем смысловая. Под «экономической» в этом разделе я подразумеваю возможную проблему того, что большинство или все люди могут быть не в состоянии внести значимый вклад в достаточно развитую экономику, управляемую ИИ. Это более макроскопическая проблема, чем отдельная проблема неравенства, особенно неравенства в доступе к новым технологиям, которую я обсуждал в разделе 3.

Прежде всего, в краткосрочной перспективе я согласен с аргументами о том, что сравнительное преимущество будет продолжать сохранять актуальность людей и фактически повышать их производительность, и может даже в некотором смысле уравнять правила игры между людьми. Пока ИИ лучше только на 90% в данной работе, остальные 10% приведут к тому, что люди станут высокоэффективными, увеличивая компенсацию и фактически создавая кучу новых рабочих мест для людей, дополняющих и усиливающих то, в чём хорош ИИ, так что «10%» расширяются, чтобы продолжать нанимать почти всех. На самом деле, даже если ИИ может делать 100% вещей лучше, чем люди, но он остаётся неэффективным или дорогим в некоторых задачах, или если ресурсы, вкладываемые в людей и ИИ, существенно различаются, то логика сравнительного преимущества продолжает применяться. Одна из областей, в которой люди, вероятно, сохранят относительное (или даже абсолютное) преимущество в течение значительного времени, – это физический мир. Таким образом, я думаю, что человеческая экономика может продолжать иметь смысл даже немного позже того момента, когда мы достигнем «страны гениев в центре обработки данных».

Однако я думаю, что в долгосрочной перспективе ИИ станет настолько широко эффективным и настолько дешёвым, что это больше не будет применяться. В этот момент наша нынешняя экономическая структура больше не будет иметь смысла, и потребуется более широкий общественный диалог о том, как должна быть организована экономика.

Хотя это может звучать безумно, дело в том, что цивилизация успешно пережила крупные экономические сдвиги в прошлом: от охоты и собирательства к сельскому хозяйству, от сельского хозяйства к феодализму и от феодализма к индустриализму. Я подозреваю, что потребуется что-то новое и более странное, и что это то, что никто сегодня не смог хорошо представить. Это может быть так же просто, как большой универсальный базовый доход для всех, хотя я подозреваю, что это будет лишь небольшая часть решения.

Это может быть капиталистическая экономика систем ИИ, которые затем выдают ресурсы (огромное их количество, поскольку общий экономический пирог будет гигантским) людям на основе какой-то вторичной экономики того, что, по мнению систем ИИ, имеет смысл вознаграждать у людей (на основе какого-то суждения, в конечном счёте вытекающего из человеческих ценностей). Возможно, экономика работает на очках Whuffie.

Или, возможно, люди всё равно будут экономически ценными, каким-то образом не предусмотренным обычными экономическими моделями. Все эти решения имеют массу возможных проблем, и невозможно знать, будут ли они иметь смысл без множества итераций и экспериментов. И, как и в случае с некоторыми другими проблемами, нам, вероятно, придётся бороться за то, чтобы получить хороший результат здесь: эксплуататорские или антиутопические направления также явно возможны и должны быть предотвращены. Об этих вопросах можно было бы написать гораздо больше, и я надеюсь сделать это позже.

Подведение итогов

В рамках различных тем, затронутых выше, я попытался изложить видение мира, которое является правдоподобным, если всё пойдёт хорошо с ИИ, и намного лучше, чем мир сегодня. Я не знаю, реалистичен ли этот мир, и даже если это так, он не будет достигнут без огромных усилий и борьбы со стороны многих смелых и преданных своему делу людей. Каждый (включая компании, занимающиеся ИИ!) должен будет внести свой вклад как в предотвращение рисков, так и в полную реализацию преимуществ.

Но это мир, за который стоит бороться. Если всё это действительно произойдёт в течение 5–10 лет – победа над большинством болезней, рост биологической и когнитивной свободы, избавление миллиардов людей от бедности, чтобы они могли пользоваться новыми технологиями, возрождение либеральной демократии и прав человека, – я подозреваю, что каждый, кто наблюдает за этим, будет удивлён тем, какое влияние это окажет на них.

Я не имею в виду опыт личного извлечения выгоды из всех новых технологий, хотя это, безусловно, будет удивительно. Я имею в виду опыт наблюдения за тем, как давний набор идеалов материализуется перед нами одновременно. Я думаю, что многие будут буквально тронуты до слёз этим.

На протяжении написания этого эссе я заметил интересное противоречие. С одной стороны, изложенное здесь видение чрезвычайно радикально: это не то, что почти кто-либо ожидает, что произойдёт в следующем десятилетии, и, вероятно, многим покажется абсурдной фантазией.

Некоторые могут даже не считать это желательным; оно воплощает ценности и политический выбор, с которыми не все согласятся. Но в то же время в этом есть что-то ослепительно очевидное – что-то предопределённое, – как будто многие разные попытки представить себе хороший мир неизбежно приводят примерно к этому.

В книге Иэна М. Бэнкса «Игрок игр» главный герой – член общества под названием Культура, которое основано на принципах, не отличающихся от тех, которые я изложил здесь, – отправляется в репрессивную, милитаристскую империю, в которой лидерство определяется конкуренцией в сложной боевой игре.

Игра, однако, достаточно сложна, чтобы стратегия игрока в ней отражала его собственные политические и философские взгляды. Главному герою удаётся победить императора в игре, показывая, что его ценности (ценности Культуры) представляют собой выигрышную стратегию даже в игре, разработанной обществом, основанном на безжалостной конкуренции и выживании наиболее приспособленных.

Известный пост Скотта Александера имеет тот же тезис – что конкуренция саморазрушительна и имеет тенденцию вести к обществу, основанному на сострадании и сотрудничестве. «Дуга моральной вселенной» – ещё одно подобное понятие.

Я думаю, что ценности Культуры – это выигрышная стратегия, потому что они представляют собой сумму миллиона небольших решений, которые имеют чёткую моральную силу и которые, как правило, объединяют всех на одной стороне.

С базовыми человеческими интуициями справедливости, сотрудничества, любопытства и автономии трудно спорить, и они накапливаются таким образом, что наши более деструктивные импульсы часто не срабатывают. Легко утверждать, что дети не должны умирать от болезней, если мы можем предотвратить это, и легко отсюда утверждать, что все дети заслуживают этого права в равной степени.

Отсюда нетрудно утверждать, что мы все должны объединиться и применить свой интеллект для достижения этого результата. Мало кто не согласен с тем, что людей следует наказывать за то, что они нападают или причиняют вред другим без необходимости, и отсюда недалеко до идеи о том, что наказания должны быть последовательными и систематическими для всех людей.

Точно так же интуитивно понятно, что люди должны иметь автономию и ответственность за свою собственную жизнь и выбор. Эти простые интуиции, если довести их до логического завершения, в конечном итоге приводят к верховенству закона, демократии и ценностям Просвещения.

Если не неизбежно, то, по крайней мере, как статистическая тенденция, это то, к чему уже шло человечество. ИИ просто предлагает возможность добраться туда быстрее – сделать логику более чёткой, а цель – более ясной.

Тем не менее, это нечто трансцендентно прекрасное. У нас есть возможность сыграть небольшую роль в том, чтобы сделать это реальностью.

фух... спасибо тем, кто дочитал ;) поставьте пж лайк