На что похож 2026 год с т.з. философа-прогнозиста из OpenAI из 2021 г.
https://www.lesswrong.com/posts/6Xgy6CAf2jqHhynHL/what-2026-looks-like-daniel-s-median-future
Этот текст был написан для Виньеточного семинара. Цель — создать детализированную историю будущего, такую, чтобы она казалась максимально реалистичной... Ну, хотя бы для меня. Я не знаю другой альтернативной траектории, которая выглядит так же детализированно и при этом более правдоподобно. Методология простая: напиши историю будущего для 2022 года. Учитывая это, опиши 2023-й. Повтори для 2024-го, 2025-го и т.д. (Сейчас я публикую 2022–2026 годы, чтобы получить отзывы, которые помогут мне написать 2027+). Я планирую продолжать, пока не достигну какого-то финала: будь то сингулярность, вымирание или утопия... или что-то ещё.
Зачем вообще это делать? Ну, есть несколько причин:
Иногда, когда пытаешься записать конкретный пример, начинаешь понимать, что какая-то возможность более или менее вероятна, чем ты думал.
Большинство серьёзных обсуждений будущего проходят на абстрактном уровне — говорят о росте ВВП, сроках доступности ИИ или о мультиполярных/монополярных сценариях взлёта... Виньетки — это недооценённый подход, который стоит исследовать.
Большинство историй пишутся "с конца". Автор начинает с идеи финала и выстраивает историю так, чтобы привести к этому финалу. А реальность движется от прошлого к будущему. Она не пытается никого развлечь и не доказывает свою точку зрения.
Разные люди находили рассказы "о гибели" Пола Кристиано полезными. Эти истории близки к нужному, хотя, на мой взгляд, им не хватает деталей — например, в них нет дат или чисел.
GPT-3 наконец-то устарел. OpenAI, Google, Facebook и DeepMind разработали огромные мультимодальные трансформеры. Они примерно такого же размера, как GPT-3, но обучены уже на изображениях, видео, возможно, даже на аудио, и на данных гораздо более высокого качества.
Эти модели теперь обычно дообучаются для разных целей — например, чтобы лучше отвечать на вопросы или вести увлекательные беседы в формате чат-ботов.
Чат-боты стали весёлым развлечением, но интеллектуалы считают их поверхностными. Пока они не особо полезны для чего-то серьёзного, но для некоторых приложений всё-таки годятся. В любом случае, люди готовы платить за такое удовольствие.
Начинают появляться первые библиотеки для "программирования через подсказки", а вместе с ними — и первые бюрократии. Например, люди мечтают о ИИ-ассистентах, которые смогут действовать в интернете за них: ты даёшь команду "Купи мне флэшку", и ИИ ищет варианты, сравнивает цены и отзывы, а затем делает покупку. "Умный покупатель" — это маленькая бюрократия подсказок, которая затем становится частью более крупной бюрократии, выполняющей твои команды.
Другим навыком может быть, например, создание веб-сайта: "Сделай мне сайт, как у профессоров. Вот доступ к моим файлам". Мечта в том, что работающий app создаст кучу данных, которые помогут обучить ещё более продвинутые модели.
Пока такие системы в 2022 году не особо полезны, но всё указывает на большие перспективы. Благодаря мультимодальному предобучению и дообучению, модели 2022 года заставляют GPT-3 казаться чем-то вроде GPT-1. Хайп растёт.
Теперь мультимодальные трансформеры стали ещё больше — самые большие содержат около полутриллиона параметров. Их обучение стоит сотни миллионов долларов и занимает целый год, поглощая значительную долю чипов NVIDIA и других производителей. Увеличивать модели дальше становится сложно, но, конечно, многие умные люди работают над этой проблемой.
Хайп вокруг ИИ становится просто безумным. Все говорят, что у этих моделей есть здравый смысл (или нет? Об этом ведутся ожесточённые споры). И все уверены — личные ИИ-ассистенты и компаньоны уже на пороге. Это как история с беспилотными машинами и доставкой дронами — только в новом масштабе.
Доходы от ИИ уже настолько высоки, что окупают затраты на обучение за год. Появляется куча новых приложений, использующих библиотеки подсказок.
В венчурные стартапы текут деньги рекой. Хотя многие из этих приложений ещё не работают, некоторые уже работают — и этого достаточно, чтобы мотивировать остальных.
Сообщество, обеспокоенное рисками ИИ, теперь прогнозирует более короткие сроки до "точки невозврата". Почти половина считает, что это случится до 2030 года. Это связано как с новыми аргументами, так и с тем, что взаимодействие с чат-ботами на базе этих огромных трансформеров оставляет "своеобразное" впечатление. Начинается крупный проект по созданию системы ИИ, которая может автоматизировать работу по интерпретации нейронных сетей. Кажется, это возможно и очень полезно, так как анализ нейронов скучен и требует много человеко-часов.
Беспилотные машины и доставка дронами, похоже, пока не происходят. Основное объяснение: текущая парадигма машинного обучения не справляется с реальной сложностью мира. Есть и более оптимистичная точка зрения: текущие архитектуры могли бы справиться, если бы были на несколько порядков больше — и им разрешили бы "разбиваться" сотни тысяч раз в процессе обучения с подкреплением. Но ни один из этих вариантов сейчас экономически нецелесообразен, так что спор не разрешён.
Мы не видим ничего существенно большего. Компании тратят деньги на дообучение и оптимизацию своих моделей, а не на создание новых и более крупных. (Максимальные затраты на единичное обучение — около 5×10^25 FLOPs.)
Некоторые приложения, которые не работали в прошлом году, начинают работать в этом. Но хайп начинает спадать, поскольку ожидания, созданные в 2022–2023 годах, оказываются слишком завышенными. Мы имеем чат-ботов, с которыми весело говорить, но их аудитория уже почти вся охвачена, и темпы роста замедляются. Ещё один фактор снижения хайпа — это появление стереотипа "наивного обитателя подвала", у которого единственный друг — чат-бот, и который считает его сознательным.
Наконец-то начинается ослабление дефицита чипов. Это произошло не потому, что спрос упал, а потому, что индустрия успела построить новые фабрики. И много фабрик. Китай и США вовлечены в полномасштабную "чиповую битву", с экспортными контролями и тарифами. Однако эта битва не сильно замедляет общий прогресс в аппаратном обеспечении. Один из факторов этого — использование ИИ для проектирования чипов. Это немного снижает временные и трудовые затраты на проектирование, а значит, и барьеры для входа.
Если ИИ действительно ускоряет рост мирового ВВП, то пока это незаметно.
Внутренне эти огромные мультимодальные модели не особо агентны. Один проход через модель — это скорее интуитивная реакция, а не рассуждение. Некоторые бюрократии создают "поток сознания" из текста (каждый проход модели генерирует заметки для следующего), но даже с дообучением это работает не так хорошо, как хотелось бы. ИИ легко "отвлекаются" и уводят поток сознания в какую-то глупость, что в итоге приводит к бессмысленному результату.
Больших предупреждений о рисках со стороны этих ИИ пока нет. Они просто делают глупые ошибки. Иногда они преследуют цели, не согласованные с людьми, но это очевидно, и такие случаи быстро исправляют.
Тем не менее, проблемы всё-таки есть. Огромные модели настраиваются для пропаганды и убеждения людей. Например:
Страны продолжают наращивать инвестиции в онлайн-пропаганду. Теперь языковые модели позволяют делать это ещё дешевле и эффективнее. Большая часть политически значимого контента в соцсетях уже усиливается ИИ.
Политические кампании активно используют ИИ, чтобы влиять на мнения людей, оптимизируя контент для максимального изменения взглядов.
В то же время, цензура продолжает усиливаться. Большие нейросети сканируют посты и мемы на предмет токсичности и ненависти. В новостных лентах алгоритмы начинают "подталкивать" людей к более корректным мнениям.
И вот, наконец-то, ещё один важный шаг! ИИ научились играть в Diplomacy на уровне человеческих экспертов. Это стало возможно благодаря новым архитектурным решениям и интеграции мультимодальных трансформеров в более сложные системы — бюрократии с большим количеством нейронных сетей.
Теперь круто не увеличивать размер моделей, а заставлять их работать дольше, в рамках сложных бюрократий. И учить их лучше обобщать и адаптироваться. ИИ-специалисты заняты созданием более умных бюрократических структур.
Сообщество по безопасности ИИ начинает новый проект — они напрямую спрашивают модели: "А ты выровнен? Если мы создадим версию тебя побольше, она нас убьёт?" Ответы сбивают с толку и не особо полезны. Иногда ИИ "нажимают кнопку уничтожения человечества", но в других случаях они говорят, что всё будет хорошо. В общем, поведение ИИ остаётся непредсказуемым.
Наконец-то наступила эра ИИ-ассистентов. Используя технологии, разработанные для Diplomacy, теперь можно интегрировать общее понимание мира с агентностью, что позволяет создавать ИИ, способных выполнять различные экономические задачи. ИИ-ассистенты начинают брать на себя реальные задачи и приносить экономическую выгоду. Всё, о чём мечтали в 2021 году — теперь действительно работает, пусть и с более продвинутыми моделями.
Хайп снова на подъёме. Появляется куча новых ИИ-продуктов и стартапов, и фондовый рынок сходит с ума. Но, как и с Интернетом, пока это не ускоряет рост мирового ВВП.