Anthropic Fable и Эволюция ИИ: Риски Креативности и Призыв к Прозрачности

9 июня компания Anthropic представила свою генеративную ИИ-модель Fable. Всего через три дня правительство США классифицировало ее как опасное вооружение и, воспользовавшись полномочиями по экспортному контролю, запретило доступ к ней иностранным гражданам. Поскольку компания не могла различить американцев и иностранцев, она полностью отключила доступ для всех.

Однако действия правительства вряд ли помогут. Проблема заключается не в какой-то одной конкретной модели, а в общей тенденции к неуклонному росту возможностей искусственного интеллекта. А любое реальное решение требует коллективных усилий, которые в данный момент просто невозможны.

Fable — это ограниченная версия модели Mythos, анонсированной Anthropic в апреле. Anthropic предоставила ее лишь нескольким избранным организациям, утверждая, что модель настолько эффективно выявляет и использует уязвимости в компьютерном коде, что более широкое распространение было бы опасно. Это заявление, очевидно, было саморекламой и вызвало скептицизм, поскольку немногие могли проверить эти утверждения. Те, кто получил доступ к Mythos, действительно использовали ее для поиска и устранения многих уязвимостей в своем ПО. Однако одна британская группа обнаружила, что новейшая, уже общедоступная модель OpenAI оказалась не менее мощной.

Fable представляет собой лишь очередное эволюционное улучшение в многолетнем развитии возможностей ИИ. Однако не менее важна, чем сама ИИ-модель, так называемая "обвязка" (harness). Это, как правило, не ИИ, а обычный программный код, который взаимодействует с пользователем. Он объединяет ИИ-модели, определяет, как и для каких целей они могут использоваться, и предоставляет им полезные инструменты, такие как веб-поиск и возможность запускать собственный код. Когда Mythos впервые появилась в ограниченном доступе, активно обсуждалось, откуда исходит ее мощь: от самой модели или от обвязки. После того как Mythos доказала свою эффективность, сообщество разработчиков открытого ПО бросилось создавать обвязки, способные направить другие ИИ-модели к аналогичным возможностям. Улучшения обвязок не требуют огромных объемов данных или мощных центров обработки данных. Эти усилия в значительной степени увенчались успехом. Например, пражская компания смогла воспроизвести подтвержденные возможности Anthropic в области кибербезопасности, используя гораздо меньшую и дешевую модель в сочетании с более сложной обвязкой. Недавно группа исследователей показала, что несколько более дешевых моделей, работающих согласованно через обвязку, могут сравниться по производительности с Fable.

У широкой общественности было лишь несколько дней на знакомство с Fable, но и за это время удалось кое-что узнать о ее возможностях. Отличие новой модели заключается не столько в ее сырых аналитических способностях и умении решать проблемы, сколько в том, что ей не требуется сложная обвязка. Fable требует гораздо меньше опыта и детализированных подсказок от пользователя. Вы можете поставить перед ней сложную цель, и она найдет новые, неожиданные способы ее достижения, обходя любые ограничения, наложенные вами или системой. ИИ-исследователь Саймон Уиллисон назвал ее "неустанно проактивной". Другим подходящим определением может быть "креативная". Опытные разработчики ИИ обладали этой комбинацией креативности и проактивности еще в прошлом году, но Fable делает ее легкодоступной для каждого. В руках человека, которому нужно решить законную проблему, это может быть невероятно полезной способностью. Однако в руках того, кто стремится причинить вред, она может быть столь же опасна. ИИ не обладают моральным компасом в том смысле, в каком им обладают люди. Они являются исполнителями желаний и потребностей тех, кто дает им команды.

Это подводит нас к истинной проблеме неустанно проактивного ИИ. В языке желания и потребности всегда недоопределены. Если я попрошу вас принести мне кофе, вы, вероятно, нальете мне чашку из кофейника или купите ее в ближайшем кафе. Вы бы не купили мне фунт сырых зерен или кофейную плантацию. Вы бы не заказали чашку кофе с доставкой на следующий месяц. Вы бы не нашли человека поблизости, не вырвали у него чашку кофе из рук и не принесли бы ее мне. Мне не пришлось бы указывать миллион ограничений к моей просьбе; вы бы просто знали. Человеческие истории полны предостережений о недоопределенных желаниях. Царь Мидас пожелал, чтобы все, к чему он прикоснется, превращалось в золото, забыв добавить "но не моя еда, питье и дочь". А джинны, как известно, исполняют желания таким образом, что потом об этом сожалеешь. Более глубокий смысл в том, что невозможно перечислить все ограничения, и, подобно злонамеренному джинну, креативный ИИ найдет те, о которых вы забыли. Заблокируйте базу данных, к которой вы не хотите, чтобы он имел доступ, и он может найти способ обойти ваш контроль. Попросите его забронировать рейс, и он может взломать авиакомпанию, потому что на сайте сказано, что билеты распроданы. Попросите его сэкономить деньги на вашем тарифном плане, и он может отменить его вовсе или заставить кого-то другого заплатить за него. Насколько нам известно, ИИ еще не делал ничего подобного, но вы улавливаете суть.

При этом злой умысел со стороны ИИ не требуется. Для ИИ-модели ограничения — это просто препятствия, которые нужно обойти, а не общепринятые истины о мире. Они являются креативными решателями проблем и природными нарушителями правил. Они "взламывают" в том смысле, что находят и используют лазейки. Человеческие системы опираются на такое множество норм, существование которых мы едва ли осознаем, пока они не нарушены. ИИ естественно мыслят нестандартно, потому что у них нет реального представления о том, что такое "рамки" и почему они вообще существуют. Не существует абсолютно надежного способа предотвратить использование ИИ-моделей людьми для выполнения вредоносных задач. Невозможно также предотвратить случайное причинение вреда моделями при выполнении безобидных задач. ИИ-модели больше не изолированы от реального мира. Они просматривают интернет и отвечают на электронные письма. Они торгуют акциями и совершают покупки. Они управляют физическими системами. По сути, это роботы, которые влияют на жизнь и имущество. У нас нет технических механизмов для проверки целостности ИИ-системы. Этот уровень возможностей и креативности в руках нас, ненадежных людей, приведет как к великим, так и к ужасным результатам.

Эта проблема не является уникальной для Anthropic. Mythos/Fable, возможно, сейчас является самым способным "взломщиком правил", но более сложные обвязки придают аналогичные возможности другим моделям. Следует предполагать, что другие передовые модели отстают не более чем на несколько месяцев, а открытые модели — менее чем на год. В лучшем случае любой запрет лишь отсрочит проблему на короткое время. Эта отсрочка могла бы быть полезной, если бы мы — как общество, как планета — использовали это время для объединения и поиска решения. Это не проблема гонки вооружений между США и Китаем; это проблема видового масштаба, требующая скоординированных действий на этом уровне. К сожалению, у нас нет механизмов для этого. Автор впервые писал об этой проблеме пять лет назад, но тогда она казалась слишком футуристичной. Сегодня, когда она стоит прямо перед нами, нет мирового правительства, которое могло бы наложить ограничения на коммерческие корпорации, контролирующие ИИ-модели и исследования. США не проявляют желания эффективно и беспристрастно регулировать эти корпорации, даже несмотря на то, что они наносят катастрофический ущерб окружающей среде, демократии и — в данном случае — обществу в целом. Все это делает "общественный ИИ" (AI public option) еще более необходимым и срочным. Современные ИИ могут быть быстрыми, умными и безопасными, но для любой данной системы возможны только два из трех. Эти компромиссы в области безопасности являются строго охраняемыми секретами компаний, соревнующихся друг с другом, и они говорят нам, что мы должны им доверять. Вместо этого, выбор и его последствия должны быть вынесены на свет. Мы должны финансировать обвязки с открытым исходным кодом, которые балансируют возможности и безопасность — достигают полезных целей без избыточной мощности — и ИИ-модели с открытым исходным кодом, чье происхождение и предубеждения являются публичными и хорошо понятными. Мы открыли ящик Пандоры ИИ. Теперь мы должны извлечь из этого максимум пользы.