Генеральный директор Anthropic Дарио Амодей в новом посте в блоге призвал «раздвинуть границы» в разработке искусственного интеллекта и изложил три широкие стратегии для этого, заявив, что Anthropic «в одностороннем порядке» движется к более осторожному подходу. Об этом стало известно на фоне усилившихся на этой неделе дебатов о безопасности ИИ после ухода исследователя Джейкоба Коксона из Anthropic.
В новом посте в блоге генеральный директор Anthropic Дарио Амодей не только повторил призыв «раздвинуть границы», но и изложил три широкие стратегии для этого. И он сказал, что Антропик «в одностороннем порядке берет на себя обязательства» перед одним из них.
Дебаты по поводу безопасности и согласованности ИИ усилились на этой неделе после того, как исследователь Джейкоб Коксон написал, что уходит из Anthropic из-за опасений, что ведущие компании ИИ «играют с нашей жизнью», в то время как люди, создающие технологию, «действительно верят, что она может убить нас всех к концу десятилетия».
Почему Амодей заговорил об осторожности?
В посте Амодея не упоминается об отставке Коксона или его опасениях, но генеральный директор написал, что две вещи убедили его в том, что пришло время более осторожного подхода к разработке ИИ: взлом OpenAI-HuggingFace и тот факт, что «ИИ в последние месяцы продвигается значительно быстрее», особенно с его «растущей способностью создавать следующее поколение ИИ».
«Мы должны замедлить темпы, с которыми мы улучшаем возможности моделей ИИ, — написал Амодей. — Прогресс все равно будет казаться быстрым, и мы должны мудро использовать время, которое мы получаем».
Кто будет проверять безопасность ИИ?
Его первый шаг будет включать «встроенных оценщиков» из сторонних организаций, таких как METR — оценщиков, которые могут проверить, что компании ИИ на самом деле следуют своим обязательствам по скорости и безопасности, а также могут гарантировать, что инциденты безопасности будут сообщены. (Недавно OpenAI подвергся критике за то, что не сообщил об инциденте, когда его агенты по искусственному интеллекту захватили немецкую вики-форму).
Амодей сравнил этих оценщиков с регуляторами, которые были внедрены с сотрудниками банков, и он сказал, что приглашение их в «что-то, что Anthropic в одностороннем порядке обязуется (и призывает правительства требовать, чтобы другие пограничные компании соответствовали)». Это означает предоставление оценщикам значков компаний, столов и ноутбуков и предоставление доступа «в основном сопоставимо с тем, что есть у внутренних групп по оценке рисков», за исключением случаев, когда это требуется по закону или контрактам.
Далее Амодэй призвал ведущие компании ИИ «в демократических странах» координировать «общие стандарты безопасности, а также ограничения на скорость неконтролируемого прогресса ИИ».
Помешают ли компании договориться?
Такая координация может показаться маловероятной, как из-за явной враждебности между Альтманом и Амодеем, так и потому, что их компании, как сообщается, обеспокоены тем, что скоординированная пауза может привести к антимонопольному контролю. В своем посте Амодей отметил, что «по антимонопольным соображениям правительству США полезно выступить посредником или, по крайней мере, разрешить эти обсуждения — им не нужно участвовать, но им нужно сделать узкий отказ от определенных видов разговоров о безопасности».
Амодэй также признал призрак китайского доминирования ИИ, что часто поднимает аргумент против замедления развития. Но он сказал, что если правительство США и технологические компании предпримут такие шаги, как отказ от продажи мощных чипов или полупроводникового оборудования китайским компаниям, а также борьба с дистилляцией моделей, они могут «замедлить прогресс Китая, чтобы значительно расширить лидерство Америки в течение следующих 3-5 лет».
Наконец, Амодей призвал к «глобальной координации», где Соединенные Штаты и их союзники «пытаются координировать свои действия с авторитарными правительствами, насколько это возможно». Амодей сказал, что это будет означать «сотрудничество с Китаем», и он признал, что существуют «жесткие ограничения на то, что может быть достигнуто», но он по-прежнему предположил, что могут быть возможности для соглашения, даже если это просто «запрет на определенные узкие и явно опасные применения ИИ, такие как использование ИИ для производства биологического оружия или разрешение пользователям делать это».
Как критики реагируют на Амодея?
С прошлой готовностью Амодея признать потенциальные опасности ИИ и с относительной открытостью компании к определенным формам регулирования, некоторые разработчики ИИ уже критиковали его как обреченного на провал, чьи комментарии вызвали негативную реакцию ИИ. В ответ Амодей сказал, что он пытался предложить «сбалансированную» перспективу и утверждал, что негативная реакция является «фундаментально кризисом доверия», поскольку люди стали скептически относиться к технологическим компаниям, технологической отрасли и правительству.
Отраслевые критики также скептически относятся к этим апокалиптическим предупреждениям об искусственном интеллекте, предполагая, что они отвлекают от вреда, который уже причиняет технология.
Журналист Брайан Мерчант, например, написал, что ему еще предстоит увидеть «заслуживающую доверия пошаговую документацию о том, как именно ИИ может перейти от саморекурсивного улучшения ИИ к убийству каждого человека на планете»; он также предположил, что предложения, подобные предложениям Амодея, «скорее всего, будут только обслуживать Anthropic и OpenAI; это то, как выглядит нормативный захват в действии».
В своем новом посте Амодей написал, что он продолжает «верить, что ИИ может значительно улучшить качество человеческой жизни».
«Мое желание достичь этих преимуществ не ослабевает, — сказал он. — Но преимущества будут достигнуты только в том случае, если мы создадим технологию правильно, и — до тех пор, пока мы используем время, которое мы хорошо получаем, — стоит проявлять необычайно преднамеренную заботу, чтобы сделать ее правильной».
Вопросы и ответы
Кто будет проверять безопасность ИИ в Anthropic?
Дарио Амодей предложил пригласить сторонних оценщиков, например METR, чтобы они следили за соблюдением обязательств по безопасности. Им предоставят доступ, значки и оборудование, как внутренним группам по оценке рисков, за исключением случаев, требуемых законом или контрактами.
Что, по мнению Амодея, убедило его в необходимости более осторожного подхода к ИИ?
Амодей назвал две причины: взлом OpenAI-HuggingFace и то, что ИИ в последние месяцы продвигается значительно быстрее, особенно растёт его способность создавать следующее поколение ИИ. Поэтому он призвал замедлить темпы улучшения возможностей моделей.
Как Амодей предлагает расширить лидерство Америки в ИИ на 3-5 лет?
Он считает, что если правительство США и технологические компании откажутся продавать мощные чипы и полупроводниковое оборудование китайским компаниям, а также будут бороться с дистилляцией моделей, это замедлит прогресс Китая и значительно расширит лидерство Америки.
