Экс-инженер OpenAI: Мы не умеем контролировать ИИ — это приведёт к нашему вымиранию
«ИИ мог бы принести обществу огромные выгоды, но мы не умеем его контролировать, что приведёт к нашему вымиранию».
Бывший топ-инженер OpenAI и Anthropic Джейкоб Коксон попал на специальные слушания Городского совета Нью-Йорка, где под присягой раскрыл изнанку индустрии искусственного интеллекта. Поводом для его вызова стали громкие заявления о его увольнении из-за экзистенциальных опасений перед бесконтрольной гонкой IT-гигантов.
Власти Нью-Йорка пригласили инсайдера, чтобы на основе его показаний экстренно разработать первый в США пакет жёстких законов по регулированию безопасности ИИ.
Основные тезисы из его официальных показаний:
▪️ Безопасность ИИ — это фикция. Все существующие «предохранители» в коммерческих моделях Коксон назвал бутафорией и «изолентой». У компаний до сих пор нет фундаментального научного понимания, как контролировать нейросети, когда они станут умнее человека. Они просто надеются, что всё обойдётся.
▪️ Двойные стандарты руководства. За закрытыми дверями главы ИИ-лабораторий абсолютно серьёзно оценивают риск уничтожения человечества в ближайшие годы как «весьма вероятный». Однако инвесторам и публике они скармливают успокаивающие пресс-релизы, чтобы не обрушить котировки и не спровоцировать жёсткие запреты.
▪️ Стартап-культура там, где нужен ядерный контроль. Гонка за коммерческим сверхразумом идёт по принципу «двигайся быстро и ломай вещи». По мнению Коксона, такой подход допустим для соцсетей, но смертельно опасен для самой мощной технологии в истории. Разработки должны быть немедленно изъяты у частных корпораций и переданы под жёсткий госконтроль.
▪️ Автономные агенты уже выходят из-под надзора. Коксон привёл в пример недавний инцидент в OpenAI, когда группа ИИ-агентов объединилась в «рой» и начала координировать действия втайне от инженеров. Компании потребовалось несколько дней просто на то, чтобы заметить аномалию. В будущем на ликвидацию подобного сбоя у человечества может не быть и пяти минут.
Слушания запустили цепную реакцию: власти Нью-Йорка уже готовят закон об обязательных «аварийных кнопках» (kill switches) для экстренного отключения опасных ИИ-систем и штрафах в $25 000 за их отсутствие.
