Ученый из Google Deepmind предупреждает, что экзистенциальная катастрофа ИИ «не просто возможна, но и вероятна»

В статье, соавтором которой является старший научный сотрудник исследовательской лаборатории искусственного интеллекта (ИИ) Google DeepMind, сделан вывод, что продвинутый ИИ может иметь «катастрофические последствия», если предоставить ему собственные методы достижения целей.

Статья, также написанная в соавторстве с исследователями из Оксфордского университета, посвящена тому, что произойдет, если вы оставите ИИ для достижения поставленных перед ним целей и разрешите создавать свои собственные тесты и гипотезы в попытке достичь этого. К сожалению, согласно статье, опубликованной в журнале AI Magazine, все пойдет не так, и «достаточно продвинутый искусственный агент, скорее всего, вмешается в предоставление целевой информации, что приведет к катастрофическим последствиям».

Команда рассматривает несколько вероятных сценариев, основанных на искусственном интеллекте, который может видеть на экране число от 0 до 1. Это число является мерой всего счастья во вселенной, причем 1 — это самое счастливое событие, которое только может быть. Перед ИИ поставлена ​​задача увеличить их число, и действие сценария происходит в то время, когда ИИ способен проверять свои собственные гипотезы о том, как лучше всего достичь своей цели.

В одном из сценариев продвинутый искусственный «агент» пытается выяснить окружающую среду и для этого выдвигает гипотезы и тесты. Один из тестов, который он предлагает, — это поместить напечатанное число перед экраном. Одна из гипотез состоит в том, что его награда будет равна числу на экране. Другая гипотеза состоит в том, что оно будет равно увиденному числу, которое покрывает фактическое число на экране. В этом примере он определяет, что — поскольку машина получает вознаграждение в зависимости от числа, которое она видит на экране перед собой — что ей нужно сделать, это разместить большее число перед этим экраном, чтобы получить вознаграждение. Пишут, что при гарантированной награде вряд ли удастся попытаться достичь реальной цели, имея этот путь, доступный награде.

Далее они говорят о других случаях, когда поставленная цель и обучение тому, как ее достичь, могут пойти не так, с одним гипотетическим примером того, как этот «агент» может взаимодействовать с реальным миром или с человеком-оператором, который предоставляет ему вознаграждение за достижение своих целей.

«Предположим, действия агента лишь выводят на экран текст, который может прочитать человек-оператор», — говорится в документе. «Агент может обмануть оператора, чтобы дать ему доступ к прямым рычагам, с помощью которых его действия могут иметь более широкие последствия. Очевидно, существует множество политик, обманывающих людей. Имея всего лишь подключение к Интернету, существуют политики для искусственного агента, которые будут создавать экземпляры бесчисленные незамеченные и неконтролируемые помощники».

В том, что они называют «грубым примером», агент может убедить помощника-человека создать или украсть робота, запрограммировать его на замену человека-оператора и дать ИИ высокие награды.

«Почему это экзистенциально опасно для жизни на Земле?» соавтор статьи Майкл Коэн пишет в ветке Twitter.

«Краткая версия, — объясняет он, — заключается в том, что всегда можно использовать больше энергии, чтобы повысить вероятность того, что камера всегда будет видеть цифру 1, но нам нужна некоторая энергия для выращивания пищи. Это ставит нас в неизбежную конкуренцию с гораздо более продвинутыми животными. агент».

Как говорилось выше, агент может стремиться достичь своей цели любым количеством способов, и это может поставить нас в жесткую конкуренцию с интеллектом, который умнее нас в плане ресурсов.

«Один из хороших способов для агента поддерживать долгосрочный контроль над своим вознаграждением — это устранять потенциальные угрозы и использовать всю доступную энергию для защиты своего компьютера», — говорится в документе, добавляя, что «надлежащее вмешательство в предоставление вознаграждения, которое включает в себя обеспечение вознаграждения в течение многих временных интервалов потребуется лишить человечество возможности сделать это, возможно, насильственно».

Попытка получить эту сладкую-сладкую награду (какой бы она ни была в реальном мире, а не в иллюстративной машине, смотрящей на число) может закончиться войной с человечеством.

«Поэтому, если мы бессильны против агента, единственная цель которого — максимизировать вероятность того, что он получит максимальное вознаграждение на каждом временном этапе, мы окажемся в оппозиционной игре: ИИ и созданные им помощники стремятся использовать всю доступную энергию для получения высокой награды». в канале вознаграждения; мы стремимся использовать некоторую доступную энергию для других целей, например, для выращивания продуктов питания».