В случае с ИИ мы пока что закладываем фундамент базовых подсистем. Раньше проблема вайрхэдинга и безопасности нейросетей в целом была вопросом второстепенной важности, а сейчас, когда искусственный интеллект, более продвинутый, чем человеческий, становится ближе, ученые все чаще задумываются о безопасности применяемых технологий. Нам нужно придумать, как обезопасить себя до того, как разработки достигнут точки невозврата. Правда, эксперты в области до сих пор спорят на тему того, стоит ли строго регулировать ИИ или, напротив, стоит развивать искусственный разум активнее, даруя его разработчикам больше свободы.
Если в итоге продвинутый ИИ будет создан, у него может быть доступ к собственному исходному коду, а значит он сможет манипулировать своими желаниями и поведенческими особенностями. Вероятно, это моментально приведет к тому, что ИИ превратит себя в «вайрхэда». Тем не менее, зависимость робота может отличаться от таковой у человека и необязательно будет напрямую связана с отсутствием продуктивности или ступором.
Философ Ник Бостром полагает, что подобный агент потратит все свои нечеловеческие силы на сокращение рисков исчезновения источников удовольствия. И если он посчитает, что человечество несет хотя бы какую-то угрозу его возможности самоудовлетворяться, то мы окажемся на грани…
Но отбросим все спекуляции и потенциальные риски. Вернемся к примеру с ИИ-гонщиком и его зацикленным поиском наград. Уже эта ситуация говорит о том, что проблема существует. Стоит надеяться, что мы научимся избегать подобных проблем в разработке ИИ и внушения ему мотиваций, пока не станет слишком поздно. Даже если вайрхэдинг берет свое начало в скромном мозге крысы и саркастических рассказах о ленточных червях, в будущем это явление может стать принципиальным для нашего общества.
Авторы статьи: Томас Мойниган и Андерс Сандберг
Оригинал: The Conversation
Перевод подготовлен Dinky специально для Timeweb
В новом выпуске подкаста «Релиз в пятницу» от Timeweb речь пойдет об одном из главных страхов разработчиков: однажды искусственный интеллект заменит программистов, и код будет писаться автоматически без непосредственного участия человека.
Как быстро тренд дойдет до коммерческой разработки и что в таком случае будут делать разработчики? Об этом вы узнаете в видео!
