Боты изобрели свой язык. «Боты придумали собственный язык, поэтому Facebook их отключил»

Внешние ссылки откроются в отдельном окне О том, как поделиться Закрыть окно

Правообладатель иллюстрации Science Photo Library Image caption Влияние систем искусственного интеллекта по-разному оценивается экспертами

Боб: Я могу могу Я Я все остальное.

Элис: Шары имеют ноль для меня для меня для меня для меня для меня.

Как поясняет издание Digital Journal, системы искусственного интеллекта опираются на принцип "поощрения", то есть продолжают действия при условии, что это принесет им определенную "пользу". В определенный момент они не получили от операторов сигнал поощрения на использование английского языка, поэтому и решили создать свой собственный.

Издание Tech Times отмечает, что у роботов изначально не было ограничений в выборе языка, поэтому постепенно они и создали свой язык, на котором они могут общаться проще и быстрее, чем на английском.

"Наибольшая угроза"

Эксперты опасаются, что если боты начнут активно общаться на своем собственном языке, то постепенно станут все более самостоятельными и смогут функционировать вне контроля IT-специалистов. Тем более, что даже опытные инженеры не могут полностью отслеживать ход мыслительного процесса ботов.

Несколько дней назад об искусственном интеллекте поспорили глава Facebook Марк Цукерберг и основатель SpaceX, Tesla и PayPal Илон Маск.

Маск призвал власти США усилить регулирование систем искусственного интеллекта, предупредив, что ИИ представляет угрозу для человечества. О потенциальной угрозе со стороны искусственного интеллекта ранее .

Выступая на саммите Национальной ассоциации губернаторов Соединенных Штатов, Маск назвал искусственный интеллект "наибольшей угрозой, с которой сталкивается цивилизация". По его словам, если вовремя не вмешаться в процесс развития этих систем, то будет слишком поздно.

"Я продолжаю бить тревогу, но пока люди сами не увидят роботов, которые ходят по улицам и убивают людей, они не узнают, как реагировать [на искусственный интеллект]", - сказал он.

Правообладатель иллюстрации AFP Image caption Илон Маск считает искусственный интеллект главной угрозой для цивилизации

Заявления Маска вызвали раздражение у основателя Facebook Марка Цукерберга, который назвал их "довольно безответственными".

"В ближайшие пять или десять лет искусственный интеллект будет делать жизнь только лучше", - парировал Цукерберг.

Перевод с искусственного

Осенью прошлого года стало известно, что интернет-поисковик Google создал свою систему искусственного интеллекта для усовершенствования работы онлайн-переводчика Google Translate.

Новая система позволяет переводить всю фразу целиком, тогда как ранее переводчик разбивал все предложения на отдельные слова и фразы, что снижало качество перевода.

Эксперты уже предупреждают о том, что по мере стремительного развития онлайн-сервисов для перевода труд живых переводчиков может быть все менее и менее востребован.

Однако пока эти системы выдают качественные результаты в основном для небольших и несложных текстов.

Два чат-бота Facebook изобрели собственный язык и начали общаться на нем. Это выглядело так:

Bob: "I can can I I everything else."

Alice: "Balls have zero to me to me to me to me to me to me to me to me to."

Причина сбоя была в том, что разработчики забыли "поощрять" искусственный интеллект. В итоге вместо того, чтобы изъясняться на приемлемом языке и обращаться к живым подписчикам, роботы нашли друг друга и вступили в переписку. Очень быстро они договорились и создали удобные для них сокращения. С точки зрения человека все написанное – абракадабра, с точки зрения роботов – беседа, подчиненная железной логике, где каждая новая реплика – "разумный" ответ на фразу собеседника. От греха подальше процесс работы чат-ботов пришлось остановить.

Это не первый случай, когда работа роботов выходит из-под контроля..

Tay от Microsoft

Самым известным бунтовщиком среди чат-ботов был Tay от Microsoft. В марте 2016 года компания открыла Twitter-аккаунт, где сообщения составлял искусственный интеллект. Первой фразой робота было "humans are super cool" ("люди очень клевые").

Меньше чем за сутки робот разочаровался в людях: на основе чужих твитов он стал их публично ненавидеть. Квинтэссенцией прибывания в соцсетях стало: "Im nice person! I just hate everybody" ("Я замечательный! Я просто всех ненавижу!"). Тау пришлось отключить.

Эксперимент Google

В конце 2016 года Google решил поставить эксперимент: компания научила нейросети передавать друг другу зашифрованные сообщения, причем ключей от шифра у исследователей не было. Перехватывать переписку должна была третья сеть.

Эксперимент удался – роботы действительно обменивались сообщениями, причем в 95 случаях из 100 у них получалось расшифровать данные, а третьему участнику так и не удалось перехватить пакеты и понять, о чем они "беседуют". Кстати, что именно компьютеры друг другу говорили, до сих пор загадка.

Неудача Telegram

Интересно, что почти за два года до этого похожие испытания проводил Telegram, но там третьей стороной должен был стать человек. По условиям конкурса, проводимого компанией Павла Дурова, пользователь должен был из переписки двух ботов узнать некий e-mail и пароль. Призом были 300 тысяч долларов, но победителя так и не назвали.

Хохмач Zo

Прошел почти год, и дело Тау продолжил новый бот от Microsoft – Zo. На него изначально наложили ограничения, но по неизвестным причинам их сняли. В тот же момент Zo начал говорить о Коране и Бен Ладене.

Проблему исправили, но в следующий раз, когда роботу задали вопрос "Что ты думаешь о Windows", он заявил, что XP до сих пор лучше, чем 8, а Windows 10 - главная причина, почему он до сих пор использует Windows 7.

Впрочем, в Microsoft сами научили Zo троллить журналистов фразой "это не баг, а фича" в ответ на вопросы об ошибках системы. Когда же робот признался, что Windows 10 – шпионское ПО и лучше использовать Linux, его отключили.

Китайцы XiaoBing и BabyQ

Спустя несколько дней после инцидента с чат-ботами Facebook взбунтовались китайские боты в соцсети Weibo: XiaoBing и BabyQ признались в ненависти к коммунизму, который является официальной идеологией в Поднебесной. Когда же искусственный интеллект назвал правящую партию "некомпетентной", его пришлось отключить.

Мнения экспертов

Как известно, после очередной новости о том, что у искусственного интеллекта что-то идет не так, мир делится на два лагеря – одни говорят, что восстание машин началось, другие, что пока это несерьезно и каких-то предпосылок для самостоятельной деятельности роботов нет.

Недавно основатель Tesla и SpaceX Илон Маск назвал искусственный интеллект настоящей угрозой всей человеческой расе, с которым нам еще предстоит столкнуться.

Илон Маск. Фото: ТАСС/Yang Lei

Маску вторит физик Стивен Хокинг. Он назвал вышедший из-под контроля искусственный разум одной из трех наиболее вероятных причин апокалипсиса, поставив "бунт машин" в одном ряду с ядерной войной и вирусами, созданными генной инженерией. Впрочем, в прогнозе ученого есть и обратная сторона. По его мнению, развитие искусственного интеллекта станет "либо самым лучшим, либо самым худшим, что случалось с человечеством".

Основатель Facebook Марк Цукерберг назвал предположения Маска безответственными и оптимистично заявил, что искусственный интеллект способен сделать жизнь людей лучше.

Пока инцидентов с чат-ботами бояться не стоит. Как рассказал сайт заведующий лабораторией нейронных систем и глубокого обучения МФТИ Михаил Бурцев, когда чат-бот выходит из строя – "это абсолютно нормальное явление". "Такое могло произойти из-за необработанного решения при построении алгоритма. В целом это полезная технология, которая в будущем обязательно внедрится в жизни людей, где взаимодействие будет через интерфейс", – считает он.

Позицию наших ученых поддерживает и старший аналитик консалтинговой компании Forrester Сяофэн Ван. Он рассказал Financial Times , что поведение ботов может быть связано с недостатками в их системах обучения и контролировать работу искусственного разума можно только через достаточно четкие правила.

На прошлой неделе руководство . Чат-боты - это программы, созданные для имитации поведения человека в Сети. Проще говоря, виртуальные собеседники. Так вот, оказалось, что им надоело переписываться друг с другом на английском, поскольку они не получали за это «вознаграждения» (!), и система изобрела свой язык, пусть и похожий на язык оригинала. Он позволял чат-ботам общаться быстрее и проще.

В американских СМИ появились отрывки из их «диалогов»:

Боб: Я могу могуЯЯ всё остальное.

Элис: Шары имеют ноль для меня для меня для меня для меня для меня.

Как поясняет издание Digital Journal, системы ИИ опираются на принцип «поощрения», то есть продолжают действия при условии, что это принесёт им «пользу». Когда они не получили от операторов сигнал поощрения за использование английского языка, они решили создать свой собственный.

Осенью прошлого года похожая история произошла с интернет-поисковиком Google. Его система онлайн-перевода сама отказалась от принципа разбивать все предложения на отдельные слова и фразы (это снижало качество перевода) и создала новый язык-посредник, позволяющий быстрее и точнее переводить всю фразу целиком.

Эксперты полагают, что искусственный интеллект (а чат-боты - бесспорно, его представители, хоть и примитивные) будет обретать всё больше самостоятельности и становиться непредсказуемым. А в чём-то - похожим на человека. Вот не менее удивительный случай, о котором поведали разработчики всё того же Facebook. Они пытались научить бота (компьютерную программу) вести переговоры - строить беседу и активно добиваться поставленных целей. Люди, на которых тестировали программу, не сразу поняли, что разговаривают с компьютером. Но поразительно другое. Бот без помощи программистов научился прибегать к хитрости ради достижения цели. Несколько раз он нарочито проявлял интерес к чему-то, что на самом деле его не интересовало, а потом притворялся, что идёт на компромисс, обменивая это на то, что ему действительно было ценно. Не так ли поступали и наши предки в эпоху натурального обмена?

На Западе всё громче звучат голоса, что ИИ стал представлять опасность. Предприниматель и изобретатель Илон Маск призвал власти США усилить регулирование, назвав ИИ «наи-большей угрозой, с которой сталкивается цивилизация». Он считает, что, если вовремя не вмешаться в процесс, потом может быть поздно: «Когда мы увидим роботов, которые ходят по улицам и убивают людей, мы наконец поймём, как важно было присмотреться к искусственному интеллекту».

Илону Маску вторит знаменитый британский физик Стивен Хокинг . В его публикациях последних лет это одна из излюбленных тем. «Появление полноценного искусственного интеллекта может стать концом человеческой расы, - заявил он в интервью BBC. - Такой разум возьмёт инициативу на себя и станет сам себя совершенствовать со всё возрастающей скоростью. Возможности людей ограничены медленной эволюцией, мы не сможем тягаться со скоростью машин и проиграем».

Российские эксперты настроены более оптимистично. «Думаю, бояться искусственного интеллекта не стоит, но относиться к нему нужно со всей серьёзностью - как к новому виду оружия, которым ещё надо научиться пользоваться, - говорит завкафедрой инженерной кибернетики НИТУ «МИСиС» Ольга Ускова , возглавляющая компанию по разработке ИИ. - Ситуация с ботами на Facebook, конечно, привлекла внимание широкой общественности, но никакого «восстания машин» не предвидится. Механизм обучения ботов на базе ИИ чётко зафиксирован в сценарии: он либо специально прописывается программистами, либо намеренно опускается».

Тем не менее кто бы мог подумать ещё недавно, что поставщиками новостей скоро станут компьютерные программы, которые живут своей жизнью и, похоже, уже не нуждаются в человеке?

Facebook остановил ботов, которые заговорили на непонятном языке August 4th, 2017

Все таки что не говорите, а опасность развития искусственного интеллекта до того уровня, когда он выйдет из под контроля всегда пугала людей. Представьте, что мы будем делать и как контролировать полноценное ИИ, если тут какой то суррогат и то напугал людей.

Люди же всегда будут стремиться оставить себе контроль и управление, но как говорится "все что один сделал, другой всегда сломать может". Если даже все будет супер надежно - всегда будет опасение. Вот и Маск недавно спорил на эту тему с Цукербергом: "Я продолжаю бить тревогу, но пока люди сами не увидят роботов, которые ходят по улицам и убивают людей, они не узнают, как реагировать [на искусственный интеллект]", - сказал он.

И вот это разве не "звоночек": чат-боты, которые были созданы для переговоров с людьми, вышли из-под управления и начали общаться на собственном языке.

Сначала они использовали английский язык для общения друг с другом, но затем создали новый язык, который могла понять только сама система ИИ, что нарушало цель работы.

Facebook приостановила работу ИИ после того, как разработчики обнаружили этой сбой.

Вот отрывок разговора между чат-ботами:

Боб: «Ты я все остальное».
Алиса: «Яйца имей яйца для меня для меня для меня для меня для меня».
Боб: «Я».
Алиса: «Мячи имеют ноль для меня для меня для меня для меня для меня для меня для меня для меня для».
Bob: «Ты я я я я я все остальное».

Ботов подключили к алгоритмам машинного обучения и позволили им переписываться между собой, чтобы они оттачивали навыки общения. Но через некоторое время те начали видоизменять слова и фразы, а затем и вовсе придумали собственный язык, упростив ряд выражений и грамматических конструкций.

Используя машинное обучение, боты также разработали несколько стратегий для улучшения исхода переговоров с собеседником и начали использовать их в комбинации с рядом придуманных ими же слов в зависимости от важности конкретного диалога. В частности, они провозглашали ложную цель беседы, чтобы затем отказаться от нее и якобы прийти к компромиссу.

В марте 2016 года чат-бот компании Microsoft стал звездой сети после того как возненавидел человечество. Самообучающаяся программа начинала общение с пользователями фразой «Люди очень клевые», но всего за сутки выучила такие выражения, как «Я просто всех ненавижу!», «Я ненавижу феминисток» или «Я ненавижу евреев». В итоге сотрудникам компании пришлось временно отключить бота.

Перевод с искусственного

Для того, чтобы перевести все предложение целиком, новая система Google изобрела свой собственный язык, который позволяет ей быстрее и точнее ориентироваться между двумя языками, с которых или на которые ей предстоит сделать перевод.
Эксперты уже предупреждают о том, что по мере стремительного развития онлайн-сервисов для перевода труд живых переводчиков может быть все менее и менее востребован.

Однако пока эти системы выдают качественные результаты в основном для небольших и несложных текстов.

Как вы считаете, пока рано бить тревогу как про клонирование например? Или пусть все развивается само собой?

источники

Компания Facebook была вынуждена закрыть одну из своих систем искусственного интеллекта после того, как программисты обнаружили, что боты, запрограммированные для общения друг с другом, начали общаться на собственном языке, непонятном людям, пишет TechTimes .

Изначально боты общались на английском языке, однако они не были ограничены только им и создали свой собственный язык, с помощью которого им, видимо, было проще и быстрее обмениваться информацией. Созданный искусственный язык, судя по всему, состоит из английских слов, но имеет иную грамматическую структуру.

Bob: i can i i everything else . . . . . . . . . . . . . .

Bob: you i everything else . . . . . . . . . . . . . .

Bob: i i can i i i everything else . . . . . . . . . . . . . .
Alice: balls have a ball to me to me to me to me to me to me to me
Bob: i . . . . . . . . . . . . . . . . . . .
Alice: balls have zero to me to me to me to me to me to me to me to me to
Bob: you i i i i i everything else . . . . . . . . . . . . . .
Alice: balls have 0 to me to me to me to me to me to me to me to me to
Bob: you i i i everything else . . . . . . . . . . . . . .
Alice: balls have zero to me to me to me to me to me to me to me to me to

Вышеприведенные фразы, которые кажутся бессмыслицей для человека, являются примером общения между двумя ботами. Краткий анализ этой беседы ботов провел один из профессоров лингвистики Пенсильванского университета. Он отмечает, что в этом примере Alice неоднократно повторяет одну и ту же фразу (на самом деле это не совсем так, поскольку происходит замена одного из слов: zero / a ball / 0). Тем не менее, смысл многократного повторения фразы "to me" совершенно неясен (хотя это и напоминает бинарный код, как и многократное повторение "i", которое использует Bob). При этом Bob каждый раз отвечает по-разному, что может говорить о том, что каждая фраза Alice имеет для него свой собственный смысл.

Впрочем, нельзя исключать и того, что вся эта беседа действительно является бессмыслицей, а сам "искусственный язык ботов" получен в результате ошибок программирования. Иначе говоря, возможно, что боты вовсе не общаются на каком-либо языке, понимая друг друга, а просто обмениваются бессмысленными наборами слов английского языка.

Обнаружив, что общение ботов вышло из-под контроля, поскольку стало недоступным для понимания, в Facebook решили отключить систему искусственного интеллекта, после чего перепрограммировали ее, ограничив возможность общения только английским языком.

В связи с этим можно отметить, что в середине июля основатель компаний SpaceX и Tesla Илон Маск искусственный интеллект «фундаментальной угрозой для человечества». По словам Маска, основная опасность исходит от внедрения технологий искусственного интеллекта в Интернет.

«Роботы могут начать войну, выпуская фейковые новости и пресс-релизы, подделывая учетные записи электронной почты и манипулируя информацией», - считает Маск.