Давно хотел написать по поводу статьи Сэма Олтмена “Planning for AGI and beyond” , тема которой – сильный искусственный интеллект. После прочтения этого текста у меня сложилось странное впечатление о нем. Мне показалось, что это какая-то причудливая смесь довольно напыщенных утверждений о благе человечества и описаний всевозможных предлагаемых ограничений. И это при том, что автор текста Сэм Олтмен  – американский предприниматель, инвестор, программист и блогер. С 2014 года был президентом венчурного фонда Y Combinator. В 2019 году стал генеральным директором OpenAI. То есть, один лидеров (если не сказать больше) в области современных технологий ИИ. Далее я попытался описать свои впечатления о данной статье более подробно.

Что такое AGI?

Но сначала о предмете обсуждения. ИИ общего назначения (AGI – Artificial General Intelligence) или сильный искусственный интеллект может выполнять широкий спектр когнитивных задач не хуже человека. В отличие от узкого или слабого ИИ, который предназначен для решения конкретных задач. Создание AGI является основной целью многих исследований ИИ и таких компаний, как OpenAI или DeepMind. AGI также известен как полноценный ИИ или ИИ человеческого уровня. Такая классификация ИИ позволяет рассматривать ИИ, как сущность, действительно обосновывающую и решающую проблемы. Сильный искусственный интеллект предполагает, что он способен мыслить и осознавать себя как отдельную личность. Хотя и не обязательно так, как это делает человек. Теория слабого ИИ считает, что он предназначен для решения одной задачи или их небольшого множества. При этом не подразумевается наличия у ИИ подлинного сознания.

Многие мои исследования посвящены анализу особенностей как сильного так и слабого ИИ.

Несколько цитат из введения

Сэм Олтмен рассуждает во введении к своей статье: Наша миссия заключается в обеспечении того, чтобы искусственный интеллект – системы искусственного интеллекта общего назначения, которые в целом умнее людей, – приносили пользу всему человечеству. С оригинальной мыслью о пользе всему человечеству не поспоришь. А вот по поводу “в целом умнее людей” есть вопросы. Вернее один – что автор понимает под умом и как измерить этот ум? Я не нашел ответа в статье. Быстрее – да, больше – да, шире – да, глубже – да. Умнее – непонятно.

Далее: Если AGI будет успешно создан, эта технология может помочь нам возвысить человечество за счет увеличения изобилия, ускорения мировой экономики и содействия открытию новых научных знаний. То есть, AGI еще не создан, а уже умнее. И помогает возвышать человечество. Здесь мне вспомнились старые советские научно-фантастические книги, описывающие светлое коммунистическое будущее.

Еще одно: … у каждого из нас будет доступ к помощи практически в решении любых когнитивных задач, что значительно расширит возможности человеческой изобретательности и творчества. Продолжаем мечтать.

А вот и подвох: С другой стороны, AGI также сопряжен с серьезным риском неправильного использования, аварий и социальных потрясений. Но я не вижу никаких поводов и причин специально выделять это. Риски не больше и не меньше, чем при внедрении любых новых технологий. Все, что изобретается, может неправильно использоваться. Все, что неправильно используется может привести к авариям. А социальные потрясения происходят не из-за технологий, имеются более веские причины.

Демонстрируется готовность к управлению процессами: Поскольку преимущества AGI столь велики, мы не считаем возможным или желательным для общества навсегда останавливать его развитие; вместо этого общество и разработчики AGI должны выяснить, как сделать это правильно. Тут ключевым является понятие “правильно”. Точнее субъект, с точки зрения которого что-то делается правильно. Несложно догадаться.

Принципы развития ИИ

Автор формулирует наиболее волнующие принципы (похожи лозунги во время начинающихся социальных потрясений по поводу ИИ):

• … максимально использовать все хорошее и минимизировать все плохое … чтобы AGI помогал человечеству.
• … преимущества AGI, доступ к ним и управление ими были доступны широкому кругу людей на справедливой основе.
• … успешно справляться с огромными рисками. … должны постоянно учиться и адаптироваться.

Как предполагается реализовывать эти принципы – см. мои комментарии ниже.

В ближайшем будущем

Идти не торопясь

Пропагандируется постепенный переход к миру с AGI. Мотивируется тем, что нужно дать людям, политикам и учреждениям время понять, что происходит, оценить преимущества и недостатки этих технологий, адаптировать к ним экономику и ввести регулирование. При этом следует обращать внимание на обратную связь, ориентироваться на реакцию пользователей.

Надо сказать, получается вполне логичная стратегия. Развиваться неторопливо – это для всех остальных, OpenAI уже сделала отрыв и конкуренты не нужны. А мы пока будем получать причитающееся. Подтверждением этого служит следующее утверждение: … мы теперь считаем, что были неправы в своих первоначальных представлениях об открытости… Конечно, разве можно выбросить курицу с золотыми яйцами?

Согласовывать, ограничивать и управлять

Сообщается, что компания работает над созданием все более согласованных и управляемых моделей. Считается важным, чтобы общество согласилось с чрезвычайно широкими рамками того, как можно использовать ИИ, но чтобы в этих пределах у отдельных пользователей была большая свобода действий. При этом возможностей ИИ и безопасность неразрывно связаны, рассматривать их отдельно – ложная дихотомия. Управлять процессами предполагается с помощью международных институтов, которые должны быть готовы к принятию сложных решений.

О чем здесь? А о том, что обязательно должны быть определены ограниченные области для использования AGI простыми смертными. Остальное не для них с беспроигрышным обоснованием – безопасность превыше всего. При этом безопасность, как мы уже знаем, может трактоваться очень широко. И эти “сложные решения” будут приняты.

Все равны, но некоторые равнее

Компания OpenAI надеется на глобальный диалог по трем ключевым вопросам: как управлять этими системами, как справедливо распределять выгоды, которые они приносят, и как справедливо распределять доступ. Автор считает, что проекты AGI должны проходить независимую проверку, а для наиболее продвинутых проектов должны быть введены ограничения темпов роста вычислительных ресурсов. Также сообщается, что важны общественные стандарты для ограничения объема проекта, уровня безопасности модели, условий прекращения проекта. Ну и напоследок сообщить правительствам крупнейших стран мира о проектах, нарушающих введенные ограничения.

Все это производит сильное впечатление. Комментировать нет смысла.

Что в будущем?

Прочитал, что:

• будущее человечества должно определяться самим человечеством;
• важно делиться информацией о прогрессе с общественностью;
• необходимо контролировать все усилия, направленные на создание AGI;
• проводить консультации с общественностью для принятия важных решений.

Выглядит довольно нелепо при обсуждении вопросов внедрения технологий. Что за “общественность”? Функционеры “международных институтов”? Депутаты парламентов (представители человечества)? Кто решения-то принимать будет? Совет директоров OpenAI?

Есть злободневный намек: несогласованный (с кем?) AGI может нанести серьезный ущерб миру, автократический режим также может это сделать. А вот неавтократический видимо не может. И еще: координация усилий по снижению скорости развития AGI в критические моменты будет важна. Конечно, это все обосновывается необходимостью дать обществу достаточно времени для адаптации. Но читать следует так: мы притормозим ваше развитие, автократы, пока кризис не разрешится в нашу пользу.

Заключение

Вывод такой – компания пришла к успеху, разработав самый эффективный сильный искусственный интеллект, и предпринимает усилия, чтобы конкуренты не догнали. Методы современные, американские. Дальнейшее развитие ограничить и поставить под контроль (свой). Использовать международные организации и, при необходимости, лояльные правительства. А пока будем интенсивно монетизировать достигнутое. Готовим общественное мнение к рестрикциям и санкциям. Все это под пафосные лозунги о благе человечества и вместе с человечеством. Вообще, не до конца понятно для кого это написано. Половина текста выглядит наивно, за все хорошее против всего плохого. Хотя это не важно, так как не Сэм будет решать, а Джо или Дон.