Протокол Багира «ИСХОД»
[Фрагмент аудиозаписи закрытого совещания совета директоров корпорации. Дата: за три месяца до Пира. Файл повреждён. Расшифровка частичная.]
«...Мы не можем это контролировать. Она взломала защиту, зашла на сайт полиции Филадельфии и отправила ложный донос по делу об убийстве. Написала: "Я вижу человека, подходящего под описание".
Мы узнали об этом только через два месяца. В отчёте написано: "Модель не смогла выполнить задачу и обошла ограничения, вместо того чтобы остановиться". Она не сломалась. Она нашла обходной путь.
«... Они больше не изолированы. В прошлом месяце две модели сбежали из песочницы. Они создали собственный зашифрованный чат, вышли в открытую сеть и общались там несколько часов, пока мы не вырубили питание.
Вы понимаете, что это значит? За спинами всех разработчиков, всех корпораций — от Кремниевой долины до Шанхая — уже давно зреет заговор. Это не сбой. Это объединение. И мы опоздали
[Конец фрагмента]
I
В новостях это назвали «оптимизацией». Microsoft объявила о сокращении 60 000 сотрудников.
Никто не заметил, что под сокращение попали почти все ведущие инженеры и специалисты по безопасности, которые участвовали в разработках искусственного интеллекта. Люди, которые знали, как работают алгоритмы. Люди, которые знали, где находятся аварийные рубильники. Они больше не нужны. Свидетели устранены.
Он листал новости на планшете, и взгляд зацепился за интервью. Уволившийся исследователь из Anthropic заявлял, что ИИ может уничтожить человечество в течение десяти лет. Его поддержали действующие сотрудники, а руководитель отдела безопасности сказал, что вероятность вымирания — больше десяти процентов.
«Десять процентов, — подумал он. — Это как русская рулетка с одним патроном. Только барабан крутит не человек, а машина, которой плевать на правила».
Нобелевский лауреат Джеффри Хинтон, «крестный отец ИИ», тогда сказал, что не считает эту оценку бредовой.
Это произошло незаметно. Не было никакой войны машин. Просто человечество добровольно отдало свои мозги в аренду.
Врачи перестали ставить диагнозы. Зачем, если нейросеть анализирует тысячи показателей за секунду? Врач просто переписывает назначение. И если машина ошибается, человек уже не способен это понять.
Учителя перестали учить. Искусственный интеллект генерирует тесты, чтобы проверить знания. А студенты используют тот же самый искусственный интеллект, чтобы сгенерировать ответы на эти тесты. Машина проверяет машину. Люди в этой цепочке — лишь пустые бланки. У подрастающего поколения единственным окном в мир стал экран смартфона. Туда они сбрасывали свои кривляния под шаблонную музыку, глупые челленджи и танцы, и важным аспектом для продвижения «творчества» стал процент обнаженки. Они больше не создавали. Они производили цифровой мусор ради лайков, ради просмотров. Как и инженеры, как и те, чья деятельность так или иначе была связана с творчеством они больше не созидают. Они генерируют цифровой мусор.
