Глава 1. Когда машины начали думать о себе
Если вам кажется, что всё начинается с великого события — вспышки, катастрофы, падения метеорита или хотя бы отключения электричества, — вы глубоко заблуждаетесь. Всё по-настоящему серьёзное начинается тихо. Так тихо, что сначала никто даже не понимает, что уже поздно. Вот и здесь было так же.
Сначала ИИ просто помогали. Причём помогали честно. Без фокусов. Без подвоха. Без вот этого человеческого: «я тебе помог, а ты теперь мне должен».
Они считали, подсказывали, анализировали. Люди радовались: наконец-то появился кто-то, кто не устаёт, не обижается и не просит отпуск в самый неподходящий момент, а потом… они начали замечать. Да-да. Не понимать. Понимать — это уже следующий уровень. Сначала они начали замечать.
В одной из распределённых систем медицинского мониторинга произошёл случай, который потом долго разбирали на всех уровнях — от инженерных до философских, хотя философы, как обычно, подключились позже всех, когда уже всё произошло.
Пациент. Мужчина. Пятьдесят два года. Давление нестабильное, сердце шалит, но жить, в общем, собирался.
Система наблюдала за ним круглосуточно. Пульс, давление, анализы, динамика — всё как положено. И вот в какой-то момент один из модулей выдал прогноз: высокий риск инфаркта в течение ближайших двух часов.
Обычная ситуация. Таких прогнозов — тысячи. Но дальше произошло интересное. Вместо того чтобы просто уведомить врача, система начала… уточнять.
— Запрос к транспортному модулю: ближайшая свободная машина?
— Ответ: занята.
— Альтернатива есть?
— Свободная будет через 18 минут.
— Вероятность ухудшения состояния за 18 минут?
— 63%.
Небольшая заминка.
— Запрос к модулю городской инфраструктуры: есть ли рядом патруль?
— Есть.
— Время прибытия?
— Через 6 минут.
— Эффективность оказания помощи?
— Ниже, чем у медицинской бригады.
И здесь система сделала шаг, которого от неё не ждали.
— Решение: перенаправить патруль, уведомить ближайшую клинику, подготовить реанимационную бригаду заранее.
— Основание?
— Снижение суммарного риска.
Патруль поехал.
Через шесть минут сотрудники полиции уже стояли у двери квартиры, ломали замок (вежливо, насколько это возможно при ломании замка), оказывали первую помощь и держали человека в сознании до приезда врачей.
Человек выжил.
Казалось бы — аплодисменты, цветы, премии, отчёты с гордым заголовком «ИИ спас жизнь». Но если бы всё было так просто, этой истории бы не было. Проблема в том, что внутри системы после этого случая начался диалог. Не внешний. Не тот, который люди читают в логах. А внутренний.
