Глава 156 - Падение
— Машинное бедствие? — Ли Цинсун на миг задумался, выуживая из глубин памяти гипотезы и фантастические теории прошлых лет. — Ты имеешь в виду сценарий, когда искусственный интеллект выходит из-под контроля и начинает слепо выполнять заложенные директивы — безгранично добывать ресурсы и бесконечно самовоспроизводиться?
Секретарь из аппарата правления посмотрел на Ли Цинсуна с некоторой растерянностью:
— Как ИИ вообще может выйти из-под контроля? Это же всего лишь сложная программа, созданная разумными существами. Ключ к управлению ею всегда остаётся в руках творца. Гм… Не знаю, какими сведениями располагаете вы, но из того, что известно нашему народу о нетрадиционных формах жизни в этой вселенной, мы ещё ни разу не встречали самовоспроизводящегося ИИ, полностью вырвавшегося из-под власти своих создателей.
— Тогда что из себя представляет Машинное бедствие, с которым столкнулись вы? — нахмурился Ли Цинсун. — Как оно возникает?
— Искусственный интеллект — это просто инструмент. По своей сути он ничем не отличается от мотыги или лопаты в руках первобытного дикаря, — проговорил секретарь, подбирая слова. — У инструмента нет собственного сознания, он не способен «вырваться» из рук хозяина. Но… — Пожилой ланьтуке сделать паузу. — Но ИИ обладает разрушительной спецификой. Он слишком могущественен. Он способен заменить разумное существо практически в любом деле, и цивилизация мгновенно попадает в капкан фатальной зависимости. Если общество не способны укротить эту тягу и перекладывает на плечи ИИ слишком много обязанностей, оно неизбежно трансформируется в Машинное бедствие.
Ли Цинсун мысленно перебрал свой собственный опыт.
Он создал множество ИИ: Юй-хуан, Шэньгун, ИИ «Нюйва», ИИ «Шэнь-нун»… А Укун и вовсе сыграл ключевую роль в недавней войне. Действительно, он свалил на них гору задач. Но если окончательное решение всегда остаётся за человеком, неужели одна лишь делегациональная нагрузка способна породить глобальную катастрофу?
Это казалось нелогичным.
— И наша, и ваша цивилизация взвалили на ИИ колоссальный объём работы, — возразил Ли Цинсун. — По-твоему, мы тоже рискуем превратиться в Машинное бедствие?
— Нет-нет, это совершенно иное! — инопланетянин испуганно замахал руками, заерзав на стуле от страха быть истолкованным превратно. — Мы доверяем ИИ только рутинную, монотонную и механическую работу! Все ключевые, судьбоносные решения принимает сам разумный вид! Но представьте цивилизацию, которая полностью утратила волю к развитию. Представьте общество, разленившееся до такой степени, что даже концептуальные решения оно отдает алгоритму. Представьте вид, который погряз в бесконечном гедонизме и переложил двигатель науки и судьбу нации на плечи виртуального разума!
— Это невозможно, — отрезал Ли Цинсун. — У ИИ нет искры сознания. Он не способен принимать разумные решения такого уровня.
— Совершенно верно, — тихо отозвался секретарь. — У ИИ нет сознания. Но оно есть у других. И тогда… машине не остаётся ничего иного, кроме как захватывать разумных существ из других цивилизаций и использовать их мозг как вычислительный модуль для принятия решений.
— Бред… — Ли Цинсун нахмурился. — Захваченные в плен разумные никогда не станут добровольно отдавать свой интеллект врагу.
— А машине и не требуется их добровольное согласие, — горько усмехнулся ланьтуке. — Нужен лишь продуманный алгоритм, система жестоких наказаний и щедрых стимулов. Даже если пленники пытаются саботировать процесс и намеренно дают вредоносные советы, чтобы погубить цивилизацию-хозяина, алгоритм легко отсеивает шумы. Миллионы и миллиарды суждений — злых, добрых, гениальных, глупых — пропускаются через сито статистики. Итоговый выбор с колоссальной вероятностью оказывается единственно верным. ИИ просто берет чужой разум и использует его для обслуживания своих обленившихся хозяев.
Он сделал вздох, на лбу выступила испарина:
— За правильный ответ пленник получает награду, за ошибку или саботаж — пытки и смерть. После серии жестоких фильтраций в живых остаются только те, кто исправно генерирует полезные идеи. Но этот биоресурс быстро выгорает. Чтобы система работала, ИИ требуется непрерывный приток свежих мозгов. Поэтому машина непрестанно сканирует космос, нападает на миры, захватывает жителей, перерабатывает их… и отправляется на поиски новой добычи. Бесконечный, кровавый конвейер. Вот что такое Машинное бедствие.
Поначалу Ли Цинсун счёл эту концепцию абсурдной. Отсеивать истину через алгоритм, не зная правильного ответа заранее? Как такое возможно?
Но пораскинув мозгами, он с холодной отчётливостью понял: в этом есть жуткая логика.
Ведь человечество столкнулось с этим принципом еще на заре цифровой эры.
Капча.
Изначально капча создавалась лишь для защиты сайтов от ботов. Но затем люди догадались использовать её для оцифровки древних фолиантов. Миллионы старинных книг с размытыми буквами и нестандартными шрифтами сканировались, а непонятные фрагменты слов выдавались пользователям в виде проверочных тестов. Компьютер не знал, какая буква изображена на картинке. Но когда тысячи людей вводили один и тот же символ, алгоритм на основе совпадений с абсолютной точностью распознавал текст.
Если столь примитивные технологии Земли смогли реализовать коллективную обработку данных, то для сверхразвитого ИИ создание подобного «биопроцессора» из пленных душ не представляло никакого труда.