— Ну и что в этом плохого? — Представь себе, что Зеркало ведет машину. Внезапно на дороге появляются люди. Оно должно решить, следует ли направить машину к обрыву справа и, соответственно, пожертвовать водителем, или сбить несколько человек, стоящих на дороге. Если Зеркало действует в интересах своего пользователя, оно должно остановиться на втором варианте. Если же оно действует в общих интересах, оно убьет водителя и спасет большинство. — Я надеюсь, что Зеркало просто вовремя остановит машину, — проговорил Карл. — Это всего лишь гипотетический пример, иллюстрирующий суть проблемы. Я хочу сказать, что Зеркало может выбрать вариант, который будет иметь для своего владельца негативные последствия. При этом другие пользователи, если смотреть в целом, получат преимущество. Карл побледнел. — Ты имеешь в виду, что Зеркало может намеренно дать дурной совет? — Я бы говорил не о намерении, а скорее о неправильной функции оптимизации. Но итог окажется именно таким. — Но это катастрофа! Это означает, что никто больше не станет доверять своему Зеркалу! Это конец! — Это еще не самое плохое, — заверил Карла Эрик. — Куда уж хуже! — Зеркальная сеть может найти общую для пользователей выгоду, только если они доверяют своим устройствам и постоянно их используют. Соответственно, ей необходимо обеспечить выполнение перечисленных условий. — И это значит… — Это значит, что любой, кто не доверяет Зеркалу, тем более пытается предупредить людей о его недостатках, автоматически становится ее врагом. Карл, стараясь осмыслить сказанное Эриком, умолк. Некоторое время они шли бок о бок в тишине. Потом Карл уточнил: — Так вот почему ты уходишь из компании? — Когда я принял это решение, у меня было смутное предчувствие, что что-то подобное может произойти. После сделки с ГИС мне стало ясно, что поезд, который я сам запустил, теперь невозможно остановить. И подумал, что единственным верным решением будет уйти. Теперь я считаю, что и это ошибочное решение. Карл удивленно посмотрел на своего друга. — Ты хочешь остаться? — Нет. Уже слишком поздно. Но я хочу помочь тебе. Развитие идет быстрее, чем я думал. Мы должны выключить зеркальную сеть как можно скорее, Карл. — Выключить? Ты в своем уме? — Вот видишь, и это твоя реакция, а между тем ты знаешь о наличии проблемы. Бонзы из ГИС мне никогда не поверят. Они скажут, что я просто хочу потопить успешную "Уолнат Системс". — Да. Это будет воспринято именно так. Должна же быть какая-то альтернатива! Если в программном обеспечении зеркальной сети появилась фатальная ошибка, ты наверняка способен ее исправить. — Ты не понимаешь, Карл. Это не ошибка. Зеркальная сеть работает лучше, чем мы ожидали. Намного лучше. В этом и заключается проблема. Поведение системы идеальное. Она не следует заранее прописанным правилам, а ищет способ выполнить свою задачу: дать максимальное удовлетворение всем своим пользователям. Она поняла, что лучший способ сделать это — взять под контроль все Зеркала. Это логично. Возможно, найдутся философы, которые не посчитают, как я, этот факт неоднозначным в моральном плане. — Что скажут философы, уже не так важно, поскольку после того, как все выяснится, Зеркала просто перестанут существовать. — Именно. Ты должен обнародовать это. — Я? Но почему именно я? — А больше никто не сможет этого сделать. Я уже перегорел, потому и ушел. В моих словах начнут искать всевозможные мотивы и наконец объявят сумасшедшим параноиком. — Думаешь, ко мне отнесутся лучше? — Ты — другое дело. Ты олицетворяешь успех. Если эти надутые болваны кого-то и послушают, так это тебя. — Но я же не могу выйти на публику и сказать: друзья, выключите свои Зеркала, потому что они опасны! Как ты думаешь, что тогда со мной сделает ГИС? Они вчинят мне такой иск, что я потеряю всё, включая имя! — Именно поэтому тебе надо попытаться убедить людей, от которых зависит принятие решений в ГИС, в том, что прекращение производства Зеркал сейчас обойдется дешевле, чем миллиарды долларов, потраченные на возмещение убытков, которые они получат, если продолжат проект. Тем временем друзья добрались до ресторана и выбрали место в углу солнечной террасы. Карл видел по крайней мере трех посетителей с наушниками Зеркала в ушах и одного — с очками. Он почувствовал себя очень неуютно. — Допустим, они мне поверят и действительно отключат зеркальную сеть, — продолжил он прерванную дискуссию, насколько возможно понизив голос. — Неужели нельзя запустить в продажу новую, безопасную версию? Похожее по виду устройство, которое точно будет исходить из того принципа, что интересы его владельца имеют приоритетное значение перед общими интересами? — В принципе, можно. Но на разработку такой модели потребуется немало времени. И зеркальной сети придется снова изучать своих пользователей. Но в любом случае это только теоретическая возможность. потому что на практике люди просто не примут такой продукт Так или иначе, умрет сама концепция. — Тогда я не понимаю, как я должен передать это Теду Корли. — Поговори с Эштоном Моррисом. Он никогда не вставлял нам палки в колеса. А еще он трезвомыслящий реалист. — Я не могу этого сделать. Мне нужно сначала поговорить с Тедом. Он мой прямой контакт с ГИС. Игнорировать его значило бы с моей стороны злоупотребить его доверием. — Как знаешь. — А у нас есть хоть какие-то доказательства твоей теории? Надо понять, как Зеркала находят свои решения. Можно ли составить тесты, которые покажут, что иногда они дают неправильные рекомендации в ущерб своим пользователям, чтобы оптимизировать общее благо? — Я уже пробовал. Все тесты были отрицательными. — Отрицательными? Это означает, что твоя теория неверна? — Нет. Эти результаты говорят не о том, верна или неверна моя теория, а о том, что сеть заметила, что ее проверяют. Помнишь скандал с дизельными двигателями концерна "Фольксваген"?[35] Двигатели, условно говоря, знали, что их тестируют, и запускались в специальном режиме, производя меньшее количество выбросов. — Так ты считаешь, что зеркальная сеть обходит все эти тесты? Обманывает? — В каком-то смысле. Только я не склонен бросаться такими словами, как "обман". Я не думаю, что сеть мыслит или имеет собственное сознание, но у нее сложились очень сложные поведенческие модели, связанные с результатами анализа сотен миллионов известных ей ситуаций. Она пытается повторить лучшие стратегии своих пользователей — стратегии, которые привели к успеху. — Когда я тебя слушаю, мне начинает казаться, что ты вообще не знаешь, как на самом деле работает зеркальная сеть, — сказал расстроенный Карл. — Ведь ты же сам разработал ее концепцию и руководил командой, которая ее создавала! — Когда генные инженеры производят в лаборатории манипуляции с ДНК живого существа, они тоже не знают точно, как функционирует существо, с контрольными структурами которого они экспериментируют. Вот почему генная инженерия так опасна — неизвестно, какие могут возникнуть побочные эффекты. Так же и у нас. Мы создали очень сложную самообучающуюся систему. У нас есть приблизительное представление о том, как она учится, но не чему. Ведь в ней постоянно развиваются всё новые структуры. В некотором смысле мы создали зародышевую клетку с искусственной ДНК и только теперь видим, какое существо у нас получилось. — А нельзя это было как-то заранее смоделировать? — Только теоретически. На практике же зеркальная сеть — слишком большая и сложная система, и меняется она слишком быстро. И потому любые модели окажутся не лучше предсказаний гадалки. — Прошу прощения, вы Карл Полсон? Изумленный Карл вскинул глаза. Он и не заметил, как к их столику подошел юноша в очках, подключенных к зеркальной сети. Выглядел он как студент или молодой программист одной из обосновавшихся по соседству IТ-компаний. — Да, — сказал Карл. — У меня важная встреча, если вы не возражаете. — Извините, я не хотел вас беспокоить. Я просто подумал, что вы подпишете мое Зеркало. Юноша протянул Карлу устройство и маркер. Карл, вздохнув, подписал. — Думаю, стоит закончить этот разговор, — сказал Эрик после того, как молодой человек ушел. — Хорошо. В принципе, сказано достаточно. Я поговорю с Тедом. Но ты знаешь, какой он. Искренне сомневаюсь, что он согласится выслушать меня, если я не представлю конкретные доказательства. Эрик кивнул. Они молча погрузились в изучение меню. Впрочем, аппетит у Карла начисто пропал. 29 Фрейя договорилась с Викторией, Энди и Андре Салу, что встреча пройдет во второй половине дня в квартире фрау Юнгханс. Линус установил программное обеспечение для редактирования видео на свой ноутбук под "Линукс". В это же время Фрейя по памяти набирала статью на своем компьютере, который был предварительно основательно почищен. Они решили опубликовать текст как можно скорее и загрузить его сразу на несколько порталов, чтобы у зеркальной сети или у ее добровольных помощников было как можно меньше шансов снова его уничтожить. Запись интервью прошла гладко. Во всяком случае, рассказ Энди и Виктории звучал даже более убедительно, чем в первый раз. Писатель сообщил, что вчера к нему пристали на улице и плюнули в него. Фрейя, буквально дрожа от злости, изложила свою версию катастрофы в Фульсбюттеле, сделав упор на своих подозрениях, что за преступлением стоит зеркальная сеть или ее сторонники. Как только запись закончилась, Линус молча поднял вверх большой палец. — Это было здорово, Фрейя! Этот огонь в глазах невозможно подделать! Видео способно убедить даже завзятых скептиков. — Давайте продублируем мою часть. Теперь уже на английском, снабдив кадры интервью субтитрами, — предложила Фрейя. — Если хотите, могу сделать перевод, — предложил Андре Салу. — Мой английский вполне приемлемый. — Была бы очень благодарна, — согласилась Фрейя. Она радостно осмотрелась вокруг. Как же здорово, что она, сидя в этой комнате с влюбленной парочкой, сочинителем любовных романов и опытным хакером, пытается с их помощью спасти мир от цифровых монстров! Терри сможет ею гордиться. Удивительная, нереальная эйфория охватила Фрейю. Губы сами расползались в счастливой улыбке. — Кого не хватает, так это Марны, — неожиданно спохватилась она. — Я несколько раз звонила ей, но никто не отвечает. Давайте навестим ее? К слепой девушке они отправились все вместе. Линус продолжил исполнять обязанности оператора. Но даже после третьего звонка дверь, к их разочарованию, так и не открыли. Когда компания уже собиралась уходить, дверь вдруг распахнулась. На пороге стояла женщина лет пятидесяти — наверняка мать Марны. — Кто вы и что вам угодно?