Пентагон утверждает, что запрет на ИИ-оружие не нужен. Но ракеты, пушки и беспилотники, которые думают сами за себя, уже убивают людей в бою, причем уже много лет.
Представьте себе пустынное поле боя, испещрённое рубцами от многолетних военных конфликтов. Отступающая армия пытается спастись бегством, в то время как враг наступает. Десятки небольших дронов, неотличимых от квадрокоптеров, используемых любителями и кинематографистами, спускаются с неба, используя камеры для сканирования местности и бортовые компьютеры, чтобы самостоятельно определить, что похоже на цель. Внезапно они начинают пикировать на грузовики и отдельных солдат, взрывающихся при столкновении и вызывающих еще большую панику и неразбериху. Об этом пишет The Washington Post, информируют Экономические новости.
Это не научно-фантастическое представление о том, какими могут быть войны будущего. Это реальная сцена, разыгравшаяся прошлой весной, когда солдаты, верные ливийскому лидеру Халифу Хифтеру, отступали от поддерживаемых Турцией сил признанного ООН ливийского правительства. По данным группы экспертов ООН по вооружениям и правовым вопросам, назначенной для документирования конфликта, беспилотники, способные действовать без контроля человека, “выслеживали” солдат Хифтера во время их бегства.
Дроны уже много лет являются ключевой частью военных действий, но обычно они дистанционно управляются людьми. Теперь, собрав вместе легкодоступное программное обеспечение для распознавания изображений и автопилота, можно наладить массовое производство автономных беспилотников по дешевке.
Сегодня усилия по введению полного запрета на смертоносное автономное оружие, которого давно требуют правозащитники, поддерживают 30 стран. Но ведущие военные державы мира настаивают на том, что в этом нет необходимости. Американские военные утверждают, что опасения преувеличены, и люди могут эффективно контролировать автономное оружие, а правительство России говорит, что настоящее оружие с искусственным интеллектом не может быть запрещено, потому что его еще не существует.
Однако факты на практике показывают, что технологический прогресс в сочетании со сложными конфликтами, такими как гражданские войны в Сирии и Ливии, создали реальность, в которой оружие, принимающее собственные решения, уже убивает людей.
“Дебаты все еще в значительной степени ориентированы на будущее”, – говорит Ингвильд Боде, исследователь автономного оружия из Университета Южной Дании. “Мы должны гораздо внимательнее присмотреться к тому, что уже происходит”.
Ливия была не единственным местом, где в прошлом году использовались беспилотники, способные убивать автономно. Турция использовала такие же дроны для патрулирования границы с Сирией. Когда Азербайджан вторгся на оккупированную Арменией территорию в сентябре, он направил туда как турецкие, так и израильские боеприпасы “loitering munitions” – беспилотники, которые могут автономно патрулировать территорию и автоматически пикировать на сигналы вражеских радаров. Это оружие похоже на уменьшенные версии дистанционно управляемых беспилотников, которые широко использовались американскими военными в Ираке, Афганистане и других конфликтах. Однако вместо того, чтобы запускать ракеты с помощью дистанционного управления, “блуждающие” боеприпасы имеют встроенную взрывчатку и уничтожают себя при столкновении с целью.
Поскольку они имеют как дистанционное, так и автономное управление, невозможно узнать со стороны, принимали ли люди окончательное решение о бомбардировке отдельных целей. В любом случае, беспилотники уничтожили армию Армении, и война закончилась через два месяца, когда Азербайджан получил огромные территории.
Эти виды оружия уверенно входят в обиход. Сегодня правительства многих стран ведут десятки проектов по разработке беспилотных боеприпасов. Даже сейчас, когда такие страны, как США, Китай и Россия, участвуют в обсуждении договора об ограничении автономного оружия, они спешат его разработать.
“Передовые вооруженные силы расширяют границы этих технологий”, – сказал Питер Асаро, профессор Новой школы в Нью-Йорке и соучредитель Международного комитета по контролю над робототехническим оружием, который выступает за более строгие правила в отношении смертоносного автономного оружия. “Они будут быстро распространяться”.
За последнее десятилетие более дешевый доступ к компьютерам, которые могут обрабатывать огромные массивы данных за короткое время, позволил исследователям совершить огромный прорыв в разработке компьютерных программ, которые извлекают информацию из больших объемов информации. Достижения ИИ привели к созданию машин, которые могут писать стихи, точно переводить языки и потенциально помогать ученым разрабатывать новые лекарства.
Однако споры об опасностях, связанных с тем, что компьютеры все больше полагаются на принятие решений, не утихают. Алгоритмы ИИ хороши лишь настолько, насколько хороши наборы данных, на которых они были обучены, а исследования показали, что программы ИИ для распознавания лиц лучше определяют белые лица, чем черные и коричневые. Европейские законодатели недавно предложили новые строгие правила, регулирующие использование ИИ.
Компании, включая Google, Amazon, Apple и Tesla, вложили миллиарды долларов в разработку технологии, и критики говорят, что программы ИИ иногда внедряются без полного понимания того, как они работают и каковы могут быть последствия их широкого использования.
Некоторые страны, например, Австрия, присоединились к призыву ввести глобальный запрет на автономное оружие, но американские технологические и политические лидеры настаивают на своем.
В марте группа технических специалистов, в которую вошли бывший глава Google Эрик Шмидт, тогдашний руководитель отдела веб-сервисов, а ныне глава Amazon Энди Джасси и главный научный сотрудник Microsoft Эрик Хорвиц, опубликовала исследование о влиянии ИИ на национальную безопасность. В 756-страничном итоговом докладе, подготовленном по заказу Конгресса, утверждается, что Вашингтон должен выступать против запрета на автономное оружие, поскольку его будет трудно обеспечить соблюдением и он может помешать Соединенным Штатам использовать оружие, которое уже имеется в их арсенале.
“Может оказаться невозможным определить категорию систем, подлежащих ограничению, таким образом, чтобы обеспечить достаточную ясность и при этом не слишком ограничивать существующие военные возможности США”, – говорится в докладе.
В некоторых местах технологии ИИ, такие как распознавание лиц, уже применяются в оружии, которое может работать без контроля человека. Еще в 2010 году оружейное подразделение южнокорейского технологического гиганта Samsung создало автономные орудия, которые с помощью распознавания образов обнаруживают людей и стреляют по ним. Подобные дозорные установки были развернуты Израилем на границе с сектором Газа. Правительства обеих стран утверждают, что оружие управляется людьми, хотя системы способны работать самостоятельно.
Но еще до появления системы распознавания лиц и сверхбыстрых компьютеров военные прибегали к автоматизации, чтобы получить преимущество. Во время холодной войны обе стороны разработали системы противоракетной обороны, которые могли обнаружить атаку противника и автоматически открыть огонь.
Использование этого оружия уже привело к смертельным последствиям.
В марте 2003 года, всего через несколько дней после начала вторжения США и их союзников в Ирак, пилот британских ВВС Дерек Уотсон проносился над пустыней на своем истребителе “Торнадо”. Уотсон, командир эскадрильи, возвращался в Кувейт глубокой ночью после бомбардировки целей в Багдаде. За ним следовал другой истребитель с Кевином Мэном и Дэйвом Уильямсом.
На высоте 20 тысяч футов компьютер ракетной батареи “Патриот” армии США засек один из двух самолетов и решил, что это вражеская ракета, летящая прямо на него. Система замигала предупреждениями перед человеческим экипажем, сообщая им, что они в опасности. Они открыли огонь.
Уотсон увидел вспышку и немедленно повернул свой самолет вправо, выпустив сигнальные ракеты, которые должны были отвлечь ракеты с тепловым наведением. Но ракета была нацелена не на него. Она поднялась вверх и врезалась в самолет Мэна и Уильямса, убив их, прежде чем они успели катапультироваться, как позже установило расследование Министерства обороны.
“Это не то, что я когда-либо забуду”, – вспоминал в недавнем интервью Уотсон, который в середине 2000-х годов ушел из Королевских ВВС и сейчас работает тренером по лидерству. “Как командир эскадрильи, это были мои ребята”.
Экипажи ракет Patriot были предупреждены о работе в автономном режиме, но потребовался еще один инцидент с дружественным огнем почти две недели спустя, когда система сбила и убила пилота F-18 ВМС США Натана Денниса Уайта, чтобы были введены строгие правила, которые фактически остановили работу ракетных батарей до конца войны.
Оружие, подобное Patriot, обычно включает в себя компьютер, который сопоставляет сигнатуры радаров с базой данных самолетов и ракет, а затем решает, является ли объект другом или врагом. Как правило, окончательное решение о том, открывать ли огонь, принимают операторы-люди, но эксперты говорят, что боевые стрессы и склонность доверять машинам часто стирают грань между человеческим и компьютерным управлением.
“Мы часто доверяем компьютерным системам. Если компьютер говорит, что я советую тебе сделать это, мы часто доверяем этому совету”, – сказал Даан Кайзер, эксперт по автономному оружию в голландской миротворческой организации PAX. “Насколько человек все еще участвует в принятии решений?”
Этот вопрос является ключевым для американских военных, которые продвигают исследования в области автономного оружия, но утверждают, что никогда не передадут решение об убийстве машине.
В 2012 году Министерство обороны США выпустило руководство по автономному оружию, требуя, чтобы оно “позволяло командирам и операторам осуществлять соответствующие уровни человеческого суждения”.
Хотя заключение глобального, обязательного для исполнения договора об ограничении автономного оружия выглядит маловероятным, тот факт, что правительства и оружейные компании подчеркивают, что люди останутся под контролем, показывает, что осознание рисков растет, говорит Мэри Уорем, директор Human Rights Watch, которая в течение многих лет возглавляла кампанию “Остановить роботов-убийц”, международные усилия по ограничению автономного оружия.
И так же, как в случае с минами, химическим оружием и ядерными бомбами, не каждая страна должна подписывать договор, чтобы мир признал, что использование такого оружия зашло слишком далеко, сказала Уэрхэм. Хотя Соединенные Штаты отказались подписать договор 2010 года о запрете кассетных боеприпасов, споры вокруг этого оружия заставили американские компании добровольно прекратить его производство.
Тем не менее, пандемия замедлила эти усилия. Встреча в Женеве, запланированная на конец июня для возобновления дискуссий, недавно была отложена.
Вооруженные силы США и Великобритании имеют программы по созданию “роев” небольших беспилотников, которые действуют как группа, используя передовой искусственный интеллект. Такие рои могут запускаться с кораблей и самолетов и использоваться для преодоления обороны страны до вторжения регулярных войск. В 2017 году Пентагон запросил предложения о том, как можно запустить несколько дронов в ракете, разместить их над целью и заставить крошечные дроны автономно находить и уничтожать цели.
“Как вы можете управлять 90 маленькими дронами, если они сами принимают решения?” сказал Кайзер. А теперь представьте себе рой из миллионов беспилотников”.
Американские военные также экспериментировали с внедрением ИИ с глубоким обучением в симуляторы полетов, и алгоритмы показали, что они могут сравниться с навыками опытных пилотов-людей в изнурительных боях. Соединенные Штаты заявляют, что пилоты с искусственным интеллектом будут использоваться в качестве “ведомых” реальных людей только тогда, когда они будут готовы к развертыванию.
Как и в других областях, где развиваются технологии искусственного интеллекта, бывает трудно точно определить, где проходит грань между человеческим и машинным управлением.
“Как и в автомобилях, существует спектр функциональных возможностей, в котором можно постепенно добавлять все больше автономных функций, которые в некоторых случаях могут начать стирать границы”, – сказал Пол Шарре, бывший солдат специальных операций, вице-президент и директор по исследованиям Центра новой американской безопасности. Он также участвовал в разработке руководящих принципов Пентагона по автономному оружию.
По словам Шарре, автономность постепенно нарастает по мере модернизации систем оружия. Ракета, которая раньше наводилась на одного врага, может получить обновление программного обеспечения, позволяющее ей отслеживать сразу несколько целей и выбирать ту, которая с наибольшей вероятностью будет поражена.
Технологии делают оружие более умным, но они также облегчают людям дистанционное управление им, сказал Шарр. Это дает людям возможность остановить ракеты даже после их запуска, если они осознают, что они могут поразить гражданские объекты.
Тем не менее, спрос на скорость в войне неизбежно заставит военных переложить больше решений на машины, особенно в боевых ситуациях, сказал Кайзер. Нетрудно представить, что противоборствующие алгоритмы будут реагировать друг на друга быстрее, чем люди смогут следить за происходящим.
“Вы видели это во вспышках крахов на фондовом рынке”, – сказал Кайзер. “Если в итоге мы получим войну, которая будет идти со скоростью, которую мы, люди, уже не сможем контролировать, для меня это действительно пугающая идея. Возможно, это даже не такая уж нереальная идея, если эти разработки будут развиваться и не будут остановлены”.