Непобедимый искусственный интеллект OpenAI, потерпел поражение

От тараканов в Half‑Life до непобедимых ботов Dota 2. Как развивается искусственный интеллект в играх

Даниил «Smacked» Хвалёв

13 апреля боты OpenAI поборются c чемпионами The International 2018 — OG . Всего несколько лет назад такое противостояние однозначно закончилось бы в пользу людей, но за это время искусственный интеллект научился стоять на миде и побеждать в зеркальном матче протоссов. Рассказываем о самых удачных примерах использования ИИ в игровой индустрии и вспоминаем историю борьбы человека и машины в киберспорте.

Первые шаги ИИ

ИИ — очень важный элемент почти любой одиночной игры. Все персонажи, управляемые компьютером, задают атмосферу и делают максимум, чтобы пользователь почувствовал себя частью их мира. При этом механизм их работы довольно прост. Они следуют заранее заложенной программе, которую игрок активирует своими действиями: если в TES V: Skyrim достать оружие в городе, то ближайший стражник тут же подбежит и прикажет спрятать его подальше.

Valve еще в 1998 году использовала подобные скрипты в Half-Life: даже тараканы имели свои модели поведения — они разбегались при включенном свете, спасались от сапог главного героя и моментально облепляли оторванные части тел монстров. Более продвинутые боты — солдаты HECU — не просто стреляли на поражение, а пытались укрыться во время перезарядки, продвигались вперед, если игрок отступал, и меняли позицию, чтобы уйти из-под огня.

Машина — враг и друг

Со временем противники в играх становились только умнее. Качество искусственного интеллекта быстро стало важным аспектом в оценке новых релизов, а также способом выделиться на рынке. Самым ярким примером отличной работы над ИИ стала оригинальная F.E.A.R. 2005 года от Monolith Productions. Противники очень грамотно оценивали ситуацию в бою и положение игрока — они переговаривались между собой, обходили с флангов, а также вовремя использовали гранаты и быстро переходили на ближний бой при необходимости. Конечно, ни о каком машинном обучении здесь не шло и речи, но ИИ действовал очень разнообразно — это впечатлило всех.

Союзники со временем тоже поумнели. К примеру, в BioShock Infinite и The Last of Us очень тяжело поймать момент, когда Элизабет или Элли ходят кругами, пытаясь найти подходящую точку для взаимодействия с объектами. Их алгоритмы четко определяли окружение игрока и его действия, поэтому напарники всегда были готовы прийти на помощь, если за спину зашел враг или кончились патроны.

Лучший тамада для хоррора

Пожалуй, самым интересным примером ИИ в играх стал Чужой из Alien: Isolation 2014 года. Главной задумкой разработчиков было повторить концепцию Ридли Скотта — режиссера оригинального фильма, — по которой это инопланетное существо было практически неуязвимым идеальным охотником. В отличие от большинства хорроров, где злодеи часто появляются в определенных точках и всегда знают местонахождение главного героя, здесь Чужой не телепортировался и не пугал игрока строго по сценарию.

Для этого алгоритмы поведения монстра разделили на две части. Первая отслеживает игрока и время от времени направляет в его текущую локацию Чужого, а вторая устанавливает маршруты передвижения инопланетного существа и в то же время не дает ему «мухлевать» и заглядывать в определенные безопасные зоны. Разработчики даже позаботились о том, чтобы создать иллюзию постоянного обучения монстра — на определенных этапах он становится более внимательным и хитрым. На самом деле Чужой не использует опыт предыдущих столкновений с игроком и уж точно не собирает информацию, как нейросеть, к которой мы еще вернемся.

StarCraft и искусственный интеллект

Пока искусственный интеллект в одиночных играх становится все более реалистичным, в многопользовательских проектах слово «бот» по-прежнему остается оскорблением в сторону неопытного игрока. Дело в том, что у студий просто не было повода для постоянной работы над развитием их ИИ — до недавнего времени он был нужен только для обучения новичков. В 2018 году они стали хорошими спарринг-партнерами даже для профессионалов.

Первопроходцами в создании кастомных игровых ботов были программисты-энтузиасты и студенты, которые до сих пор выкладывают своих ботов на тематических форумах и GitHub или даже презентуют их на научных конференциях. Чаще всего частный ИИ разрабатывают для относительно старых игр с открытым кодом или хотя бы с доступом к модификациям. Особенно популярными в этом плане стали обе части StarCraft.

В 2011 году Чешский технический университет организовал студенческую лигу ИИ в StarCraft , в которой уже восемь лет выступают боты от различных вузов со всего мира. Все участники в первую очередь борются за внимание крупных компаний, которые с середины 2010-х начали активно инвестировать в исследования ИИ. К примеру, текущим лидером рейтинга лиги является бот SAIDA, которого разработала команда Samsung SDS, а в 2017 году победителем сезонного чемпионата стали сотрудники Facebook.

Искусственный интеллект большинства участников умеет обучаться с помощью записей сыгранных матчей — то есть работает как нейросеть, — поэтому на ходу подстраивается к ситуации на карте. При этом некоторые боты заранее запрограммированы на определенные стратегии или на определенный стиль игры: одни в любой удобной ситуации будут застраиваться фотонными пушками, другие пойдут в раннюю агрессию, а третьи попытаются победить с помощью идеального микроконтроля юнитами. Все это действительно выглядит впечатляюще, хотя даже машины совершают ошибки и иногда могут неверно расположить здания или не отдать приказ какой-нибудь группе юнитов.

Одним из самых популярных ботов в StarCraft II был Automaton 2000, который не мог вести настоящую игру, но почти безупречно управлял юнитами. Ролик, в котором машина уничтожает большой отряд осадных танков с помощью армии зерглингов без серьезных потерь, набрал более миллиона просмотров на YouTube.

Google против киберспортсменов

В 2017 году лига для ИИ появилась и в StarCraft II — на этот раз созданная не только для студентов. Участники могут заявить в лигу ботов, разработанных на любой доступной им платформе, и побороться за несколько ценных призов. В целом ИИ в StarCraft II едва ли превосходит аналог из оригинальной SC, зато бои этих программ можно посмотреть с русскими комментариями от Алексея Alex007 Трушлякова .

Развитию ИИ в этой игре сильно поспособствовала инициатива Blizzard Entertainment и дочерней компании Google — DeepMind. Организации создали набор инструментов для разработки обучающихся ботов и открыли доступ к нему для всех желающих. Позже DeepMind представила свой ИИ — AlphaStar, который в декабре 2018 года разгромил ветеранов профессиональной сцены StarCraft II.

За год до этого боты из нескольких стран без шансов проиграли Stork в шоу-матчах, несмотря на то что среди ИИ была обучающаяся машина от Facebook. Алгоритму DeepMind потребовалось всего 18 месяцев «тренировок» в сети, чтобы превзойти Дарио TLO Вунша и Гжегожа MaNa Коминча в StarCraft II — до этого студия разрабатывала машины, которые учились игре в го и шахматы.

У бота были свои ограничения и преимущества. Игроки могли выступать только на расе протоссов, а ИИ не мог превышать доступный человеку показатель действий в секунду — то есть в среднем он отдавал не более 400 приказов в минуту. При этом бот оперировал на всей карте сразу без необходимости перемещать камеру, что существенно увеличивало скорость его реакции на появление вражеских юнитов в зоне видимости.

Из 11 матчей AlphaStar уступил лишь в одном, который не вошел в финальный отчет DeepMind. В этой игре MaNa сумел найти уязвимость в алгоритме бота . Учитывая, что эти встречи тоже станут материалом для обучения бота, в будущем профессиональным киберспортсменам будет еще сложнее победить машину.

ИИ приходит в Dota 2 и побеждает Dendi

В StarCraft ИИ год за годом развивался, а в других дисциплинах прогресс шел очень медленно. Но в 2015-м предприниматель Илон Маск, известный по проектам Tesla и SpaceX, основал OpenAI, которая занялась разработкой искусственного интеллекта — в том числе для Dota 2.

Дебют бота в дисциплине стал по-настоящему грандиозным: компания выставила свою машину против Данила Dendi Ишутина во время The International 2017 . Матч прошел в формате 1vs1 на Shadow Fiend, и OpenAI взял верх над победителем первого TI. Опыт бывшего мидера Natus Vincere не помог ему в схватке с ИИ, который учился чуть ли не на всей истории игр Dota 2. Впоследствии представители OpenAI устраивали матчи с другими киберспортсменами, но бот одерживал верх в большинстве встреч — первым машину победил Пер Андерс Pajkatt Олсен Лилль , который обманул ИИ моментальным лечением с Magic Wand и Faerie Fire. Позже игроки нашли еще больше уязвимостей в алгоритмах OpenAI.

Год спустя разработчики представили целую команду машин, которая могла выступать только в ограниченном пуле героев. Боты обыграли состав из кастеров Dota 2, но не справились с paiN Gaming и сборной китайских ветеранов на The International 2018 . При этом во всех матчах действовали определенные ограничения на сборку предметов и использование иллюзий или невидимости — видимо, для машины некоторые механики были слишком сложными.

Битва с лучшими

Матч с OG, который пройдет 13 апреля, должен стать очередной презентацией новых навыков OpenAI. Покажут ли боты что-то действительно впечатляющее — неизвестно, но студия уже сообщила, что правила встречи по-прежнему будут ограничены. В такой ситуации у OG могут появиться проблемы — изначально чемпионы мира по Dota 2, по мнению букмекеров, считались фаворитами предстоящей встречи с ИИ, но на сегодня шансы команд почти сравнялись.

В StarCraft искусственный интеллект уже доказал, что способен побеждать сильнейших при практически равных условиях и без серьезных оговорок в правилах. В Dota 2 ботам этого сделать пока не удалось — во многом из-за большой вариативности элементов в MOBA. Исход предстоящего матча точно не станет определяющим в борьбе человечества с машинами: победа OpenAI будет не совсем честной из-за ограничений, а поражение — лишь очередным реплеем для анализа нейросети.

Искусственный интеллект OpenAI обыграл почти всех живых игроков в Dota 2

На минувшей неделе, с вечера 18 апреля и до 21 апреля, некоммерческая организация OpenAI временно открыла доступ к своим ИИ-ботам, позволяя всем желающим сыграть с ними в Dota 2. Это были те самые боты, которые ранее одержали победу над командой чемпионов мира по этой игре.

Как сообщается, искусственный интеллект обыграл людей с разгромным счётом. Было сыграно 7215 матчей в режиме Competitive (против игроков-людей), в которых ИИ одерживал победы в 99,4 % случаев. В 4075 случаях победа ИИ была безоговорочной, в 3140 — люди сдались сами. И только 42 матча увенчались победой живых игроков.

При этом лишь одна команда игроков смогла победить в 10 матчах. Ещё три команды смогли одержать по 3 победы подряд. Всего же за минувшие дни было сыграно свыше 35 тысяч матчей, в них участвовала почти 31 тысяча игроков. А общая продолжительность их составила 10,7 лет. Речь идёт о матчах в режимах Competitive и Cooperative. Отметим, что во втором случае живые и кибернетические игроки находились в одной команде. Это позволило использовать сильные стороны тех и других.

При этом было заявлено, что эта демонстрация OpenAI Five была последней. В будущем OpenAI планирует и дальше развивать проекты, связанные с искусственным интеллектом, однако они будут другими. Впрочем, наработки OpenAI Five и достигнутый опыт лягут в основу этих проектов.

Также было отмечено, что сложные стратегические игры, наконец, покорились ИИ, что является важной вехой в развитии будущих ИИ-технологий. Ведь долгое время считалось, что подобные игры слишком сложны для машинного интеллекта. Впрочем, то же самое говорили о шахматах и го.

OpenAI закончила открытые матчи с 99,4% винрейтом.

С 18 по 21 апреля любой желающий мог собрать команду и сразиться с OpenAI Five. Из 7257 матчей команды людей смогли выиграть только 42.

Dota 2 представляет собой многопользовательскую игру в жанре MOBA («многопользовательская онлайновая боевая арена»), в которой сражаются две команды по пять игроков. В игре участвуют две команды по пять человек. Одна команда играет за светлую сторону (англ. The Radiant), другая — за тёмную (англ. The Dire). Конечная цель каждого матча — уничтожить вражескую «крепость» (англ. Ancient), особый объект, принадлежащий противнику, и защитить собственную крепость. Подобно Defense of the Ancients, Dota 2 использует управление с помощью мыши и клавиатуры, схожее с управлением в стратегиях в реальном времени, и вид с расстояния, имитирующий изометрическую проекцию

Каждый матч проходит на квадратной карте специального вида, где крепости обеих команд находятся в противоположных углах, а игроки рассредотачиваются по соединяющим эти крепости путям — «линиям» (англ. Lane) [. Помимо самих игроков, в игре принимают управляемые компьютером существа-«крипы» (англ. Creeps) и неподвижные строения-«башни» (англ. Towers), свои с каждой стороны; они также участвуют в сражении, атакуя вражеских героев, крипов и башни противника и тем самым помогая «своей» команде. Туман войны, покрывающий большую часть карты, не позволяет игрокам следить за передвижениями противника.

Технологии

Технологии

«У ИИ нельзя выиграть в го»: чемпион мира завершил карьеру

Чемпион по игре в го завершил карьеру из-за искусственного интеллекта

Бывший чемпион по игре в го Ли Седоль завершил профессиональную карьеру, заявив о том, что никогда не сможет быть номером один из-за непобедимости искусственного интеллекта. При этом Седоль является единственным в мире человеком, которому удалось обыграть ИИ AlphaGo, созданный компанией Google.

Южнокорейский мастер игры в го Ли Седоль объявил о завершении своей профессиональной карьеры, сообщает агентство Yonhap. По его словам, уход из большого спорта мотивирован тем, что у искусственного интеллекта (ИИ), созданного специально для игры в го, невозможно выиграть.

«Когда в го начал играть искусственный интеллект, я понял, что никогда не буду на вершине, даже если стану номером один ценой отчаянных усилий. Даже если я стану номером один, останется нечто, что я не смогу победить», — заявил Ли в интервью Yonhap.

Ли Седоль является единственным человеком в мире, которому удалось однажды выиграть у ИИ. Речь идет о его матче 2016 года с программой AlphaGo, разработанной компанией DeepMind, которая ныне принадлежит Google. Всего было сыграно 5 партий, по результатам которых искусственный интеллект выиграл со счетом 4:1. При этом сам Ли считает, что своей победой он обязан неисправности в системе AlphaGo.

78 ход со стороны Ли был таким внезапным, что очевидно сбил с толку программу, из-за чего ход 79 от робота неожиданно дал преимущество человеку. После ряда слабых ходов со своей стороны AlphaGo сдалась.

Ход под номером 78 был позже назван «божественным» и даже дал человечеству надежду на господство над машинами.

Однако, Ли заявил о том, что выиграл четвертую партию только потому, что своим неожиданным ходом «сломал» алгоритм AlphaGo. Экс-чемпион мира также отметил, что уже встречал такие баги, например, когда играл против программы Fine Art.

В интервью Ли Седоль также рассказал о том, что чувствовал себя подавленным после того, как проиграл первые три партии.

«Я редко читаю комментарии в интернете обо мне. Но мне стало любопытно, что плохого написали люди после того, как увидели три моих проигрыша подряд. Неожиданно, но очень мало кто выступил с критикой в моей адрес», — вспоминает Ли. По его словам, он чувствовал, что проиграл еще до начала матча, потому что люди из подразделения Google «выглядели очень уверенными».

36-летний Ли Седоль подал заявление о завершении карьеры в Корейскую ассоциацию падук (корейское название го) 19 ноября. Он был профессиональным игроком в го на протяжении 24 лет.

Чтобы отметить свою отставку, Ли собирается в следующем месяце провести еще один матч с машиной — на этот раз с программой HanDol, разработанной южнокорейской компанией. Сообщается, что в первой партии он получит преимущество в два камня, но даже с таким гандикапом спортсмен не уверен, что сможет обыграть робота.

Известно, что матчи между искусственным интеллектом и человеком проводятся и в других спортивных дисциплинах. Одной из самых известных подобных схваток является матч между чемпионом мира по шахматам Гарри Каспаровым и суперкомпьютером Deep Blue, созданным компанией IBM. Матч из шести партий окончился победой Deep Blue.

После поражения Каспаров обвинил IBM в нечестной игре и искусственном накручивании напряжения вокруг игры.

Что же касается Deep Blue, то программа больше никогда не играла в шахматы в своем полноразмерном варианте публично.

В апреле 2019 года алгоритму OpenAI, который спонсирует Илон Маск, удалось обыграть профессиональных игроков в Dota 2. Роботы победили людей со счетом 2:0. Сообщается, что в 2018 году OpenAI Five (так называется команда ИИ) уже играла с настоящими киберспортсменами, но проиграла, взяв реванш уже через год.

При этом OpenAI Five использует специальный интерфейс «для роботов», то есть не видит то же самое, что и люди, играющие в Dota 2. А вот алгоритм AlphaStar, специализирующийся на StarCraft II, смог выиграть у нескольких профессиональных игроков со счетом 10:1, имея «на руках» тот же самый интерфейс, что и они. Историческое событие случилось в январе 2019 года — ранее ни одному искусственному интеллекту не удавалось обойти человека при игре в эту стратегию. AlphaStar является фактическим преемником AlphaGo и так же принадлежит компании Google.

OpenAI хочет создать всемогущественный ИИ. Но в хорошем смысле

В одну из апрельских суббот пять мужчин возрастом от 19 до 26 лет уверенно вышли из облака пурпурного дыма в переделанном автосалоне в Сан-Франциско. Они сели за ряд компьютерных клавиатур, их громко приветствовала толпа из нескольких сотен человек. Спустя девяносто минут интенсивных щелчков мыши улыбки пятерки стали унылыми, а аплодисменты — утешительными. Команда OG, мировые чемпионы самой прибыльной в мире соревновательной игры Dota 2, проиграли две игры подряд команде ботов с искусственным интеллектом.

Этот результат стал примечательным, потому что сложные видеоигры математически сложнее настольных игр вроде шахмат или го. И все же, прислонившись к стене за кулисами, Сэм Альтман — генеральный директор исследовательского института OpenAI, который разработал этих ботов, испытал праздничное облегчение.

Искусственный интеллект против дотеров

«Мы все весьма нервничали тем утром — я думал, что шансы 60 на 40», говорит Альтман. Он стал CEO OpenAI в марте, после ухода с поста президента влиятельного инкубатора стартапов YCombinator. Чтобы преуспеть на новой должности, Альтману нужны были боты, которые не просто побеждают людей в видеоиграх — ему нужны были боты, которые лучше людей во всем.

Заявленная миссия OpenAI заключается в том, чтобы гарантировать, что от любого будущего ИИ, способного превзойти «людей в наиболее экономически выгодной работе» выиграет все человечество. Такие технологии — общий искусственный интеллект, «сильный» искусственный интеллект, или ОИИ (AGI) — пока даже на горизонте не маячат, но OpenAI утверждает, что и она, и другие стремительно прогрессируют. Организация показала, что может проводить исследования на уровне лучших в мире. И снискала обвинения в раздувании шумихи на тему ИИ, а также в фиксации на ОИИ и потенциальных угрозах искусственного интеллекта.

По плану Альтмана, исследования OpenAI — и провокации — должны только набирать темп. Будучи прежде председателем совета директоров этой организации, он занял пост генерального директора после того, как помог перевести большую часть некоммерческого персонала в новую коммерческую компанию, надеясь привлечь инвесторов с миллиардами, необходимыми для формирования судьбы ИИ и человечества. Альтман говорит, что крупные технологические лаборатории в Alphabet и остальных компаниях должны испытывать давление со стороны коллег, не стремящихся увеличить свою акционерную стоимость. «Я не хочу быть в мире, в котором ОИИ создаст одна компания, захватит всю его ценность и будет принимать все решения», говорит он.

На мероприятии MIT в конце 2014 года генеральный директор Tesla Илон Маск описал исследования на тему ИИ как попытку «вызвать демона». Летом 2015 года он поговорил с Альтманом и несколькими другими за ужином и предложил создать исследовательскую лабораторию, независимую от технологического сегмента, которая направила бы ИИ в позитивное русло. В том же году была создана OpenAI, в которой оказались Альтман и Маск. В начале 2018 года Маск покинул совет директоров, сославшись на потенциальные конфликты с другими его ролями.

Что такое OpenAI

За свою недолгую жизнь OpenAI позиционировала себя как серьезное место для исследований ИИ. Илья Суцкевер, соучредитель организации, который ушел с руководящей должности по исследованиям ИИ в Google, курирует персонал, в который входят бывшие выходцы из Google, Facebook, Microsoft и Intel. Их работы на тему робототехники и машинного обучения появлялись на самых престижных конференциях. Победа над командой OG в Dota 2 принесла им уважение в области ИИ и гейминга.

Превращение OpenAI в коммерческую корпорацию было вызвано ощущением, что для того, чтобы идти в ногу с такими гигантами, как Alphabet, потребуется доступ к постоянно растущим вычислительным ресурсам. В 2015 году OpenAI заявила, что у нее в распоряжении 1 миллиард долларов, полученный от Альтмана, Маска, соучредителя LinkedIn Рейда Хоффмана, раннего инвестора Facebook Питера Тиля и Amazon. Теперь Альтман говорит, что одного миллиарда будет недостаточно. «Денежный объем, который нам необходим для успеха миссии, намного больше, чем я думал», говорит он.

Типиное лицо геймера. Без приколов, просто похож.

Заявки IRS показывают, что в 2017 году, когда OpenAI показала своего первого бота-дотера, она потратила 8 миллионов долларов на облачные вычисления. С тех пор ее расходы, вероятно, значительно выросли. В 2018 году OpenAI объявила, что предшественник системы, победившей OG, связывал более 120 000 процессоров, арендованных у облачного подразделения Google, в течение недель. Победившая чемпионов версия тренировалась в течение 10 месяцев, что эквивалентно 45 000 годам игры в Dota 2 против самой себя. Сколько это стоило? Грег Брокман, CTO OpenAI говорит, что на проект ушли «миллионы долларов», но не раскрывает подробности.

Альтман не уверен, что OpenAI и дальше будет полагаться на облачные сервисы конкурентов — он по-прежнему открыт для покупки или даже для разработки оборудования для искусственного интеллекта. Организация пристально следит за новыми чипами, разрабатываемые Google, и множеством стартапов, чтобы выжимать из алгоритмов машинного обучения еще больше.

Чтобы привлечь средства, необходимые для доступа к будущему оборудованию, Альтман попытался продать идею инвесторам по схеме, дикой даже для Кремниевой долины. Вложите деньги в OpenAI, подождите, и компания вернет вам вложения стократ — как только изобретет роботов, которые превосходят людей в большинстве экономически ценных задач.

Альтман говорит, что соответствие этим ожиданиям было «самым интересным опытом сбора средств в моей жизни — он не подойдет ни для какой иной модели». Самый большой интерес, по его словам, проявляют заинтересованные в ИИ богатые люди. Hoffman и венчурная фирма Khosla Ventures инвестировали в новый коммерческий OpenAI, но не ответили на запросы о комментариях. Никто не говорит, когда ожидать возврата средств, но ставки на OpenAI — не для нетерпеливых. Компаниям сообщают, что время возврата их средств может превышать стандарт отрасли (десять лет). «Мы сразу им говорим, что вы не получите средств в ближайшие 10 лет», говорит Альтман.

Несмотря на все старания, OpenAI часто критикуют лидеры отрасли. В феврале компания раскрыла подробности о ПО для обработки языка, которое было способно генерировать на удивление живой текст. Некоторые сразу же назвали изобретение «опасным» и высказали опасения, что его можно использовать во вред, чтобы замусорить социальные сети.

Кто публикует фейковые новости

Некоторые видные люди в области исследования ИИ были раздражены, включая главного по ИИ в Facebook Яна Лекуна. В своих постах на Facebook он защищал открытую публикацию исследований на тему ИИ и шутил, что людям стоило бы перестать заводить детей, поскольку однажды те будут публиковать фейковые новости.

Для некоторых этот эпизод подчеркнул, что миссия OpenAI не сильно отличается от других корпоративных или академических лабораторий. «Они проводят плюс-минус те же самые исследования, как и остальные, но хотят привлечь миллиарды долларов», говорит Захари Липтон, профессор машинного обучения в Университете Карнеги-Меллона. «Единственный способ сделать это — слегка покривить душой».

Альтман признает, что OpenAI, возможно, забила тревогу слишком рано, но говорит, что это лучше, чем опоздать. «Технологическая отрасль проделала не очень хорошую работу, пытаясь проявлять инициативу в отношении злоупотреблений», говорит он. Самоцензура необходима и самой OpenAI.

После поражения OG в прошлом месяце, дабы выразить сочувствие, OpenAI решила провести второй эксперимент, призванный продемонстрировать благоприятную сторону сверхчеловеческого ИИ. Эксперты в области Dota 2 и несколько новичков играли в командах вместе с ботами.

Программное обеспечение, которому не повезло стать партнерами нубов по команде, по большей части проявило сверхчеловеческое безразличие к помощи начинающему игроку. Вместо этого оно сосредоточилось на победе, следуя инстинктам, отточенным месяцами дорогостоящих тренировок.

Никто не знает, как сделать узконаправленный ИИ более гибким или какие компоненты могут понадобиться, чтобы сделать ОИИ большим, чем технологическая фантазия. Даже Альтман напуган масштабами проблемы. «У меня бывают дни, когда я верю, что все это произойдет, и дни, когда все это кажется несбыточной мечтой», говорит он.

Как думаете, получится у него? Давайте обсудим в нашем чате в Телеграме.

Когда вы думаете о будущем, какие картины встают у вас перед глазами? Как любитель ретрофутуризма – жанра в основу которого положены представления людей прошлого о будущем, я всегда представляла себе города будущего застроенными зданиями, как на обложках журналов 1950-х годов. Мое видение изменилось, когда я узнала о новом архитектурном стиле – параметрической или алгоритмической архитектуре, […]

Никто не спорит с тем, что органы чувств человека представляют собой невероятно точные инструменты для передачи всего разнообразия звуковых, визуальных и тактильных ощущений, при помощи которых мы имеем возможность познавать этот мир. Желая немного посоперничать с природой в мастерстве создания средств для познания обонятельных впечатлений, инженер из компании Intel изобрел уникальное устройство, способное воспринимать до […]

Солнечная система, как и ее ближайшие соседи, буквально наполнена астероидами. Большинство из этих объектов никогда не пересекуться с нами, но некоторые из них действительно представляют или будут представлять угрозу для нашей планеты в будущем. Так, 65 миллионов лет назад астероид Чиксулуб уже устроил на Земле настоящий «судный день», погубив динозавров и других животных. В работе, […]

Как ИИ OpenAI учится обыгрывать в Dota 2 профессиональных игроков

Исследовательская организация OpenAI несколько лет занимается обучением ИИ, способного играть в Dota 2. Во время The International 2017 ИИ OpenAI сыграл с профессиональным игроком Dendi (тот проиграл), в этом году OpenAI попробует выставить против игроков-людей целую команду ботов.

Команда называется OpenAI Five: она состоит из пяти нейронных сетей, обращающих внимание на поведение друг друга, но в то же время действующих самостоятельно — примерно так же, как и живые игроки. За месяц до сражения с профессиональной командой разработчики рассказали, как создается и обучается OpenAI Five.

Искусственный интеллект неплохо играет в шахматы или го, но Dota 2 — совсем другое дело. Она сложнее: здесь есть множество героев, артефактов и способностей, игрок должен добывать золото, уничтожать монстров и сражаться с персонажами других игроков, взаимодействуя с членами своей команды.

Средняя шахматная партия заканчивается за 40 шагов, партия в го обычно завершается за 150 шагов. В OpenAI подсчитали, что матч в Dota 2 длится примерно 45 минут, ИИ анализирует изменения семь раз в секунду — за один матч набегает около 20 тысяч «тиков».

Для каждого героя рассчитаны около 170 тысяч возможных действий, каждый тик ИИ OpenAI выбирает наиболее оптимальное действие из примерно 1000 вариантов. В шахматах число вариантов каждый ход в среднем не превышает 35, в го оно находится в районе 250.

Для анализа искусственному интеллекту доступны только те же данные, что и игроку. Система OpenAI использует Bot API и получает порядка 20 тысяч значений, описывающих ход игры. Все решения нужно принимать максимально быстро: в Dota 2 матчи проходят в режиме реального времени.

Боты анализируют информацию очень быстро: в минуту OpenAI Five совершает порядка 150-170 действий, теоретический максимум скорости — 450 действий в минуту. Время реакции у искусственного интеллекта составляет всего 80 миллисекунд — разработчики считают, что игроки-люди действуют медленнее.

За один реальный день нейронная сеть OpenAI Five эмулирует примерно 180 лет игры в Dota 2. Команда из пяти ботов ежедневно проводит в игре около 900 лет.

Для обучения OpenAI Five не используются матчи игроков-людей: система использует механизмы самообучения и сами изучает правила Dota 2. В первых матчах боты просто стояли на месте или ходили по карте, после нескольких часов обучения ИИ самостоятельно разобрался в концепции фарма, линий атаки и борьбы за мид.

После нескольких дней обучения нейронные сети OpenAI Five начали применять стратегии, которыми пользуются игроки-люди: они, например, пытались похищать руны богатства и фармили в районе первых башен.

Во время обучения нейронные сети OpenAI Five сражаются либо сами с собой, либо со своими предыдущими версиями. В роли положительного и отрицательного подкрепления выступают не только победы: ИИ получил специальную систему наград.

Нейронные сети получают награды за множество действий: сбор золота, убийства, нанесение последних ударов. Боты стремятся получить как можно больше наградных очков, но награды — система с нулевой суммой. Очки, полученные ботом одной команды, вычитаются у ботов другой команды: так разработчики не дают ИИ «договориться» и фармить награды друг на друге.

У ботов нет явного канала для координации атак и связи друг с другом, для улучшения взаимодействия разработчики наделили их параметром под названием «командный дух». Этот параметр определяет, какая из наград для ИИ должна быть приоритетнее — личная или командная.

Нынешняя версия OpenAI Five играет в Dota 2 с некоторыми ограничениями. В каждом матче участвуют две команды, состоящие из пяти одинаковых героев: это могут быть Necrophos, Sniper, Viper, Crystal Maiden или Lich. Кроме того, нельзя сканировать карту, использовать невидимость и иллюзии, применять несколько предметов, призывать саммонов и ходить на Рошана. В будущем разработчики намерены отказаться от этих ограничений.

Команда ИИ OpenAI Five успела сыграть с несколькими командами, состоящими из настоящих игроков. Первым противником стала команда с 2500 MMR, состоящая из разработчиков OpenAI: 15 мая ИИ выиграл один матч и проиграл другой.

Затем, 6 июня, ИИ вновь сразился с первой командой и еще двумя группами игроков: первая команда состояла из сотрудников Valve (2500-4000 MMR), во второй были лучшие зрители, смотревшие самый первый матч OpenAI Five и Blitz, бывший профессиональный игрок в Dota 2. На этот раз ИИ выиграл все матчи.

После этого OpenAI Five поучаствовал в матчах с еще двумя командами, любительской (4200 MMR) и полу-профессиональной (5500 MMR). В каждом случае искусственный интеллект выиграл две из трех игр.

Теперь разработчики OpenAI планируют устроить сражение между OpenAI Five и профессиональной командой. Бой пройдет 5 августа.