Помощь
Документация
Вход 
Спортивные соревнования сегодня переполнены рекламой — от роликов на экранах до статичных логотипов компаний на рекламных щитах стадионов. Эфир охватывает множество стран, в которых представлены различные бренды и действуют разные законы о рекламе. Благодаря прорыву в развитии ИИ и AR-технологий появляется возможность замены информации на поле под каждую аудиторию, причем непосредственно во время трансляции матча.
Реклама на спортивных аренах изначально была статичной и предназначалась для людей, посещающих конкретное мероприятие в определенном городе. Позже появились LED-экраны, которые демонстрировали сменяющие друг друга рекламные ролики. Следующий шаг — в ролики на экранах начали вставлять на долю секунды «зеленый фон», с помощью которого ИИ определял пространство и подставлял уникальный текст.
Сейчас заменить можно что угодно на что угодно. Сложность заключается в том, чтобы замена выполнялась незаметно и реалистично. Крупнейшие игроки этого рынка применяют специальные камеры. По фотографиям можно прийти к выводу о наличии специализированных датчиков, считывающих информацию о позиционировании и юстировке. То есть у популярных решений все еще есть хардверные «костыли».
Все это требует огромных вычислительных мощностей, так как вводные сведения и исходная трансляция обрабатываются специализированным софтом в режиме онлайн. То есть к камерам и датчикам прибавляются сервера для вычислений. Оборудование дорогое, рынок «закрытый», технологии тоже. И тут на выручку приходят AI и облачные GPU-сервера.
Дорого, статично и не для всех
У HOSTKEY есть клиент стартап PTF Lab, который разработал собственную технологию внедрения виртуальной рекламы и интеграции цифрового контента (типа дополненной реальности) в мультирегиональном режиме. Причем их решение обещает бесшовную (и бескостыльную) интеграцию рекламы прямо в видеопоток.
Когда-то давно они увидели в сообществе Open Data Science (ODS) информацию о HOSTKEY и обратились к нам, когда им потребовались облачные мощности, оценив наш сервис, цены и гибкую линейку доступных вариантов.
Цели стартапа благородные, понятные и вполне достижимые:
- Уйти от дорогого «закрытого» оборудования и сложной настройки, переложив задачу размещения рекламы и построения кадра с учетом перекрывающих ее людей и предметов на искусственный интеллект.
- За счет этого охватить относительно небольшие мероприятия (например бои на аренах) и привнести технологии в массы.
- Сделать спортивную рекламу доступной и относительно недорогой.
Более того, стартап поставил амбициозную цель превзойти решения гигантов-монополистов еще и в гибкости. Например, выводить «виртуальную рекламу» во время повторов, используя ракурсы с любой камеры, а не только с определенных углов.
Как это работает?
Видеосигнал с площадки проведения спортивного мероприятия может обрабатываться, используя вычислительные мощности не только на самой площадке, но и в облаке. Это позволяет гибко распределять нагрузку и выбирать, когда накладывать рекламу: перед вещанием, или уже во время вещания с учетом разных регионов. Также использование облачных сервисов позволяет использовать рекламу на локациях, куда невозможно привезти сервер (да и в принципе это удобнее).
Сегментация объектов построена на нейросетевой архитектуре от U-Net, за расположение объектов отвечают нейросети для обнаружения и сопоставления ключевых точек. Но задача нетривиальная, поэтому все решения и нейросети пришлось переработать и обучить под себя. Особенно непросто приходится на трансляциях единоборств, где непредсказуемо с точки зрения картинки буквально все: источники света, тени, ракурсы камеры, перекрывающая логотипы спонсоров сетка и тела бойцов и рефери.
Не везде используются нейросети. Иногда, чтобы решить задачу, достаточно проявить смекалку и использовать простые алгоритмы. Так, в алгоритмах трекинга сочетаются нейросетевые методы и системы линейных и нелинейных уравнений.
Значительную часть GPU отнимает сегментация. Чем лучше реализовано определение людей и объектов в кадре и разделение их по планам и типу, тем естественнее и красивее будет смотреться кадр после наложения рекламы.
Отдельная задача связана с освещением и тенями, которые должны быть учтены в дополненной реальности при рендере сцены. Реалистичность теней является ключевым элементом при оценке «правдоподобности» картинки.
Тренируются «спортивные» нейросети традиционно как на реальных трансляциях с помощью разметки людей, так и на синтетических моделях. И тут на помощь приходит Blender, в котором компания строит 3D-модели ринга, бойцов, судей, и получает как отрендеренные «реальные» кадры с нужных ракурсов, так и маску сегментации или положение объектов и камеры, нужные для тренировки. Разметка реальных данных — это долго, дорого, но качественно для конкретных мест проведения или типов соревнований. Синтетические данные при меньшем реализме дают больший объем данных для обучения.
Основная сложность в том, что место проведения мероприятия может меняться. В одном случае это будет боксерский ринг с канатами, а в другом — арена с сетчатыми стенами, что создает сложности для сегментации.
Трекинг камеры и положение рекламы определяются по сопоставлению облака точек из 3D-модели места проведения с реальным их положением в кадре. Это позволяет определять положение даже для ручных камер с хаотичным движением. После реконструкции 3D-кадра из 2D (определения нужного ракурса) выполняется непосредственный рендер рекламы в 3D-движке и совмещение с кадром видеотрансляции.
3D-сцену приходится строить перед началом работы, и по факту мы имеем в кадре виртуальную копию места проведения, в которую вписываем реальных людей и объекты через маски рендера. Звучит сложно, но при должных мощностях и оптимизированных нейросетях, выполнить эти кульбиты можно мгновенно и бесшовно.
Зачем проекту GPU-вычисления и аренда серверов?
У PTF Lab есть собственные сервера (и ранее уже упоминалась возможность их применения непосредственно на месте проведения соревнования), но удобнее пользоваться удаленными ресурсами, так как за работоспособность оборудования отвечают инженеры провайдера услуг, и компания тратит на это меньше ресурсов. А клиент голосует рублем, и экономичные варианты всегда оказываются предпочтительными.
Также объем необходимых компании мощностей постоянно растет. При необходимости его легко масштабировать именно при аренде (вплоть до изменения конфигурации сервера под нужды компании).
В будущем стартапу может понадобится очень много облачных мощностей, и арендовать их проще, чем покупать и продавать сервера при росте-спаде спроса на услуги.
Сейчас арендуемые сервера и GPU-мощности используются по следующим направлениям:
- Тренировка нейронных сетей на GPU (сегментация людей и других объектов в спортивных трансляциях; трекинг виртуальной 3D-камеры).
- Бэкап данных (видео с мероприятий, датасеты и т. п.).
- Непосредственный процесс работы с видео — тестирование облачного продакшна, когда ПО компании развернуто на удаленных серверах и через него идут видеосигналы: на вход без графики, на выходе один или несколько сигналов с графикой.
Помимо собственных вычислительных мощностей у нас в HOSTKEY стартап в данный момент задействует следующие GPU-конфигурации:
- AMD Ryzen 9 5950X 3.4GHz (16 cores)/128Gb/1Tb NVMe SSD+12Tb HDD/2xRTX 3090+PSU]
- Xeon E3-1230 3.2GHz (4 cores)/16Gb/2x12Tb HDD/PSU]
- AMD Ryzen 9 5950X 3.4GHz (16 cores)/128Gb/1Tb NVMe SSD+12Tb HDD/2xRTX 3090+PSU+HDMI emulator]
- AMD Ryzen 9 5950X 3.4GHz (16 cores)/128Gb/1Tb NVMe SSD+12Tb HDD/2xRTX 3090+PSU]
- AMD EPYC 7402P 2.8GHz (24 cores)/384Gb/2x1.92Tb U3 NVMe SSD/4xRTX 4090+2xPSU]
Как видно, в основном GPU-решения арендованы на базе RTX4090/3090, но по мере увеличения требований к вычислительным мощностям, стартап хочет рассмотреть сервера с более мощными профессиональными картами, которые обеспечивают лучшую стабильность при работы в непрерывной круглосуточной эксплуатации. В случае 3090 аренда той же A5000 может оказаться еще и дешевле.
PTF Lab в начале своего пути, но результат уже отличный, и мы в HOSTKEY желаем им успеха и развития, особенно в части преодоления монополии спортивной дополненной реальности. Остроумный Давид всегда побеждает неповоротливого проприетарного Голиафа.
Если у вас есть вопросы к коллегам из PTF Lab, можете задать их в комментариях.