Все новости от 30 сентября 2004 г.

IBM Marvel будет прочесывать сеть в поисках видео и аудио

Исследователи Big Blue работают над поисковой машиной с кодовым названием Marvel, которая ищет видео и/или аудиоклипы, что в современном интернете в большинстве случаев затруднительно. В идеале человек будущего сможет кликнуть на кадре-образце, скажем, репортажа о предвыборных дебатах или описать сцену словами («двое парней, трибуны») и получить подходящие фрагменты из тысяч часов аудио- и видеозаписей, генерируемых каждый год теле- и киностудиями, а то и любителями.

Существующие поисковые машины, вроде Google и Yahoo, могут работать с видеоклипами или фотографиями, но на самом деле они не ищут изображения, содержащиеся в файлах. Они ориентируются по текстовым подписям, которыми снабжены эти файлы, так что удается найти лишь небольшое число правильно идентифицированных файлов. «Сейчас, чтобы индексировать контент, требуется подписывать его вручную, — говорит старший менеджер по интеллектуальному управлению информацией IBM Research Джон Р. Смит. — Мы пытаемся индексировать его без использования текста или ручных аннотаций».

Ручное маркирование отнимает слишком много времени. Так, на разбор и классификацию 30-минутного видеоролика может уйти пять часов. Еще хуже то, что количество информации, нуждающейся в классификации, растет, как снежный ком. Исследование «How Much Information?», выполненное Калифорнийским университетом Беркли, определило, что в 2002 году все мировые телевизионные станции, вместе взятые, произвели около 123 млн часов телепередач. Из них 31 млн часов составляют оригинальные передачи, которые переводятся в 70 тыс. терабайт данных. И это без учета видеозаписей, сделанных видеокамерами наблюдения, и домашнего видео.

Вместо ручной маркировки, Marvel будет автоматически сортировать (и впоследствии выбирать) клипы по таким описывающим действие признакам, как «в помещении», «на открытом воздухе», «городской ландшафт» или «шум мотора». В конце августа на конференции в Кембриджском университете команда разработчиков, которая работает над проектом совместно с библиотеками и такими службами новостей, как CNN, продемонстрировала первый прототип Marvel. Система может просматривать базу данных из более чем 200 часов записей теленовостей и использует 100 разных признаков для классификации и идентификации сцен. К апрелю IBM надеется предложить список из 1000 идентифицирующих признаков.

Обработка запроса занимает две-три секунды. Marvel основана на формате данных MPEG-7, но может искать в любом стандартном видеоформате. (Примеры некоторых результатов поиска IBM разместила здесь.) IBM не говорит, каким образом Marvel можно превратить в коммерческий продукт, но более вероятным первым шагом представляется выпуск системы для внутреннего применения в телевизионной индустрии, а не продвижение ее как потребительского продукта.

Товарищи по поиску
Big Blue — одна из нескольких организаций, пытающихся раздвинуть границы технологии извлечения данных. В начале этого года Университет Пурду продемонстрировал поисковую машину, способную искать по 3D-эскизам. Другие работают над программным обеспечением, более эффективно извлекающим предметы из ограниченного числа категорий, таких как произведения искусства и антиквариат.

Marvel опирается, главным образом, на технологию, называемую поддерживающими векторными машинами, которую около десяти лет назад предложил Владимир Вапник из AT&T. Искусственный интеллект этого типа учится присваивать фрагментам данных значения, эквивалентные «да» и «нет». Иными словами, если компьютеру предлагают выбрать между сценами в помещении и на открытом воздухе, то деревья на снимке подскажут ему, что клип надо положить в корзину «на открытом воздухе». «Это статистический метод, который пытается провести границу между концепциями», — пояснил Смит.

Большинство других поисковых машин использует разновидность байесовских сетей, которые составляют спектр ответов от самых вероятных до самых невероятных. Гипотетически байесовский поиск изображений нашел бы снимок холла гостиницы с деревьями в кадках, тогда как поиск, основанный на поддерживающих векторных машинах, мог бы проглядеть его, отнеся деревья к категории «на открытом воздухе». К сожалению, даже короткие видеоклипы содержат массу данных. Группа Marvel выделила 166 разных измерений для поиска по цвету, и этот список отобран из гораздо более длинного перечня возможных цветовых измерений. «Традиционный подход сталкивается здесь с большими трудностями», — говорит Смит.

Зато Marvel будет выполнять многомодальный поиск, сканируя как аудио, так и видеодорожки. Некоторые ранние результаты выглядят многообещающе. Например, Смит и его группа провели поиск клипов о запуске ракет. Если искать только по видео, система, кроме сцен с ракетами, выдает снимки неба, самолетов, вертолетов и т. п. Поиск по аудио приносит самолеты и шум толпы. Когда же система опиралась на обе технологии, она предложила 70 фрагментов телевизионных новостей о запуске ракет.

В идеале Marvel сможет автоматически классифицировать видео- и аудиофайлы по своему усмотрению, но пока проект находится на этапе ручного труда. IBM создала совместный комитет с CNN, BBC и такими организациями, как библиотека Getty, для составления собрания видеофайлов. К апрелю группа надеется получить список из 1000 классифицированных клипов. Некоторые из них будут иметь относительно простые дискрипторы («ландшафт»), но будет и много более конкретных («теннис», «баскетбол» и пр.)

«Одна тысяча не исчерпает всего семантического пространства», — говорит Смит. Для создания полноценной, функционирующей поисковой машины на базе Marvel может потребоваться еще три-пять лет. 

 Предыдущие публикации:

 В продолжение темы: