Lip Dub

[congeries]

Очень интересная видео-работа, ставящая под сомнение некоторые "аксиомы" бытовой психологии. Считается, что при взгляде на лицо другого человека наши глаза прежде всего смотрят на его (её) глаза; разнообразные eye-tracking эксперименты это как бы наглядно демонстрируют (надо заметить, что их чаще всего проводят на картинках лиц других людей). Эти представления также подтвеждаются кладезями народных мудростей типа "глаза - зеркало души" и им подобным.

На этом видео вместо живых глаз - маски (и спустя очень короткое время они начинают нести нулевую информацию). Зато как богаты движения губ (а точнее, всего "говорящего аппарата" вокруг рта)! Особенно важным становится считывание именно этой информации, когда лиц становится много и они начинают быстро меняться. Я по-прежнему слежу за "глазами", но "чиста-формальна", просто чтобы быстро расставить маркеры что-где-когда происходит на лице. При этом рты не дают узко-семантической информации (я не умею читать по губам, по крайней мере, сознательно), и я всё равно слушаю слова. Но все их движения ужасно важны для меня, чтобы отслеживать, что именно делает тут или иной персонаж сейчас, а также делать микро-прогноз того, что он будет делать вскоре.


Первые фильмы были, как известно, немымми, и зная это, актёры и играли их "внемую", не открывая ртов. Это выглядело ужасно убого, манекенно. Потом они начали хотя бы как-то открывать рты, а на экране мелькали врезанные фразы, а чуть позже - субтитры. Ну и мы знаем, чем потом всё закончилось.

Comments

[energy-p.livejournal.com]

лицо-одно?или мне кажется?
но именно разные глаза делают лица разными.
прикольный клип)

[pomrose.livejournal.com]

Nice!
I love it!

[lolaley.livejournal.com]

про себя я точно знаю, я смотрю на губы собеседника

[pale-fire.livejournal.com]

В немых фильмах была интересная штука, актеры говорили что хотели, импровизировали сцену и текст, как такового текста в сценарии могло вообще не быть просто описание "герой и героиня спорят о судьбе персидского султана", а текст появляющийся на экране суммировал сцену и давал контекст, также как например описание действия оперы в програме.

[dolganoff.livejournal.com]

Пойдя по ссылке, с большим удивлением для себя узнал, что это просто любительское видео сделанное к песне. Вот уж не подумал бы, выглядит очень "дорого".

[primaler.livejournal.com]

ну, про важность рта для распознавания известно довольно давно
(см., например, результаты Виолы-Джонса (http://en.wikipedia.org/wiki/Robust_real-time_object_detection))

это используют, например, при семантическом сжатии (для видеоконференций)
глаза и рот жмут слабо, лицо и руки сильнее, всё остальное совсем сильно