Разработчики утверждают что сейчас приложение занимает объем всего в несколько десятков мегабайт, а www.wakaretai-solution.us/ это значит что уже в ближайшее время можно ожидать появления прототипа Зои на смартфонах и планшетах.
ох сколько же раз думал как же ее возможно сделать, сколько же раз скачивал синтезатор речи «фестиваль», когда уже наступит это будущее.
Фотореалистичный рендер 3D модели, вроде как, дело давно уже обычное. Синхронизация анимации с аудио — тоже, еще году в 2005м видел соответствующий плагин для 3D Max.
Полагаю инновационность заключается в реалистичности показываемых Zoe эмоций. Испытание на добровольцах показало что в 77% случаев удалось распознать задуманную эмоцию, это при том что реальную Зои понимали только в 73%.
Volunteers who only had video and no sound only successfully recognised the emotion in 52% of cases. When they only had audio, the success rate was 68%. The two together, however, produced a successful recognition rate of 77% — slightly higher than the recognition rate for the real-life Zoe, which was 73%!
Ну записали набор базовых эмоций, скомбинировали, воспроизводят «по нажатию кнопки». Все равно не понимаю в чем была суть разработки и исследования.
Еще один немаловажный момент заключается в том что информацию, о том какую эмоцию нужно передать, система получает путем анализа самого читаемого текста.
Разработчики утверждают что сейчас приложение занимает объем всего в несколько десятков мегабайт, а это значит что уже в ближайшее время можно ожидать появления прототипа Zoe на смартфонах и планшетах.
Создатели утверждают что смогли добиться «беспрецедентного реализма». Но для более менее адекватной оценки конечно не хватает большей технической информации.
Что-то мне подсказывает, что больше работы проделано над воспроизведением звука с разными интонациями при малом объеме данных. Хотя я вообще ничего не понял из видео… не удивило ничем.
Самое интересное должно быть в алгоритмах «привязки» воспроизведения речи с интонациями к мимике. Сделать так, чтобы в зависимости от значения фразы менялась интонация, не такой уж и подвиг, а вот сопроводить это реалистичными эмоциями на лице (не просто стандартный набор: удивление, злость, радость и т.д., а проработать до мельчайших деталей сокращение каждой мышцы) — другое дело.
Что-то я никаких эмоций не заметил. Ну, т.е. я услышал только эмоции в голосе. А если вы попробуете посмотреть видео без звука и сравните с просмотром, скажем, фильма (тоже без звука), то разница становится видна невооруженным взглядом. Лица актеров я понимаю (ну или думаю что понимаю), а лицо этой странной тетки нет.
Продолжая разговор о движке игры, стоит упомянуть тот титанический труд, который разработчики вложили в мимику лица персонажей. Еще в первом HL была интересная система движения губ, которая синхронизировала открытие рта с «изгибами» звуковой дорожки файлов звука. Теперь все гораздо серьезней и реалистичней.
Прежде всего, разработчики провели тщательное исследование мимики лица, основанное на научном труде 30-тилетней давности. Пускай срок вас не смущает, это одно из самых комплексных и полных исследований выражений лица. Теперь к каждой строчке диалога у персонажа есть свое выражение лица, которое по ходу разговора плавно перетекает в другое.
И глаза — теперь персонажи действительно будут смотреть на вас. Разработчики учли расстояние фокусировки, форму глазных яблок, придали им мокрый блеск и затенили в нужных местах. Как сказал один из репортеров, порой становилось не по себе, когда за вами следил глазами тот или иной NPC.
И, кстати, теперь персонажи больше не говорят «одной челюстью». При разговоре у них напрягаются мышцы и тем самым двигается все лицо. А благодаря специальной системе распознавания и анализа звуковых файлов, в игре будет максимально приближенная к реальности синхронизация речи и мимики лица: персонажи будут стараться максимально передать выражением лица эмоциональный акцент звукового файла.
Демонстрация мимики и речи на примерах персонажей и даже инопланетян доказала, что такого раньше просто не было. Конечно, столь комплексной мимики, которая будет у главных персонажей, у менее важных NPC в игре не будет, но и они обещают не упасть лицом в грязь. Кстати, о лицах: теперь, благодаря новой системе совмещения черт лица, в игре мы не увидим двух одинаковых людей.