リップシンク……できた!
こんにちは!
おかげさまで「催淫姉妹」は2000DLに到達しました。ありがとうございます!
なんとか次回作を作ることが出来そうです。
さて、最近は表現力アップのためにいろいろ研究をしています。
今回は、これまでずっとやりたかったリップシンクについて。
ご存じの通り、映像の中の人物の口の動きと声のタイミングを合わせることをリップシンクと言います。商業作品でこれを実現しているのはもう珍しくありませんが、素人の自分がやろうとするとこれがなかなか難しく、これまでは全く手が出せませんでした。
リアル系3DCGでリップシンクをするにあたって、喋るモーションを手で付けるのは、あまり現実的ではありません。何らかのツールを使って、自動的に音声と連動したモーションを生成させるのが一般的な手法となっていると思います。自動生成であれば、声優さんに厳密なタイミングの調整をしてもらう必要がなく、声優さんに余計な負荷をかけずに済みます。リップシンクをやるなら、まず検討すべきはモーションの自動生成です。
僕が調べた限りでは、顔の動きをモーションキャプチャーでモーション情報として取り込む手法や音声データから口の動きを自動生成させる方法が多いですが、現在の僕の制作環境を考えると、音声データからの自動生成が適しているように思いました。
ということで自分の制作環境で音声ファイルからのモーションを自動生成する方法を、ここ数カ月の間色々調べていました。そして、やっと自分でも無理なくできそうな作業フローが確立できたので、今回リップシンク動画を試作してみました。
以下がその動画です。(音が出ます)
正直「完璧ではない」とは思いますが、ひどい違和感もないレベルにはなったのではないかと思います。僕の中では十分に及第点以上の水準。次の作品に生かしたいと思います。
ちなみに、動画の女の子は最近作ったアンドロイド少女の「ココ」ちゃん。映像の中でちょっと身体を揺らしているのは、リップシンクのモーションがそのほかのモーションに干渉して悪さをしないか、その確認のための動きです。
(動画の声はCOEIROINKを使用しています)
声:つくよみちゃん@COEIROINK
無料AIトークソフトCOEIROINK: https://coeiroink.com
フリー素材キャラクターつくよみちゃん: https://tyc.rei-yumesaki.net