CEDEC2021メモ1日目
今年のCEDEC2021は6年ぶりに聴講します！
こんにちは。くらびすたです。
タイトルの通り、今夏は日程の都合がついたためCEDECを見に行けることになりました。
といっても去年に続きオンラインでの開催となるため、自宅のPC前からのお勉強ですね。
※CEDECを知らない方へ …
Computer Entertainment Developers Conferenceの略。
その名の通りゲーム開発者の講演会です。
野良サウンドデザイナーを営んでいる僕にとっては最新の大手コンシューマー開発現場の事情を知れるレアなチャンスです。
あと参加費が早割で33,000円する。
当然のようにくらびすた（フクシマさん）はサウンド関係の講演を中心に見ました。
そして当たり前のことですがスライドの全部の丸写しはNG。
写真（スクショ）もいたずらに転載するのは望ましからざろうことから、くらびすたが見聞きしてきた話のあらましと個人的に面白く感じた事柄について、なるべくサクッと書いていこうと思います。
興味が湧いた方はCEDiLという併設サイトを訪ねてみてください。
講演資料のアーカイブがあります。（後日追加されるスライドもあります）
無料の会員登録だけで見れますよ。
コード(Chord)を表示するために、山ほどコード(Code)を書いた件 -より高度な和音解析と楽譜化そして音ゲーへの応用について-（11:20-12:20）
https://cedec.cesa.or.jp/2021/session/detail/s601754a8a8aa2
難易度
🔥🔥🍭 辛口
ざっくり
CRI・ミドルウェアの増野さんの講演です。
氏はここ数年CEDECに出ては音楽解析プログラム「BEATWIZ」の最新の研究成果を発表していました。
今年は和声理論に基づいた伴奏の解析や、さらにレベルを上げた楽譜出力を盛り込んでの参戦でした。
おもしろかったこと
これ、楽器屋のバイトで3か月に一度は聞かれている「CD音源を放り込んだら楽譜が出てくるソフトない？」に対する答えじゃないかと。
いやー、いつも「そんな魔法みたいなソフトはありませんねぇ…既に実用化されていたらカバー用のバンドスコアとかお店に並ばなくなっている（※）でしょうし…」と答えるの、少し気の毒だったんですよね。
※市販のスコアはほとんどが本人以外の手によって、CD音源から耳コピで逆算するようにして作られています
この研究と楽譜産業はあまり近いものではありませんが、今までにないアルゴリズムで精度の高い伴奏データが得られるとなれば、夢が膨らみます。
講演の最後には楽曲の構成（Aメロ、Bメロ、サビ…）の解析から、「盛り上がり度」の推定（？？？？）にまで話が及びました。
スライドではDJアプリへの応用が「次回予告」よろしく掲載されていましたね。
こうした研究は当然のことながらインタラクティブミュージック（IM; 状況に応じて変化する音楽）との相性も抜群です。
今後作っていく予定のRPGツクール用IMスクリプトでは事前にCueシート（楽曲構成を記した紙）を用意してから演奏させるのですが、BEATWIZではそんな手間をかけずともあらかたの曲がそうした土俵に立てるわけですから、大先輩のワザに脱帽するほかありません。
よくできた科学は魔法と区別がつかないってやつですね。
学習ベースの自然な音声合成技術のキャラクターボイスの応用と実運用（11:20-12:20）
https://cedec.cesa.or.jp/2021/session/detail/s60632138e3d13
難易度
🍭🍭🍭 甘口
ざっくり
音声合成技術が進めば、
「その [くさりかたびら] は、[あの街] で買ったのですね。」とか
「[闇の洞窟] に [4分53秒] ももぐっていたんですね」とか
といった、プレイ状況依存のセリフを喋らせられるかも？
ではどんな風に用意をすればスムーズに発話させられるのか、音声合成の歴史から最新の状況までのおはなしでした。
おもしろかったこと
生読み上げと合成音声の掛け合わせ、つまり先の例でいえば[こんな風に書いている部分] だけで後者を使い、変数以外の箇所は生声を使う、といったケースも想定されていました。
こうした場合、エンジンの質によって合成部分だけ音がこもったり、繋ぎ目の処理によって変な隙間が生まれてしまったり、ケアしなければいけないポイントがたくさんあるようです。
これギャルゲーに実装されたらスゴいことじゃない？
エロゲーでの活用はだいぶ普及しないと厳しいと思うけど。
珍しい名前のそこのアナタも名前呼んでもらえるかもよ。
…漢字を含む音声合成辞書の作成は難しいらしいですけど。
さて，そろそろ本気を出して歌唱デザインを研究してみようか（14:50-15:50）
https://cedec.cesa.or.jp/2021/session/detail/s6093ec11b22d3
難易度
🔥🍭🍭 中辛
ざっくり
僕も恥ずかしながら今になって知識が整頓されたところなのですが、おそらく多くの人にとっては「NEUTRINOの元になった研究」といえば早いと思います。
おもしろかったこと
研究開発のために文章を引用することは、しかるべき手続きを経ればさほど難しいことではありません。
引用した先でゴシック体で書かれようと明朝体で書かれようと同じです。
ですが歌声を引用したいと思えば、もう丸ごとぶっこ抜くしかありません。
ここが権利クリアにおいてめちゃくちゃ難しいようです。（原盤権への抵触？）
研究利用のために広く開かれた歌声データベースを作る、ということにも熱心に取り組んでいるそうで、今後も楽しみです。
くらび的には「巧い歌い方、感情に響く歌い方」を定量的にみる方法についての研究にとても惹かれました。
音楽の感じ取り方ってある意味神聖視されているので、そこにメスを入れて暴くような研究は貴重です。
成果がオープンになれば、あらゆる音楽演出のもっと面白いやり方を探すための助けになることと思います。
スマホ音楽ゲームが変わる！楽器レベルの低遅延再生への挑戦（17:30-18:30）
https://cedec.cesa.or.jp/2021/session/detail/s60636c16c7e07
難易度
🔥🔥🍭 辛口
ざっくり
スマホ音ゲー、最近流行っていますよね。
プレイしたことある方はわかるかもしれませんが、あの手のゲームってゲーセンとかでやるようなものに比べて判定がめちゃくちゃ緩くなっています。
プレイする層の厚さも考えてのことでしょうが、その理由のひとつには、スマホの特性や性能のためにシビアなタイミング処理が難しいことがあげられます。
この講演では、そこをどうにかケアするために行われた調査や実装について、解説がなされました。
おもしろかったこと / くらびメモ
「ピアノは打鍵から発音まで30ms遅れがある」「人間がテンポキープの上で違和感を覚えるズレは○○ms」といったアナログ領域の話から、iOS/Android/Windowsで低遅延を実現するためのAPIのチョイス、バッファーの調整などのデジタル領域の話へどんどん掘り下げていく構成がわかりやすかったです。
- iOS vs Androidだけならともかく、Android同士でもハード部分で遅延に差が出てしまう
- iOS Safariでピクチャ-イン-ピクチャ再生させるとソフト部分だけで4096サンプル約80msの遅延が発生する！？？！？
- AndroidでBluetoothデバイスをかませるとBluetoothコーデック処理の遅延に加えてOS側で5000サンプルの遅延が発生する！？！？？！？！？！？！？
1日目感想
やはりBEATWIZが一番アツかったですね。コンピューターによる音楽の解析ってここまで進んでいるんだと感動しました。
「西洋音楽の12半音を割り出す」だけなら、アルゴリズム次第で何とかなりそうなものです。三角関数も対数も怪しい僕がエラそうなこと言えたもんではないわけですが。
ですが増野さんは音楽的であることにこだわっているようです。和声理論の導入や西洋音楽以外の調律への対応などは、その表れであるように感じました。この辺は卵と鶏どちらが先かみたいな部分もあるのでしょうけど。
大げさにいえば、「意味」の持ち込み、ですよね。
「ドミソの次にファラドを鳴らせばそれっぽいらしい。理由はしらんけど」のひとつ先の世界にBEATWIZは足を踏み入れている、これって僕が自動作曲に対して考えている「本当に音楽的意味（※）を思考して作っているものがあったら面白いのにな」という願いにとってとても心強い事実です。
※音楽的意味 … 便宜上こう書きましたが、そんなものは遍く宇宙には元から存在せず、人間が勝手に勘違いしているだけだと考えています。それはそうと、「強いAIと弱いAI」の観点でいうところの「強いAI」による自動作曲の登場を待っています。待っているというより、自分がサボっていても、あるいは病に伏していても、僕っぽい曲がポコポコ作られる仕組みが欲しくて、ツクール用のプラグイン開発が一段落ついたらやりたいと思っているんですよね。
1日目に見た4講演だけでも、互いに若干かぶったり相反したりする部分がありました。
ここで嬉しかったのは、「相反したり」の部分です。
全部の講演の内容が隙間なく同じ方向を向いていたら、ただただ新規性のないものをこれから作ることになるところでした。
微妙に「この講演、実はあの研究と似たようなことを言っているんじゃないか」「でもアプローチや思想が全然違うな」というズレを見つけられればこそ、さらにalternateした第3、第4の答えを自分が作るんだ、という気持ちが湧いてくるのです。
普通に当たり前のことなんですけど、先行研究ってすごくありがたいんですよね。
なんだか卑屈になると「先輩にかなうわけないじゃん」とか「いちいち新規性って考えなきゃいけないの面倒くさい」とか、そういう考えに至ってしまうところですが。
山登りでいえば5割くらいまで拓いてもらっているというか、畑でいえばある程度耕してもらっているというか。
あとは守破離でいう守を知れるからこそ、前述の通りalternateしていけるわけで。
技術面知見面の仕入れが充実していたことはもちろん、新鮮な気持ちも得られました。
2日目も楽しみ～って書くはずでしたが今2日目終わってド深夜です。
ちょっと人に見せる意識減らして「くらびメモ」としての性格を強めさせることにしよう。聡明な読者諸君ならいい感じに読んでくれるだろう。
おやすみなさい。
戯言
エロゲー開発者の講演会「性DEC（仮称）」をいつかやりたいと思っています。自薦他薦問わず面白い話できる人いたら教えてください。音声作品における3D音響の話（僕のほかにいれば。サウンド部門）とか、イベントスチルや差分の管理方法（ビジュアルアート部門、エンジニアリング部門）とか、外注を雇うときのノウハウ（プロダクション部門）とか。