Unity , ADX2 実験室メモ

非エンジニアのサウンドデザイナーがUnityでなにかをつくる

Unityのシーンから360度動画を作ってみた

1月にこんな感じの動画を作ってました。制作期間3日。こういうの初めて挑戦したけど意外と形になった。

chromefirefox推奨。ぐるっと見渡せる動画プレイヤーでどうぞ。

iPhoneとかAndroid端末のyoutubeアプリでもいける。


作った理由

立体音響のデモが作りたいと思ったものの、動画素材がねぇよ!!!

Gear360とかで実写映像にしても良いんだけど、専用マイクと一緒に収録するの結構な大掛かりだし CGの方が色々と都合が良いとか考えているうちに、Unityで作れるんじゃないかと。

Asset探してみると、とりあえず2つありましたよ。

Asset紹介

360 Panorama Capture - Free

win専用 + GPU必須ということで僕の環境では動かず断念。

VR Panorama 360 PRO Render - 40$

Macでも使える! 40$するけど自分で研究して作るより絶対安い!買う!

ってな感じで、上記の動画はこれを使って作られています。

使ってみた感想とか注意点を書いていくよ。


使い方

これ参考にしたら大体解決した

qiita.com

そのままmp4にできるっぽいけれども自分の場合は動画を作ったあと、動画編集ソフト上で音をつけていくので全フレームの静止画がある方が都合が良いので連番で書き出したよ。

注意点
最初の3フレームほど書き出されない。仕様?

設定例 FPS 50 Number of frames to render 200 Resume fromframe 0 ってやると、エディタ上で再生を始めて4フレーム目から200フレーム目までの約4秒分の連番jpgが書き出される、といった感じです。

skyboxの設定について

空の色をだんだん変化させようとアニメーションを組んだものの、このプラグインレンダリング中はエディター画面上だと色が変わっていくけど、書き出された静止画では空の色は反映されなかった。 なので動画の途中で空の色が変わっているのは設定を変えて2回レンダリングして繋ぎ合わせた。パーティクルの散り方が違うので、よく見ると継ぎ目の瞬間、パーティクルの位置が変わるのがわかる。

裏技的な

カメラの子オブジェクトとしてquadでロゴ看板を置いたら6面に投影された。なるほど、これはこれで使える。けど近くて歪んでる。

近すぎるオブジェは注意

カメラ6台分の画像をつなぎ合わせる感じでレンダリングされるわけですが、繋ぎ目があまり綺麗でない。特に近いオブジェクトは明らかにずれているのが見える。実写映像でカメラを複数使う場合はこの合成作業(スティッチング)は手動で補正したりする。

回避するにはカメラの繋ぎ目をなるべく把握して近いオブジェをごまかしながら置く、か。

色々試した結果

Galaxy s6 edgeでGearVRで見た場合、ですが 「なるべく高い解像度がいい。横2000くらい欲しい」 「なるべく高いフレームレートがいいけど、解像度が犠牲になるなら30fpsでもいい」 「できれば立体視用の映像がいい」

という感じで、2000 x 2000 (立体視でなければ1000) 30fps の動画が割とバランスが良い気がします。 ちなみにこの設定だとGalaxy s6 edgeは20分以内に熱を持って、GearVR側から警告くらって再生を止められます。

スマホVRの敵は端末の熱だ。間違いない。

立体視について

首を横に傾けたりするとあっさり破綻するので、立体視そんなに期待していなかったんですが、実際に見てみると焚き火の火の粉が舞い上がっていくのが綺麗だし、なんだかパーティクルに包まれている具合がすっげー心地いいのです。リラクゼーション効果ありそう。焚き火ずっと見ていられる。

おまけ

立体音響版も作ってみた。 Firefox専用としてあるのは、chromeで観たときと音が違う(!)から。

えー!?って感じですが、これは4方向の音の要素を向きに合わせて混ぜてステレオの音にする部分の計算式に決まりが無いから。

あれだよ、GearVRとかPSVRとかで見たときも音が違う可能性が高いんだよ。

こちらはiPhoneだと向いている向きに合わせて音が変化しないかも。 youtubeアプリが対応すれば音の方向が変わるはず。

立体音響について

ambisonicsっていう形式の4chオーディオを作るんですが、ProToolsHDと専用プラグインで作りました。今回紹介した録画プラグインでも作れそうなんだけれど、各オブジェに音を貼り付けていかないといけないとか、曲どうしようとか、まだ悩みは尽きない感じ。作曲ソフト上での作り方はまた別の機会にでも。