今のところAIはChatGPTを代表する言語生成AIとstable diffusionを代表する画像生成AIしか実用的なソフトウェアが見当たらない。
もちろん音楽を生成するAIや動画を補正するAIやプロンプトで短い動画を作成するAIなども生まれているが実用的になるまでにはもう少し時間がかかりそうだ。
一方で音声を他人に変換するAIや動画の顔を他人と入れ替えるAIもあるが犯罪に使われる可能性が高いためそういった倫理観の薄い中国圏以外ではあまり進化していかないと予想している。
色々なAIで遊んでは飽きて次で遊ぶを繰り返していてエンタメの世界で思った以上に実用性を感じたAIがある。
それはIW3だ。
このように普通の平面動画をVRヘッドマウントなどで立体視できる動画に変換できる。
本来VR動画や立体視動画は２つのカメラで撮影して右カメラで見える動画と左カメラで見える動画を並べてサイドバイサイド(SBS)動画として作成する。
それをMeta Quest3などで鑑賞すると画像があたかも目の前で立体に見えるわけだ。
立体にするためには深度情報が必要だが平面の画像にそんなものはない。
だからこれまでは平面の動画から立体視動画を作成することは不可能だった。
しかしそれをAIが実現した。
AIが色々な物の形を学習してモデリングして平面の画像が何かを判断し深度を推定して立体化してくれる。
例えば人間なら頭が丸くて鼻が出ていて首が円筒で女性だったら胸が飛び出していて…という具合にモデリングされた情報からそれらしく立体化するわけだ。
だから完全に元々の立体を再現できるわけではなく推定して作成する。
実際に手持ちの1080pの映画などを変換してMeta Quest2で鑑賞するとそれこそ映画館の4DXデジタルシアターのような臨場感を味わえる。
特にアクション系の映画で顔が突っ込んできてアップになるとこちらに突き抜けてくる間隔すらある。
但し立体視動画なので映画館のスクリーン上が3D化されるだけでDMMのエロVRのように3DoFや6DoF対応動画などの首を回すと視線に合わせた視界に変わる動画ではないので注意だ。
あと人物を立体化した周辺が歪むのが最初は気になったが途中から慣れてきた。
VRヘッドマウントと動画変換用にNvidiaのグラフィックカードを積んだゲーミングPCをお持ちの方は一度試してみることをお勧めしたい。
こちらからパッケージをダウンロードして手順通りにインストールしてiw3-gui.batを起動させれば変換ソフトが使える。
入力に変換したいファイルを選択して出力先を指定して開始を押すだけだ。
AIの原理なぞ知らなくても誰でも作れる。
設定は下記のようにすればとりあえず変換できて視聴できる。
デバイスは搭載されているGPUが自動的に認識される。
CRFは画像品質で小さくすれば綺麗になるがサイズが馬鹿でかくなる。
23-26あたりが妥当かな？
プリセットのultrafastを圧縮率の高い設定に変更したくなるがMeta Quest2で視聴するとこれ以外の設定で変換した動画はいずれもカクカクで視聴に堪えない。
libx264よりlibx265の方が圧縮率が高く綺麗だがこちらもカクカクで使えないのでlibx264を使おう。
もしかするとQuest2の能力の限界でQuest3やほかのVRヘッドマウントでは問題ないのかもしれない。
あと出来上がったファイル名の_LRF_Full_SBS.mp4はそのままにしておこう。
基本は1080pの動画を3D化してMeta Quest2で鑑賞しているがこれ以下のサイズでもRTX4070だと12-15FPS位で変換される。
あとはVRヘッドマウントの中に動画を移すなりNASに動画を入れてそれをSKYBOX VR PLAYERなどでアクセスして視聴すればいい。
くどいようだがVR動画ではないのでＳＫＹＢＯＸの設定では「左右の目、シネマ」にしよう。
Pigasusやmoonなどのプレイヤーでもおそらく鑑賞はできるはず。
参考にしたサイト