UnityとOpenCVとDlibとARでユニティちゃんになってみた facetracking 2018
カメラだけでVtuberになれるかも！？
最終的にこんな感じになります
macのカメラだけでVtuberになれかも！？#Unity#Vtuber#ユニティちゃん
— Misaki (@MisakiSwi) 2018年2月25日
© UTJ/UCL pic.twitter.com/KSe4eXszhu
使用したアセット
OpenCV for Unity - Asset Store
Dlib FaceLandmark Detector - Asset Store
実装
ベースはDlibFaceLandmarkDetectorWithOpenCVExampleのサンプルを変えていきます。 DlibFaceLandmarkDetectorWithOpenCVExampleはDlibFaceLandmarkDetectorの中のDlibFaceLandmarkDetectorWithOpenCVExampleカスタムパッケージ？をインポートすればディレクトリができます。 DlibFaceLandmarkDetectorWithOpenCVExampleの中のARHeadExampleのARHeadExample sceneをコピーして開きます。名前は自由ですが、私はARHeadExampleUnityChanにしました。HierarchyのARObjectsの中がARで表示されるオブジェクトになります。その中にunitychan_dynamic prefabをドラックアンドドロップします。Hierarchyはこんな感じです。
スクリプトは全部チェックを外し、animatorのcontrollerはNoneにします。layerをUIに変えます。
transformを画像のように変更します。
この時点で実行するとフェイストラッキングはできます。ただ、顔のまぶたや口を動かすことはできないので、参考サイトを見てください。
動画を見てもらえばわかると思うのですがfpsがあまりでないので改善したいですね。
だいぶ雑に書いたのでわからなければ質問ください。
ライセンス © UTJ/UCL
参考サイトです
iPhoneXがなくてもアニ文字したいんだ！ 【Unity×OpenCV×Dlib】 - Qiita
FaceRig無しでも中の人(二次元)になりたい！【Unity × OpenCV × Dlib × Live2D】 - Qiita
