« AviUtlの拡張編集v0.81cで「シャドー(カメラ制御)」が実装されたようです | トップページ | AnimeFaceすげえええええ!w »

2010年4月19日 (月)

NiVEのアニメ顔検出プラグイン「AnimeFace」で遊んでみた

こちらの動画で「AnimeFace」という面白いNiVEプラグインがリリースされていました。

このプラグインは、こちらのサイトで公開されている、「Imager::AnimeFace」という
アニメ顔検出ライブラリを利用して作られたもので、映像中にあるアニメっぽい顔を検出し、
  ・顔の位置
  ・目・鼻・口・顎の位置
  ・髪の色
  ・肌の色
  ・目の色
などの情報を、検出&解析結果として得ることができるプラグインです。
上の動画では、検出した両目の位置を結ぶ直線を描いて、自動で目線を入れてるわけですね。

これを使ってNiVEのサンプルプロジェクトを作ってみました。

こちらは、AnimeFaceで得られた目と口の位置にあわせて、「ののワ」のテキストを書き込んでいくというサンプルです。
「BitmapBridge」というプラグインを使い、エクスプレッションでテキストの描画処理を実装しています。
検出結果として得られた肌の色を使って文字の縁取りをしているので、文字が割と自然に顔になじんでいます。
この時点では顔の傾きとかを考慮していませんでしたので改良の余地が残っていました。

次にもう1つ作ってみました。

こちらは、目と口の位置にあわせて画像を貼り付けていくというサンプルです。
ためしにののワさんとゆっくりの目と口の画像を貼り付けてみたのですが・・・
サムネでわかるとおり、ゆっくりの破壊力が半端なかったですw
このサンプルでは、両目の中心を結ぶ線を考え、その線の傾きを顔の傾きと判断し、
それにもとづいて回転させた画像を貼り付けているので、テキスト版よりも自然に顔になじんでいると思います。
ただ、両目の位置だけで傾きを判定しているので、もしかしたら顔全体や口、顎の位置なども考慮して
判定を行なうことで、もっと自然な貼り付けが可能になるかもしれません。
この動画は当日25時からの世界の新着動画で紹介され、無事完走することができました。ありがとうございます。

思いついたネタはこれくらいだったんですが、ニコニコ動画は
   「その発想はなかったwww」
   「謎の技術」
の宝庫ですので、更になにかしら面白いネタにつながっていくといいなと思ってますw
コメントにもありましたが、元々のAnimeFaceライブラリは静止画でのアニメ顔検出用に作られたものですし、
動画向けにフレーム間の補間などの技術を盛り込んでいくというアプローチも出てくるかもしれませんね。
元のAnimeFaceライブラリの説明で
  「主に速度面の問題があるので、顔は±30~40°以上傾いていると意図的に検出していない」
と書かれていましたが、そのあたりも調整できるようにするとか、そういった技術面も含めて色々出てくるといいなと思ってます。

あと、これは本筋とは関係ないですが、AviUtlの拡張編集プラグインはとても便利ですね。
今回の動画はNiVEでレンダリングした動画を複数つなげて作ってますが、
最終的な動画の結合や文字入れ、音あわせなどはAviUtlの拡張編集プラグインを使って行いました。
PremiereElenmentsなどの動画編集ソフトを持っている方はそれを使ったほうがよいかもしれませんが、
フリーソフトで済ませたいという方は、拡張編集プラグインを試してみてはいかがでしょうか。
すくなくともWindowsMovieMakerよりも色々なことができますし、楽しいと思います。
  「映像の加工はNiVEで行い、編集はAviUtlの拡張編集プラグインで行なう」
というのは、なかなか良い組み合わせかと思います。

|

« AviUtlの拡張編集v0.81cで「シャドー(カメラ制御)」が実装されたようです | トップページ | AnimeFaceすげえええええ!w »

コメント

コメントを書く



(ウェブ上には掲載しません)




トラックバック

この記事のトラックバックURL:
http://app.f.cocolog-nifty.com/t/trackback/1278146/34290464

この記事へのトラックバック一覧です: NiVEのアニメ顔検出プラグイン「AnimeFace」で遊んでみた:

« AviUtlの拡張編集v0.81cで「シャドー(カメラ制御)」が実装されたようです | トップページ | AnimeFaceすげえええええ!w »