画像フィッティング技術 - インクレイブ株式会社[仙台・渋谷]

以前からお取引のあった株式会社ジェイアイエヌ様より、「来店しないでも、ネットでメガネの試着をできないだろうか？」というご相談がありました。

今ではデジカメ等で一般的になった「笑顔識別機能」に代表される画像識別という技術は、当時はまだ一般的な技術ではありませんでしたが、たまたま現IT開発センター内で、画像の識別に関する研究とプロトタイプのシステム開発を行っていたこともあり、当社企画・マーケティングチームとシステムチームで携帯電話と写メールを活用して、なんとかこの企画を実現できないかの検討がすぐに始まりました。

人の顔にはそれぞれ個性や特徴があり、誰ひとりとして同じ顔はありません。今回の企画では、顔の中から「眼」と言う一部分を検出する必要がありました。

初めは顔全体の検出から始まり、次に両眼、その後 片眼ずつと、どんどん検出精度を高めていったわけですが、開発当初は、正面から撮影した写真でも顔自体が検出されない事や、検出されたとしても、光の加減、顔の角度、髪型等の諸条件により正しい範囲で検出されないことも多くありました。
その都度、設定を変更したりパターンを変更してみたりと、様々なトライアンドエラーの繰り返しを行う地道な作業を積み重ね、「人の眼」の検出精度を高めることができました。

このシステムは、LAMP構成(*1)のサーバに、OpenCV(*2)、Postfix(*3)を組み合わせて構築されており、携帯電話から送られた写メールをPostfixが受け取り、それをOpenCVで処理し、最後にImageMagic(*4)で合成するという仕組みとなります。

検出を行うのはOpenCVの役割となるですが、実際に送信されてくる顔写真は常に正面を向いているわけではありませんので、正確な「眼」の位置情報を検出する事が意外と難しい処理でした。 正確な眼の位置と幅を検出できなければ、メガネを合成する正しい位置を算出することができませんので、左右の眼の高さの違いから顔の傾きを計算したり、検出幅の大きさから横幅を計算したりと、独自のノウハウを重ねていきました。

そしてこの検出した位置にImageMagickを使い、最適なサイズに変更された眼鏡画像の背景を透過し、顔写真と合成するのですが、画像を扱う処理はサーバにとっては大変負荷が高い処理となりますので、この高負荷状態を安定的に運用できるシステム設計とチューニング、高トラフィックを支えるネットワーク構築も大変重要な要件となりました。

また、「メガネを試着したい」という方の欲求はすぐに満たされること。しかも、相手は携帯電話ユーザーです。試着後の画像が戻ってくるまでのリアルタイム性が大変重視され、試着の精度はもちろん、システムのレスポンススピードも要求される、技術難度の高い開発となりました。

ここまでの流れを自動的にシステムで処理しますので、実際は写メールを送るだけで眼鏡をかけた顔写真が完成し、眼鏡を試着した自分の顔を見る事ができるようになりました。

*1.OSにLinux、WebサーバにApache、データベースにMySQL、言語としてPerl、PHP、Python等で構成されたシステム。
*2.Intelによって開発された、コンピュータビジョン向けライブラリ。
*3.オープンソースソフトウェアのMTA。
*4.画像処理に必要なコマンドやライブラリが集められたパッケージ。

こうして磨き上げてきた画像識別技術は、JINSより2009年10月にモバイル自動画像サービスでは業界初となるメガネ試着サービス「モバフィット」としてリリースされました。

携帯電話と写メールという特性を活かし、いつでもどこでもカンタンにメガネの試着を楽しむ事ができますので、オンラインショッピングでのご購入前など、メガネの購入を考えているお客様の試着としてのご利用はもちろん、普段はメガネを掛けてない方にも試着してファッションチェックをするなど、バーチャルと現実世界を密接につなぐサービスになったのも、このシステムならではなの特色かもしれません。

これまでご紹介いたしました画像フィッティング技術は、JINSの提供するモバイル試着サイト、「モバフィット」でお試し頂けます。

実はモバフィットでは、弊社ASPサービスであるモバインのコア技術に、モバフィットで必要とされた画像識別技術を組み合わせて構築されています。
このように、ひとつの技術だけに留まらず、インクレイブの持つ様々な技術やノウハウと高いレベルで連携することにより、今までに無い新しいサービスを実現や、さらに新しい分野の技術開発に挑戦してまいります。