顧客行動のモニタリングに役立つ技術・ソリューション
「環境情報構造化」「性別年齢自動推定技術」「画像処理技術」「感情認識技術」
- （1）マーケティング情報の取得にかなり役立つ「環境情報構造化」
- （2）デジサイから動線管理までをカバーする「性別年齢自動推定技術」
- （3）複数人の行動・動線のモニタリングに役立つ「画像処理技術」
- （4）顧客の感情もつぶさに捉える「感情認識技術」
「Part1」では、顧客価値を『共創』することの重要性を指摘し、各種RT要素を利用した顧客状況（現場状況）の“見える化”を通じて、リアルタイムかつリッチなサービス提供を可能にした例を紹介した。そして、このような“見える化”にRTの役割を埋め込むことにより、RTの存在価値を高められる可能性を示した。
現時点では、その重要性に気づき始めたところであり、こうした取り組みは緒に付いたばかりである。しかしながら、共創レベルとはいかないまでも、マーケティングの分野では、購入に至る前の顧客行動を捉える取り組みが活発になってきている。
マーケティングでは「AIDMA（アイドマ）の法則」という考えがあり、消費者がある商品を知ってから購入に至るまでに、次の5段階を乗り越えなければならないとされている。すなわち「（1）Attention（注意）」「（2）Interest（関心）」「（3）Desire（欲求）」「（4）Memory（記憶）」「（5）Action（行動）」である。（1）と（2）の途中段階までは広告などが寄与し、（5）の購入した結果は、POSデータなどから判断できるが、重要とされる（2）～（4）の顧客行動を判断することができなかった。これらに対し、画像処理技術をはじめとするRTを活用したシステムが提案されている。
「Part2」では、これら顧客行動の把握に役立つ有力な技術およびソリューションを紹介する。いずれも、各種RTとの組み合わせにより、リアルタイムなサービス提供を可能にすることが期待されるものばかりである。
（環境情報構造化「人の計測」：ATR）
■ロボットがサービス提供をするための環境情報
「環境情報構造化（*1）」とは、ITやユビキタスコンピューティング、ネットワーク通信技術、GPS、RFIDタグなどのセンシング技術と連携して、ロボットが動きやすいように環境側を整備するプロジェクトである。空間や人の行動に関する意味情報を「環境情報」として環境に埋め込む（構造化）べく2006年7月より進められている。「人の計測」「場の計測」「物の計測」の3つの観点から開発がなされており、その詳細は以下のサイト（http://robonable.typepad.jp/trend/2007/11/post_d6bb.html）を参照してほしい。
＊1：平成18年度科学技術振興調整費 科学技術連携施策群の効果的・効率的な推進により「次世代ロボット共通プラットフォーム技術」として開発されている。「環境情報構造化」と「ロボット用基盤ソフトウエア」の2つの観点で研究開発がなされている。後者は「分散コンポーネント型ロボットシミュレータ」として、産業技術総合研究所が開発を担当している。東京大学とゼネラルロボティクス社などと共同で「OpenHRP2」と「RTミドルウエア」を組み合わせたロボットシミュレータ「OpenHRP3」を開発している。
「人の計測」の開発を担当する国際電気通信基礎技術研究所(ATR)では、ロボットがサービスを実行するために知りたい環境情報が抽出できる「環境情報構造化プラットフォーム」を開発している。人や物の位置情報の計測・蓄積・構造化をシームレスに扱える、「センサデータ層」「セグメント層」「プリミティブ層」「サービス・アプリ層」から構成される環境情報4層構造化モデルを提案しており、そのプロトタイプシステムの1つを「ユニバーサル・シティウォーク大阪(UCW)」（大阪市此花区）に設置している。
 |
ATRが提案している環境情報4層構造化モデル。まず「センサデータ層」ではカメラやレーザレンジファンダ、RFIDタグといった各種センサから得られる情報を処理し、位置情報に変換する。次に「セグメント層」にて、そこから出力される人の位置情報を統合・蓄積して、標準的な形式に変換する。「プリミティブ層」では、セグメント層のデータに基づいて、人の行動や様子などを表すプリミティブという記述形式で意味づけを行う。そして、「サービス・アプリ層」では、セグメント層から出力される位置情報とプリミティブ層から出力される情報に基づいて、道案内や誘導、展示品の紹介などロボットサービスを記述する。例えば、「通路で立ち止まっている人に最寄りのロボットが声をかけて誘導する」というロボットサービスを記述しておけば、上述の意味づけがなされたとき、ロボットはそのサービスを実行する。 |
 |
ロボットによる道案内サービスの提供例。UCW環境では、時間帯での人の混雑具合を統計情報として取得することができ、例えば身体の不自由な方に道案内をするときは、なるべく人の通りが少ないところを選択してナビゲートすることができる。 |
同プラットフォームの特徴は、「プリミティブ」というキーワード形式（抽象度の高いシンボル情報）にて人の行動パターンと、場所特有の統計・履歴情報が得られることである。前者を「行動プリミティブ」、後者を「空間プリミティブ」と呼び、前者には「うろうろする」「まっすぐ進む」などが、後者には「人が往来する」「空いている地点」などがある。
従来、ロボットサービスを開発する場合、各センサのパラメータを意識しながら、人のID番号や位置のXYZの座標情報をもとに記述する煩雑さがあった。
これに対し、同プラットフォーム下ではプリミティブとして意味づけされた情報を獲得できるため、サービス事業者はそれらを意識せずに記述することができる。しかも、環境情報はプリミティブという質的データからなる階層構造により表現されているため、サービス内容に応じて、これらの情報を組み合わせたソフトウエアを開発することができる。
また、同プラットフォームでの表現方式は、OMG(*2)で標準が進められている「Robotics Localization Service」仕様に準拠しており、位置情報やプリミティブ情報を統一されたプロトコルで出力し、統一的に扱うことができる。さらに、「CroSSML（Domain-Crossover Services Markup Language）（*3）」に基づく意味情報交換インターフェースを備えており、ネットワークロボットのプラットフォームをはじめ異種ネットワーク情報システム間でのインターオペラビリティ（相互接続）が確保されている。
＊2：オブジェクト指向技術の標準化・普及を進めるために、1989年に設立された業界団体。現在では、世界から800以上のソフトウエアベンダー、ディベロッパー、一般企業が参画する。オブジェクト指向の分散アプリケーション構築を可能にするフレームワークの仕様を提案することを目的に標準化活動を展開している。これまでにCORBA（Common Object Request Broker Architecture）、プログラム設計図の統一表記法であるUML（The Unified Modeling Language）などを標準化した実績を持つ。
＊3：慶應義塾大学の徳田研究室が開発した、サービスメタ情報をXMLで再帰的に定義して、異機種間で情報の検索や利用を可能にする記述言語。簡単に言えば、異なるネットワーク間をまたいで、それぞれのネットワークの情報を獲得できるようにした記述言語と表現できる。
■マーケティング情報の抽出に期待
UCW内に設置されたプラットフォーム環境(UCW環境)は、おもに6台のレーザレンジファインダ（LRF）、16台のカメラ、9台のRFIDタグリーダから構成される。これらが協調・連携することにより、無線タグを所有する人の位置を観測して、3次元位置情報や軌跡情報など物理的な観測量を保存することができる。数cm～数十cm程度の精度で計測することができる。
これらの情報から個人の行動の意味づけを行うことで行動プリミティブを、これらをもとに空間利用状態の可視化および意味づけを行うことで空間プリミティブを、それぞれ抽出する。
 |
 |
| UCW環境における各種センサの配置図 | UCW環境における人の位置計測の性能 |
UCW環境ではLRFの2次元情報にて位置情報を取得しているため、時間帯や天候の変化に関わらず、安定した位置計測が行える(*4)。カメラで撮影した情報は、その場で破棄するようにしており、またLRFの情報は位置情報であり個人を特定する情報にはならないため、プライバシーに配慮した環境になっている。
UCW環境は6月末に公開されており、その接続プロトコルも提示されている。すでに、いくつかの企業がATRと共同で、この環境を利用した実験を準備している。
 |
 |
| UCW環境における人の位置計測例。設置した各種センサの情報を統合して、人の位置計測を行う。 | UCW環境における行動プリミティブの計測例。蓄積された多数の人の位置・軌跡情報をもとに個人の行動の意味づけを行うことで抽出される。 |
＊4：UCW環境では、高層ビルに囲まれており、屋外部分でもGPSによる測定は困難であることからGPSの利用は想定していない。精度の良い屋内GPSがあれば、「商品ベースでのナビゲーションも行えるのでは」と、宮下室長は話す。また、環境情報構造化のプラットフォームはどこでも設置できるが、人の混み具合（密度）があまりにも高いところでは、人の位置計測は困難という。「どの程度の混み具合であれば、計測可能かどうかを調査している段階」と、宮下室長は話す。
上述の通り、もともとは環境情報を与えることにより、ロボットがサービス提供を行いやすくすることを狙って研究開発されていた。ところが最近は、人の行動パターンや場所特有の統計および履歴情報が得られることから、有力なマーケティング・ツールとしても認識され始めている。
開発を担当するATR知能ロボティクス研究所の宮下敬宏 環境知能研究室長は、「新たなサービス提供につなげたり、既存のマーケティング情報とマッシュアップしたりすることにより新たな価値を提供できるのでは」と話す。
例えば、既存のPOSデータは顧客の購買行動の結果を把握することができるが、ある商品を購入しようとうろうろしていたが、結局は購入をやめたといった購入前の行動を掴むことができない。
これに対し、環境情報構造化では、このような購入前の顧客行動を把握することができ、「これらをもとにリコメンデーションを行ったり、成果保証型広告を打ったりすることができる可能性がある」（宮下室長）。また、顧客が個人IDを保有していて、IDに基づく個人情報をある程度公開してくれるのであれば、Web空間上でのバーチャルの行動履歴と、実空間上での行動履歴とをマッシュアップすることにより、より的確なリコメンデーションが行えることも期待される。
ロボットを介したサービス提供ではなく、「成果保証型広告に生かすような使い方や、直接人に情報を与えて何らかのサービス提供する方がビジネスとしての立ち上がりは早いのでは」と、宮下室長は話す。
UCW環境の利用に当たっては、利用申請書(http://www.irc.atr.jp/ptStructEnv/kansai-PF-j.html)を提出し、審査が通れば利用することができる。2008年度末までは、科学技術振興調整費「科学技術連携施策群の効果的・効率的な推進」の枠組みにて研究開発がなされているが、同プラットフォームの研究開発終了後の扱いについては、「今後の要検討課題の1つ」（宮下室長）という。
現段階では、ユーザーの利用形態にはおもに2つが考えられ、1つは実際に、ある施設内に同プラットフォームを構築する形態。もう1つは、UCWなど構築された環境からプリミティブを抽出して、サービス提供などに役立てる形態である。前者は技術的ハードルが高いため、多くは後者の形態を採用することが考えられる。公開された仕様も、それを想定した内容になっている(*5)。とはいえ、来年には同プラットフォームの研究開発が終了し、公開の仕方も次の段階へと進むことから、「年度末までにはプラットフォームの運用などに関する諸問題は解決しておきたい」と、宮下室長は話す。
＊5：サービス内容によっては、基本プロミティブのみでは、その提供が困難な場合が考えられる。そうした場合は、「プリミティブ定義ファイル」を提供し、ユーザー自身でプリミティブを作成することになる。また、ユーザーに公開するのは、基本はプリミティブ層のレベルだが、セグメント層およびセンサデータ層を開示する可能性もある。セグメント層では、センサデータ層から得た位置情報を統合・蓄積して、標準的な座標データと個人IDに変換するが、「これを介さないで処理をしたい企業の要望に応える考えがある」ことを、知能ロボティクス研究所の萩田紀博所長は、3月開催の講演会「商業施設・流通を変えるロボットテクノロジーソリューション」で言及していた(http://robonable.typepad.jp/news/2008/03/20080318-atrucw.html)。
■取材協力
㈱国際電気通信基礎技術研究所(ATR)
知能ロボティクス研究所 環境知能研究室
室長 宮下 敬宏 氏
■関連サイト
連載講座 業界標準技術を理解する その3 ネットワークロボット＆環境情報構造化
第1回 複数ロボットの連携を可能にするネットワークロボット
http://robonable.typepad.jp/trend/2007/11/post_828c.html
第2回 ロボットに知識や情報を提供する環境情報構造化
http://robonable.typepad.jp/trend/2007/11/post_d6bb.html
第3回 ネットワークロボットと環境情報構造化の連携
http://robonable.typepad.jp/trend/2007/11/post_0fdb.html
（「FieldAnalyst」：NECソフト、「OKAO Vision」：オムロン）
顧客行動を把握するツールは、すでにマーケティング用途では実用化されている。代表的なものは、画像処理技術により人物の特徴をリアルタイムに分析して性別・年齢層を自動推定するシステムである。おもなシステムにNECソフト（http://www.necsoft.com/）の「FieldAnalyst」と、オムロンの「OKAO Vision」(http://www.omron.co.jp/)がある。
FieldAnalystは、定点カメラによる映像から人物を検出し、その顔画像をもとに性別と年齢層を自動的に推定して、計測結果を出力するシステムである。性別と年齢層の2つの属性を分析することができ、「男」「女」の2カテゴリと、「0代」「10代」「20代」「30代」「40代」「50代」「60代以上」の7カテゴリで推定が行える。約5mの撮影エリアにいる人に対し、最大6名をリアルタイムに属性分析することができる。
2008年10月に発表した「同Ver.2.0」では顔検出方式に加え、上体検出方式を追加した。人物の上体部分を検出することにより、カメラに顔が映らない横向きや後向きの人物検出も行える。また、従来の顔検出方式と組み合わせることにより人物検出の性能が向上し、計測データの信頼性を向上している。
また、上体検出した人物は来場者数として計測し、顔も検出した人物についてはその客層（性別年齢層）も推定を行うため、来場者の人数と属性の同時計測が可能になった。さらにWeb閲覧機能を追加しており、ネットワークを通じてブラウザ上で集計データを参照することがきる。
 |
おもな用途には、デジタルサイネージ(Digital Signage)との組み合わせや、大型商業施設やショッピングセンター（SC）などでの客層分析ツールが挙げられる。
前者は、顧客の属性に合わせて的確に情報を流す画像カスタマイズ機能に役立てている。具体的には、「20代・女性」に対しては口紅の広告を、「30代・男性」に対してはアウトドアグッズの広告を表示するといった機能である。また今年の夏には、フジテレビ「お台場冒険王ファイナル」にてナビゲータの「目玉おやじ」（アニメ「ゲゲゲの鬼太郎」に登場する鬼太郎の父）に組み込み、ディスプレイの前に立った来場者の属性を分析して、それに合わせたオススメ商品の情報を配信する取り組みを行っている。
後者は、SC内の要所要所に組み込んでおき、客層と動線の関係性を把握する用途などで利用されている。
NECソフトでは、FieldAnalystの次世代版として服装の属性認識を行うことを視野に入れているという。つまり、衣服の色やデザインなどから個人の趣向をセンシングすることを目指している。これが可能になれば、渋谷をはじめとする流行の発信地の傾向をつぶさに把握することにより、商品ラインナップの変更といった意思決定や、新モデルの開発に役立てることができる。
オムロンの「OKAO Vision」は、顔検出、顔器官検出、顔認証、属性推定、顔画像最適補正の5つの要素技術から構成される。属性推定は、FieldAnalystと同様、性別と年齢層の2つだが、年齢層の判定は「10歳未満」「10代」「20～30代」「40～50代」「60代以上の」5カテゴリとなっている。
カメラを通して捉えた顔画像データから、特徴の多い目元・口元を中心に、それらの形を「方向」と「間隔」というパラメータで特徴を抽出する。例えば、目の形では「間隔」を目の大きさ、「方向」を目尻の向きという具合に情報を簡略化して特徴抽出を行う。これら眼や鼻などの特徴点や位置関係などのデータをライブラリ化している。
2005年にはカメラ付き携帯電話に実装可能な認証システム「OKAO Vision顔認証センサ」を発表している。認証に要する時間は、撮影ボタンを押して1秒程度で済む。また、顔の撮影位置を合わせる手間がなく、顔を撮影するだけで認証が行える。組込みLinuxやSymbian、ITORNをはじめ、どのプラットフォーム上でも動作することができる。
また同年には、東京モーターショーにて、ドライバーの顔向きを検知する実験機を出展している。ドライバーが進行方向を向いていないときに脇見運転の警告を出したり、ドライバーがインパネにあるカーナビ画面に視線を少し移すと、その画面をフロントガラスに映し出したりするデモを行った。
おもな用途は、FieldAnalystとほぼ同様である。最近のトピックスとしては、産業技術総合研究所 サービス工学研究センターと北海道日本ハムファイターズの共同プロジェクトでOKAO Visionの利用を検討している。北海道ドームの来場者の中には、若い女性グループをはじめ野球ファン以外の客層が多く含まれる。また、札幌市のすすきので飲食を終えた客もかなりいるという。このように多様な客層に対応したサービス展開に向け、客の属性および行動分析にOKAO Visionを役立てることを考えているという。
なお、FieldAnalyst、OKAO Visonともにプライバシーの問題から、また、統計情報を得るという目的から、撮影した画像情報はすぐに破棄するようにしている。
■関連サイト
サービスの生産性向上に向けて、ロボットやITが果たす役割とは
産業技術総合研究所 サービス工学研究センター 内藤 耕 次長に聞く
http://robonable.typepad.jp/trendwatch/2008/09/it-68d7.html
（富士通研究所）
富士通研究所（http://jp.fujitsu.com/group/labs/）は、複数のカメラで撮影した映像をリアルタイムで合成することにより人の行動を検出するシステムを、2008年5月に発表している。複数のカメラ映像から、そこに映っている人の動線を自動的に抽出することができ、不審者の行動の監視や顧客の購買活動を調査するマーケティング、作業の可視化による行動分析などに役立てることができる。
従来、画像監視の分野では、映像から人の動線を抽出するための技術開発が行われてきた。しかし、コンビニエンスストアなどで見かけるような、部屋を斜め上から複数のカメラで撮影する従来手法では、各カメラ映像が独立して処理されるため、人を重複してカウントしたり死角が発生したりして、撮影した映像からすべての人を正確に把握することができなかった。
同技術では、監視エリアの天井に多数の小型カメラを真下に向けて設置し、視点の異なる複数の映像を撮影。これらの映像を、各カメラの位置に基づき、1つにまとめることで死角のない映像を取得する。取得した映像には、同じ人が複数の異なる視点から撮影されているが、映っている人のサイズや形をもとに同一人物であるかどうかを検証することにより、映像中の人の位置を重複なく正確に検出・追跡することができる。同社が実施した、約50m2の店舗で天井に16台の小型カメラを設置した実験では、243人が移動する様子をほぼ正確に把握することができたという。
また、毛髪や肌の色、身体の部分の形状、身長など人間の特徴に関する情報を多数登録してあり、撮影した画像を解析して、身体の一部のみが映っている場合でも人と認識することができる。
 |
おもな用途には、マーケティングやセキュリティでの応用が考えられている。例えば、コンビニエンスストアの店内用カメラに適用すれば、特定商品を買った人がほかにどんな棚を見ていたのかという消費行動分析に役立てることができる。また、入退室管理と組み合わせることにより、認証された人とされていない人の動線を把握することで、認証を受けていない人の入退室を防止・抑制するシステムに活用することができる。
先に紹介した「環境情報構造化」と同様、購買前の顧客行動をモニタリングすることができるため、成果報酬型広告と組み合わせたビジネス展開が行えると期待される。
同システムでは、これらのカメラ映像をミドルクラスPC（3GHzスペック）1台で毎秒30フレームと、リアルタイム処理が行える。また、設置するカメラの台数や配置は自在に変更でき、さまざまなスペースに適用することができる。
（「感性制御技術（Sensibility Technology）」：日本SGI＆AGI）
人の行動や状態の把握には、上記の画像処理技術に加え、音声認識技術をもとにモニタリングする技術も提供されている。日本SGI(http://www.sgi.co.jp/)が、子会社のベンチャー企業・AGI(http://www.agi-web.co.jp/）社と共同開発した「感性制御技術（Sensibility Technology：ST）は、その一例である。
STは、音声から「興奮」「喜び」「怒り」「哀しみ」「平常」「笑い」の6つの感情状態を同時に認識する。声帯を振るわせることで発せされる基本周波数のほか、声の韻律（リズム）などを複合的に捉えることで感情認識を行う。個人差はあるものの、平均化した数値に基づいて認識を行っているため、あらかじめ音声を登録するという、音声認識技術でなされている煩雑な作業は不要という。
また、STでは開発者向けにSDK（Software Development Kit）として「ST Emotion SDK」を用意している。
ST Emotion SDKでは「興奮」「喜び」「怒り」「哀しみ」「平常」「笑い」の6つの感情状態を10段階でのレベルで検出する機能がある。このような検出が行えるため、「非常に怒っている」「少し怒っている」といった微妙な感情の状態や変化を認識することができる（ただし、「笑」に関しては「あり」「なし」で検出している）。基本的には6つの感情状態を把握することで感情認識を行うシステムだが、カスタマイズを行うことにより、他の感情状態を付加することも行えるという。
STのおもなアプリケーションにはコールセンターでの用途があり、既存コールセンターの拡張機能として組み込んだ「スーパーバイザー支援監視モニタリングシステム」として提供している。これは、複数オペレータの顧客への対応状況をモニタリングして顧客の感情状態を読み取り、顧客がある一定レベル以上の興奮度に達すると、スーパーバイザーによる対応に切り替える、というものである。その切り替えの判断に役立てている。
また、クレジットカード会社の中には、STに音声情報のデータベースを付加することで、声の性質から、実際にお金を貸すかどうかの判断に役立てているところもあるという。
 |
そのほかには、NECデザインと共同開発した、気持ちを光で表現する「言花」や、セガのニンテンドーDSソフト「音声感情測定器ココロスキャン」といったアプリケーションがある。
前者は、音声から「喜び」「哀しみ」「平常」「興奮」という4つの感情の指標に大別して、それぞれを「黄」「青」「緑」「赤」の4色で表し、発光ダイオードを組み込んだ花びらを光らせるものである。花のような形をした2つの端末がセットになっており、ユーザーは、花の色の変化から互いの感情状態を判断する。
ビデオ会議システムなどに付加することで、遠隔地にいる人同士の状態を把握するときに役立てる用途を提案している。
日本SGIでは、空間演出を行う空間ロボット「RoomRender」（*6）を開発しており、会議の雰囲気を光で表現するといった、類似の用途を提案している。
＊6：RoomRenderのアプリケーション例には会議室のほか、福祉施設やホテルなどの分野で導入に向けた商談（BtoB向け）も展開しているという（昨年のインタビューにて）。また、RoomRenderは「アロマディフューザ」というアロマ装置と連動することも可能。会議が白熱すれば気分を落ち着かせるような香りを発して、雰囲気を和ませるようなこともできる。
後者は、STを利用した「ニンテンドーDS」向けミドルウエア「感性制御技術ST for ニンテンドーDS」をベースに開発したものである。ニンテンドーDSのマイクを用いて、人の心の状態を「喜び」「怒り」「がっかり（落胆）」「平常心」「興奮」の5つの感情を認識し、心を探るエンターテイメントして提供している。興奮は10～100段階で、そのほかの感情は10～50段階でカスタマイズしている。
日本SGIでは、これらの用途に加え、各種ナビゲーションシステム、デジタルペット、Webサービス、生活家電、精神分析などに役立てることを視野に入れている。ロボットに実装することも構想しているが、肝心のロボットが一向に普及していないため、いまだに取り組めていないという。
■関連サイト
日本SGI 人とロボットが共存する社会に求められる新しいロボット像を提案したい
http://robonable.typepad.jp/robot/2007/08/sgi_262d.html
| << back |
