ドライバーや乗客の状態を検知する技術

１－１．自動運転レベル３実現に向けて

世界初の自動車運転手のフランス人のニコラ・ジョゼフ・キュニヨーは蒸気自動車を始めて運転してから数分後、世界初の自動車事故を起こしてしまいました。自動車開発は常に「安全」のキーワードが切り離せない関係でした。

これまで各自動車メーカーは居眠り運転、ブレーキとアクスルの踏み間違い等安全に関する多くの課題に取り組んできましたが、この安全の問題は自動運転のレベルが上がるにつれて、一層複雑になります。これまで運転の主体はドライバーでしたが、自動運転レベル3になると、主体はシステムになります。

とは言えこのレベル3では作動継続が困難な場合は運転主体をドライバーに切り替えることになっており、ドライバーの状態をモニターリングしておく必要が出てきます。

レベル３の環境では、ドライバーは自分で運転していないにも関わらず、自分で運転している時と同じように常に緊張状態をキープし、常に不測の事態に対応できる心構えを持つ必要があるため、ストレスを感じずにはいられません。

同様に、これまでドライバーに信用を置き安心して同乗できた同乗者は、レベル3になると、システムにも、ドライバーのとっさの対応にも信用を置かねばならず、同乗するのもまたストレスを抱えることになります。

そのために、多くの自動運転関連メーカーはドライバーと同乗者の健康状態だけではなく、精神状態にも着目し生体情報の計測を行っている。

１－２．生体情報計測

クレアクトではこのようなドライバーと同乗者の生体情報を取得できる多様なセンサを提供しています。例えば、ドライバーの注視点を計測できるアイトラッカーFX3、ドライバーや同乗者の注意・集中度合いや認知負荷を計測できる脳波計B-Alert、人間工学の観点でドライバーたちの車内における快適性などを評価できるモーションキャプチャCAPTIV、車内環境と同時に乗客全員の生体状況をモニターリングできる生体センサbioSignalsPluxなどです。

人がどこを見ているのかを計測するアイトラッカーの原理は、角膜反射法と呼ばれます。眼球表面に弱い赤外線照明を当て、その角膜反射点と瞳孔中心の位置関係をカメラで取得し、各社独自のアルゴリズムによって、注視点として計算しています。日本では、竹井機器工業株式会社、株式会社ナックイメージテクノロジー、海外製品では、スウェーデンのTobiiTechnology ABやドイツのPupil Labs GmbHが良く知られています。

クレアクトが紹介しているアメリカEye Tracking LLCのアイトラッカーFX3の特徴は上記のアイトラッカーと比較すると主に3つあります。

① 非接触型のアイトラッカーでありながら、最大3台をリンクさせることによって、水平180°の計測が可能になること

② 視線だけではなく、頭部位置座標、まぶたの開閉度などの計測が可能であること

③ どこを注視しているのか？ほか、認知負荷も同時に計測できること

通常アイトラッカーは視線がどこに向いているかを計測しますが、被験者が集中して見ているかどうかの区別はつきません。そのような認知状態を確認するには、従来は脳波計やインタビューなどの他のツールとの組み合わせが必要でした。

これに比してFX3はアイトラッキングのデータだけで視線と認知負荷の両方を同時に計測できます。すなわち60Hzで計測できる注視点、まぶたの開閉度、認知状態を組み合わせたユーザ独自の安全運転の基準をアプリケーションに簡単に落し込むことが可能になります。

(FX3リンク)https://www.creact.co.jp/item/measure/eyetrackers/eyetrackinginc/eti-top

自動車の乗り入れがドライバーの体に不要な負荷をかけていないか？長時間運転では、体のどこに負担がかかりがちか？ステアリングやその他のデバイスは、運転手にとって合理的な場所に配置されているか？そもそもどのような姿勢で運転しているのか？

多くの車メーカーはこのような計測に高い関心を持っています。車内環境の快適さを評価する場合は、ドライバーだけでなく他の乗員の姿勢も計測対象になります。

３－１．モーションキャプチャ

モーションキャプチャとは、人物や物体の動きをデジタルで記録する技術で、現在いくつかの方法があり、光学式、慣性センサ式、機械式、磁気式、ビデオ式などです。それぞれの方法論にはその技術の特徴により、長所と制限があります。

これまでモーションキャプチャで主流である光学式の場合は、複数のカメラや対象者に取り付ける反射マーカーが必要となります。

＜光学式＞

光学式はより高精度のデータの取得が長所ですが、カメラを設置可能な場所でしか計測できないこと、マーカーの取り付けが必要であること、マーカーずれを無くさないと高精度が保証できない事、設置に時間がかかる事ことなどの制限があります。

＜機械式＞

機械式では、身体に装着しているパワードスーツのようなモノで各関節角等を計測しますが、被験者の自由な動きが制限されるので、ドライバーの行動分析には通常使用されません。

３－２．慣性センサ式モーションキャプチャ

クレアクトでは、慣性センサ式、磁気式、ビデオ式マーカーレスのモーションキャプチャシステムを取り扱っていますが、ここでは自動運転関連メーカーに特にご紹介したい慣性センサ式のモーションキャプチャについてお話しします。

フランスTEA社のCAPTIVシステムは、慣性センサ式のモーションキャプチャで、加速度計、角速度計及び磁気計からなる慣性センサを体の15か所に取り付け、計測されたデータで主に関節角を計算し姿勢を求める方式です。精度は光学式には僅かに劣るが、まず計測場所に対する自由度が高く、光学式のような面倒な設置がなく短時間でセッティングでき、死角がなく、めんどうな後処理が必要ありません。

また通常のアバターによる関節角の可視化に加え、リアルタイムで関節への負荷もビジュアルに評価できます。さらにTEA社の大きな特徴として、各種の生体センサも用意しており、姿勢、動きや関節負荷だけではなく、同時に動かした筋肉負荷の評価や、姿勢や運動量による被験者の心拍、呼吸、体温変化、覚醒度なども同時計測できる事が挙げられます。

TEA社の生体センサだけでなくサードパーティーのアイトラッカーや脳波計と同期し、最大4つのビデオ画像と共に解析ソフトウェアに取り込み多角的・総合的な解析を行うことができます。計測後の解析ではモーションや生体情報の分析のために用意された解析機能の他、独自の演算式も設定可能です。

一連の動きの中での関節負荷や筋肉負荷に関するリスクのしきい値設定では、フランス国立安全研究所INRS　(http://www.inrs.ca/english/homepage)　との共同研究によりフランス衛生局でも採用されている作業負荷評価基準を使用することもできます。

多様なセンサデータを時系列で同時に表示し、コーディングしたタスクや姿勢ごとの解析が行えるなど人間工学・作業現場分析を専門とするTEA社ならではのモーションキャプチャシステムと言えるでしょう。(TEAリンク)https://www.creact.co.jp/item/measure/mocap/tea-captivmotion/top

操作不適、安全不確認、居眠り運転、体調不良など交通事故の原因は様々です(※警察庁交通局資料による)。2019年の交通事故の発生件数は38万1002件、死者数は3215人でした。各車メーカーは、これまで車という乗物を可能な限り安全であるように、ドライバーの安全運転をサポートする機能を中心に様々な開発を進めてきました。

しかし現在進行している自動運転開発においては、特に自動運転レベル4以降になると、車はもはや単なる移動手段ではなくなり、リビングルームやオフィスの延長線上の空間とも考えられており、乗客の乗り心地はもちろん乗客が何を望んでいるのか、あるいは健康管理などをサポートする機能も検討されています。

このような用途ではどんな生体情報が必要になるでしょうか？　例えば人間がリラックスしている時は心拍数も呼吸数もゆっくりしている傾向にあります。緊張状態にあるときには、手指上の汗が増加することが多いです。これらのデータを計測できるのが、生体センサです。

４－１．クレアクトの生体センサ

クレアクトはこのような計測目的にはポルトガルのスタートアップPlux社のbiosignalsPlux製品を紹介しています。この計測ツールは、4CHあるいは8CHの軽量ウェアラブルハブに、4つあるいは8つの生体センサを接続でき生体信号を同期計測します。

センサの組み合わせは自由で、約20種類の生体センサからセンサを選ぶことができ、その後の追加やセンサ変更なども自由にできます。分解能は16ビット、最大サンプリングレードは4KHz、16GBのメモリーも内蔵されているため、最大24時間までの継続計測も可能です。

さらに、最大3つまでのハブをリンクし、最大24CHでの同時計測が可能になります。データ取得には無償のデータ取得ソフトウェアOpenSignalsが利用できるほか、(https://www.creact.co.jp/item/measure/bitalino/bitalino-sw/btl-sw-top)多種なAPIにも対応しており、またクラウドサーバーへのデータ保存もサポートしています。

分析には心電図、筋電図、呼吸、皮膚電位などの解析とビデオ同期のためのアドオンソフトウェアも提供しています。例えば：心電図のHRVアドオンソフトウェアを使えば、交感神経と副交感神経活動の二重支配に関連する重要な定量的マーカーも取得可能です。

Plux社では、ECG(心電位)、EMG(筋電位)、EDA(皮膚電位)、PZTもしくはRIP(呼吸)、TEMP(温度）、EEG（脳波）、ACCEL(加速度）、LUX(照度)、FORCE(力）、EOG(眼電位)、EGG(胃電図)、ACOUSTIC(音)、SpO2、fNIRS(近赤外脳機能計測)、BVP(容積脈波)の各種センサ、ゴニオメータ、ロードセルなど多種多様なセンサを用意しており、また引き続き新しいセンサの開発に取り組んでいます。(biosignalsPluxリンク)https://www.creact.co.jp/item/measure/bio/biosignalsplux/bsplux-top

数多い交通事故の原因の中には、前方不注意による交通事故や、パニック障害に陥った事による誤操作のようなものもあります。これまで紹介した計測機器では、認知負荷の計測は可能だとしても、集中度合いを計測することは難しいです。このような計測には集中度合い等をリアルタイムに確認できるアメリカABM社のB-Alert脳波計を紹介しています。(ABMリンク)https://www.creact.co.jp/item/measure/eeg/b-alert/balert-top

脳波とは、ヒト・動物の脳から生じる電気活動を、頭皮上、蝶形骨底、鼓膜、脳表、脳深部などに置いた電極で記録したものです。ABM社の脳波計B-AlertはBluetooth通信ができるワイヤレス式の脳波計で、10-20システムに基づき、9CHまたは20CHを計測できます。

ECG、EMG、EOGなどの生体情報を取得できる同期用チャネルも用意され、頭部運動計測用の加速度計もデバイスに搭載しているので、頭部運動などのノイズ除去が可能です。脳波研究の専門家でなくても、まばたきによって生成された筋電ノイズをはるかに微弱な脳波データから除外できる自動デコンタミネーション機能を備えた解析ソフトウェアがあり、β波やΘ波などの周波数毎のパワースペクトル密度のヒートマップをリアルタイムに確認できるほか、ワークロード(認知負荷)、ハイエンゲージメント(高い関与)、ディストラクション(注意散漫)がわかるメトリックスをリアルタイムで表示できます。

ハードウェアは110グラムの軽量で、被験者への身体的な負担が少なく、ダイナミックな実車の運転環境でも、デバイスがずれたりする可能性を最低限に抑えつつ長時間快適に計測することができます。アメリカでは、高齢者の公道での実車運転調査にも採用されたデバイスです。(ABMリンク)https://www.creact.co.jp/item/measure/eeg/b-alert/balert-top

ここまでご紹介してきたウエアラブルセンサは調査研究には多く利用されていますが、ドライバーや乗客に何も取り付けずに様々な計測をしたいというのが車メーカーの最終的なニーズだと思われます。

このような事は可能でしょうか？答えはとしては、精度の限界や、計測できる生体情報の限界などはあるものの、可能です。前述のPlux社のセンサを使用したカーシェアリングに関するプロジェクトでは、ステアリングの中にECG（心電図）センサが組み込まれました。

ステアリングを握ることでドライバーの心電図を計測し本人認証を行うと共に、運転手の勤務状態と体調のモニターリングが可能となり、この技術は既に製品化されています。ステアリングを握ったドライバーから取得した心電図と登録された心電図が一致すれば鍵の代わりになりエンジンがかけられます。

指紋にはコピーできるリスクがあるが、心電図の場合は生きている本人ではないと車のエンジンがかからないので、今後有望な生体認証方法と言えるでしょう。この他にもPlux社のセンサを利用したノン・ウエラブル計測には、シートベルトに呼吸センサや心電図センサを組込みドライバーの身体状況をモニターリングなどがあります。

最後に自動運転のレベル0の段階から引き続き研究・開発者に利用されている圧力分布センサをご紹介します。圧力分布センサや圧力センサは、ステアリングの握り、ブレーキ、アクセル、クラッチの踏み方や踏み間違え、シートベルトの最適化、シートの快適さ等様々な目的で使われています。クレアクトでは、ドイツのNovel社の面圧力分布センサを紹介しています。(https://www.creact.co.jp/item/measure/pressure/novel/novel-top)

Novel社の面圧力分布センサの特徴は、特殊な表面カバーにより温度の影響を受けにくく、曲面にもフィットする伸縮性の高いセンサーマットを採用していることです。インソール型、シート型などのモデル以外に形状などはアプリケーションによってさまざまにカスタマイズも可能ですが、伸縮性のあるセンサーマットは加圧時の物体の沈み込みによるセンサのしわによるノイズ、いわゆる引っ張りノイズを大幅に軽減し、これまでは不可能だったあらゆる曲面にフィットし、違和感のない自然な計測を高精度に行うことができます。

繰り返し特性が高く、長時間の計測でも精度の高い安定したデータが得られることで群を抜いており、精度を求められる面圧分析には欠かせないものとなっています。

目まぐるしいほどの科学技術の進歩によって、今後も続々と新しい製品やサービスが世の中に出てくるでしょう。クレアクトは優れた性能を誇る海外センサーメーカーや最先端技術を持つスタートアップとのビジネスを通して培ったノウハウとネットワークを生かし、これからもユニークな製品を日本の技術者、研究者に紹介していきます。