車両の疲労運転識別・早期警報システムでは、運転者の疲労状態をどのように識別するのでしょうか？

運転疲労とは、睡眠不足や長時間の連続運転などにより運転者の反応能力が低下することを指します。この低下は、運転者の眠気、居眠り、誤った運転操作、または運転能力の完全な喪失として現れます。
運転中の疲労は、神経系の機能、血液や目の変化など、生理的および心理的側面の両方に反映されます。心理的反応には、反応時間の延長、注意散漫、非協調的な動作が含まれます。米国インディアナ大学による交通事故の原因に関する調査と研究により、事故の 85% は運転手と関連しており、車両や環境要因は 15% に過ぎないことがわかりました。
事故直前のドライバーの行動や過失は、直接的に事故につながります。これらの行動には、知覚の遅れ、環境に関する誤った意思決定、危険な状況への不適切な対応などが含まれます。ドライバーのあらゆるエラーの中で、最も一般的なのは知覚の遅れと意思決定のエラーです。これらのエラーは、不注意、遅い反省、不適切な操作などにつながります。これらのエラーの根本的な原因は、運転中の疲労です。ドライバーの疲労運転により、注意力が低下し、交通事故が増加し、社会全体で懸念されるホットスポットとなっています。
運転者が疲れた状態で運転すると、観察力、認識力、車両制御能力が著しく低下し、自分自身の安全と他人の生命が深刻に脅かされます。交通産業の発展に伴い、交通事故はすべての国が直面する深刻な問題となっています。
運転者の疲労の主なモニタリング方法
運転者の疲労と注意散漫の監視と早期警告技術は、交通事故防止における発展の見通しがあるため、各国で高く評価されています。研究者は、運転者の疲労の生理的および操作的特性に応じてさまざまな研究を行ってきました。一部の研究成果は製品化され、市場に投入され始めています。
運転者の疲労状態の検出方法は、運転者の生理信号、運転者の生理反応特性、運転者の操作行動、車両状態情報に基づく検出方法に大別できます。
1. 運転者の生理信号に基づく検出方法
疲労に関する研究は生理学から始まりました。関連研究によると、疲労状態のドライバーの生理指標は、正常状態の指標から逸脱します。したがって、ドライバーが疲労状態にあるかどうかは、ドライバーの生理指標によって判断できます。現在、より成熟した検出方法には、ドライバーの脳波と心電図の測定が含まれます。
研究者たちは、EEGが脳の活動を直接反映できることを長い間発見してきました。疲労状態に入ると、EEGのデルタ波とシータ波の活動が大幅に増加し、アルファ波の活動がわずかに増加することがわかりました。別の研究[6]では、シミュレータと実際の車両でEEG信号を監視しました。テスト結果は、EEGがドライバーの疲労を監視するための効果的な方法であることを示しています。研究者たちはまた、EEG信号の特性には性別や性格など大きな個人差があり、人々の心理活動にも密接に関連していることを発見しました。
ECG は主に運転負荷の生理学的測定に使用されます。研究によると、運転者が疲れているとき、ECG は明らかに定期的に低下し、運転中の HRV (心拍数の変化) と疲労度の変化の間には潜在的な関係があります。
運転者の生理信号に基づく検出方法は、疲労判定の精度が高いが、生理信号を接触で測定する必要があり、個人依存性が高いため、実際に運転者の疲労モニタリングに使用するには多くの制限があるため、主に実験段階で実験の制御パラメータとして使用されている。
2. 運転者の生理的反応特性に基づく検出方法
運転者の生理的反応特性に基づく検出方法とは、運転者の眼球運動特性や頭部運動特性を利用して運転者の疲労状態を推定する方法を指します。
運転者の眼球運動とまばたきの情報は、疲労を反映する重要な特性であると考えられています。まばたきの振幅、まばたきの頻度、平均閉じる時間を直接使用して疲労を検出できます。現在、眼球運動のメカニズムに基づいて運転疲労を研究するアルゴリズムは多数あります。広く使用されているアルゴリズムには、一定期間内のまぶたの閉じる時間の割合を生理的疲労の測定指標とする PERCLOS が含まれます。
顔認識技術を使用して、目、鼻先、口角の位置を特定し、目、鼻先、口角の位置を組み合わせ、目の追跡に応じてドライバーの注意の方向を取得し、ドライバーの注意が散漫になっているかどうかを判断できます。
頭位センサーは、運転者のうなずき動作を検出するために使用されます。各センサーからの運転者の頭の位置は、静電容量センサーアレイを介して出力され、頭の位置をリアルタイムで追跡し、頭位の変化法則に従って運転者が眠いかどうかを判断できます。この研究では、うなずき動作と眠気の間には非常に良い相関関係があることがわかりました。
運転者の生理的反応特性に基づく検出方法は、一般的に非接触測定を採用しており、認識精度と実用性に優れています。
3. 運転者の操作行動に基づく検出方法
運転者の操作行動に基づく運転者疲労状態認識技術とは、ハンドル操作などの運転者の操作行動を通じて運転者の疲労状態を推定する技術を指します。
研究結果では、監視されたドライバーのハンドル操作データを処理することで、ドライバーのハンドル操作と疲労の関係がある程度明らかになり、ハンドル操作は運転疲労を判断する有効な手段であると指摘されています。
一般的に、運転者の運転行動を用いた疲労識別に関する詳細な研究結果はほとんどありません。運転者の運転は、疲労状態に加えて、個人の習慣、運転速度、道路環境、運転スキルによっても影響を受けます。車両の運転状態も、車両特性や道路など多くの環境要因に関連しています。そのため、運転者の状態の予測精度をいかに向上させるかが、この種の間接測定技術の重要な課題です。
4. 車両軌跡に基づく検出方法
車両の軌道変化や車線逸脱などの車両運転情報を利用して、運転者の疲労状態を推測することもできます。この方法は、運転者の操作行動に基づく疲労状態認識技術と同様に、車両の既存のデバイスに基づいており、多くのハードウェア設備を追加する必要がなく、運転者の正常な運転を妨げないため、実用価値が高いです。
ビデオ技術に基づく疲労運転認識システム
1999 年 4 月、連邦道路管理局は、自動車運転者の運転疲労を予測する実行可能な方法として、PERCLOS を初めて提案しました。数年の開発を経て、PERCLOS 法は、最も効果的な車載型リアルタイム運転疲労評価法として認められています。PERCLOS は、瞳孔時間に対する眼の閉じ具合の割合の略語で、単位時間当たりの眼の閉じ具合の割合を意味します。
PERCLOS の原理は、一定時間内に目が閉じている時間の割合をカウントすることです。当システムで採用されている評価基準は perclos80 です。これは、まぶたが瞳孔を覆う面積が 80% を超えると目が閉じているとみなされることを意味します。
PERCLOS測定原理

PERCLOS の値は、T1 ～ T4 を測定することで計算できます。

ここで、f は眼の閉じる時間の割合、つまり PERCLOS の値を表します。
ビデオ技術に基づく疲労運転認識システムのシステム構成とワークフロー
運転者疲労監視システムは、ビデオ取得装置を通じて運転者のリアルタイム画像を取得し、運転者の頭の姿勢、眼球運動法則、顔の特徴を自動的に分析して運転者の精神状態を判断し、対応する早期警告プロンプトを出します。研究によると、顔や頭の動きの法則と比較して、まばたきの頻度、まばたきの速度、目の開きの範囲、視線の方向などの眼球活動の法則は、現時点での対象者の精神状態をよりよく反映できます。
したがって、画像の各フレームにおける目の大きさ、位置情報、動きの変化を取得できれば、一定期間におけるドライバーの目の活動量をカウントし、疲労状態分析指標と組み合わせてドライバーの疲労状態を評価することができます。システムフローを下図に示します。
画像の前処理
運転環境では、ビデオ ストリームを通じて収集された画像は、解像度、システム ノイズ、突然の背景などのノイズ情報を含む多くの要因の影響を受け、次の画像操作に干渉します。そのため、ヒストグラム均等化によってソース画像を前処理し、ノイズを除去し、画像のコントラストを高め、画像の詳細を強調して、画質を向上させます。
イコライゼーション前と後
均等化前のヒストグラム 均等化後のヒストグラム
顔検出
顔検出は、目の位置を特定する前の重要なステップです。システムは AdaBoost アルゴリズムを採用し、提供されているサンプル トレーニングと検出方法を使用します。まず、サンプルが収集され、収集されたサンプルから分類器がトレーニングされます。分類器は、人間の顔と人間以外の顔を適切に区別できます。検出リンクでは、テストする画像フレームを分類器に読み込み、画像ピクセルをスキャンして画像に含まれる顔を見つけ、領域を較正します。後続の操作は、計算領域を減らし、顔以外の要素の干渉を排除するために、較正された顔領域で実行されます。これにより、システムの動作速度が大幅に向上します。
目の位置
このリンクには、大まかな人間の目の位置決めと正確な人間の目の位置決めの 2 つの段階が含まれます。まず、中国の伝統的な三院五眼の予備知識によれば、大まかな位置決めでは人間の目のおおよその領域が存在する必要があります。この領域には眉毛や髪の角度などの干渉が同時に含まれる可能性がありますが、計算領域がさらに減少します。次に、人間の目の大まかな領域を一定のしきい値を介してバイナリ画像に変換し、垂直方向のグレー投影を実行してヒストグラムを取得します。人間の目のグレーと周囲の皮膚のグレーには大きな差があるため、ヒストグラムの山と谷から人間の目の上端と下端の Y 座標を決定し、目を正確に配置することができます。
目の状態の判断
最大クラス間分散法（Otsu）により、異なる光線下で異なる閾値で人間の目の正確な領域を二値化し、人間の目が開いているときと閉じているときの最良の目の形を取得します。連続したnフレームの比較により、黒のピクセル値の領域が最小の場合、ドライバーは現在閉じた状態にあると判断でき、それ以外の場合は開いた状態または半開いた状態にあると判断できます。
疲労解析
システムは現在認識され、有効なパーコル疲労評価指標を選択します。つまり、連続するnフレームにおける目を閉じたフレームの時間割合によって疲労状態を分析します。目を開いたフレームは「1」値として記録され、目を閉じたフレームは「0」値として記録されます。このようにして、連続するnフレームの後、「1」と「0」の交互に並んだシーケンスを取得できます。疲労状態の分析は、シーケンス内の「0」値の割合で表すことができます。パーセンテージが特定の実験割合よりも高い場合、ドライバーが疲れている可能性があると考えられます。
上記の 5 つのステップの操作と処理を通じて、システムは、取得装置によって取得されたビデオ ストリームから現在のドライバーが疲労状態にあるかどうかと疲労度を分析し、さまざまなレベルのリマインダーとアラームを発して、システム目標を達成できます。
疲労度の総合判定
ドライバーの疲労の判定は、検査の誤りによって悪影響を受けます。PERCLOS、目を閉じる時間、まばたきの頻度、口の開き具合、頭の動きを計算することで、ドライバーの疲労の総合的な判定を正確かつ効果的に行うことができます。
ペルクロス
PERCLOS は、特定の時間における目を閉じている時間の割合を指します。PERCLOS 法には、p70、p80、em の 3 つの基準があります。研究によると、p80 は疲労度と最も相関性が高いことがわかっています。
口を開ける
通常、口には閉じている、話している、あくびをしているという3つの状態があります。疲労状態では、あくびを頻繁にするようになり、下半分の領域、つまり唇の間の位置の水平グレー投影曲線に谷があることが分かります。顔の下部を2値化し、唇から上下の連結領域（連結領域により、鼻孔やひげが計算に影響するのを防ぐことができます）のピクセル値を計算して、口の開き具合を取得します。
目の高さと口の高さの補正
上まぶたから下まぶたまでの垂直距離、上唇から下唇までの垂直距離を計測する場合、運転者の頭部は検出装置に対して相対的に移動するため、運転者の目の高さ、口の高さの正確な算出を実現するためには、目、口と検出装置との距離の相対的な変化によって生じる変化を補正する必要がある。
目を閉じる時間
目を閉じる時間は、一般的に目を閉じてから開くまでの時間で表されます。人が通常の覚醒状態にある場合、目を閉じる時間は非常に短く、すぐに目を開きます。疲労の場合、目を閉じる時間が大幅に長くなるため、目を閉じる時間はドライバーの精神状態を直接反映します。目を閉じてから開くまでの最大フレーム数を計算すると、フレーム数が多いほど、閉じる時間が長くなり、疲労が深刻になります。
まばたきの回数が少なくなる。顔の下半分に水平グレー投影を行い、異なる人物画像の水平グレー投影曲線を観察します。
人は疲れているときの方が起きているときよりもまばたきの回数が多くなります。この論文でもそれを疲労判断の基準としてパラメータにしています。目を閉じて開くときに1回まばたきをします。一定時間内のまばたきの回数を蓄積して疲労判断のパラメータとします。
頭部運動の疲労パラメータ
ドライバーが疲れているときは、頻繁にうなずき、頭を前に傾けます。水平方向の灰色積分投影により、瞳孔と口角の水平位置が得られます。D1 は瞳孔の水平位置から収集した画像の上端までの距離、D2 は口角の水平位置から収集した画像の下端までの距離とします。ドライバーが疲労のためにうなずくと、D1 が増加し、D2 が減少します。ドライバーが疲れて頭を前に傾けると、D1 が増加し、D2 が増加します。うなずきと頭の前傾は、疲労判断の重要な基準として使用できます。
疲労運転モニタリング技術の現状
アテンションテクノロジーズが発売したドライバー疲労モニター（dd850）は、ドライバーの生理的反応特性に基づいたドライバー疲労監視および早期警告製品です。この製品は、赤外線カメラを通じてドライバーの目の情報を収集し、PERCLOSを疲労警報インジケータとして使用します。インストルメントパネルに直接取り付けることができ、警報感度と警報音を調整できます。現在、普及して適用されていますが、夜間にのみ有効です。
米国のデジタルインスタレーション社が開発したSAM疲労警報装置は、ハンドルの下に設置した磁気テープでハンドルの角度を検知し、一定時間ハンドルの修正を行わないと疲労状態と判断され警報を発する。
米アシストウェアテクノロジー社のセーフトラックは、フロントビデオヘッドで車線を識別し、車線を逸脱しそうになると警報を発する。車線維持状態とドライバーのハンドル操作特性を組み合わせて、ドライバーの疲労状態も判断できる。
英国のAstidデバイスは、ドライバーの睡眠情報、完了した運転の長さと種類、ドライバーのハンドル操作など、さまざまな要素を総合的に考慮してドライバーの疲労状態を判断します。デバイスが作動する前に、ドライバーは過去24時間の睡眠情報を入力する必要があります。視覚アラームが一定レベルに達すると、聴覚アラームがトリガーされ、ドライバーに停止して休憩するようにアドバイスされます。一定時間の休憩の後、内蔵の目覚まし時計がドライバーを起こし、運転時間をリセットします。
これらの製品に加えて、手首の動きで疲労を感知する疲労アラームブレスレットや、目や足に掛けられるブレスレットもあります。

独自の疲労モニターシステム製品、ブランド、ソフトウェアを開発したい場合は、遠慮なく下記までご連絡ください。 [email protected] 期待を裏切りません。