차량피로운전 식별 및 조기경보 시스템에서 운전자의 피로상태를 어떻게 식별할 수 있나요?

운전 피로란 수면 부족이나 장기간 연속 운전으로 인해 운전자의 반응 능력이 저하되는 것을 말합니다. 이러한 감소는 운전자의 졸음, 졸음, 잘못된 운전 조작 또는 운전 능력의 완전한 상실로 나타납니다.
운전 피로는 신경계 기능, 혈액 및 눈의 변화를 포함하여 생리적, 심리적 측면 모두에 반영됩니다. 심리적 반응에는 반응 시간 연장, 산만함, 조정되지 않은 행동이 포함됩니다. 미국 인디애나 대학의 교통사고 원인 조사 연구 결과 사고 중 85%가 운전자와 관련이 있고, 15%만이 차량 및 환경적 요인인 것으로 나타났다.
사고 직전 운전자의 행동과 과실은 사고로 직결된다. 이러한 행동에는 지각 지연, 환경에 대한 잘못된 의사결정, 위험한 상황에 대한 부적절한 처리 등이 포함됩니다. 모든 운전자 오류 중에서 가장 흔한 것은 지각 지연과 의사 결정 오류입니다. 이러한 오류는 부주의, 느린 반영, 부적절한 작동 등으로 이어질 것입니다. 이러한 오류의 근본 원인은 운전 피로입니다. 운전자의 운전 피로로 인해 주의력이 저하되어 교통사고가 증가하고 있으며, 이는 사회 전반의 큰 관심사가 되고 있습니다.
운전자가 피로하게 운전하면 관찰, 인식, 차량 제어 능력이 크게 저하되어 자신의 안전과 타인의 생명을 심각하게 위협하게 됩니다. 교통산업이 발달하면서 교통사고는 모든 나라가 직면한 심각한 문제가 되었다.
운전자 피로도 주요 모니터링 방법
운전자의 피로와 부주의에 대한 모니터링 및 조기 경고 기술은 교통사고 예방 분야의 발전 전망으로 인해 여러 국가에서 높은 평가를 받아왔습니다. 연구자들은 운전자 피로의 생리적, 조작적 특성에 따라 다양한 연구를 진행해 왔다. 일부 연구 결과는 제품을 형성하고 시장에 진입하기 시작했습니다.
운전자의 피로상태를 검출하는 방법은 크게 운전자의 생리신호, 운전자의 생리적 반응특성, 운전자의 조작행위, 차량상태정보를 기반으로 한 검출방법으로 나눌 수 있다.
1. 운전자의 생리적 신호를 기반으로 한 검출 방법
피로에 대한 연구는 생리학에서 시작되었습니다. 관련 연구에 따르면 피로 상태에 있는 운전자의 생리적 지표는 정상 상태의 지표에서 벗어날 수 있습니다. 따라서 운전자의 생리지표를 통해 운전자가 피로상태에 진입했는지 여부를 판단할 수 있다. 현재 보다 성숙한 감지 방법에는 운전자의 EEG 및 ECG 측정이 포함됩니다.
연구자들은 EEG가 뇌의 활동을 직접적으로 반영할 수 있다는 사실을 오랫동안 발견해 왔습니다. 피로상태에 진입하면 뇌파의 델타파와 세타파의 활성도가 크게 증가하는 반면, 알파파의 활성도는 소폭 증가하는 것으로 나타났다. 또 다른 연구[6]에서는 시뮬레이터와 실제 차량에서 EEG 신호를 모니터링했습니다. 테스트 결과는 EEG가 운전자 피로를 모니터링하는 효과적인 방법임을 보여줍니다. 연구진은 또한 EEG 신호 특성이 성별, 성격 등 개인차가 크며, 사람들의 심리적 활동과도 밀접한 관련이 있음을 발견했습니다.
ECG는 주로 운전 부담의 생리학적 측정에 사용됩니다. 연구에 따르면 운전자가 피곤할 때 ECG는 명백하고 규칙적으로 감소하며 HRV(심박수 변화)와 운전 중 피로 정도 변화 사이에는 잠재적인 관계가 있습니다.
운전자의 생체 신호를 기반으로 한 감지 방식은 피로 판단에 있어 정확도가 높지만, 생체 신호는 접촉을 통해 측정해야 하고 개인에 따른 의존도가 크다. 실제로 운전자의 피로도 모니터링에 활용하기에는 한계가 많다. 따라서 실험단계에서는 실험의 제어변수로 주로 사용된다.
2. 운전자의 생리적 반응 특성을 기반으로 한 검출 방법
운전자의 생리적 반응 특성을 기반으로 한 검출 방법은 운전자의 눈 움직임 특성과 머리 움직임 특성을 이용하여 운전자의 피로 상태를 추론하는 것을 말한다.
운전자의 눈 움직임과 깜박임 정보는 피로도를 반영하는 중요한 특성으로 간주됩니다. 깜박임 진폭, 깜박임 빈도 및 평균 닫힘 시간을 직접 사용하여 피로를 감지할 수 있습니다. 현재 눈 움직임 메커니즘을 기반으로 운전 피로를 연구하는 많은 알고리즘이 있습니다. 널리 사용되는 알고리즘에는 일정 기간 동안 눈꺼풀이 닫히는 시간의 비율을 생리적 피로의 측정 지표로 사용하는 PERCLOS가 포함됩니다.
얼굴인식 기술을 이용하여 눈, 코끝, 입꼬리의 위치를 파악하고, 눈, 코끝, 입꼬리의 위치를 결합한 후, 눈의 추적에 따라 운전자의 주의 방향을 파악하고 운전자의 운전 여부를 판단할 수 있습니다. 주의가 산만해집니다.
머리 위치 센서는 운전자의 고개 끄덕임 동작을 감지하는 데 사용됩니다. 각 센서에서 나오는 운전자의 머리 위치는 정전용량형 센서 어레이를 통해 출력되는데, 이를 통해 머리 위치를 실시간으로 추적하고 머리 위치 변화 법칙에 따라 운전자의 졸음 여부를 판단할 수 있다. 이번 연구에서는 고개를 끄덕이는 행동과 졸음 사이에 매우 좋은 상관관계가 있다는 사실이 밝혀졌습니다.
운전자의 생리적 반응 특성을 기반으로 한 감지 방법은 일반적으로 비접촉식 측정을 채택하므로 인식 정확도와 실행성이 우수합니다.
3. 운전자의 조작행위에 따른 검출방법
운전자의 조작 행위 기반 운전자 피로 상태 인식 기술은 스티어링 휠 조작 등 운전자의 조작 행위를 통해 운전자의 피로 상태를 유추하는 것을 말한다.
연구 결과는 모니터링된 운전자의 핸들 조작 데이터를 처리해 운전자의 핸들 조작과 피로도 사이의 관계를 어느 정도 밝혀냈다. 스티어링 휠의 조작은 운전 피로도를 판단하는 효과적인 수단이라는 지적이 나온다.
일반적으로 운전자의 조작행위를 이용한 피로도 식별에 대한 심층적인 연구 결과는 거의 없다. 운전자의 운전은 피로상태뿐 아니라 개인의 습관, 운전속도, 도로환경, 운전기술 등에 의해서도 영향을 받습니다. 차량의 주행상태는 차량의 특성, 도로 등 많은 환경적 요인과도 연관되어 있습니다. 따라서 운전자 상태의 예측 정확도를 어떻게 향상시킬 것인가가 이러한 간접 측정 기술의 핵심 문제이다.
4. 차량 궤적 기반 검출 방법
차량 궤적 변경, 차선 이탈 등 차량 주행 정보를 활용해 운전자의 피로 상태도 유추할 수 있다. 운전자의 조작행위를 기반으로 한 피로상태 인식 기술과 마찬가지로 이 방식도 차량의 기존 장치를 기반으로 하므로, 너무 많은 하드웨어 장비를 추가할 필요가 없고, 운전자의 정상적인 운전을 방해하지 않으므로 실용성이 높다. 값.
영상기술 기반 운전 피로도 인식 시스템
1999년 4월, 연방고속도로국은 자동차 운전자의 운전 피로를 예측하기 위한 실행 가능한 방법으로 PERCLOS를 처음으로 제안했습니다. 수년간의 개발 끝에 PERCLOS 방법은 가장 효과적인 온보드 및 실시간 운전 피로 평가 방법으로 인정되었습니다. PERCLOS는 Percentage of Eye closure over the Pupil Time의 약어로, 단위 시간당 눈을 감는 시간의 백분율을 의미합니다.
PERCLOS의 원리는 일정 시간 동안 눈을 감은 시간의 비율을 계산하는 것입니다. 우리 시스템에서 채택한 평가 기준은 perclos80으로, 이는 동공을 덮는 눈꺼풀의 면적이 80%를 초과하면 눈을 감은 것으로 간주한다는 의미입니다.
PERCLOS 측정 원리

PERCLOS의 가치는 T1-T4를 측정하여 계산할 수 있습니다.

여기서 f는 눈을 감은 시간의 백분율, 즉 PERCLOS 값을 나타냅니다.
영상기술 기반 운전 피로도 인식 시스템의 시스템 구성 및 워크플로우
운전자 피로 모니터링 시스템은 영상 획득 장비를 통해 운전자의 실시간 영상을 획득하고, 운전자의 머리 자세, 눈 움직임 법칙, 얼굴 특징을 자동으로 분석하여 운전자의 정신 상태를 판단하고, 이에 상응하는 조기 경고 메시지를 제공합니다. 연구 결과에 따르면 얼굴이나 머리 움직임의 법칙에 비해 눈 깜박임 빈도, 깜박임 속도, 눈 뜨는 범위, 시선 방향 등 눈 활동의 법칙이 현재 피험자의 정신 상태를 더 잘 반영할 수 있는 것으로 나타났습니다.
따라서 영상의 각 프레임에서 눈의 크기, 위치 정보, 움직임 변화를 얻을 수 있다면 운전자의 눈 활동 법칙을 일정 시간 동안 카운트할 수 있으며, 피로 상태 분석과 결합하여 운전자의 피로 상태를 평가할 수 있다. 색인. 시스템 흐름은 아래 그림과 같습니다.
이미지 전처리
주행 환경에서 비디오 스트림을 통해 수집된 이미지는 해상도, 시스템 노이즈, 갑작스러운 배경 등의 노이즈 정보를 비롯한 여러 요소의 영향을 받아 다음 이미지 동작을 방해하게 됩니다. 따라서 우리는 히스토그램 균등화를 통해 소스 이미지를 전처리하여 노이즈를 제거하고, 이미지 대비를 향상시키고, 이미지 세부 사항을 강조하고, 이미지 품질을 향상시킵니다.
이퀄라이징 전과 후
균등화 전 히스토그램 균등화 후 히스토그램
얼굴 인식
얼굴 인식은 눈 위치를 파악하기 전 중요한 단계입니다. 시스템은 AdaBoost 알고리즘을 채택하고 제공된 샘플 훈련 및 탐지 방법을 사용합니다. 먼저, 샘플을 수집하고 수집된 샘플을 통해 분류기를 훈련시킵니다. 분류기는 사람의 얼굴과 사람이 아닌 얼굴을 잘 구별할 수 있습니다. 감지 링크에서 테스트할 이미지 프레임을 분류기에 로드하고 이미지 픽셀을 스캔하여 이미지에 포함된 얼굴을 찾고 영역을 보정합니다. 후속 작업은 보정된 얼굴 영역에서 수행되어 계산 영역을 줄이고 비얼굴 요소의 간섭을 제거하여 시스템의 작업 속도를 크게 향상시킵니다.
눈 위치
이 링크에는 대략적인 사람의 눈 위치 지정과 정확한 사람의 눈 위치 지정이라는 두 단계가 포함됩니다. 첫째, 중국 전통 3안 5안의 사전 지식에 따르면 대략적인 위치에 사람 눈의 대략적인 영역이 있어야 합니다. 이 영역에는 눈썹, 머리카락 각도 등의 간섭이 동시에 포함될 수 있지만 계산 영역이 더욱 줄어듭니다. 그런 다음 사람 눈의 거친 영역을 일정한 임계값을 통해 이진 영상으로 변환한 후 수직 방향의 회색 투영을 수행하여 히스토그램을 얻습니다. 사람 눈의 회색조와 주변 피부 사이에는 큰 차이가 있기 때문에 히스토그램의 최고점과 최저점을 통해 사람 눈의 위쪽 가장자리와 아래쪽 가장자리의 Y 좌표를 결정한 다음 눈을 정확하게 파악할 수 있습니다. 위치하고 있습니다.
눈 상태 판단
최대 클래스 간 분산 방법(Otsu)을 통해 사람 눈의 정확한 영역을 다양한 광선 아래에서 서로 다른 임계값으로 이진화하여 사람의 눈을 떴을 때와 감았을 때 최상의 눈 모양을 얻습니다. 연속된 n개 프레임의 비교를 통해, 검은색 픽셀 값의 면적이 가장 작은 경우 드라이버가 현재 닫힌 상태이고, 그 외의 경우에는 열림 또는 반열림 상태인 것으로 판단할 수 있다.
피로 분석
시스템은 현재 인식되고 효과적인 퍼콜 피로 평가 지수를 선택합니다. 즉, 피로 상태는 연속 n 프레임에서 눈을 감은 프레임의 시간 비율로 분석됩니다. 눈을 뜬 프레임은 "1" 값으로 기록되고, 눈을 감은 프레임은 "0" 값으로 기록됩니다. 이러한 방식으로 연속적인 n 프레임 이후에는 "1"과 "0"의 엇갈린 시퀀스를 얻을 수 있습니다. 피로 상태 분석은 시퀀스에서 "0" 값의 비율로 설명할 수 있습니다. 해당 비율이 특정 실험 비율보다 높을 경우 운전자가 피로감을 느낄 수 있다고 볼 수 있습니다.
위의 5단계 작업 및 처리를 통해 시스템은 획득 장비에서 얻은 비디오 스트림을 통해 현재 운전자의 피로 상태와 피로 정도를 분석하고 다양한 수준의 알림 및 경보를 제공하여 목표를 달성할 수 있습니다. 시스템 목표.
피로도 종합판단
오류 검사는 운전자 피로 판단에 부정적인 영향을 미칩니다. PERCLOS, 눈 감는 시간, 눈 깜박임 빈도, 입 벌림 정도, 머리 움직임 등의 계산을 통해 운전자 피로도에 대한 종합적인 판단을 정확하고 효과적으로 수행할 수 있습니다.
퍼클로스
PERCLOS는 특정 시간 동안 눈을 감은 시간의 비율을 나타냅니다. PERCLOS 방법에는 p70, p80 및 em의 세 가지 기준이 있습니다. 연구에 따르면 p80은 피로도와 가장 좋은 상관관계가 있는 것으로 나타났습니다.
입 열기
입에는 일반적으로 다물기, 말하기, 하품의 세 가지 상태가 있습니다. 피로한 상태에서 사람들은 하품을 자주 하고, 하반부, 즉 입술 사이 위치의 수평 회색 투영 곡선에 골이 있음을 알 수 있습니다. 얼굴의 아래쪽 부분을 이진화하고, 입술 위아래에서 연결된 영역(연결된 영역은 콧구멍과 수염이 계산에 영향을 주지 않도록 할 수 있음)의 픽셀 값을 계산하여 입이 벌어진 정도를 구합니다.
눈 높이 및 입 높이 보상
윗눈꺼풀에서 아랫눈꺼풀까지의 수직거리와 윗입술에서 아랫입술까지의 수직거리를 측정할 때 운전자의 머리가 감지장비를 기준으로 움직이기 때문에 운전자의 눈높이와 입의 정확한 계산을 구현하기 위해 눈, 입, 탐지 장비 사이의 거리의 상대적인 변화에 따른 변화를 보정할 필요가 있다.
눈을 감는 시간
눈을 감는 시간은 일반적으로 눈을 감고 뜨는 시간으로 표현됩니다. 사람이 정상적으로 깨어 있는 상태에서는 눈을 감는 시간이 매우 짧고 눈을 빨리 뜨게 됩니다. 피로한 경우 눈을 감는 시간이 상당히 길어지므로 눈을 감는 시간은 운전자의 정신 상태를 직접적으로 반영할 수 있습니다. 눈을 감은 후부터 뜨는 순간까지의 최대 프레임 수를 계산하여 프레임이 많을수록 눈을 감는 시간이 길어지고 피로도가 더욱 심해집니다.
눈 깜박임 횟수가 줄어듭니다. 수평 회색 투영은 얼굴의 아래쪽 절반에 수행되며 다양한 단일 인물 이미지의 수평 회색 투영 곡선이 관찰됩니다.
사람들은 깨어 있을 때보다 피곤할 때 눈을 더 자주 깜박입니다. 본 논문에서도 이를 피로 판단의 기초가 되는 매개변수로 삼고 있다. 눈을 감았을 때 한 번 깜박여 뜬다. 일정 시간 동안 깜박이는 횟수는 피로 판정을 위한 매개 변수로 누적됩니다.
머리 움직임의 피로 변수
운전자는 피곤할 때 자주 고개를 끄덕이고 고개를 앞으로 기울입니다. 눈 동공과 입가의 수평 위치는 수평 회색 적분 투영에 의해 획득됩니다. D1은 동공의 수평 위치에서 수집된 사진의 위쪽 가장자리까지의 거리이고, D2는 입가의 수평 위치에서 수집된 사진의 아래쪽 가장자리까지의 거리라고 가정합니다. 운전자가 피로로 인해 고개를 끄덕이면 D1이 증가하고 D2가 감소합니다. 운전자가 피곤하여 머리가 앞으로 기울어지면 D1이 증가하고 D2가 증가합니다. 고개를 끄덕이는 것과 머리를 앞으로 숙이는 것은 피로 판단의 중요한 기초로 사용될 수 있습니다.
피로운전 모니터링 기술 현황
Attention Technologies(dd850)에서 출시한 운전자 피로 모니터는 운전자의 생리적 반응 특성을 기반으로 한 운전자 피로 모니터링 및 조기 경고 제품입니다. 이 제품은 적외선 카메라를 통해 운전자의 눈 정보를 수집하고 PERCLOS를 피로 경보 표시기로 사용합니다. 계기판에 직접 설치할 수 있습니다. 알람 감도와 알람 소리를 조정할 수 있습니다. 현재는 대중화되어 적용되고 있으나 밤에만 효과가 있다.
미국 Digital Installations에서 개발한 Sam 피로 경보 장치는 스티어링 휠 아래에 배치된 자기 스트립을 사용하여 스티어링 휠 각도를 감지합니다. 운전자가 일정 시간 동안 스티어링 휠을 보정하지 않으면 시스템은 운전자가 피로 상태에 들어간 것으로 추론하고 경보를 울립니다.
미국 어시스트웨어(Assistware) 기술 기업 세이프트랙(Safetrac)은 전방 비디오 헤드를 이용해 차선을 파악하고, 차량이 차선을 이탈하기 시작하면 경보를 울린다. 또한, 차선 유지 상태와 운전자의 스티어링 휠 조작 특성을 결합해 운전자의 피로 상태를 판단할 수도 있다.
영국의 astid 장치는 운전자의 수면 정보, 완료된 운전 시간과 유형, 운전자의 스티어링 휠 작동 등 다양한 요소를 종합적으로 고려하여 운전자의 피로 상태를 판단합니다. 장치가 작동하기 전에 운전자는 지난 24시간 동안의 수면 정보를 입력해야 합니다. 시각 경보가 특정 수준에 도달하면 청각 경보가 작동되고 운전자에게 정지하고 휴식을 취하라는 조언이 제공됩니다. 잠시 휴식을 취한 후 내장된 알람 시계가 운전자를 깨우고 운전 시간을 재설정합니다.
이들 제품 외에도 손목 움직임을 통해 피로도를 감지하는 피로알람팔찌, 눈과 다리에 걸 수 있는 팔찌 등도 있다.

자체 피로 모니터 시스템 제품, 브랜드 또는 소프트웨어를 개발하려면 주저하지 말고 문의해 주세요. [email protected] 실망시키지 않겠습니다.