Làm thế nào để xác định trạng thái mệt mỏi của người lái xe trong hệ thống nhận dạng và cảnh báo sớm khi lái xe mệt mỏi?

Mệt mỏi khi lái xe là sự suy giảm khả năng phản ứng của người lái xe do thiếu ngủ hoặc lái xe liên tục trong thời gian dài. Sự suy giảm này thể hiện ở việc người lái buồn ngủ, ngủ gật, điều khiển sai cách hoặc mất hoàn toàn khả năng lái xe.
Tình trạng mệt mỏi khi lái xe được thể hiện ở cả khía cạnh sinh lý và tâm lý, bao gồm chức năng của hệ thần kinh, sự thay đổi về máu và mắt; Phản ứng tâm lý bao gồm thời gian phản ứng kéo dài, mất tập trung và hành động thiếu phối hợp. Cuộc điều tra và nghiên cứu về nguyên nhân gây ra tai nạn giao thông của Đại học Indiana ở Hoa Kỳ cho thấy 85% vụ tai nạn có liên quan đến người lái xe và chỉ có 15% là do yếu tố phương tiện và môi trường.
Những hành vi, lỗi lầm của người lái xe ngay trước khi xảy ra tai nạn đã trực tiếp dẫn đến tai nạn. Những hành vi này bao gồm chậm trễ về nhận thức, đưa ra quyết định sai lầm về môi trường, xử lý không đúng cách các tình huống nguy hiểm, v.v. Trong số tất cả các lỗi của người lái xe, lỗi phổ biến nhất là lỗi chậm trễ về nhận thức và lỗi ra quyết định. Những lỗi này sẽ dẫn đến thiếu tập trung, phản xạ chậm, vận hành không đúng cách, v.v. Nguyên nhân sâu xa của những lỗi này là do lái xe mệt mỏi. Do tài xế lái xe mệt mỏi, mức độ cảnh giác giảm sút dẫn đến tai nạn giao thông gia tăng, trở thành điểm nóng được xã hội quan tâm.
Nếu người lái xe mệt mỏi, khả năng quan sát, nhận biết và điều khiển phương tiện sẽ giảm đi đáng kể, đe dọa nghiêm trọng đến sự an toàn của bản thân và tính mạng của người khác. Với sự phát triển của ngành vận tải, tai nạn giao thông đã trở thành một vấn đề nghiêm trọng mà mọi quốc gia đều phải đối mặt.
Các phương pháp giám sát chính về sự mệt mỏi của người lái xe
Công nghệ giám sát và cảnh báo sớm tình trạng mệt mỏi và mất tập trung của người lái xe đã được nhiều quốc gia đánh giá cao vì triển vọng phát triển của nó trong việc ngăn ngừa tai nạn giao thông. Các nhà nghiên cứu đã thực hiện nhiều nghiên cứu khác nhau tùy theo đặc điểm sinh lý và hoạt động của tình trạng mệt mỏi của người lái xe. Một số kết quả nghiên cứu đã hình thành sản phẩm và bắt đầu đưa vào thị trường.
Các phương pháp phát hiện trạng thái mệt mỏi của người lái xe có thể được chia đại khái thành các phương pháp phát hiện dựa trên tín hiệu sinh lý của người lái xe, đặc điểm phản ứng sinh lý của người lái xe, hành vi vận hành của người lái xe và thông tin trạng thái xe.
1. Phương pháp phát hiện dựa trên tín hiệu sinh lý của người lái xe
Nghiên cứu về sự mệt mỏi bắt đầu từ sinh lý học. Nghiên cứu liên quan cho thấy các chỉ số sinh lý của người lái xe trong trạng thái mệt mỏi sẽ khác xa với các chỉ số ở trạng thái bình thường. Vì vậy, việc người lái có rơi vào trạng thái mệt mỏi hay không có thể được đánh giá qua các chỉ số sinh lý của người lái. Hiện tại, các phương pháp phát hiện hoàn thiện hơn bao gồm đo EEG và ECG của người lái xe.
Các nhà nghiên cứu từ lâu đã phát hiện ra rằng điện não đồ có thể phản ánh trực tiếp hoạt động của não. Người ta nhận thấy khi bước vào trạng thái mỏi, hoạt động của sóng delta và sóng theta trong EEG sẽ tăng lên đáng kể, trong khi hoạt động của sóng alpha sẽ tăng nhẹ. Trong một nghiên cứu khác [6], tín hiệu EEG được theo dõi trong thiết bị mô phỏng và phương tiện thật. Kết quả thử nghiệm cho thấy EEG là một phương pháp hiệu quả để theo dõi tình trạng mệt mỏi của người lái xe. Các nhà nghiên cứu cũng phát hiện ra rằng đặc điểm tín hiệu EEG có sự khác biệt lớn ở từng cá nhân, chẳng hạn như giới tính, tính cách và cũng liên quan chặt chẽ đến hoạt động tâm lý của con người.
ECG chủ yếu được sử dụng để đo gánh nặng sinh lý khi lái xe. Nghiên cứu cho thấy ECG sẽ giảm rõ ràng và thường xuyên khi người lái xe mệt mỏi, đồng thời có mối liên hệ tiềm tàng giữa HRV (sự thay đổi nhịp tim) và sự thay đổi mức độ mệt mỏi khi lái xe.
Phương pháp phát hiện dựa trên tín hiệu sinh lý của người lái xe có độ chính xác cao trong phán đoán độ mỏi, nhưng tín hiệu sinh lý cần được đo bằng cách tiếp xúc và nó phụ thuộc nhiều vào từng cá nhân. Nó có nhiều hạn chế khi thực sự được sử dụng trong việc theo dõi tình trạng mệt mỏi của người lái xe. Do đó, nó chủ yếu được sử dụng trong giai đoạn thử nghiệm làm tham số kiểm soát của thử nghiệm.
2. Phương pháp phát hiện dựa trên đặc điểm phản ứng sinh lý của người lái xe
Phương pháp phát hiện dựa trên đặc điểm phản ứng sinh lý của người lái xe là suy ra trạng thái mệt mỏi của người lái xe bằng cách sử dụng đặc điểm chuyển động mắt và đặc điểm chuyển động đầu của người lái xe.
Thông tin chuyển động mắt và chớp mắt của người lái xe được coi là những đặc điểm quan trọng phản ánh sự mệt mỏi. Biên độ chớp mắt, tần số chớp mắt và thời gian đóng trung bình có thể được sử dụng trực tiếp để phát hiện tình trạng mệt mỏi. Hiện nay có nhiều thuật toán nghiên cứu tình trạng mệt mỏi khi lái xe dựa trên cơ chế chuyển động của mắt. Các thuật toán được sử dụng rộng rãi bao gồm PERCLOS, lấy phần trăm thời gian nhắm mắt trong một khoảng thời gian làm chỉ số đo mức độ mệt mỏi sinh lý.
Sử dụng công nghệ nhận dạng khuôn mặt để xác định vị trí của mắt, chóp mũi và khóe miệng, kết hợp vị trí của mắt, chóp mũi và khóe miệng, sau đó theo theo dõi của mắt, chúng ta có thể biết được hướng chú ý của người lái xe và phán đoán xem người lái xe có đang hướng sự chú ý hay không. sự chú ý bị phân tán.
Cảm biến vị trí đầu được sử dụng để phát hiện hành động gật đầu của người lái xe. Vị trí đầu người lái từ mỗi cảm biến được xuất ra thông qua mảng cảm biến điện dung, có thể theo dõi vị trí đầu người lái theo thời gian thực và xác định người lái có buồn ngủ hay không theo quy luật thay đổi vị trí đầu. Nghiên cứu này cho thấy có mối tương quan rất tốt giữa hành động gật đầu và cơn buồn ngủ.
Phương pháp phát hiện dựa trên đặc điểm phản ứng sinh lý của người lái xe thường áp dụng phép đo không tiếp xúc, có độ chính xác và khả thi nhận dạng tốt.
3. Phương pháp phát hiện dựa trên hành vi vận hành của người lái xe
Công nghệ nhận dạng trạng thái mệt mỏi của người lái xe dựa trên hành vi vận hành của người lái xe là việc suy ra trạng thái mệt mỏi của người lái xe thông qua hành vi vận hành của người lái xe, chẳng hạn như thao tác vô lăng.
Bằng cách xử lý dữ liệu vận hành vô lăng của người lái xe được giám sát, kết quả nghiên cứu cho thấy mối liên hệ giữa hoạt động vô lăng của người lái xe và tình trạng mệt mỏi ở một mức độ nhất định. Người ta chỉ ra rằng hoạt động của vô lăng là một phương tiện hữu hiệu để đánh giá mức độ mệt mỏi khi lái xe.
Nhìn chung, có rất ít kết quả nghiên cứu chuyên sâu về nhận dạng mệt mỏi thông qua hành vi vận hành của người lái xe. Ngoài trạng thái mệt mỏi, việc vận hành của người lái xe còn bị ảnh hưởng bởi thói quen cá nhân, tốc độ lái xe, môi trường đường và kỹ năng vận hành. Trạng thái lái của phương tiện cũng liên quan đến nhiều yếu tố môi trường như đặc điểm phương tiện và đường sá. Vì vậy, làm thế nào để cải thiện độ chính xác dự đoán trạng thái của người lái xe là vấn đề then chốt của loại công nghệ đo lường gián tiếp này.
4. Phương pháp phát hiện dựa trên quỹ đạo xe
Trạng thái mệt mỏi của người lái xe cũng có thể được suy ra bằng cách sử dụng thông tin lái xe như thay đổi quỹ đạo của xe và chệch làn đường. Giống như công nghệ nhận dạng trạng thái mệt mỏi dựa trên hành vi vận hành của người lái, phương pháp này dựa trên các thiết bị hiện có của xe, không cần bổ sung quá nhiều thiết bị phần cứng và sẽ không ảnh hưởng đến việc lái xe thông thường của người lái nên có tính thực tế cao. giá trị.
Hệ thống nhận biết lái xe mệt mỏi dựa trên công nghệ video
Vào tháng 4 năm 1999, Cục Quản lý Đường cao tốc Liên bang lần đầu tiên đề xuất PERCLOS như một phương pháp khả thi để dự đoán tình trạng mệt mỏi khi lái xe của người lái xe cơ giới. Sau nhiều năm phát triển, phương pháp PERCLOS đã được công nhận là phương pháp đánh giá độ mỏi khi lái xe trên xe và theo thời gian thực hiệu quả nhất. PERCLOS là tên viết tắt của phần trăm nhắm mắt trong thời gian đồng tử, nghĩa là phần trăm thời gian nhắm mắt tính theo đơn vị thời gian.
Nguyên tắc của PERCLOS là tính tỷ lệ thời gian nhắm mắt trong một khoảng thời gian nhất định. Tiêu chuẩn đánh giá được hệ thống của chúng tôi áp dụng là perclos80, có nghĩa là mắt được coi là nhắm khi diện tích mí mắt che phủ đồng tử vượt quá 80%.
Nguyên lý đo PERCLOS

Giá trị của PERCLOS có thể được tính bằng cách đo T1-T4:

Trong đó f biểu thị phần trăm thời gian nhắm mắt, tức là giá trị của PERCLOS.
Sơ đồ hệ thống và quy trình làm việc của hệ thống nhận dạng lái xe mệt mỏi dựa trên công nghệ video
Hệ thống giám sát tình trạng mệt mỏi của người lái xe thu được hình ảnh thời gian thực của người lái xe thông qua thiết bị thu video, tự động phân tích tư thế đầu, luật chuyển động mắt và đặc điểm khuôn mặt của người lái xe để xác định trạng thái tinh thần của người lái xe và đưa ra lời nhắc cảnh báo sớm tương ứng. Nghiên cứu cho thấy, so với quy luật chuyển động của khuôn mặt hoặc đầu, quy luật hoạt động của mắt như tần số chớp mắt, tốc độ chớp mắt, phạm vi mở mắt và hướng nhìn của mắt có thể phản ánh tốt hơn trạng thái tinh thần của đối tượng ở thời điểm hiện tại.
Do đó, nếu có thể thu được kích thước mắt, thông tin vị trí và chuyển động thay đổi trong từng khung hình, thì quy luật hoạt động của mắt người lái xe có thể được tính trong một khoảng thời gian và có thể đánh giá trạng thái mệt mỏi của người lái xe kết hợp với phân tích trạng thái mệt mỏi. mục lục. Luồng hệ thống được thể hiện trong hình dưới đây:
Tiền xử lý ảnh
Trong môi trường lái xe, hình ảnh được thu thập qua luồng video sẽ bị ảnh hưởng bởi nhiều yếu tố, bao gồm thông tin nhiễu như độ phân giải, nhiễu hệ thống, nền đột ngột, v.v., sẽ cản trở thao tác hình ảnh tiếp theo. Do đó, chúng tôi xử lý trước ảnh nguồn bằng cách cân bằng biểu đồ để loại bỏ nhiễu, tăng cường độ tương phản của ảnh, làm nổi bật các chi tiết hình ảnh và cải thiện chất lượng hình ảnh.
Trước và sau khi cân bằng
Biểu đồ trước khi cân bằng Biểu đồ sau khi cân bằng
Phát hiện khuôn mặt
Nhận diện khuôn mặt là một bước quan trọng trước khi định vị mắt. Hệ thống áp dụng thuật toán AdaBoost và sử dụng các phương pháp phát hiện và đào tạo mẫu được cung cấp. Đầu tiên, các mẫu được thu thập và bộ phân loại được huấn luyện từ các mẫu được thu thập. Bộ phân loại có thể phân biệt rõ khuôn mặt người và khuôn mặt không phải người; Trong liên kết phát hiện, tải khung hình ảnh cần kiểm tra vào bộ phân loại, quét các pixel hình ảnh để tìm khuôn mặt có trong hình ảnh và hiệu chỉnh khu vực. Các thao tác tiếp theo sẽ được thực hiện trên vùng mặt đã được hiệu chỉnh để giảm diện tích tính toán và loại bỏ sự can thiệp của các yếu tố không phải bề mặt, giúp cải thiện đáng kể tốc độ hoạt động của hệ thống.
Vị trí mắt
Liên kết này bao gồm hai giai đoạn: định vị mắt người thô và định vị mắt người chính xác. Thứ nhất, theo kiến thức trước đây về tam sân và ngũ mắt truyền thống của Trung Quốc, phải có một diện tích gần đúng của mắt người ở vị trí thô. Vùng này có thể chứa sự can thiệp như lông mày và góc tóc cùng một lúc, nhưng nó càng làm giảm diện tích tính toán; Sau đó, vùng thô của mắt người được chuyển đổi thành ảnh nhị phân thông qua một ngưỡng nhất định, sau đó thực hiện phép chiếu màu xám theo hướng thẳng đứng để thu được biểu đồ. Do có sự khác biệt lớn giữa màu xám của mắt người và vùng da xung quanh nên tọa độ Y của cạnh trên và dưới của mắt người có thể được xác định từ các đỉnh và đáy trong biểu đồ, từ đó mắt có thể xác định chính xác xác định vị trí.
Đánh giá trạng thái mắt
Thông qua phương pháp phương sai giữa các lớp tối đa (Otsu), vùng chính xác của mắt người được nhị phân hóa với các ngưỡng khác nhau dưới các tia sáng khác nhau để có được hình dạng mắt đẹp nhất khi mắt người mở và nhắm. Thông qua việc so sánh n khung hình liên tục, có thể đánh giá rằng trình điều khiển hiện đang ở trạng thái đóng khi diện tích giá trị pixel đen là nhỏ nhất, còn trong các trường hợp khác thì ở trạng thái mở hoặc nửa mở.
Phân tích độ mỏi
Hệ thống chọn chỉ số đánh giá độ mỏi percols hiệu quả và được công nhận hiện tại, nghĩa là trạng thái mỏi được phân tích theo tỷ lệ thời gian của các khung hình nhắm mắt trong n khung hình liên tiếp. Khung hình mở mắt được ghi là giá trị “1” và khung hình nhắm mắt được ghi là giá trị “0”. Bằng cách này, sau n khung hình liên tiếp, có thể thu được chuỗi so le “1” và “0”. Việc phân tích trạng thái mỏi có thể được mô tả bằng tỷ lệ của giá trị “0” trong chuỗi. Khi tỷ lệ phần trăm cao hơn một tỷ lệ thử nghiệm nhất định, có thể coi người lái xe đang mệt mỏi.
Thông qua việc vận hành và xử lý năm bước trên, hệ thống có thể phân tích xem trình điều khiển hiện tại có ở trạng thái mệt mỏi và mức độ mệt mỏi từ luồng video mà thiết bị thu nhận thu được hay không, đồng thời đưa ra các mức độ nhắc nhở và cảnh báo khác nhau để đạt được mục tiêu hệ thống.
Đánh giá toàn diện về mức độ mệt mỏi
Việc đánh giá sự mệt mỏi của người lái xe sẽ bị ảnh hưởng bất lợi khi kiểm tra lỗi. Thông qua việc tính toán PERCLOS, thời gian nhắm mắt, tần số chớp mắt, mức độ mở miệng và chuyển động của đầu, có thể thực hiện đánh giá toàn diện về mức độ mệt mỏi của người lái xe một cách chính xác và hiệu quả.
PERCLOS
PERCLOS đề cập đến phần trăm thời gian nhắm mắt trong một thời gian cụ thể. Phương pháp PERCLOS có ba tiêu chí: p70, p80 và em. Nghiên cứu cho thấy p80 có mối tương quan tốt nhất với mức độ mỏi.
Mở miệng
Miệng thường có ba trạng thái: ngậm, nói và ngáp. Trong trạng thái mệt mỏi, con người sẽ thường xuyên ngáp, người ta sẽ thấy có một đường lõm trong đường cong chiếu ngang màu xám của nửa dưới của khu vực, tức là vị trí giữa môi. Binarize phần dưới của khuôn mặt và tính giá trị pixel của vùng được kết nối (vùng được kết nối có thể ngăn lỗ mũi và râu ảnh hưởng đến phép tính) từ môi lên xuống để có được độ mở của miệng.
Bù chiều cao mắt và chiều cao miệng
Khi khoảng cách thẳng đứng từ mí mắt trên đến mí mắt dưới và khoảng cách thẳng đứng từ môi trên đến môi dưới, do đầu của người lái xe di chuyển so với thiết bị phát hiện, để thực hiện tính toán chính xác về chiều cao mắt và miệng của người lái xe chiều cao, cần phải hiệu chỉnh những thay đổi gây ra bởi sự thay đổi tương đối về khoảng cách giữa mắt, miệng và thiết bị phát hiện.
Thời gian nhắm mắt
Thời gian nhắm mắt thường được biểu thị bằng thời gian từ khi nhắm mắt đến khi mở mắt. Khi một người ở trạng thái tỉnh táo bình thường, thời gian nhắm mắt rất ngắn và người đó sẽ mở mắt rất nhanh. Trong trường hợp mệt mỏi, thời gian nhắm mắt sẽ dài hơn đáng kể nên thời gian nhắm mắt có thể phản ánh trực tiếp trạng thái tinh thần của người lái xe. Bằng cách tính toán số lượng khung hình tối đa từ khi nhắm mắt đến khi mở ra, càng nhiều khung hình, thời gian nhắm mắt càng lâu và tình trạng mệt mỏi càng trầm trọng hơn.
Mắt chớp ít thường xuyên hơn. Phép chiếu màu xám ngang được thực hiện ở nửa dưới của khuôn mặt và quan sát các đường cong chiếu màu xám ngang của các hình ảnh một người khác nhau,
Mọi người chớp mắt thường xuyên hơn khi họ mệt mỏi hơn là khi họ thức. Bài viết này cũng lấy nó làm tham số làm cơ sở cho việc đánh giá độ mỏi. Chớp mắt một lần khi nhắm mắt lại để mở. Số lần chớp mắt trong một khoảng thời gian được tích lũy như một thông số để đánh giá độ mỏi.
Thông số mỏi của chuyển động đầu
Khi người lái xe mệt mỏi, anh ta sẽ thường xuyên gật đầu và nghiêng đầu về phía trước. Vị trí nằm ngang của đồng tử mắt và góc miệng thu được bằng phép chiếu tích phân màu xám nằm ngang. Giả sử D1 là khoảng cách từ vị trí nằm ngang của đồng tử đến mép trên của ảnh được thu thập và D2 là khoảng cách từ vị trí nằm ngang của khóe miệng đến mép dưới của ảnh được thu thập. Khi người lái xe gật đầu do mệt mỏi, D1 tăng và D2 giảm. Khi người lái mệt mỏi và đầu nghiêng về phía trước, D1 tăng và D2 tăng. Gật đầu và nghiêng đầu về phía trước có thể được dùng làm cơ sở quan trọng để đánh giá sự mệt mỏi.
Thực trạng công nghệ giám sát lái xe mệt mỏi
Giám sát độ mệt mỏi của người lái xe được ra mắt bởi công nghệ chú ý (dd850) là sản phẩm giám sát và cảnh báo sớm tình trạng mệt mỏi của người lái xe dựa trên đặc điểm phản ứng sinh lý của người lái xe. Sản phẩm thu thập thông tin về mắt của người lái xe thông qua camera hồng ngoại và sử dụng PERCLOS làm chỉ báo cảnh báo mệt mỏi. Nó có thể được cài đặt trực tiếp trên bảng điều khiển. Độ nhạy báo động và âm thanh báo động có thể được điều chỉnh. Hiện nay nó đã được phổ biến và áp dụng nhưng chỉ có tác dụng vào ban đêm.
Thiết bị cảnh báo mỏi sam do công ty lắp đặt kỹ thuật số ở Mỹ phát triển sử dụng dải từ đặt dưới vô lăng để phát hiện góc vô lăng. Nếu người lái xe không điều chỉnh vô lăng trong một khoảng thời gian, hệ thống sẽ cho rằng người lái xe rơi vào trạng thái mệt mỏi và kích hoạt cảnh báo.
Safetrac của hãng công nghệ hỗ trợ Hoa Kỳ sử dụng đầu video phía trước để xác định vạch làn đường và đưa ra cảnh báo khi xe bắt đầu đi chệch làn đường. Sản phẩm còn có thể đánh giá trạng thái mệt mỏi của người lái bằng cách kết hợp trạng thái giữ làn đường với đặc tính vận hành vô lăng của người lái.
Thiết bị astid ở Anh xem xét toàn diện nhiều yếu tố khác nhau như thông tin về giấc ngủ của người lái xe, độ dài và kiểu lái xe đã hoàn thành cũng như thao tác vô lăng của người lái xe để đánh giá trạng thái mệt mỏi của người lái xe. Trước khi thiết bị hoạt động, người lái xe cần nhập thông tin về giấc ngủ của mình trong 24 giờ qua. Khi cảnh báo trực quan đạt đến một mức nhất định, cảnh báo âm thanh sẽ được kích hoạt và người lái xe nên dừng lại và nghỉ ngơi. Sau một thời gian nghỉ ngơi, đồng hồ báo thức tích hợp sẽ đánh thức người lái và đặt lại thời gian lái xe.
Ngoài các sản phẩm này, còn có vòng đeo tay cảnh báo mệt mỏi phát hiện sự mệt mỏi thông qua chuyển động của cổ tay và vòng đeo tay có thể treo trên mắt và chân.

Nếu bạn muốn phát triển các sản phẩm, nhãn hiệu hoặc phần mềm hệ thống giám sát độ mệt mỏi của riêng mình; xin đừng ngần ngại liên hệ [email protected] , chúng tôi sẽ không làm bạn thất vọng.