Jak rozpoznać stan zmęczenia kierowcy w systemie identyfikacji zmęczenia pojazdu i systemie wczesnego ostrzegania?

Zmęczenie za kierownicą oznacza spadek zdolności reakcji kierowcy spowodowany brakiem snu lub długotrwałą nieprzerwaną jazdą. Spadek ten objawia się sennością kierowcy, przysypianiem, nieprawidłowym prowadzeniem pojazdu lub całkowitą utratą zdolności kierowania pojazdem.
Zmęczenie za kierownicą odbija się zarówno na aspektach fizjologicznych, jak i psychologicznych, w tym na funkcjonowaniu układu nerwowego, zmianach we krwi i oczach; Reakcja psychologiczna obejmuje wydłużenie czasu reakcji, rozproszenie uwagi i nieskoordynowane działanie. Dochodzenie i badania przyczyn wypadków drogowych przeprowadzone przez Uniwersytet Indiana w Stanach Zjednoczonych wykazały, że 85% wypadków jest związanych z kierowcami, a tylko 15% to czynniki związane z pojazdem i środowiskiem.
Zachowania i błędy kierowcy bezpośrednio przed wypadkiem prowadzą bezpośrednio do wypadku. Zachowania te obejmują opóźnienie percepcji, błędne podejmowanie decyzji dotyczących środowiska, niewłaściwe postępowanie w niebezpiecznych sytuacjach i tak dalej. Spośród wszystkich błędów kierowców najczęstsze są opóźnienia w percepcji i błędy w podejmowaniu decyzji. Błędy te doprowadzą do nieuwagi, powolnej refleksji, nieprawidłowej obsługi i tak dalej. Główną przyczyną tych błędów jest zmęczenie podczas jazdy. Wskutek zmęczenia kierowców podczas jazdy spada poziom czujności, co skutkuje wzrostem liczby wypadków drogowych, co stało się przedmiotem powszechnego zaniepokojenia w społeczeństwie.
Jeśli kierowca będzie jechał zmęczony, jego zdolność obserwacji, rozpoznania i kontroli pojazdu zostanie znacznie ograniczona, co poważnie zagrozi jego bezpieczeństwu i życiu innych osób. Wraz z rozwojem branży transportowej, wypadki drogowe stały się poważnym problemem, z którym borykają się wszystkie kraje.
Główne metody monitorowania zmęczenia kierowców
Technologia monitorowania i wczesnego ostrzegania o zmęczeniu i rozproszeniu uwagi kierowcy została wysoko oceniona w różnych krajach ze względu na jej perspektywy rozwoju w zakresie zapobiegania wypadkom drogowym. Naukowcy przeprowadzili różne badania w zależności od fizjologicznych i operacyjnych cech zmęczenia kierowcy. Niektóre wyniki badań utworzyły produkty i zaczęły wchodzić na rynek.
Metody wykrywania stanu zmęczenia kierowcy można z grubsza podzielić na metody wykrywania oparte na sygnale fizjologicznym kierowcy, charakterystyce reakcji fizjologicznej kierowcy, zachowaniu kierowcy podczas wykonywania czynności oraz informacji o stanie pojazdu.
1. Metoda detekcji oparta na sygnale fizjologicznym kierowcy
Badania nad zmęczeniem rozpoczęły się w fizjologii. Z odpowiednich badań wynika, że wskaźniki fizjologiczne kierowców w stanie zmęczenia będą odbiegać od wskaźników stanu normalnego. Zatem to, czy kierowca wejdzie w stan zmęczenia, można ocenić na podstawie wskaźników fizjologicznych kierowcy. Obecnie do bardziej dojrzałych metod wykrywania zalicza się pomiar EEG i EKG kierowców.
Naukowcy od dawna odkryli, że EEG może bezpośrednio odzwierciedlać aktywność mózgu. Stwierdzono, że po wejściu w stan zmęczenia aktywność fal delta i fal theta w EEG znacznie wzrośnie, natomiast aktywność fali alfa nieznacznie wzrośnie. W innym badaniu [6] sygnały EEG monitorowano w symulatorach i rzeczywistych pojazdach. Wyniki badań pokazują, że EEG jest skuteczną metodą monitorowania zmęczenia kierowcy. Naukowcy odkryli również, że cechy sygnału EEG znacznie różnią się między sobą, np. płeć i osobowość, a także są ściśle powiązane z aktywnością psychologiczną ludzi.
EKG wykorzystuje się głównie w fizjologicznym pomiarze obciążenia związanego z prowadzeniem pojazdu. Badania pokazują, że EKG będzie się wyraźnie i regularnie zmniejszać, gdy kierowca będzie zmęczony i istnieje potencjalny związek pomiędzy HRV (zmianą tętna) a zmianą stopnia zmęczenia podczas jazdy.
Metoda wykrywania oparta na sygnale fizjologicznym kierowcy zapewnia dużą dokładność oceny zmęczenia, ale sygnał fizjologiczny musi być mierzony kontaktowo i jest w dużym stopniu zależny od indywidualnych cech. Ma wiele ograniczeń, jeśli jest faktycznie stosowany w monitorowaniu zmęczenia kierowcy. Dlatego stosuje się go głównie na etapie doświadczalnym jako parametr kontrolny eksperymentu.
2. Metoda detekcji oparta na charakterystyce reakcji fizjologicznej kierowcy
Metoda wykrywania oparta na charakterystyce reakcji fizjologicznej kierowcy polega na wnioskowaniu o stanie zmęczenia kierowcy na podstawie charakterystyki ruchu oczu kierowcy i charakterystyki ruchu głowy.
Informacje o ruchach oczu i mrugnięciach kierowcy uważa się za ważne cechy odzwierciedlające zmęczenie. Do wykrywania zmęczenia można bezpośrednio wykorzystać amplitudę mrugnięć, częstotliwość mrugnięć i średni czas zamykania. Obecnie istnieje wiele algorytmów badania zmęczenia kierowcy w oparciu o mechanizm ruchu gałek ocznych. Do szeroko stosowanych algorytmów należy PERCLOS, który jako wskaźnik pomiaru zmęczenia fizjologicznego przyjmuje procent czasu zamknięcia powieki w danym okresie.
Korzystając z technologii rozpoznawania twarzy, aby zlokalizować położenie oczu, czubka nosa i kącika ust, połączyć położenie oczu, czubka nosa i kącika ust, a następnie na podstawie śledzenia oczu możemy uzyskać kierunek uwagi kierowcy i ocenić, czy kierowca uwaga jest rozproszona.
Czujnik położenia głowy służy do wykrywania kiwania głową przez kierowcę. Pozycja głowy kierowcy z każdego czujnika jest przekazywana przez pojemnościowy układ czujników, który może śledzić położenie głowy w czasie rzeczywistym i określać, czy kierowca jest śpiący, zgodnie z prawem zmiany pozycji głowy. Badanie to wykazało, że istnieje bardzo dobra korelacja między kiwaniem głową a sennością.
Metoda wykrywania oparta na charakterystyce reakcji fizjologicznej kierowcy zazwyczaj wykorzystuje pomiar bezdotykowy, który charakteryzuje się dobrą dokładnością rozpoznawania i praktycznością.
3. Metoda wykrywania oparta na zachowaniu kierowcy
Technologia rozpoznawania stanu zmęczenia kierowcy w oparciu o zachowanie kierowcy polega na wnioskowaniu o stanie zmęczenia kierowcy na podstawie jego zachowania, np. obsługi kierownicą.
Wyniki badań, przetwarzając dane dotyczące pracy kierownicy monitorowanego kierowcy, pozwalają w pewnym stopniu ujawnić związek pomiędzy operacją kierownicą kierowcy a zmęczeniem. Wskazano, że operowanie kierownicą jest skutecznym sposobem oceny zmęczenia kierowcy.
Ogólnie rzecz biorąc, istnieje niewiele pogłębionych wyników badań dotyczących identyfikacji zmęczenia na podstawie zachowań eksploatacyjnych kierowcy. Oprócz stanu zmęczenia na pracę kierowcy wpływają również osobiste nawyki, prędkość jazdy, warunki drogowe i umiejętności operacyjne. Stan jezdny pojazdu jest również powiązany z wieloma czynnikami środowiskowymi, takimi jak charakterystyka pojazdu i drogi. Dlatego też, jak poprawić dokładność przewidywania stanu kierowcy, jest kluczowym problemem tego rodzaju technologii pomiarów pośrednich.
4. Metoda detekcji na podstawie trajektorii pojazdu
Stan zmęczenia kierowców można również wywnioskować na podstawie informacji o prowadzeniu pojazdu, takich jak zmiana trajektorii pojazdu i opuszczenie pasa ruchu. Podobnie jak technologia rozpoznawania stanu zmęczenia w oparciu o zachowanie kierowcy, metoda ta opiera się na istniejących urządzeniach pojazdu, nie wymaga dodawania zbyt wielu urządzeń sprzętowych i nie będzie zakłócać normalnej jazdy kierowcy, dzięki czemu ma duże zalety praktyczne wartość.
System rozpoznawania zmęczenia podczas jazdy oparty na technologii wideo
W kwietniu 1999 r. Federalna Administracja Autostrad po raz pierwszy zaproponowała PERCLOS jako wykonalną metodę przewidywania zmęczenia kierowców pojazdów mechanicznych podczas jazdy. Po latach rozwoju metoda PERCLOS została uznana za najskuteczniejszą metodę pokładowej oceny zmęczenia podczas jazdy w czasie rzeczywistym. PERCLOS to skrót oznaczający procent zamknięcia oka w stosunku do czasu źrenicy, co oznacza procent czasu zamknięcia oka w jednostce czasu.
Zasada działania PERCLOS polega na liczeniu proporcji czasowej zamknięcia oka w określonym przedziale czasu. Standardem oceny przyjętym w naszym systemie jest perclos80, co oznacza, że oko uznaje się za zamknięte, gdy powierzchnia powieki zakrywająca źrenicę przekracza 80%.
Zasada pomiaru PERCLOS

Wartość PERCLOS można obliczyć mierząc T1-T4:

Gdzie f oznacza procent czasu zamknięcia oka, tj. wartość PERCLOS.
Schemat systemu i przebieg działania systemu rozpoznawania zmęczenia podczas jazdy w oparciu o technologię wideo
System monitorowania zmęczenia kierowcy uzyskuje obraz kierowcy w czasie rzeczywistym za pomocą sprzętu do rejestracji wideo, automatycznie analizuje postawę głowy kierowcy, prawa dotyczące ruchu oczu i rysy twarzy, aby określić stan psychiczny kierowcy, a następnie generuje odpowiedni komunikat wczesnego ostrzegania. Badania pokazują, że w porównaniu z prawem ruchu twarzy lub głowy, prawa aktywności oczu, takie jak częstotliwość mrugania, prędkość mrugania, zakres otwierania oczu i kierunek patrzenia, mogą lepiej odzwierciedlać stan psychiczny osób badanych w danym momencie.
Dlatego też, jeśli w każdej klatce obrazu można uzyskać informacje o rozmiarze oczu, położeniu i zmianach ruchu, można obliczyć prawo aktywności oczu kierowcy w danym okresie czasu, a stan zmęczenia kierowcy można ocenić w połączeniu z analizą stanu zmęczenia indeks. Przepływ systemu pokazano na poniższym rysunku:
Wstępne przetwarzanie obrazu
W środowisku jazdy na obraz zebrany w strumieniu wideo będzie wpływać wiele czynników, w tym informacje o szumach, takie jak rozdzielczość, szum systemu, nagłe tło itp., które będą zakłócać następną operację obrazu. Dlatego wstępnie przetwarzamy obraz źródłowy poprzez korekcję histogramu, aby usunąć szumy, zwiększyć kontrast obrazu, podkreślić szczegóły obrazu i poprawić jakość obrazu.
Przed i po wyrównaniu
Histogram przed wyrównaniem Histogram po wyrównaniu
Wykrywanie twarzy
Wykrywanie twarzy to ważny krok przed lokalizacją oczu. System wykorzystuje algorytm AdaBoost i korzysta z dostarczonych przykładowych metod uczenia i wykrywania. Najpierw pobierane są próbki, a na ich podstawie szkolony jest klasyfikator. Klasyfikator potrafi dobrze rozróżnić twarz ludzką od twarzy innej niż ludzka; W łączu detekcji załaduj testowaną ramkę obrazu do klasyfikatora, zeskanuj piksele obrazu, aby znaleźć twarz zawartą w obrazie i skalibruj obszar. Kolejne operacje będą wykonywane na skalibrowanym obszarze czołowym, aby zmniejszyć obszar obliczeniowy i wyeliminować interferencję czynników innych niż czołowe, co znacznie poprawia szybkość pracy systemu.
Lokalizacja oczu
To połączenie obejmuje dwa etapy: przybliżone pozycjonowanie ludzkiego oka i dokładne pozycjonowanie ludzkiego oka. Po pierwsze, zgodnie z wcześniejszą wiedzą na temat tradycyjnych chińskich trzech dziedzińców i pięciu oczu, w przybliżonym położeniu musi znajdować się przybliżony obszar ludzkich oczu. Obszar ten może zawierać jednocześnie zakłócenia, takie jak brwi i kąty włosów, ale dodatkowo zmniejsza obszar obliczeniowy; Następnie szorstki obszar ludzkiego oka jest przekształcany na obraz binarny po osiągnięciu pewnego progu, a następnie przeprowadzana jest projekcja szarości w kierunku pionowym w celu uzyskania histogramu. Ponieważ istnieje duża różnica między szarością ludzkiego oka a otaczającą skórą, współrzędne Y górnej i dolnej krawędzi ludzkiego oka można określić na podstawie szczytów i dolin na histogramie, a następnie można dokładnie określić oczy usytuowany.
Ocena stanu oczu
Dzięki metodzie maksymalnej wariancji międzyklasowej (Otsu) dokładny obszar ludzkich oczu jest binaryzowany z różnymi progami w przypadku różnych promieni świetlnych, aby uzyskać najlepszy kształt oka, gdy ludzkie oczy są otwarte i zamknięte. Porównując ciągłe n klatek można ocenić, że sterownik aktualnie znajduje się w stanie zamkniętym, gdy obszar wartości czarnego piksela jest najmniejszy, a w pozostałych przypadkach jest w stanie otwartym lub półotwartym.
Analiza zmęczenia
System wybiera aktualnie rozpoznany i efektywny wskaźnik oceny zmęczenia perkolami, czyli stan zmęczenia analizowany jest poprzez proporcję czasową klatek z zamkniętymi oczami w kolejnych n klatkach. Klatki z otwartymi oczami są rejestrowane jako wartość „1”, a klatki z oczami zamkniętymi są rejestrowane jako wartość „0”. W ten sposób po n kolejnych klatkach można otrzymać naprzemienną sekwencję „1” i „0”. Analizę stanu zmęczenia można opisać proporcją wartości „0” w sekwencji. Jeżeli wartość procentowa jest wyższa od określonej proporcji eksperymentalnej, można uznać, że kierowca może być zmęczony.
Wykonując i przetwarzając powyższe pięć kroków, system może analizować, czy bieżący kierowca jest w stanie zmęczenia i stopnia zmęczenia, na podstawie strumienia wideo uzyskanego przez sprzęt rejestrujący, a także wyświetlać przypomnienia i alarmy o różnym stopniu, aby osiągnąć cel systemowy.
Kompleksowa ocena stopnia zmęczenia
Kontrola błędów niekorzystnie wpłynie na ocenę zmęczenia kierowcy. Dzięki obliczeniu PERCLOS, czasu zamykania oczu, częstotliwości mrugania oczu, stopnia otwarcia ust i ruchu głowy, można dokładnie i skutecznie przeprowadzić kompleksową ocenę zmęczenia kierowcy.
PERCLOS
PERCLOS odnosi się do procentu czasu zamknięcia oka w określonym czasie. Metoda PERCLOS ma trzy kryteria: p70, p80 i em. Z badań wynika, że p80 najlepiej koreluje ze stopniem zmęczenia.
Otwarcie ust
Zwykle wyróżnia się trzy stany jamy ustnej: zamknięcie, mówienie i ziewanie. W stanie zmęczenia ludzie będą często ziewać i okaże się, że w poziomej szarej krzywej projekcji dolnej połowy obszaru, czyli pozycji pomiędzy wargami, znajduje się dolina. Binaryzuj dolną część twarzy i oblicz wartość w pikselach połączonego obszaru (połączony obszar może zapobiec wpływowi nozdrzy i wąsów na obliczenia) od ust w górę i w dół, aby uzyskać stopień otwarcia ust.
Kompensacja wysokości oczu i ust
Gdy odległość w pionie od górnej powieki do dolnej powieki i pionowa odległość od górnej wargi do dolnej wargi, ponieważ głowa kierowcy porusza się względem sprzętu wykrywającego, w celu dokładnego obliczenia wysokości oczu i ust kierowcy wzrostu, konieczne jest skorygowanie zmian spowodowanych względnymi zmianami odległości między oczami, ustami i urządzeniami wykrywającymi.
Czas zamknięcia oczu
Czas zamknięcia oka jest ogólnie wyrażany jako czas od zamknięcia oka do otwarcia. Kiedy dana osoba jest w normalnym stanie przebudzenia, czas zamykania jej oczu jest bardzo krótki i szybko je otwiera. W przypadku zmęczenia czas zamykania oczu będzie znacznie dłuższy, więc czas zamykania oczu może bezpośrednio odzwierciedlać stan psychiczny kierowcy. Obliczając maksymalną liczbę klatek od zamknięcia oka do otwarcia, im więcej klatek, tym dłuższy czas zamykania i tym poważniejsze zmęczenie.
Oczy mrugają rzadziej. Pozioma projekcja szarości wykonywana jest na dolnej połowie twarzy i obserwowane są poziome krzywe projekcji szarości różnych obrazów jednej osoby,
Ludzie mrugają częściej, gdy są zmęczeni, niż gdy nie śpią. W artykule tym przyjęto go również jako parametr stanowiący podstawę oceny zmęczenia. Aby otworzyć oczy, mrugnij raz, gdy oczy są zamknięte. Liczba mrugnięć w danym okresie jest sumowana jako parametr oceny zmęczenia.
Parametry zmęczeniowe ruchu głowy
Kiedy kierowca jest zmęczony, często kiwa głową i pochyla głowę do przodu. Poziome położenie źrenicy oka i kącika ust uzyskuje się poprzez poziomą projekcję całkową w kolorze szarym. Załóżmy, że D1 to odległość od poziomego położenia źrenicy do górnej krawędzi zebranego obrazu, a D2 to odległość od poziomego położenia kącika ust do dolnej krawędzi zebranego obrazu. Kiedy kierowca kiwa głową ze zmęczenia, D1 wzrasta, a D2 maleje. Kiedy kierowca jest zmęczony i głowa pochyla się do przodu, D1 wzrasta, a D2 wzrasta. Kiwanie głową i pochylanie głowy do przodu może być ważną podstawą oceny zmęczenia.
Obecna sytuacja w zakresie technologii monitorowania zmęczenia jazdy
Monitor zmęczenia kierowcy wprowadzony przez firmę Attention Technologies (dd850) to produkt do monitorowania zmęczenia kierowcy i wczesnego ostrzegania w oparciu o charakterystykę reakcji fizjologicznych kierowcy. Produkt zbiera informacje z oczu kierowcy za pomocą kamery na podczerwień i wykorzystuje PERCLOS jako wskaźnik alarmu zmęczenia. Można go zamontować bezpośrednio na desce rozdzielczej. Można regulować czułość i dźwięk alarmu. Obecnie jest on spopularyzowany i stosowany, ale działa tylko w nocy.
To samo urządzenie alarmujące o zmęczeniu, opracowane przez instalacje cyfrowe w Stanach Zjednoczonych, wykorzystuje pasek magnetyczny umieszczony pod kierownicą do wykrywania kąta skrętu kierownicy. Jeśli kierowca przez pewien czas nie dokona żadnej korekty ustawienia kierownicy, system uzna, że kierowca wchodzi w stan zmęczenia i uruchomi alarm.
Safetrac, amerykańska firma zajmująca się technologią oprogramowania wspomagającego, wykorzystuje przednią głowicę wideo do identyfikacji linii pasa ruchu i włączania alarmu, gdy pojazd zaczyna zbaczać z pasa ruchu. Produkt może również ocenić stan zmęczenia kierowcy, łącząc stan utrzymania pasa ruchu z charakterystyką działania kierownicy.
Urządzenie astid stosowane w Wielkiej Brytanii kompleksowo uwzględnia różne czynniki, takie jak informacje o śnie kierowcy, długość i rodzaj przebytej jazdy oraz sposób działania kierowcy na kierownicy, aby ocenić jego stan zmęczenia. Zanim urządzenie zacznie działać, kierowca musi wprowadzić dane dotyczące snu z ostatnich 24 godzin. Gdy alarm wizualny osiągnie określony poziom, włączy się alarm dźwiękowy, a kierowcy zaleca się zatrzymanie i odpoczynek. Po okresie odpoczynku wbudowany budzik obudzi kierowcę i zresetuje czas jazdy.
Oprócz tych produktów dostępne są również bransoletki alarmujące o zmęczeniu, które wykrywają zmęczenie poprzez ruch nadgarstka oraz bransoletki, które można zawiesić na oczach i nogach

Jeśli chcesz opracować własne produkty, marki lub oprogramowanie do systemów monitorowania zmęczenia; nie wahaj się skontaktować [email protected] , nie zawiedziemy Cię.