Wie kann der Ermüdungszustand des Fahrers im Fahrermüdigkeitserkennungs- und Frühwarnsystem des Fahrzeugs erkannt werden?
Unter Fahrmüdigkeit versteht man die Abnahme der Reaktionsfähigkeit des Fahrers, die durch Schlafmangel oder langfristiges ununterbrochenes Fahren verursacht wird. Diese Abnahme äußert sich in Schläfrigkeit, Einschlafen, falschem Fahrverhalten oder vollständigem Verlust der Fahrtüchtigkeit des Fahrers.
Müdigkeit beim Fahren äußert sich sowohl in physiologischen als auch in psychologischen Aspekten, darunter in der Funktion des Nervensystems sowie in Blut- und Augenveränderungen. Zu den psychologischen Reaktionen zählen verlängerte Reaktionszeiten, Ablenkung und unkoordiniertes Handeln. Die Untersuchung und Erforschung der Ursachen von Verkehrsunfällen durch die Indiana University in den USA ergab, dass 851 % der Unfälle auf den Fahrer zurückzuführen sind und nur 151 % auf das Fahrzeug und die Umgebung.
Das Verhalten und die Fehler des Fahrers unmittelbar vor dem Unfall führen direkt zum Unfall. Zu diesen Verhaltensweisen gehören Wahrnehmungsverzögerungen, falsche Entscheidungen in Bezug auf die Umgebung, unsachgemäßer Umgang mit Gefahrensituationen usw. Unter allen Fahrerfehlern sind Wahrnehmungsverzögerungen und Entscheidungsfehler die häufigsten. Diese Fehler führen zu Unaufmerksamkeit, langsamer Reflexion, unsachgemäßer Bedienung usw. Die Hauptursache dieser Fehler ist Müdigkeit beim Fahren. Aufgrund der Müdigkeit des Fahrers am Steuer nimmt die Wachsamkeit ab, was zu einer Zunahme der Verkehrsunfälle führt, die zu einem Brennpunkt allgemeiner Besorgnis in der Gesellschaft geworden sind.
Wenn der Fahrer müde fährt, sind seine Beobachtungs- und Wahrnehmungsfähigkeit sowie seine Fähigkeit zur Fahrzeugkontrolle erheblich eingeschränkt, was seine eigene Sicherheit und das Leben anderer ernsthaft gefährdet. Mit der Entwicklung der Transportbranche sind Verkehrsunfälle zu einem ernsthaften Problem geworden, mit dem alle Länder konfrontiert sind.
Wichtigste Methoden zur Überwachung der Fahrermüdigkeit
Die Technologie zur Überwachung und Frühwarnung von Fahrermüdigkeit und Ablenkung wird in vielen Ländern hoch geschätzt, da sie Entwicklungsaussichten bei der Prävention von Verkehrsunfällen bietet. Forscher haben verschiedene Untersuchungen zu den physiologischen und betrieblichen Merkmalen von Fahrermüdigkeit durchgeführt. Einige Forschungsergebnisse sind in Produkte umgesetzt worden und kommen nun auf den Markt.
Die Methoden zur Erkennung des Ermüdungszustands des Fahrers können grob in Erkennungsmethoden unterteilt werden, die auf physiologischen Signalen des Fahrers, physiologischen Reaktionseigenschaften des Fahrers, dem Betriebsverhalten des Fahrers und Informationen zum Fahrzeugzustand basieren.
1. Erkennungsmethode basierend auf physiologischen Signalen des Fahrers
Die Erforschung der Ermüdung begann in der Physiologie. Relevante Forschungen zeigen, dass die physiologischen Werte von Fahrern im Ermüdungszustand von den Werten im Normalzustand abweichen. Daher kann anhand der physiologischen Werte des Fahrers beurteilt werden, ob der Fahrer in den Ermüdungszustand gerät. Zu den derzeit ausgereifteren Erkennungsmethoden gehören die Messung des EEG und des EKG des Fahrers.
Forscher haben schon lange herausgefunden, dass das EEG die Aktivität des Gehirns direkt widerspiegeln kann. Es wurde festgestellt, dass beim Eintritt in den Ermüdungszustand die Aktivitäten der Delta-Wellen und Theta-Wellen im EEG deutlich zunehmen, während die Aktivitäten der Alpha-Wellen leicht zunehmen. In einer anderen Studie [6] wurden EEG-Signale in Simulatoren und realen Fahrzeugen überwacht. Die Testergebnisse zeigen, dass das EEG eine wirksame Methode zur Überwachung der Ermüdung des Fahrers ist. Die Forscher fanden auch heraus, dass die Eigenschaften des EEG-Signals große persönliche Unterschiede aufweisen, wie etwa Geschlecht und Persönlichkeit, und auch eng mit den psychologischen Aktivitäten der Menschen zusammenhängen.
EKGs werden hauptsächlich zur physiologischen Messung der Fahrbelastung verwendet. Untersuchungen zeigen, dass die EKG-Leistung deutlich und regelmäßig abnimmt, wenn Fahrer müde sind, und dass es einen potenziellen Zusammenhang zwischen HRV (Herzfrequenzänderung) und der Änderung des Ermüdungsgrads während der Fahrt gibt.
Die auf dem physiologischen Signal des Fahrers basierende Erkennungsmethode weist eine hohe Genauigkeit bei der Beurteilung der Müdigkeit auf, das physiologische Signal muss jedoch durch Kontakt gemessen werden und ist stark von den einzelnen Personen abhängig. Bei der tatsächlichen Verwendung zur Überwachung der Müdigkeit des Fahrers weist sie viele Einschränkungen auf. Daher wird sie hauptsächlich in der Versuchsphase als Kontrollparameter des Experiments verwendet.
2. Erkennungsmethode basierend auf den physiologischen Reaktionseigenschaften des Fahrers
Bei der auf den physiologischen Reaktionseigenschaften des Fahrers basierenden Erkennungsmethode wird anhand der Augenbewegungseigenschaften und Kopfbewegungseigenschaften des Fahrers auf den Ermüdungszustand des Fahrers geschlossen.
Die Augenbewegungen und Blinzelinformationen des Fahrers gelten als wichtige Merkmale, die auf Müdigkeit schließen lassen. Blinzelamplitude, Blinzelfrequenz und durchschnittliche Schließzeit können direkt zur Erkennung von Müdigkeit verwendet werden. Derzeit gibt es viele Algorithmen zur Untersuchung von Fahrermüdigkeit auf Grundlage des Augenbewegungsmechanismus. Zu den weit verbreiteten Algorithmen gehört PERCLOS, das den Prozentsatz der Schließzeit der Augenlider in einem bestimmten Zeitraum als Messindex für physiologische Müdigkeit verwendet.
Mithilfe von Gesichtserkennungstechnologie können wir die Position von Augen, Nasenspitze und Mundwinkeln lokalisieren und diese Positionen kombinieren. Anschließend können wir anhand der Augenverfolgung die Aufmerksamkeitsrichtung des Fahrers ermitteln und beurteilen, ob dieser abgelenkt ist.
Der Kopfpositionssensor wird verwendet, um das Nicken des Fahrers zu erkennen. Die Position des Kopfes des Fahrers wird von jedem Sensor über das kapazitive Sensorarray ausgegeben, das die Position des Kopfes in Echtzeit verfolgen und anhand des Änderungsgesetzes der Kopfposition feststellen kann, ob der Fahrer schläfrig ist. Diese Studie ergab, dass es eine sehr gute Korrelation zwischen Nicken und Schläfrigkeit gibt.
Die auf den physiologischen Reaktionseigenschaften des Fahrers basierende Erkennungsmethode verwendet im Allgemeinen eine berührungslose Messung, die eine gute Erkennungsgenauigkeit und Praktikabilität aufweist.
3. Erkennungsmethode basierend auf dem Betriebsverhalten des Fahrers
Mithilfe einer Technologie zur Erkennung des Ermüdungszustands des Fahrers auf Grundlage seines Bedienverhaltens wird auf den Ermüdungszustand des Fahrers anhand seines Bedienverhaltens, beispielsweise der Betätigung des Lenkrads, geschlossen.
Durch die Verarbeitung der Daten zur überwachten Lenkradbetätigung des Fahrers zeigen die Forschungsergebnisse bis zu einem gewissen Grad die Beziehung zwischen der Lenkradbetätigung des Fahrers und der Ermüdung. Es wird darauf hingewiesen, dass die Betätigung des Lenkrads ein wirksames Mittel ist, um die Ermüdung des Fahrers zu beurteilen.
Generell gibt es nur wenige eingehende Forschungsergebnisse zur Müdigkeitserkennung anhand des Fahrverhaltens des Fahrers. Neben dem Müdigkeitszustand wird das Fahrverhalten des Fahrers auch von persönlichen Gewohnheiten, Fahrgeschwindigkeit, Straßenumgebung und Fahrfähigkeiten beeinflusst. Der Fahrzustand des Fahrzeugs hängt auch von vielen Umgebungsfaktoren wie Fahrzeugeigenschaften und Straßen ab. Daher ist die Frage, wie die Vorhersagegenauigkeit des Fahrerzustands verbessert werden kann, das Hauptproblem dieser Art indirekter Messtechnologie.
4. Erkennungsmethode basierend auf der Fahrzeugtrajektorie
Der Ermüdungszustand des Fahrers kann auch anhand von Fahrzeugfahrinformationen wie Fahrzeugspurwechsel und Spurverlassen ermittelt werden. Wie die Technologie zur Ermüdungszustandserkennung auf Grundlage des Fahrverhaltens des Fahrers basiert diese Methode auf den vorhandenen Geräten des Fahrzeugs, muss nicht zu viel Hardwareausrüstung hinzufügen und beeinträchtigt das normale Fahren des Fahrers nicht, sodass sie einen hohen praktischen Wert hat.
Müdigkeitserkennungssystem auf Videotechnologiebasis
Im April 1999 schlug die Federal Highway Administration erstmals PERCLOS als praktikable Methode zur Vorhersage der Fahrmüdigkeit von Kraftfahrzeugfahrern vor. Nach Jahren der Entwicklung wurde die PERCLOS-Methode als die effektivste Methode zur Bewertung der Fahrmüdigkeit im Fahrzeug und in Echtzeit anerkannt. PERCLOS ist die Abkürzung für Percentage of Eye Closure Over the Pupil Time (Prozentsatz der Augenschließung über die Pupillenzeit), was den Prozentsatz der Augenschließungszeit pro Zeiteinheit bedeutet.
Das Prinzip von PERCLOS besteht darin, den zeitlichen Anteil des Augenschließens in einem bestimmten Zeitraum zu zählen. Der von unserem System verwendete Bewertungsstandard ist perclos80, was bedeutet, dass das Auge als geschlossen gilt, wenn der Bereich des Augenlids, der die Pupille bedeckt, 80% überschreitet.
PERCLOS Messprinzip
Der PERCLOS-Wert kann durch Messen von T1-T4 berechnet werden:
Wobei f den Prozentsatz der Augenschließzeit darstellt, also den Wert von PERCLOS.
Systemschema und Arbeitsablauf eines auf Videotechnik basierenden Müdigkeitserkennungssystems
Das System zur Überwachung der Müdigkeit des Fahrers erhält über die Videoaufnahmeausrüstung ein Echtzeitbild des Fahrers, analysiert automatisch die Kopfhaltung, die Augenbewegungsrichtung und die Gesichtszüge des Fahrers, um den mentalen Zustand des Fahrers zu bestimmen, und gibt die entsprechende Frühwarnung aus. Die Forschung zeigt, dass die Augenaktivitätsrichtung, wie Blinzelfrequenz, Blinzelgeschwindigkeit, Augenöffnungsweite und Blickrichtung, im Vergleich zur Gesichts- oder Kopfbewegung die mentale Verfassung der Testpersonen zum aktuellen Zeitpunkt besser widerspiegeln kann.
Wenn also die Augengröße, Positionsinformationen und Bewegungsänderungen in jedem Bildrahmen erfasst werden können, kann das Augenaktivitätsgesetz des Fahrers für einen bestimmten Zeitraum gezählt und der Ermüdungszustand des Fahrers in Kombination mit dem Ermüdungszustandsanalyseindex bewertet werden. Der Systemablauf ist in der folgenden Abbildung dargestellt:
Bildvorverarbeitung
In der Fahrumgebung wird das über den Videostream erfasste Bild von vielen Faktoren beeinflusst, darunter Rauschinformationen wie Auflösung, Systemrauschen, abrupter Hintergrund usw., die den nächsten Bildvorgang beeinträchtigen. Daher verarbeiten wir das Quellbild durch Histogrammausgleich vor, um Rauschen zu entfernen, den Bildkontrast zu verbessern, Bilddetails hervorzuheben und die Bildqualität zu verbessern.
Vor und nach dem Ausgleich
Histogramm vor der Entzerrung Histogramm nach der Entzerrung
Gesichtserkennung
Die Gesichtserkennung ist ein wichtiger Schritt vor der Augenlokalisierung. Das System verwendet den AdaBoost-Algorithmus und die bereitgestellten Methoden zum Probentraining und zur Erkennung. Zunächst werden Proben gesammelt und anhand der gesammelten Proben ein Klassifikator trainiert. Der Klassifikator kann menschliche Gesichter und nicht menschliche Gesichter gut unterscheiden. Laden Sie im Erkennungslink den zu testenden Bildrahmen in den Klassifikator, scannen Sie die Bildpixel, um das im Bild enthaltene Gesicht zu finden, und kalibrieren Sie den Bereich. Die nachfolgenden Vorgänge werden im kalibrierten Gesichtsbereich ausgeführt, um den Berechnungsbereich zu reduzieren und die Interferenz von Nicht-Gesichtsfaktoren zu eliminieren, was die Betriebsrate des Systems erheblich verbessert.
Augenposition
Diese Verknüpfung umfasst zwei Phasen: grobe Positionierung des menschlichen Auges und genaue Positionierung des menschlichen Auges. Zunächst muss gemäß dem Vorwissen über die traditionellen drei Höfe und fünf Augen in China ein ungefährer Bereich der menschlichen Augen in der groben Positionierung vorhanden sein. Dieser Bereich kann gleichzeitig Störungen wie Augenbrauen und Haarwinkel enthalten, reduziert jedoch den Berechnungsbereich weiter. Dann wird der ungefähre Bereich des menschlichen Auges über einen bestimmten Schwellenwert in ein Binärbild umgewandelt und dann die Grauprojektion in vertikaler Richtung durchgeführt, um das Histogramm zu erhalten. Da zwischen dem Grau des menschlichen Auges und der umgebenden Haut ein großer Unterschied besteht, können die Y-Koordinaten der oberen und unteren Ränder des menschlichen Auges anhand der Spitzen und Täler im Histogramm bestimmt werden, und dann können die Augen genau lokalisiert werden.
Beurteilung des Augenzustands
Mithilfe der Methode der maximalen Interklassenvarianz (Otsu) wird der genaue Bereich menschlicher Augen mit unterschiedlichen Schwellenwerten unter verschiedenen Lichteinstrahlungen binärisiert, um die beste Augenform zu erhalten, wenn menschliche Augen geöffnet und geschlossen sind. Durch den Vergleich kontinuierlicher n-Frames kann beurteilt werden, dass sich der Fahrer derzeit im geschlossenen Zustand befindet, wenn der Bereich des schwarzen Pixelwerts am kleinsten ist, und in anderen Fällen im offenen oder halboffenen Zustand.
Ermüdungsanalyse
Das System wählt den aktuell erkannten und wirksamen Percols-Ermüdungsbewertungsindex aus, d. h. der Ermüdungszustand wird anhand des zeitlichen Anteils der Bilder mit geschlossenen Augen in aufeinanderfolgenden n Bildern analysiert. Die Bilder mit offenen Augen werden als Wert „1“ und die Bilder mit geschlossenen Augen als Wert „0“ aufgezeichnet. Auf diese Weise kann nach aufeinanderfolgenden n Bildern die versetzte Folge von „1“ und „0“ erhalten werden. Die Analyse des Ermüdungszustands kann anhand des Anteils des Werts „0“ in der Folge beschrieben werden. Wenn der Prozentsatz höher als ein bestimmter experimenteller Anteil ist, kann davon ausgegangen werden, dass der Fahrer möglicherweise müde ist.
Durch Ausführen und Verarbeiten der oben genannten fünf Schritte kann das System anhand des vom Erfassungsgerät empfangenen Videostreams analysieren, ob der aktuelle Fahrer ermüdet ist und welchen Ermüdungsgrad er aufweist. Es kann Erinnerungs- und Alarmsignale in unterschiedlichem Ausmaß ausgeben, um das Systemziel zu erreichen.
Umfassende Beurteilung des Ermüdungsgrades
Die Beurteilung der Ermüdung des Fahrers wird durch eine fehlerhafte Prüfung negativ beeinflusst. Durch die Berechnung von PERCLOS, Augenschließzeit, Augenblinzelfrequenz, Mundöffnungsgrad und Kopfbewegung kann die umfassende Beurteilung der Ermüdung des Fahrers genau und effektiv durchgeführt werden.
PERCLOS
PERCLOS bezieht sich auf den Prozentsatz der Augenschließzeit in einem bestimmten Zeitraum. Die PERCLOS-Methode hat drei Kriterien: p70, p80 und em. Die Forschung zeigt, dass p80 die beste Korrelation mit dem Ermüdungsgrad aufweist.
Mundöffnung
Normalerweise gibt es drei Zustände des Mundes: Schließen, Sprechen und Gähnen. Im Ermüdungszustand gähnen Menschen häufig und es wird festgestellt, dass sich in der horizontalen grauen Projektionskurve der unteren Hälfte des Bereichs, d. h. der Position zwischen den Lippen, ein Tal befindet. Binarisieren Sie den unteren Teil des Gesichts und berechnen Sie den Pixelwert des verbundenen Bereichs (der verbundene Bereich kann verhindern, dass Nasenlöcher und Schnurrhaare die Berechnung beeinflussen) von den Lippen nach oben und unten, um den Öffnungsgrad des Mundes zu ermitteln.
Augenhöhen- und Mundhöhenausgleich
Bei der vertikalen Entfernung zwischen dem oberen Augenlid und dem unteren Augenlid sowie der vertikalen Entfernung zwischen der Oberlippe und der Unterlippe müssen die durch die relative Entfernungsänderung zwischen den Augen, dem Mund und der Erkennungsausrüstung verursachten Änderungen korrigiert werden, um eine genaue Berechnung der Augen- und Mundhöhe des Fahrers zu erreichen.
Augenschließzeit
Die Augenschließzeit wird im Allgemeinen durch die Zeit vom Schließen bis zum Öffnen der Augen ausgedrückt. Wenn sich eine Person in einem normalen Wachzustand befindet, ist die Schließzeit ihrer Augen sehr kurz und sie öffnet ihre Augen schnell. Bei Müdigkeit ist die Augenschließzeit deutlich länger, sodass die Augenschließzeit den mentalen Zustand des Fahrers direkt widerspiegeln kann. Durch Berechnung der maximalen Anzahl von Bildern vom Schließen bis zum Öffnen der Augen gilt: Je mehr Bilder, desto länger die Schließzeit und desto schwerwiegender die Müdigkeit.
Die Augen blinzeln weniger häufig. Die horizontale Grauprojektion wird auf der unteren Gesichtshälfte durchgeführt, und die horizontalen Grauprojektionskurven verschiedener Einzelpersonbilder werden beobachtet.
Menschen blinzeln häufiger, wenn sie müde sind, als wenn sie wach sind. In diesem Artikel wird dies auch als Parameter zur Beurteilung der Müdigkeit herangezogen. Blinzeln Sie einmal, wenn die Augen geschlossen sind, um sie wieder zu öffnen. Die Anzahl der Blinzelvorgänge in einem bestimmten Zeitraum wird als Parameter zur Beurteilung der Müdigkeit akkumuliert.
Ermüdungsparameter der Kopfbewegung
Wenn der Fahrer müde ist, nickt er häufig und neigt den Kopf nach vorne. Die horizontalen Positionen der Pupille und des Mundwinkels werden durch horizontale Graustufenprojektion ermittelt. Angenommen, D1 ist der Abstand von der horizontalen Position der Pupille zum oberen Rand des erfassten Bildes und D2 ist der Abstand von der horizontalen Position des Mundwinkels zum unteren Rand des erfassten Bildes. Wenn der Fahrer aufgrund von Müdigkeit nickt, nimmt D1 zu und D2 ab. Wenn der Fahrer müde ist und den Kopf nach vorne neigt, nimmt D1 zu und D2 zu. Nicken und Vorwärtsneigen des Kopfes können als wichtige Grundlage für die Beurteilung der Müdigkeit verwendet werden.
Aktuelle Situation der Technologie zur Überwachung von Müdigkeit am Steuer
Der von Attention Technologies (dd850) eingeführte Fahrermüdigkeitsmonitor ist ein Produkt zur Überwachung und Frühwarnung der Fahrermüdigkeit, das auf den physiologischen Reaktionseigenschaften des Fahrers basiert. Das Produkt sammelt die Augeninformationen des Fahrers über die Infrarotkamera und verwendet PERCLOS als Müdigkeitsalarmanzeige. Es kann direkt auf der Instrumententafel installiert werden. Die Alarmempfindlichkeit und der Alarmton können angepasst werden. Derzeit ist es weit verbreitet und wird angewendet, ist jedoch nur nachts wirksam.
Das von Digital Installations in den USA entwickelte Müdigkeitswarngerät Sam verwendet einen unter dem Lenkrad angebrachten Magnetstreifen, um den Lenkradwinkel zu erkennen. Wenn der Fahrer über einen bestimmten Zeitraum keine Korrektur am Lenkrad vornimmt, schlussfolgert das System, dass der Fahrer müde ist, und löst einen Alarm aus.
Safetrac, ein US-amerikanisches Technologieunternehmen, verwendet den Front-Videokopf, um die Fahrspurlinie zu erkennen und einen Alarm auszulösen, wenn das Fahrzeug beginnt, von der Spur abzuweichen. Das Produkt kann auch den Ermüdungszustand des Fahrers beurteilen, indem es den Zustand des Spurhaltens mit den Lenkradbedienungseigenschaften des Fahrers kombiniert.
Das Astid-Gerät in Großbritannien berücksichtigt umfassend verschiedene Faktoren wie den Schlaf des Fahrers, die Dauer und Art der Fahrt sowie die Lenkradbetätigung des Fahrers, um den Ermüdungszustand des Fahrers zu beurteilen. Bevor das Gerät funktioniert, muss der Fahrer seine Schlafdaten der letzten 24 Stunden eingeben. Wenn der visuelle Alarm einen bestimmten Pegel erreicht, wird der akustische Alarm ausgelöst und dem Fahrer wird geraten, anzuhalten und sich auszuruhen. Nach einer Ruhephase weckt der eingebaute Wecker den Fahrer und setzt die Fahrzeit zurück.
Neben diesen Produkten gibt es auch Müdigkeitsalarmarmbänder, die Müdigkeit durch Handgelenkbewegungen erkennen, sowie Armbänder, die an Augen und Beinen befestigt werden können.
Wenn Sie Ihre eigenen Produkte, Marken oder Software für Müdigkeitsmonitorsysteme entwickeln möchten, zögern Sie bitte nicht, Kontakt aufzunehmen [email protected] , wir werden Sie nicht im Stich lassen.
