Comment identifier l'état de fatigue du conducteur dans le système d'identification de la fatigue de conduite et d'alerte précoce du véhicule ?

La fatigue au volant fait référence à la diminution de la capacité de réaction du conducteur causée par le manque de sommeil ou une conduite continue à long terme. Ce déclin se manifeste par la somnolence du conducteur, un assoupissement, une mauvaise conduite ou une perte totale de la capacité de conduire.
La fatigue au volant se reflète à la fois dans des aspects physiologiques et psychologiques, notamment dans le fonctionnement du système nerveux, dans les modifications du sang et des yeux ; La réaction psychologique comprend un temps de réaction prolongé, une distraction et une action non coordonnée. L'enquête et la recherche sur les causes des accidents de la route menées par l'Université de l'Indiana aux États-Unis ont révélé que 85% des accidents sont liés aux conducteurs, et seulement 15% sont des facteurs liés au véhicule et à l'environnement.
Les comportements et les fautes du conducteur immédiatement avant l'accident conduisent directement à l'accident. Ces comportements incluent un retard de perception, une mauvaise prise de décision concernant l'environnement, une mauvaise gestion des situations dangereuses, etc. Parmi toutes les erreurs du conducteur, les plus courantes sont les retards de perception et les erreurs de prise de décision. Ces erreurs entraîneront une inattention, une réflexion lente, un mauvais fonctionnement, etc. La cause première de ces erreurs est la fatigue au volant. En raison de la fatigue des conducteurs au volant, le niveau de vigilance diminue, ce qui entraîne une augmentation des accidents de la route, qui sont devenus un sujet de préoccupation général dans la société.
Si le conducteur conduit fatigué, sa capacité d'observation, de reconnaissance et de contrôle du véhicule sera considérablement réduite, ce qui mettra sérieusement en danger sa propre sécurité et celle des autres. Avec le développement de l’industrie des transports, les accidents de la route sont devenus un problème sérieux auquel sont confrontés tous les pays.
Principales méthodes de surveillance de la fatigue des conducteurs
La technologie de surveillance et d'alerte précoce de la fatigue et de la distraction du conducteur a été très appréciée par divers pays en raison de ses perspectives de développement dans la prévention des accidents de la route. Les chercheurs ont mené diverses recherches en fonction des caractéristiques physiologiques et opérationnelles de la fatigue du conducteur. Certains résultats de la recherche ont donné naissance à des produits et ont commencé à entrer sur le marché.
Les méthodes de détection de l'état de fatigue du conducteur peuvent être grossièrement divisées en méthodes de détection basées sur le signal physiologique du conducteur, les caractéristiques de réponse physiologique du conducteur, le comportement opérationnel du conducteur et les informations sur l'état du véhicule.
1. Méthode de détection basée sur le signal physiologique du conducteur
Les recherches sur la fatigue ont commencé en physiologie. Des recherches pertinentes montrent que les indices physiologiques des conducteurs en état de fatigue s'écarteront des indices de l'état normal. Par conséquent, la question de savoir si le conducteur entre dans un état de fatigue peut être jugée par les indices physiologiques du conducteur. À l'heure actuelle, les méthodes de détection les plus abouties incluent la mesure de l'EEG et de l'ECG des conducteurs.
Les chercheurs découvrent depuis longtemps que l’EEG peut refléter directement l’activité du cerveau. On constate qu'en entrant dans l'état de fatigue, les activités de l'onde delta et de l'onde thêta dans l'EEG augmenteront considérablement, tandis que les activités de l'onde alpha augmenteront légèrement. Dans une autre étude [6], les signaux EEG ont été surveillés dans des simulateurs et des véhicules réels. Les résultats des tests montrent que l'EEG est une méthode efficace pour surveiller la fatigue du conducteur. Les chercheurs ont également découvert que les caractéristiques des signaux EEG présentent de grandes différences personnelles, telles que le sexe et la personnalité, et sont également étroitement liées aux activités psychologiques des personnes.
L'ECG est principalement utilisé dans la mesure physiologique de la charge de conduite. La recherche montre que l'ECG diminue de manière évidente et régulière lorsque les conducteurs sont fatigués, et il existe une relation potentielle entre le VRC (changement de la fréquence cardiaque) et le changement du degré de fatigue pendant la conduite.
La méthode de détection basée sur le signal physiologique du conducteur présente une grande précision dans l'évaluation de la fatigue, mais le signal physiologique doit être mesuré par contact et dépend fortement des individus. Il présente de nombreuses limites lorsqu'il est réellement utilisé dans le suivi de la fatigue du conducteur. Par conséquent, il est principalement utilisé au stade expérimental comme paramètre de contrôle de l’expérience.
2. Méthode de détection basée sur les caractéristiques de réponse physiologique du conducteur
Le procédé de détection basé sur les caractéristiques de réponse physiologique du conducteur consiste à déduire l'état de fatigue du conducteur à l'aide des caractéristiques de mouvement des yeux et des caractéristiques de mouvement de la tête du conducteur.
Les mouvements oculaires et les clignements du conducteur sont considérés comme des caractéristiques importantes pour refléter la fatigue. L’amplitude des clignements, la fréquence des clignements et le temps de fermeture moyen peuvent être directement utilisés pour détecter la fatigue. À l’heure actuelle, il existe de nombreux algorithmes pour étudier la fatigue au volant basés sur le mécanisme des mouvements oculaires. Les algorithmes largement utilisés incluent PERCLOS, qui prend le pourcentage de temps de fermeture des paupières sur une période donnée comme indice de mesure de la fatigue physiologique.
En utilisant la technologie de reconnaissance faciale pour localiser les positions des yeux, du bout du nez et du coin de la bouche, combiner les positions des yeux, du bout du nez et du coin de la bouche, puis en fonction du suivi des yeux, nous pouvons obtenir la direction de l'attention du conducteur et juger si le conducteur l'attention est distraite.
Le capteur de position de la tête est utilisé pour détecter l'action de hochement de tête du conducteur. La position de la tête du conducteur à partir de chaque capteur est émise via le réseau de capteurs capacitifs, qui peut suivre la position de la tête en temps réel et déterminer si le conducteur est somnolent selon la loi de changement de position de la tête. Cette étude a révélé qu’il existe une très bonne corrélation entre le fait de hocher la tête et la somnolence.
La méthode de détection basée sur les caractéristiques de réponse physiologique du conducteur adopte généralement une mesure sans contact, qui présente une bonne précision de reconnaissance et une bonne praticabilité.
3. Méthode de détection basée sur le comportement de fonctionnement du conducteur
La technologie de reconnaissance de l'état de fatigue du conducteur basée sur le comportement opérationnel du conducteur consiste à déduire l'état de fatigue du conducteur à travers le comportement opérationnel du conducteur, tel que l'utilisation du volant.
En traitant les données surveillées sur le fonctionnement du volant du conducteur, les résultats de la recherche révèlent dans une certaine mesure la relation entre le fonctionnement du volant du conducteur et la fatigue. Il est souligné que le fonctionnement du volant est un moyen efficace pour évaluer la fatigue au volant.
De manière générale, il existe peu de résultats de recherches approfondies sur l'identification de la fatigue à l'aide du comportement opérationnel du conducteur. Outre l'état de fatigue, le fonctionnement du conducteur est également affecté par ses habitudes personnelles, sa vitesse de conduite, son environnement routier et ses compétences opérationnelles. L'état de conduite du véhicule est également lié à de nombreux facteurs environnementaux tels que les caractéristiques du véhicule et les routes. Par conséquent, comment améliorer la précision de la prédiction de l’état du conducteur est le problème clé de ce type de technologie de mesure indirecte.
4. Méthode de détection basée sur la trajectoire du véhicule
L'état de fatigue des conducteurs peut également être déduit en utilisant des informations sur la conduite du véhicule telles que le changement de trajectoire du véhicule et le changement de voie. Comme la technologie de reconnaissance de l'état de fatigue basée sur le comportement opérationnel du conducteur, cette méthode est basée sur les dispositifs existants du véhicule, n'a pas besoin d'ajouter trop d'équipement matériel et n'interférera pas avec la conduite normale du conducteur, elle a donc une grande praticité. valeur.
Système de reconnaissance de la fatigue au volant basé sur la technologie vidéo
En avril 1999, la Federal Highway Administration a proposé pour la première fois PERCLOS comme méthode réalisable pour prédire la fatigue au volant des conducteurs de véhicules automobiles. Après des années de développement, la méthode PERCLOS a été reconnue comme la méthode d’évaluation de la fatigue au volant la plus efficace, embarquée et en temps réel. PERCLOS est l'abréviation de pourcentage de fermeture des yeux sur le temps pupillaire, ce qui signifie le pourcentage de temps de fermeture des yeux en unité de temps.
Le principe de PERCLOS est de compter la proportion temporelle de fermeture des yeux sur une certaine période de temps. La norme d'évaluation adoptée par notre système est perclos80, ce qui signifie que l'œil est considéré comme fermé lorsque la zone de la paupière recouvrant la pupille dépasse 80%.
Principe de mesure PERCLOS

La valeur de PERCLOS peut être calculée en mesurant T1-T4 :

Où f représente le pourcentage de temps de fermeture des yeux, soit la valeur de PERCLOS.
Schéma du système et flux de travail d'un système de reconnaissance de la fatigue au volant basé sur la technologie vidéo
Le système de surveillance de la fatigue du conducteur obtient l'image du conducteur en temps réel grâce à l'équipement d'acquisition vidéo, analyse automatiquement la posture de la tête du conducteur, la loi des mouvements oculaires et les traits du visage pour déterminer l'état mental du conducteur, et émet l'invite d'alerte précoce correspondante. La recherche montre que par rapport à la loi du mouvement du visage ou de la tête, la loi de l'activité oculaire, telle que la fréquence des clignements, la vitesse des clignements, la plage d'ouverture des yeux et la direction du regard, peut mieux refléter l'état mental des sujets à l'heure actuelle.
Par conséquent, si la taille des yeux, les informations de position et les changements de mouvement dans chaque image d'image peuvent être obtenus, la loi d'activité oculaire du conducteur peut être comptée pendant une période de temps, et l'état de fatigue du conducteur peut être évalué en combinaison avec l'analyse de l'état de fatigue. indice. Le flux du système est illustré dans la figure ci-dessous :
Prétraitement des images
Dans l'environnement de conduite, l'image collectée via le flux vidéo sera affectée par de nombreux facteurs, notamment les informations sur le bruit, telles que la résolution, le bruit du système, l'arrière-plan abrupt, etc., qui interféreront avec la prochaine opération d'image. Par conséquent, nous prétraitons l'image source par égalisation d'histogramme pour supprimer le bruit, améliorer le contraste de l'image, mettre en évidence les détails de l'image et améliorer la qualité de l'image.
Avant et après égalisation
Histogramme avant égalisation Histogramme après égalisation
Détection facial
La détection des visages est une étape importante avant la localisation des yeux. Le système adopte l'algorithme AdaBoost et utilise les méthodes de formation et de détection des échantillons fournies. Tout d'abord, des échantillons sont collectés et un classificateur est formé à partir des échantillons collectés. Le classificateur peut bien distinguer le visage humain du visage non humain ; Dans le lien de détection, chargez le cadre d'image à tester dans le classificateur, scannez les pixels de l'image pour trouver le visage contenu dans l'image et calibrez la zone. Les opérations ultérieures seront effectuées dans la zone de face calibrée pour réduire la zone de calcul et éliminer l'interférence des facteurs non-face, ce qui améliore considérablement le taux de fonctionnement du système.
Emplacement des yeux
Ce lien comprend deux étapes : un positionnement approximatif de l’œil humain et un positionnement précis de l’œil humain. Premièrement, selon la connaissance préalable de la tradition chinoise à trois cours et cinq yeux, il doit y avoir une zone approximative des yeux humains dans un positionnement approximatif. Cette zone peut contenir des interférences telles que des sourcils et des angles de cheveux en même temps, mais elle réduit encore davantage la zone de calcul ; Ensuite, la zone rugueuse de l'œil humain est convertie en une image binaire à travers un certain seuil, puis la projection grise dans la direction verticale est effectuée pour obtenir l'histogramme. Comme il existe une grande différence entre le gris de l'œil humain et celui de la peau environnante, les coordonnées Y des bords supérieur et inférieur de l'œil humain peuvent être déterminées à partir des pics et des creux de l'histogramme, puis les yeux peuvent être mesurés avec précision. situé.
Jugement de l'état des yeux
Grâce à la méthode de variance interclasse maximale (Otsu), la zone précise des yeux humains est binarisée avec différents seuils sous différents rayons lumineux afin d'obtenir la meilleure forme d'œil lorsque les yeux humains sont ouverts et fermés. Grâce à la comparaison de n images continues, on peut juger que le pilote est actuellement dans l'état fermé lorsque la zone de valeur de pixel noir est la plus petite, et dans d'autres cas, il est dans l'état ouvert ou semi-ouvert.
Analyse de fatigue
Le système sélectionne l'indice d'évaluation de fatigue percols actuellement reconnu et efficace, c'est-à-dire que l'état de fatigue est analysé par la proportion temporelle de trames avec les yeux fermés dans n trames consécutives. Les images avec les yeux ouverts sont enregistrées avec la valeur « 1 » et les images avec les yeux fermés sont enregistrées avec la valeur « 0 ». De cette manière, après n images consécutives, la séquence échelonnée de « 1 » et « 0 » peut être obtenue. L'analyse de l'état de fatigue peut être décrite par la proportion de valeur « 0 » dans la séquence. Lorsque le pourcentage est supérieur à une certaine proportion expérimentale, on peut considérer que le conducteur peut être fatigué.
Grâce au fonctionnement et au traitement des cinq étapes ci-dessus, le système peut analyser si le conducteur actuel est en état de fatigue et dans son degré de fatigue à partir du flux vidéo obtenu par l'équipement d'acquisition, et donner différents degrés de rappel et d'alarme, de manière à atteindre l'objectif. objectif du système.
Jugement complet du degré de fatigue
L'évaluation de la fatigue du conducteur sera affectée par une erreur d'inspection. Grâce au calcul du PERCLOS, du temps de fermeture des yeux, de la fréquence des clignements des yeux, du degré d'ouverture de la bouche et du mouvement de la tête, un jugement complet de la fatigue du conducteur peut être effectué avec précision et efficacité.
PERCLOS
PERCLOS fait référence au pourcentage de temps de fermeture des yeux au cours d'une période donnée. La méthode PERCLOS comporte trois critères : p70, p80 et em. La recherche montre que p80 présente la meilleure corrélation avec le degré de fatigue.
Ouverture de la bouche
Il existe généralement trois états de la bouche : fermer, parler et bâiller. En état de fatigue, les gens bâillent fréquemment et on constate qu'il y a un creux dans la courbe de projection grise horizontale de la moitié inférieure de la zone, c'est-à-dire la position entre les lèvres. Binarisez la partie inférieure du visage et calculez la valeur en pixels de la zone connectée (la zone connectée peut empêcher les narines et les moustaches d'affecter le calcul) des lèvres de haut en bas pour obtenir le degré d'ouverture de la bouche.
Compensation de la hauteur des yeux et de la hauteur de la bouche
Lorsque la distance verticale de la paupière supérieure à la paupière inférieure et la distance verticale de la lèvre supérieure à la lèvre inférieure, parce que la tête du conducteur se déplace par rapport à l'équipement de détection, afin de réaliser le calcul précis de la hauteur des yeux et de la bouche du conducteur hauteur, il est nécessaire de corriger les changements provoqués par les changements relatifs de la distance entre les yeux, la bouche et l'équipement de détection.
Temps de fermeture des yeux
Le temps de fermeture des yeux est généralement exprimé par le temps écoulé entre la fermeture des yeux et leur ouverture. Lorsqu’une personne est dans un état d’éveil normal, le temps de fermeture de ses yeux est très court et elle les ouvre rapidement. En cas de fatigue, le temps de fermeture des yeux sera considérablement plus long, de sorte que le temps de fermeture des yeux peut refléter directement l'état mental du conducteur. En calculant le nombre maximum de cadres depuis la fermeture des yeux jusqu'à l'ouverture, plus il y a de cadres, plus le temps de fermeture est long et plus la fatigue est grave.
Les yeux clignent moins fréquemment. La projection grise horizontale est réalisée sur la moitié inférieure du visage, et les courbes de projection grise horizontale de différentes images d'une seule personne sont observées,
Les gens clignent des yeux plus fréquemment lorsqu’ils sont fatigués que lorsqu’ils sont éveillés. Cet article le prend également comme paramètre comme base du jugement en fatigue. Clignez des yeux une fois lorsque les yeux sont fermés pour s'ouvrir. Le nombre de clignements sur une période donnée est accumulé en tant que paramètre pour l'évaluation de la fatigue.
Paramètres de fatigue du mouvement de la tête
Lorsque le conducteur est fatigué, il hoche fréquemment la tête et incline la tête vers l'avant. Les positions horizontales de la pupille et du coin de la bouche sont obtenues par projection intégrale grise horizontale. Supposons que D1 soit la distance entre la position horizontale de la pupille et le bord supérieur de l'image collectée, et D2 soit la distance entre la position horizontale du coin de la bouche et le bord inférieur de l'image collectée. Lorsque le conducteur hoche la tête en raison de la fatigue, D1 augmente et D2 diminue. Lorsque le conducteur est fatigué et que la tête penche vers l'avant, D1 augmente et D2 augmente. Hocher la tête et pencher la tête en avant peuvent être utilisés comme base importante pour le jugement de la fatigue.
Situation actuelle de la technologie de surveillance de la fatigue au volant
Le moniteur de fatigue du conducteur lancé par Attention Technologies (dd850) est un produit de surveillance de la fatigue du conducteur et d'alerte précoce basé sur les caractéristiques de réponse physiologique du conducteur. Le produit collecte des informations oculaires du conducteur via la caméra infrarouge et utilise PERCLOS comme indicateur d'alarme de fatigue. Il peut être directement installé sur le tableau de bord. La sensibilité de l'alarme et le son de l'alarme peuvent être ajustés. À l’heure actuelle, il a été popularisé et appliqué, mais il n’est efficace que la nuit.
Le même dispositif d'alarme de fatigue développé par des installations numériques aux États-Unis utilise une bande magnétique placée sous le volant pour détecter l'angle du volant. Si le conducteur n'effectue aucune correction sur le volant pendant un certain temps, le système en déduit que le conducteur entre dans un état de fatigue et déclenche une alarme.
Safetrac, une société américaine de technologie de logiciels d'assistance, utilise la tête vidéo avant pour identifier la ligne de voie et déclencher une alarme lorsque le véhicule commence à s'écarter de la voie. Le produit peut également évaluer l'état de fatigue du conducteur en combinant l'état de maintien de la voie avec les caractéristiques de fonctionnement du volant du conducteur.
Le dispositif astid au Royaume-Uni prend en compte de manière exhaustive divers facteurs tels que les informations sur le sommeil du conducteur, la durée et le type de conduite effectuée, ainsi que l'utilisation du volant par le conducteur pour évaluer son état de fatigue. Avant que l'appareil ne fonctionne, le conducteur doit saisir ses informations de sommeil au cours des dernières 24 heures. Lorsque l'alarme visuelle atteint un certain niveau, l'alarme sonore se déclenche et il est conseillé au conducteur de s'arrêter et de se reposer. Après une période de repos, le réveil intégré réveillera le conducteur et réinitialisera le temps de conduite.
En plus de ces produits, il existe également des bracelets d'alarme de fatigue qui détectent la fatigue grâce aux mouvements du poignet et des bracelets qui peuvent être accrochés aux yeux et aux jambes.

Si vous souhaitez développer vos propres produits, marques ou logiciels de système de surveillance de la fatigue ; n'hésitez pas à contacter [email protected] , nous ne vous décevrons pas.