Como identificar o estado de fadiga do motorista no sistema de identificação e alerta precoce de fadiga do veículo？
A fadiga ao dirigir refere-se ao declínio na capacidade de reação do motorista causado pela falta de sono ou pela direção contínua por um longo prazo. Este declínio manifesta-se na sonolência do condutor, no cochilo, na condução errada ou na perda total da capacidade de condução.
A fadiga ao dirigir se reflete em aspectos fisiológicos e psicológicos, incluindo o funcionamento do sistema nervoso, alterações sanguíneas e oculares; A reação psicológica inclui tempo de reação prolongado, distração e ação descoordenada. A investigação e pesquisa sobre as causas dos acidentes de trânsito da Universidade de Indiana, nos Estados Unidos, constatou que 85% dos acidentes estão relacionados aos motoristas, e apenas 15% são fatores veiculares e ambientais.
Os comportamentos e falhas do motorista imediatamente antes do acidente levam diretamente ao acidente. Esses comportamentos incluem atraso perceptivo, tomada de decisões erradas sobre o meio ambiente, manejo inadequado de situações perigosas e assim por diante. Entre todos os erros do motorista, os mais comuns são o atraso perceptivo e os erros de tomada de decisão. Esses erros levarão à desatenção, reflexão lenta, operação inadequada e assim por diante. A causa raiz desses erros é a fadiga. Devido ao cansaço dos motoristas ao dirigir, o nível de vigilância diminui, resultando no aumento dos acidentes de trânsito, o que se tornou um foco de preocupação geral na sociedade.
Se o condutor conduzir cansado, a sua capacidade de observação, reconhecimento e controlo do veículo será significativamente reduzida, o que ameaçará seriamente a sua própria segurança e a vida de outras pessoas. Com o desenvolvimento da indústria de transportes, os acidentes de trânsito tornaram-se um sério problema enfrentado por todos os países.
Principais métodos de monitoramento da fadiga do motorista
A tecnologia de monitoramento e alerta precoce da fadiga e distração do motorista tem sido altamente valorizada por vários países devido à sua perspectiva de desenvolvimento na prevenção de acidentes de trânsito. Os pesquisadores realizaram diversas pesquisas de acordo com as características fisiológicas e operacionais da fadiga do motorista. Alguns resultados de pesquisas formaram produtos e começaram a entrar no mercado.
Os métodos de detecção do estado de fadiga do motorista podem ser divididos em métodos de detecção baseados no sinal fisiológico do motorista, nas características de resposta fisiológica do motorista, no comportamento operacional do motorista e nas informações do estado do veículo.
1. Método de detecção baseado no sinal fisiológico do motorista
A pesquisa sobre fadiga começou na fisiologia. Pesquisas relevantes mostram que os índices fisiológicos dos motoristas em estado de fadiga se desviarão dos índices do estado normal. Portanto, se o motorista entra no estado de fadiga pode ser avaliado pelos índices fisiológicos do motorista. Atualmente, os métodos de detecção mais maduros incluem a medição de EEG e ECG dos condutores.
Os pesquisadores descobriram há muito tempo que o EEG pode refletir diretamente a atividade do cérebro. Verifica-se que ao entrar no estado de fadiga, as atividades da onda delta e da onda teta no EEG aumentarão significativamente, enquanto as atividades da onda alfa aumentarão ligeiramente. Em outro estudo [6], os sinais de EEG foram monitorados em simuladores e veículos reais. Os resultados dos testes mostram que o EEG é um método eficaz para monitorar a fadiga do motorista. Os pesquisadores também descobriram que as características do sinal EEG apresentam grandes diferenças pessoais, como gênero e personalidade, e também estão intimamente relacionadas às atividades psicológicas das pessoas.
O ECG é usado principalmente na medição fisiológica da carga de condução. A investigação mostra que o ECG diminuirá óbvia e regularmente quando os condutores estão cansados, e existe uma relação potencial entre a VFC (alteração da frequência cardíaca) e a alteração do grau de fadiga durante a condução.
O método de detecção baseado no sinal fisiológico do motorista possui alta precisão no julgamento da fadiga, mas o sinal fisiológico precisa ser medido por contato e é altamente dependente dos indivíduos. Possui muitas limitações quando efetivamente utilizado no monitoramento da fadiga do motorista. Portanto, é utilizado principalmente na fase experimental como parâmetro de controle do experimento.
2. Método de detecção baseado nas características de resposta fisiológica do motorista
O método de detecção baseado nas características de resposta fisiológica do motorista refere-se a inferir o estado de fadiga do motorista usando as características de movimento dos olhos e da cabeça do motorista.
O movimento dos olhos do motorista e a informação do piscar são considerados características importantes para refletir a fadiga. Amplitude de piscada, frequência de piscada e tempo médio de fechamento podem ser usados diretamente para detectar fadiga. Atualmente, existem muitos algoritmos para estudar a fadiga ao dirigir com base no mecanismo de movimento dos olhos. Os algoritmos amplamente utilizados incluem PERCLOS, que considera a porcentagem do tempo de fechamento das pálpebras em um período de tempo como o índice de medição da fadiga fisiológica.
Usando a tecnologia de reconhecimento facial para localizar as posições dos olhos, ponta do nariz e canto da boca, combinar as posições dos olhos, ponta do nariz e canto da boca e, em seguida, de acordo com o rastreamento dos olhos, podemos obter a direção da atenção do motorista e julgar se o motorista a atenção está distraída.
O sensor de posição da cabeça é usado para detectar a ação de aceno do motorista. A posição da cabeça do motorista de cada sensor é emitida através do conjunto de sensores capacitivos, que pode rastrear a posição da cabeça em tempo real e determinar se o motorista está com sono de acordo com a lei de mudança da posição da cabeça. Este estudo descobriu que existe uma correlação muito boa entre a ação de balançar a cabeça e a sonolência.
O método de detecção baseado nas características de resposta fisiológica do motorista geralmente adota medição sem contato, que possui boa precisão e praticidade de reconhecimento.
3. Método de detecção baseado no comportamento operacional do motorista
A tecnologia de reconhecimento do estado de fadiga do motorista com base no comportamento operacional do motorista refere-se à inferência do estado de fadiga do motorista por meio do comportamento operacional do motorista, como a operação do volante.
Ao processar os dados de operação do volante do motorista monitorado, os resultados da pesquisa revelam, até certo ponto, a relação entre a operação do volante do motorista e a fadiga. Ressalta-se que o funcionamento do volante é um meio eficaz para avaliar a fadiga ao dirigir.
De modo geral, existem poucos resultados de pesquisas aprofundadas sobre a identificação da fadiga utilizando o comportamento operacional do motorista. Além do estado de fadiga, a operação do motorista também é afetada por hábitos pessoais, velocidade de condução, ambiente rodoviário e habilidades operacionais. O estado de condução do veículo também está relacionado a muitos fatores ambientais, como características do veículo e estradas. Portanto, como melhorar a precisão da previsão do estado do motorista é o principal problema deste tipo de tecnologia de medição indireta.
4. Método de detecção baseado na trajetória do veículo
O estado de fadiga dos motoristas também pode ser inferido usando informações de condução do veículo, como mudança de trajetória do veículo e saída de faixa. Assim como a tecnologia de reconhecimento do estado de fadiga baseada no comportamento operacional do motorista, este método é baseado nos dispositivos existentes do veículo, não precisa adicionar muitos equipamentos de hardware e não interfere na condução normal do motorista, por isso tem alta praticidade valor.
Sistema de reconhecimento de fadiga ao dirigir baseado em tecnologia de vídeo
Em abril de 1999, a Administração Rodoviária Federal propôs pela primeira vez o PERCLOS como um método viável para prever a fadiga ao dirigir dos motoristas de veículos motorizados. Após anos de desenvolvimento, o método PERCLOS foi reconhecido como o método de avaliação da fadiga de condução mais eficaz, integrado e em tempo real. PERCLOS é a abreviatura de porcentagem de fechamento ocular ao longo do tempo da pupila, o que significa a porcentagem de tempo de fechamento ocular em unidade de tempo.
O princípio do PERCLOS é contar a proporção do tempo de fechamento dos olhos em um determinado período de tempo. O padrão de avaliação adotado pelo nosso sistema é o perclos80, o que significa que o olho é considerado fechado quando a área da pálpebra que cobre a pupila ultrapassa 80%.
Princípio de medição PERCLOS
O valor de PERCLOS pode ser calculado medindo T1-T4:
Onde f representa a porcentagem do tempo de fechamento dos olhos, ou seja, o valor de PERCLOS.
Esquema do sistema e fluxo de trabalho do sistema de reconhecimento de direção por fadiga baseado em tecnologia de vídeo
O sistema de monitoramento de fadiga do motorista obtém a imagem em tempo real do motorista por meio do equipamento de aquisição de vídeo, analisa automaticamente a postura da cabeça do motorista, a lei do movimento dos olhos e as características faciais para determinar o estado mental do motorista e fornece o alerta antecipado correspondente. A pesquisa mostra que, em comparação com a lei do movimento do rosto ou da cabeça, a lei da atividade ocular, como frequência do piscar, velocidade do piscar, alcance de abertura dos olhos e direção do olhar, pode refletir melhor o estado mental dos sujeitos no momento atual.
Portanto, se o tamanho do olho, as informações de posição e as mudanças de movimento em cada quadro da imagem puderem ser obtidos, a lei da atividade ocular do motorista poderá ser contada por um período de tempo e o estado de fadiga do motorista poderá ser avaliado em combinação com a análise do estado de fadiga. índice. O fluxo do sistema é mostrado na figura abaixo:
Pré-processamento de imagem
No ambiente de direção, a imagem coletada através do fluxo de vídeo será afetada por muitos fatores, incluindo informações de ruído, como resolução, ruído do sistema, fundo abrupto, etc., que interferirão na próxima operação da imagem. Portanto, pré-processamos a imagem de origem por meio de equalização de histograma para remover ruído, melhorar o contraste da imagem, destacar detalhes da imagem e melhorar a qualidade da imagem.
Antes e depois da equalização
Histograma antes da equalização histograma depois da equalização
Detecção de rosto
A detecção de rosto é uma etapa importante antes da localização dos olhos. O sistema adota o algoritmo AdaBoost e usa os métodos de treinamento e detecção de amostra fornecidos. Primeiramente, as amostras são coletadas e um classificador é treinado a partir das amostras coletadas. O classificador pode distinguir bem o rosto humano e o rosto não humano; No link de detecção, carregue o quadro da imagem a ser testado no classificador, escaneie os pixels da imagem para encontrar o rosto contido na imagem e calibre a área. As operações subsequentes serão realizadas na área facial calibrada para reduzir a área de cálculo e eliminar a interferência de fatores não faciais, o que melhora muito a taxa de operação do sistema.
Localização dos olhos
Este link inclui dois estágios: posicionamento aproximado do olho humano e posicionamento preciso do olho humano. Em primeiro lugar, de acordo com o conhecimento prévio dos três pátios e cinco olhos tradicionais chineses, deve haver uma área aproximada dos olhos humanos no posicionamento aproximado. Esta área pode conter interferências como sobrancelhas e ângulos de cabelo ao mesmo tempo, mas reduz ainda mais a área de cálculo; Em seguida, a área aproximada do olho humano é convertida em uma imagem binária através de um determinado limiar e, em seguida, é realizada a projeção cinza na direção vertical para obter o histograma. Como há uma grande diferença entre o cinza do olho humano e a pele circundante, as coordenadas Y das bordas superior e inferior do olho humano podem ser determinadas a partir dos picos e depressões do histograma, e então os olhos podem ser medidos com precisão localizado.
Julgamento do estado dos olhos
Através do método de máxima variância interclasse (Otsu), a área precisa dos olhos humanos é binarizada com diferentes limiares sob diferentes raios de luz para obter o melhor formato do olho quando os olhos humanos estão abertos e fechados. Através da comparação de n quadros contínuos, pode-se avaliar que o driver está atualmente no estado fechado quando a área do valor do pixel preto é menor e, em outros casos, está no estado aberto ou semiaberto.
Análise de fadiga
O sistema seleciona o índice de avaliação de fadiga percols atualmente reconhecido e efetivo, ou seja, o estado de fadiga é analisado pela proporção de tempo de quadros de olhos fechados em n quadros consecutivos. Os quadros de olhos abertos são registrados como valor “1” e os quadros de olhos fechados são registrados como valor “0”. Desta forma, após n quadros consecutivos, a sequência escalonada de “1” e “0” pode ser obtida. A análise do estado de fadiga pode ser descrita pela proporção do valor “0” na sequência. Quando o percentual for superior a uma determinada proporção experimental, pode-se considerar que o motorista pode estar cansado.
Através da operação e processamento das cinco etapas acima, o sistema pode analisar se o driver atual está em estado de fadiga e grau de fadiga a partir do fluxo de vídeo obtido pelo equipamento de aquisição, e dar diferentes graus de lembrete e alarme, de modo a atingir o objetivo do sistema.
Julgamento abrangente do grau de fadiga
O julgamento da fadiga do motorista será afetado negativamente pela inspeção de erros. Através do cálculo de PERCLOS, tempo de fechamento dos olhos, frequência de piscar dos olhos, grau de abertura da boca e movimento da cabeça, o julgamento abrangente da fadiga do motorista pode ser realizado com precisão e eficácia.
PERCLOS
PERCLOS refere-se à porcentagem de tempo de fechamento dos olhos em um horário específico. O método PERCLOS possui três critérios: p70, p80 e em. A pesquisa mostra que o p80 tem a melhor correlação com o grau de fadiga.
Abertura da boca
Geralmente existem três estados da boca: fechar, falar e bocejar. No estado de fadiga, as pessoas bocejam com frequência e verifica-se que há uma depressão na curva de projeção horizontal cinza da metade inferior da área, ou seja, a posição entre os lábios. Binarize a parte inferior do rosto e calcule o valor do pixel da área conectada (a área conectada pode evitar que narinas e bigodes afetem o cálculo) dos lábios para cima e para baixo para obter o grau de abertura da boca.
Compensação da altura dos olhos e altura da boca
Quando a distância vertical da pálpebra superior à pálpebra inferior e a distância vertical do lábio superior ao lábio inferior, porque a cabeça do motorista se move em relação ao equipamento de detecção, a fim de realizar o cálculo preciso da altura dos olhos e da boca do motorista altura, é necessário corrigir as alterações causadas pelas alterações relativas na distância entre os olhos, a boca e o equipamento de detecção.
Tempo de fechamento dos olhos
O tempo de fechamento dos olhos é geralmente expresso pelo tempo desde o fechamento até a abertura dos olhos. Quando uma pessoa está em estado normal de vigília, o tempo de fechamento dos olhos é muito curto e ela os abrirá rapidamente. Em caso de fadiga, o tempo de fechamento dos olhos será significativamente maior, de modo que o tempo de fechamento dos olhos pode refletir diretamente o estado mental do motorista. Calculando o número máximo de frames desde o fechamento até a abertura dos olhos, quanto mais frames, maior será o tempo de fechamento e mais grave será o cansaço.
Os olhos piscam com menos frequência. A projeção horizontal cinza é realizada na metade inferior do rosto, e as curvas horizontais de projeção cinza de diferentes imagens de uma única pessoa são observadas,
As pessoas piscam com mais frequência quando estão cansadas do que quando estão acordadas. Este artigo também o toma como parâmetro como base para o julgamento da fadiga. Pisque uma vez quando os olhos estiverem fechados para abrir. O número de piscadas em um período de tempo é acumulado como parâmetro para julgamento de fadiga.
Parâmetros de fadiga do movimento da cabeça
Quando o motorista está cansado, ele balança a cabeça com frequência e inclina a cabeça para frente. As posições horizontais da pupila do olho e do canto da boca são obtidas por projeção horizontal integral cinza. Suponha que D1 seja a distância da posição horizontal da pupila até a borda superior da imagem coletada e D2 seja a distância da posição horizontal do canto da boca até a borda inferior da imagem coletada. Quando o motorista acena devido ao cansaço, D1 aumenta e D2 diminui. Quando o motorista está cansado e a cabeça inclinada para frente, D1 aumenta e D2 aumenta. Balançar a cabeça e inclinar a cabeça para frente pode ser usado como uma base importante para avaliar a fadiga.
Situação atual da tecnologia de monitoramento de fadiga ao dirigir
O monitor de fadiga do motorista lançado pelas tecnologias de atenção (dd850) é um produto de monitoramento de fadiga do motorista e alerta precoce com base nas características de resposta fisiológica do motorista. O produto coleta informações oculares do motorista por meio da câmera infravermelha e utiliza PERCLOS como indicador de alarme de fadiga. Pode ser instalado diretamente no painel de instrumentos. A sensibilidade do alarme e o som do alarme podem ser ajustados. Atualmente, foi popularizado e aplicado, mas só tem efeito à noite.
O mesmo dispositivo de alarme de fadiga desenvolvido por instalações digitais nos Estados Unidos usa uma faixa magnética colocada sob o volante para detectar o ângulo do volante. Se o motorista não fizer nenhuma correção no volante por um período de tempo, o sistema infere que o motorista entra em estado de fadiga e aciona um alarme.
Safetrac, da empresa de tecnologia assistware dos Estados Unidos, usa o cabeçote de vídeo frontal para identificar a linha da pista e dar um alarme quando o veículo começa a se desviar da pista. O produto também pode avaliar o estado de fadiga do motorista combinando o estado de manutenção da faixa com as características operacionais do volante do motorista.
O dispositivo astid no Reino Unido considera de forma abrangente vários fatores, como as informações do sono do motorista, a duração e o tipo de condução concluída e a operação do volante do motorista para avaliar o estado de fadiga do motorista. Antes de o dispositivo funcionar, o motorista precisa inserir as informações do sono das últimas 24 horas. Quando o alarme visual atingir determinado nível, o alarme sonoro será acionado e o motorista será orientado a parar e descansar. Após um período de descanso, o despertador integrado acordará o motorista e zerará o tempo de condução.
Além destes produtos, existem também pulseiras de alarme de fadiga que detectam a fadiga através do movimento do pulso e pulseiras que podem ser penduradas nos olhos e nas pernas.
Se você deseja desenvolver seus próprios produtos, marcas ou software de sistema de monitoramento de fadiga; por favor não hesite em entrar em contato [email protected] não o vamos desiludir.
