Харківський національний університет радіоелектроніки



бет5/13
Дата17.05.2020
өлшемі4.97 Mb.
1   2   3   4   5   6   7   8   9   ...   13
Рисунок 2.3 – Модель хмарного сервісу
З огляду на накопичену інформацію про водіїв та їхні зв'язки один з одним за час використання системи РСПАС, представлену паттернами поведінки і профілями особистої інформації, застосування методу кластеризації дозволяє розбити всіх водіїв зі схожими патернами поведінки на кінцеве число груп.

Певна група, до якої був віднесений той чи інший водій, явно характеризує його певним набором атрибутів і дій. Групи водіїв дають можливість виявити загальні, додати нові або доповнити відсутні відомості у водія тієї чи іншої групи, тим самим безпосередньо підвищивши точність і повноту знань про водіїв. В результаті групування водіїв дозволить адаптувати систему РСПАС під кожного конкретного водія, що дозволить в результаті знизити ймовірність настання ДТП. Процес формування груп водіїв є безперервним, ітеративним, що повторюється з певною періодичністю в міру зміни кількості водіїв та їх статистики використання системи і, як результат, група водія, до якої він був раніше співвіднесений, може якось змінитися або зовсім змінитися.

Невід'ємним учасником взаємодії з хмарним сервісом є смартфон водія, обладнаний фронтальною камерою і сенсорами, з встановленим на ньому мобільним додатком, який виробляє накопичення, аналіз та передачу інформації про поточну або минулу поїздку. Смартфон водія здійснює безперервне накопичення статистики в локальній базі даних, її передобробку і передачу у вигляді спостережуваних параметрів. Дані параметри представлені характеристиками обличчя, що зчитуються в процесі руху в кабіні транспортного засобу, про транспортний засіб і навколишнє оточення з метою їх подальшої передачі обчислювальному блоку хмарного сервісу.

Всі завдання по нормалізації, аналізу та обробці даних сконцентровані в обчислювальному блоці.

Іншими складовими обчислювального блоку є модуль підтвердження або відхилення небезпечних станів і модуль побудови звіту про поїздку. З метою адаптації системи під конкретного водія РСПАС дозволяє проаналізувати всі розпізнані небезпечні ситуації протягом досконалої поїздки і підтвердити (правильно розпізнані) або відхилити (невірно розпізнані) ті чи інші виявлені події, тим самим скорегувавши подальшу роботу системи РСПАС. Даний модуль призначений для використання як водієм з власним транспортним засобом, так і водієм зі штату автопарку. Шляхом збереження та накопичення інформації про здійснювані поїздки модуль побудови звітів надає можливість водіям і адміністраторам автопарків експортувати всю інформацію про ту чи іншу поїздку з хмарного сервісу шляхом створення і вивантаження звітів про управління транспортним засобом в зручному форматі.

Спеціалізованим програмним інструментом для стеження і контролю за діяльністю водіїв зі штату корпоративного автопарку є веб-сервіс адміністратора автопарку. Він включає в себе модуль перегляду історії взаємодії водія з системою РСПАС і статистики використання та модуль відображення звіту про здійснену поїздку.

Модуль перегляду історії взаємодії і статистики використання мобільного програмного комплексу водієм забезпечує запис, обробку та відображення дій водія ТЗ протягом усього маршруту слідування в кожен конкретний момент часу. Даний модуль протоколювання дій водія дозволяє не тільки внести коригувальні поліпшення в алгоритми обробки даних і прийняття рішень про настання дорожніх пригод, а й в тому числі сформувати і надати статистику використання РСПАС водіями транспортних засобів.

Модуль відображення звіту про поїздку дозволяє переглядати статистику керування ТЗ як приватному водієві, так і адміністратору автопарку.

Даний модуль здатний надати таку інформацію, як середня швидкість руху, прискорення, гальмування ТЗ в конкретний момент часу пройденого маршруту і т.д.

3 Розробка алгоритму ПОПЕРЕДЖЕННЯ АВАРІЙНИХ СИТУАЦІЙ НА ОСНОВІ МОНІТОРИНГУ ПОВЕДІНКИ ВОДІЯ

3.1 Архітектура системи попередження аварійних ситуацій
На основі проведеного огляду і аналізу контекстно-орієнтованого підходу і моделей розроблена архітектура системи РСПАС, що реалізує головним чином функції визначення втоми і ослабленого уваги у водія і генерації йому контекстно-орієнтованих рекомендацій.

Архітектура системи РСПАС заснована на сервіс-орієнтованому підході, заснованому на використанні слабо пов'язаних, розподілених компонентів і забезпечує повну незалежність від платформи реалізації та інтерфейсів на основі механізмів абстракції і стандартизації, можливість роботи сервісів в рамках іншої інфраструктури або архітектури і можливість застосування одного і того ж сервісу в різних сценаріях.

В якості учасників системи РСПАС, що ініціюють початкову взаємодію з системою попередження аварійних ситуацій, виступають водій транспортного засобу, адміністратор автопарку і представник автомобільної страхової компанії.

Компонент «Учасники», що включає в себе модулі «Водій», «Адміністратор автопарку» і «Представник страхової компанії», має на увазі застосування сценаріїв використання системи РСПАС водіями, які володіють особистими транспортними засобами з метою підвищення власної безпеки в кабіні ТЗ; адміністраторами автопарків, які здійснюють моніторинг і спостереження за виконанням робочого графіка водіями зі штату їх автопарків протягом всього маршруту слідування для зниження витрат на виконання вантажоперевезень; і представниками страхових компаній, які оптимізують ризики при страхуванні і пропонують водієві більш вигідні тарифні плани на страхові послуги на основі аналізу його показників водіння ТЗ.

Всі операції виконання мережевих запитів між учасниками системи РСПАС, мобільним програмним комплексом і хмарним сервісом здійснюються за допомогою протоколу прикладного рівня передачі даних HTTP і архітектурного стилю взаємодії в мережі REST API. Використання REST API дозволяє не тільки досягти використання клієнт-серверної архітектури, відсутність внутрішнього стану на сервері, кешування відповідей на запити, уніфікованого інтерфейсу доступу до віддалених ресурсів, але і забезпечити слабку зв'язність клієнта і сервера і, таким чином, спростити інтероперабольність системи.

В якості типу операцій, які використовуються при зверненні до віддалених ресурсів і компонентів системи, застосовуються HTTP-запити із зазначенням типу запитів за допомогою методів GET і POST. Метод GET, який повертає поточний стан ресурсу, застосовується при отриманні колекції об'єктів (наприклад, можна побачити різні режими водіїв). Метод POST, який здійснює відправку команди для зміни стану ресурсу, використовується системою РСПАС для відправки сенсорних даних в хмарний сервіс і їх поновлення.

Водій транспортного засобу, представлений відповідним модулем компоненту «Учасники», здійснює безпосередню взаємодію зі смартфоном.

Вбудована в смартфон фронтальна камера, яка виконує сканування і захоплення зображення обличчя та голови водія, повинна бути спрямована на нього таким чином, щоб лицьові характеристики і положення голови перебували в межах відеозйомки камери, були розміщені в тій же площині, що і сама камера і в кадрі були відсутні будь-які об'єкти, що перекривають видимість особи водія.

Вбудована камера смартфона на платформі Android, для якої ведеться розробка системи РСПАС, дозволяє отримати масив байтів, що описують зображення обличчя водія в форматі для зображень YUV_420_888, представленим колірним простором YCbCr. Далі, вихідний масив байтів передається модулю обробки вхідного зображення з фронтальної камери смартфона, який розташовується в компоненті обробки сенсорів, де в процесі попередньої обробки застосовується послідовність програмних операцій, спрямованих на підготовку подальшої обробки та перетворення зображення. До таких програмних операцій належать конвертація масиву байтів в бітову карту (bitmap), його пропорційне масштабування і конвертація в однотонне зображення (grayscale, градації сірого).

Grayscale позначає колірний режим, в якому кожен піксель на зображенні представлений одним рівнем яскравості в діапазоні від 0 (чорний колір) до 255 (білий колір) з проміжними значеннями, що позначає різні відтінки сірого кольору, з метою збільшення швидкості роботи алгоритмів з детектування об'єктів на зображенні.

Детектор характеристик обличчя, сформований програмними бібліотеками OpenCV і Dlib, виконує розпізнавання спостережуваних і обчислення оброблених параметрів водія (відкритість і закритість очей; тривалість моргання повік; напрямок погляду; кут повороту голови, кут нахилу голови), необхідних при аналізі небезпечного стану, ослабленого уваги і втоми в кожен момент часу.

Іншим джерелом даних, що надаються смартфоном водія, є параметри, що прочитуються вбудованими сенсорами, серед яких варто виділити акселерометр (прискорення), магнітометр (сила тяжіння), гіроскоп (положення смартфона в просторі по трьох осях X, Y, Z), мікрофон (рівень шуму / звукового сигналу), GPS (поточне місце розташування - широта і довгота), датчик освітленості (ступінь освітленості) і поточний контекст зовнішніх умов, в яких знаходиться мобільний пристрій. Крім вхідного зображення особи водія з фронтальної камери, сенсорні дані (поточна швидкість ТЗ, прискорення ТЗ, гальмування ТЗ, тощо), які пройшли аналіз і обробку в модулі обробки даних з сенсорів, можуть додатково охарактеризувати ту чи іншу дорожню ситуацію і тим самим допомогти завчасно виявити ознаки небезпечної поведінки у водія і згенерувати відповідну рекомендацію.

Додатковим джерелом інформації, що використовується при формуванні рекомендацій водієві для побудови маршруту до вибраного об'єкту на карті, є відомості про потенційні місця відпочинку. Дані відомості, що зберігаються в локальній БД SQLite, доступні для читання за запитом мобільного програмного комплексу під час поїздки водія. Кожна окрема запис про місце відпочинку містить такі поля як назва об'єкта, його категорія (кафе, готель або заправна станція), географічні координати (широта і довгота) і години роботи.

В якості тимчасового сховища, що знаходиться на смартфоні водія і використовуваним системою РСПАС, застосовується локальна БД подій SQLite, що відповідає за регулярне збереження і накопичення останніх даних про історію взаємодії водія з РСПАС і статистики поїздки. Зібрана інформація може бути використана при аналізі поведінки того чи іншого водія, а також при побудові та експорті звітів про поїздки водіїв.

З метою адаптації системи РСПАС під конкретного водія записи з БД подій періодично синхронізуються з віддаленим хмарним сервісом, передаючи необхідну інформацію модулю кластеризації профілів водіїв. У разі, якщо передача даних по мережі Інтернет стає неможливою з огляду на погіршення або зовсім відсутність з'єднання, вся контекстна інформація, що накопичується на смартфоні водія, продовжує надходити в локальну БД. Як тільки Інтернет-з'єднання відновлюється, дані зі смартфона передаються в віддалений хмарний сервіс.

Для накопичення і зберігання статистики керування водіями ТЗ обрана аналітична СУБД ClickHouse, що підтримує діалект мови SQL для виконання запитів і дозволяє їх виконувати за даними, що надходять в хмарний сервіс в режимі реального часу. Іншою перевагою обраної СУБД є те, що відсутня необхідність у використанні сторонніх хмарних сервісів, а її функціонування можливе в будь-який інфраструктурі. Персоналізацію системи РСПАС забезпечує модуль кластеризації профілів водіїв хмарного сервісу, що виконує виділення груп водіїв зі схожими характеристиками і розміщення нових або змінених даних про групи профілів водіїв в окремому сховищі MongoDB. Передбачається використовувати модуль кластеризації профілів водіїв і СУБД ClickHouse в одній і тій же хмарній інфраструктурі.

У тому числі хмарний сервіс дозволяє отримати статистику водіння водіїв в тому чи іншому форматі. Даний сервіс включає веб-сервіс побудови і експорту детального звіту про поїздку (в форматі CSV) для адміністратора автопарку з метою відстеження маршрутів здійснення вантажоперевезень; веб-сервісу перегляду історії взаємодії і статистики використання, призначеного для приватних водіїв, адміністраторів автопарків та представників страхових компаній.

Використовуючи контекстну інформацію про водія і ТЗ, що надходить від сенсорів і різних джерел інформації, підмодуль виявлення небезпечних станів розпізнає наявність ознак тієї чи іншої небезпечної поведінки водія в кабіні транспортного засобу.

Аналізуючи результати роботи підмодуля виявлення небезпечних станів, система РСПАС, використовуючи, при необхідності, список об'єктів місць відпочинку, попередить водія за допомогою звукового сигналу, залучаючи тим самим його увагу і зробить пошук прилеглих до водія працюють кафе, готелів і заправних станцій і побудує маршрут до обраного місця.

В якості генеруючих рекомендацій водієві може бути запропоновано зупинитися на нічліг, випити тонізуючий напій, включити радіо або музику, почати діалог з пасажиром, провітрити салон ТЗ, наспівати собі мелодію або з'їхати на узбіччя і зробити короткостроковий відпочинок. Таким чином, модуль оповіщення допомагає водієві звернути увагу на поточну дорожню ситуацію. Описані компоненти, модулі і сервіси в рамках архітектури РСПАС забезпечують достатню гнучкість і функціональність при її реалізації.

3.2 Алгоритм розпізнавання небезпечного стану в поведінці водія при управлінні транспортним засобом
Характеристики обличчя водія, які притаманні йому під час водіння, є основною інформацією профілю, що використовується при моніторингу його поведінки в кабіні транспортного засобу на присутність того чи іншого небезпечного стану. Поведінка водія під час керування транспортним засобом характеризується проявом небезпечних ситуацій, розпізнаних в певний момент часу, сукупність яких дозволяє системі РСПАС приймати чи не приймати рішення про присутність небезпечного стану, втоми або ослабленої уваги, на деякому проміжку часу.

Кожен кадр, отриманий з фронтальної камери смартфону, дозволяє зчитувати і розпізнавати лицьові характеристики водія з метою подальшого аналізу можливої небезпечної ситуації, в якій він знаходиться, в той чи інший момент часу.

Алгоритм обробки і аналізу зображення водія з фронтальної камери смартфона представлений в прикладі 3.1.

Отримані з фронтальної камери зображення безперервно заповнюють чергу фреймів з відеоряду і автоматично замінюються при отриманні нових зображень, що дозволяє своєчасно і з більшою швидкістю обробляти графічну інформацію.

Цифрова обробка і аналіз зображень для визначення характеристик обличчя водія включає в себе безліч операцій, і багато з них вимагають певних тимчасових витрат, які можуть позначитися на якості та швидкості роботи РСПАС в цілому.
Параметри:

EVD_RATIO – поріг небезпечних ситуацій до загальної кількості подій (за замовчуванням 0,75);

IM – черга із зображень водія з фронтальної камери смартфону;

EV – список оброблених подій; EVD - список виявлених небезпечних ситуацій;

timeS, timeE – час початку і кінця визначення небезпечного стану, відповідно (мс);

speed – поточна швидкість руху ТЗ (км/год); MIN_N – хв. кількість небезпечних ситуацій (1-101).


Begin

1. For each im ∈ IM do

2. if speed < 10 continue

3. rotatedBitmap rotateImageIfNeed(im) // поворот зображення

4. resizedImage downscaleImage(rotatedBitmap) // масштабування зображення

5. grayscaleImage makeGrayscale(resizedImage) // переведення в градації сірого

6. faceLandmarks detectLandmarks(grayscaleImage) // характеристики обличчя

7. poseState detectHeadPoseState(faceLandmarks) // положення голови водія

8. if headRotateAngle(poseState) > 15 or headTiltAngle(poseState) > 15 do event distraction

9. else do

10. eyeState detectEyeState(faceLandmarks) // стан очей водія

11. perclos detectPerclos(eyeState)

12. if perclos >= 0,28 do event drowsiness

13. else detectYawning(faceLandmarks) >= 2,5 do event yawning //позіхання

14. addEvent(EV, event)

15. if isDetectDanger(event) do addEvent(EVD, event) // розпізнана небезпечна ситуація

16. if (timeE – timeS) > 1500 and notEmpty(EV) or size(EV) >= MIN_N do

17. ratio count(EVD) / count(EV) // частка небезпечних станів до загальної кількості

18. if ratio > EVD_RATIO do

19. notifyEmergency() // повідомлення водія про небезпечний стан

20. clear(EV) clear(EVD)

End
Приклад 3.1 – Алгоритм розпізнавання небезпечного стану по зображенню водія з фронтальної камери смартфону


Варто взяти до уваги, що кількість обчислень збільшується з розміром обробленого зображення, що знижує ефективність даного алгоритму, а при роботі з послідовністю відео фреймів і зовсім стає критичною для всієї системи РСПАС.

У зв'язку з цим в процесі обробки зображень застосовується ряд методів, спрямованих на зменшення часу обробки одного графічного фрейму.

В якості оптимізаційних методів для збільшення показника FPS (Frames per second - число кадрів в секунду) використовується первісна попередня обробка зображення, до якої відносяться пропорційне масштабування (зменшення) дозволу зображення і подальше конвертування всіх пікселів зображення в палітру градацій сірого кольору.

Перетворення зображення в режим градації сірого з 256 відтінками сірого здійснюється наступним чином:


.
де R, G, B - інтенсивність в діапазоні від 0 до 255, Y - інтенсивність каналу для кожного каналу нового кольору пікселя.

Далі, зображення проходить процедуру нормалізації, в результаті якої перевіряється, чи збігається орієнтація зображення з даними з фронтальної камери і змінюється орієнтація в разі, якщо не збігаються.

На кожному кадрі оцінюються характеристики обличчя водія з метою аналізу можливої небезпечної ситуації, в якій він знаходиться, в той чи інший момент часу.

Пошук і локалізація об'єктів обличчя водія (відкритість і закритість очей; кут повороту і нахилу голови) здійснюється за допомогою фреймворків OpenCV, Dlib за допомогою алгоритмів комп'ютерного зору і використання заздалегідь побудованих класифікаторів ознак і HOG дескрипторів (рис.3.1).



Розрахунковий набір лицьових точок водія дозволяє визначити положення його голови, кут нахилу вперед / назад і повороту вліво / вправо, за рахунок відображення даних 2D координат і антропометричних координат характеристик моделі голови людини в тривимірній системі координат (2):

де - довжини фокусу фронтальної камери смартфона (пікселі);

- як правило, координати центру зображення (пікселі);

X,Y,Z - координати в тривимірній системі координат;

(u,v) - координати точок проекції (пікселі).

Розпізнані параметри дозволяють виявляти небезпечні стани (стан втоми, ослабленої уваги), що впливають на безпеку водія при управлінні ТЗ.


Рисунок 3.1 – Схема визначення положення голови водія


Уявімо розпізнавання небезпечного стану на часовому проміжку (рис.3.2) протягом якого безперервно проводиться зчитування параметрів поведінки водія за кермом ТЗ на основі даних з фронтальної камери і сенсорів смартфону, що характеризують ту чи іншу небезпечну ситуацію .

В результаті аналізу публікацій, присвячених безпеці водіння ТЗ, було встановлено, що при моніторингу небезпечних станів в системах активної безпеки використовується параметр «Час до зіткнення» (TTC - Time-To-Collision), визначений як значення на інтервалі [2; 3] сек.



Рисунок 3.2 – Модель визначення небезпечного стану


Каталог: bitstream -> document
document -> Пояснювальна записка рівень вищої освіти другий
document -> Атестаційна робота пояснювальна записка
document -> Пояснювальна записка рівень вищої освіти другий
document -> В. Н. Бурцев, Ю. В. Гнусов, А. Л. Ерохин
document -> Пояснювальна записка рівень вищої освіти другий
document -> О построении фрагмента концептуальной классификационной модели проблемной области чрезвычайных ситуаций
document -> Н. О. Шушляпина, М. М ященко, О. Г. Авру нин е. В. Демина, Н. А юревич (харьков, украина) совершенствование обучающих технологий в медицине
document -> Моделирование кинетических процессов


Достарыңызбен бөлісу:
1   2   3   4   5   6   7   8   9   ...   13


©netref.ru 2019
әкімшілігінің қараңыз

    Басты бет