כיצד בנינו מערכת לניטור מצב נהג

עייפות היא גורם שאינו מוערך מספיק לתאונות דרכים, רוצח שקט בכמעט 30% מהמקרים וגורם לפציעות קשות ב-15% מהמקרים.

שעות ארוכות של נהיגה, נוף מונוטוני, לילה ללא שינה, עבודה במשמרות – לא משנה מה הסיבה, עייפות הנהג עלולה להיות מסוכנת בכל עת, ביום ובלילה, אפילו למרחק קצר. עייפות לא חייבת תמיד להוביל להירדמות ליד ההגה. אפילו רגעים קצרים של חוסר ריכוז עלולים להיות קטלניים.

עייפות פוגעת בתפקוד הנהג כמעט כמו רמות של שכרות אלכוהוליות האסורות על פי חוק. היא גורמת להידרדרות בערנות ובדריכות, זמן התגובה מתארך באופן משמעותי, והיכולת לשפוט את המצב על הכביש יורדת.

למרבה המזל, אף אחד לא נרדם מאחורי ההגה באופן פתאומי. ישנם מספר סימני אזהרה בולטים, כמו מצמוץ תכוף מהרגיל, פיהוקים, סטייה על קווי הנתיב או מעבר עליהם, אובדן מיקוד העיניים או הנמכת הראש. ניתן לזהות את רמת העייפות הגוברת, להפעיל את ההתראה ולהציל חיים רבים אילו רק סימפטומים אלה היו מזוהים בזמן. אך הסימפטומים של כל אדם שונים במקצת, ולכן יהיה מושלם אם נוכל ללמוד אותם ולהתאים לכל נהג באופן אישי במהלך הנהיגה.

כך נולד הרעיון למערכת ניטור מצב הנהג. צוות Innovation Lab שלנו עבד על פתרון זה בחודשים האחרונים, והיום ברצוננו לספר לכם יותר על האופן שבו הוא פותח.

כיצד פועלת מערכת ניטור מצב הנהג?

הפתרון שתוכנן על ידי הצוות שלנו משתמש בסט מצלמות אשר כיום מנטרות את עיני/קשתיות הפנים של הנהגים, אך בעתיד גם ימדדו מצב אנושי כגון דופק, חמצון דם וטמפרטורה ללא חיישנים על הגוף. כיום, AI ואלגוריתמים של פתרון קנייני למיזוג חיישנים מנתחים את רמת הנמנום של הנהג בהתבסס על סיווג בזמן – עצומות, חצי עצומות, חצי פקוחות, פקוחות.

פתרון Mediapipe שימש לזיהוי עיניים ופנים. לאחר מכן אלגוריתמים של Spyrosoft מחשבים את רמת הפקיחה בהתבסס על קווי מתאר יחסיים של העין ושטח הקשתית, כך שאנו בלתי תלויים במרחק המצלמה. האלגוריתמים מתאימים את הערכים לנהגים ספציפיים, המזוהים לאחר מספר שניות. עבור כל עין, המערכת לוקחת את נקודת האמצע של קו המתאר העליון ואת נקודת האמצע של קו המתאר התחתון ומחשבת את המרחק ביניהם. היא כוללת גם את קוטר הקשתית לחישוב רמת הפקיחה המרבית של העין.

כאשר המערכת מזהה שעיניים עצומות למשך 3 שניות לפחות, או כאשר לא מזוהות עיניים כלל (לדוגמה, כאשר הנהג אינו מביט בכביש), מושמעת התראת אזעקה מתאימה דרך הרמקולים. בעתיד, ייתכן שתתאפשר גם אפשרות לעצור את הרכב או להזעיק עזרה.

מה קורה עם הנתונים?

הנתונים נשמרים בזיכרון הבלתי-נדיף של המכשיר. במקרה של תאונה, ניתן לשלוף את הנתונים אודות זמן הנהיגה, זהות הנהג, אזהרות והתראות מתיבת ההקלטה (Black Box). זיהוי הנהג מתאפשר באמצעות זיהוי פנים ומזהה (ID) המוקצה לכל נהג. שימוש אפשרי במדד חמצן בדם (Pulse Oximeter)

כדי לקבל מידע נוסף על מצב הנהג, ניתן להשתמש במדד חמצן בדם כדי למדוד את ריווי החמצן בדם ואת קצב הדופק שלו. לצורך מדידה נכונה, יש להציב מספר מדדי חמצן בדם על ההגה ואפשר גם על ידית ההילוכים, אשר יהיו קרובים מאוד זה לזה.

פרספקטיבות עתידיות

מכיוון שאנו שותף של NVIDIA בתוכנית תפיסה, אנו מעבירים כעת את האפליקציה להרצה על פלטפורמת NVIDIA Drive IX המיועדת לשימוש בתעשיית הרכב.

בעתיד, אנו מתכננים לשלב ספריות של NVIDIA כדי לקבל פונקציונליות נוספת ואף דיוק טוב יותר של האלגוריתמים שלנו. מערכת ניטור מצב הנהג (Driver Status Monitoring System) יכולה גם להיות משולבת עם חיישנים אחרים, מערכת ה-infotainment, או שפונקציונליות שלה תורחב באמצעות אלגוריתמים נוספים.

מה היתרונות של פתרון זה?

מערכת ניטור מצב נהג יכולה להוכיח את עצמה בהצלחה בהפחתת מספר תאונות הדרכים הקשורות לעייפות נהגים. יתרה מכך, על ידי הוספת מד חמצן בדם ניתן למדוד לא רק את רמת העייפות, אלא גם את מצב הבריאות הכללי של הנהג, למשל סימנים להתקף לב. הודות לתקשורת אלחוטית, ניתן היה ליידע צוות רפואי באופן מיידי על מצב בריאותי לקוי של הנהג.

הפתרון יכול להשתלב עם כל סוג ודגם של רכב, דבר שחשוב במיוחד לאור הרגולציה החדשה של האיחוד האירופי המחייבת יצרניות רכב להתקין מערכות בטיחות מתקדמות בכל המכוניות החדשות בשוק האיחוד האירופי. הרגולציה אושרה בנובמבר 2019 ותיושם בהדרגה במהלך ארבע שנים, החל משנת 2022. כמו כן, ממשלת ארצות הברית שוקלת להנהיג מערכת ניטור נהג הכרחי עבור מכוניות חדשות.

כדאי גם לציין שהפתרון מבטיח רמה גבוהה של פרטיות הנהג על ידי הגבלת הגישה לנתונים שנאספו, בהתאם לשווקי היעד, למשל, מכוניות פרטיות לעומת משאיות הובלה.

שאלות נפוצות