SMC 資料庫

議題背景：

目前全球許多地方已部署了全自動和半自動汽車，臺灣第一個可營運自駕車也預計今年用於彰化鹿港天后宮與彰濱觀光工廠之間接駁。但是自駕車上路前，有些困難仍待突破，例如今年1月至3月新聞報導關於自駕車辨識的問題。新聞指出，研究人員發現使用貼紙遮擋交通號誌、使用無人機投射幻影等，會讓自駕車辨識錯誤，而產生駕駛安全的疑慮。

相關新聞：

• 科技新報：研究員以投影機成功騙過特斯拉 Autopilot 系統
• 科技新報：McAfee 研究人員修改速限標誌，輕鬆騙過特斯拉自駕車從 35mph 加速到 85mph
• CTIMES：PIDA：以色列研究人員找出自駕車系統辨識盲點

自駕車要實際上路，在辨識上有哪些必須克服的困難，以及解決辦法？對此，我們邀請專家回應如下：

專家怎麼說？

2020年4月14日
國立交通大學電子工程學系暨研究所教授 郭峻因

全自動駕駛功能Level 4以上的自駕車，感測系統通常包含攝影機、毫米波雷達、雷射雷達等，上述三種感測器功能可融合，確保自駕車能非常準確的辨識、偵測、追蹤物件與分析移動物件的行為。然而，目前市面上販售車輛的自動駕駛功能主要是 Level 2的全速域跟車系統，系統多數僅仰賴攝影機與毫米波雷達來辨識與偵測物件。例如Tesla 汽車在自駕模式時採用深度學習物件辨識技術，分析攝影機拍攝的視訊內容，進一步判斷如何駕駛。但是只依賴攝影機辨識內容來判斷，很容易被有心人士捉弄（如新聞中的報導），因為目前所採用的AI深度學習技術只能完成單一功能，可以辨識物件，但無法同時理解複雜場域並推論如何駕駛。

要解決新聞中提到因投影造成的辨識錯誤，需要其他的感測器一起融合判斷。如結合攝影機物件辨識與雷達測距功能，即可分辨有相對距離的真實場域物件與無相對距離的投影物件。而經過變造的速限數字35被誤判為 85，是因為深度學習的數字辨識模型訓練不足，只要增加訓練模型時使用的圖資多樣性，包含增加各種數字字體或寫法，應該可以解決此問題。

以上的問題也顯示真實場域比模擬場域更複雜，正是各家車廠努力要克服的研究挑戰。目前可能的解決方法是建置一套自駕車軟體持續學習系統（如Uber於2020年三月所提出的VerCD系統），藉由持續收集場域資料，分析雲端資料、再訓練與優化模型後，再遠端更新自駕車系統，以解決潛在的錯誤，持續改善系統效能。

若從駕駛安全的角度來說，在自駕系統反應時間內準確偵測車輛周遭所有的車況，是確保自駕車安全行駛的必要條件。為了克服多變天候的挑戰，需要融合攝影機、毫米波雷達、光達、超音波、GPS等多重感測器的偵測，為了確保能即時決策，需要高效能嵌入式AI運算平台，這也是目前所有自駕車晶片廠商的研發方向。當然，要即時且準確的偵測車況，軟體演算法與硬體晶片架構同等重要，需要相互搭配才能發揮最好效能。即時且準確的車況偵測系統，有助於提高自駕車決策系統選擇駕駛策略的品質，讓自駕車在硬體和駕駛倫理層面都能夠更貼近使用者的需求。

2020年4月29日
國立臺灣大學資訊工程學系助理教授 林忠緯

影像及物體辨識是自駕車運作的一部份條件，但不是全部。以下從比較廣的層面探討自駕車面對未預期的情境時，容易誤判的狀況。自駕車未預期的情境可以分為兩種類型，非惡意影響與惡意影響的情境：

一、非惡意影響的情境：包含天氣的干擾、光線的反射與陰影、交通號誌的污損等。面對這些情境，可以透過增加訓練自駕車AI深度學習的資料量或資料多元性、提升影像重建技術等來改進自駕車辨識影像及物體的準確度；亦可透過車聯網提供即時的地圖與行車資訊，讓自駕車預先得知路段的速限、交通規則，就不用僅依賴機器視覺在現場辨識實體號誌。

二、惡意影響的情境：攻擊者除了刻意更改交通號誌之外，還可能特別透過傳統車輛沒有的功能，攻擊自駕車系統弱點。例如透過車用資訊娛樂系統（In-Vehicle Infotainment System）入侵車內網路，使得自駕車防護惡意攻擊的難度比非惡意的情境更高，因此防護車聯網安全也是熱門的研究方向。攻擊者可以分為兩種，（1）有自駕車網路或控制權限者，或（2）沒有權限者。攻擊者原本可能沒有權限提供自駕車周遭環境資訊，或命令自駕車作出行動，但也可能駭入自駕車取得權限，攻擊所造成的風險更高。透過金鑰管理系統或身份認證可以防止不具權限者的攻擊；若要防止具有權限者的攻擊，可透過入侵檢測系統^[註1] 、共識演算法^[註2] 等技術檢查自駕車網路的訊息或指令。除此之外，一些特定的自駕車系統應用可以搭配特定的防護技術，幫助減少攻擊造成的影響。例如交通號誌可以加上自駕車較容易辨識的一維條碼，降低辨識的錯誤率[1]；或是用車聯網排程^[註3] 控制自駕車，可降低交通號誌或訊號被惡意攻擊時，整體系統所受到的衝擊[2]。

無論是非惡意或惡意影響的情境，車輛亦應配備直接防護安全的基本功能，作為安全性的最後防線，例如快要撞到物體時就會自動停車的防撞系統，且必須能同時防護惡意攻擊。

目前自駕車使用的電子控制單元（Electronic Control Unit, ECU）運算很慢、車內網路也較慢。為了能實際上路，作出駕駛決策的正確性、可靠性、可預期性、成本等系統要求很嚴格，自駕車軟硬體的製造、設計、上下游的元件等供應鏈也很複雜，所有相關技術很難在車輛設計完成後再另外新增。早期即必須規劃與整合車輛系統，這點為當前與未來車輛系統設計的一大挑戰。為克服此挑戰，正在發展的技術包含設計與建立更好描述自駕車系統行為的數學邏輯、設計能更精準分割、合成、最佳化自駕車多元功能的系統，以及系統能同時分析、驗證、模擬、測試自駕車綜合功能的技術，都是研究自駕車判斷未預期情境的重點。

2020年5月13日
國立中央大學資訊工程系教授 曾定章

自駕車與傳統汽車不同的關鍵，在於比傳統汽車多了感測（sensing）、分析（analysis）、與決策（decision）功能。人用視聽觸等感官獲得車輛與周遭環境的所有訊息，且可同時完成三件事：

1. 無論訊息是否重要，一律全部都收納。
2. 前後時刻的訊息永遠保持時間關聯。
3. 三種感官訊息相互加乘感測效果，一起經過大腦結合過往無數經驗的分析後，做出決策。

車輛自己行駛時，用相機的視覺、雷達測距離、與無線通訊三種方式所收集的訊息，感知車輛與周遭環境的動靜。但這些感測與人類駕駛的不同在於：

1. 只收納事先由人類定義給AI的訊息，事先沒定義的訊息不收納。
2. 三種訊息沒有在時間軸上前後相關聯。
3. 三種訊息沒有相互加乘。各自完成危險分析後，合併提供給決策判定系統。

上述的三個自駕車資訊分析很重要：是否感測到所有訊息、訊息有無時間關聯、有無相互加乘效果。自動駕駛（automated vehicle, AV）與先進駕駛輔助系統（Advanced Driver Assistance System, ADAS）的最大差別在ADAS只收集瞬間周遭環境資訊，看到危險後通知人類駕駛就結束了，但自動駕駛要能決策判定，不能只收集瞬間資訊；需要持續不間斷的收集，要關聯不同時間收集的資料，綜合分析所有重要或不重要的訊息，才可能做出正確的決策判定。所以自駕車的感測問題不在於相機、雷達、光達等硬體設備，而是處理這些資訊還不夠完整與穩定。處理資訊是為了偵測及辨識各種物體、認知環境及狀況。若只偵測預先定義的物體，不偵測沒有定義的物體，就不夠完整。預先決定哪些訊息較重要是不合理的，任何物體都是環境中的一部份，在不同時間與空間中都可能是線索；但礙於電腦運算的能力及演算法的複雜度，很難收集完整資訊。

一般講自駕車偵測率不高、辨識率不足、誤判、及不穩定等問題，硬體設備要負一點責任，但絕大部份問題是偵測、辨識軟體系統還不夠好。視覺偵測與辨識很困難的原因是，人的眼睛看得出不同，電腦程式卻不一定能辨別。舉例，電腦以固定方向的光源，固定位置的相機，在1/30秒內拍攝一張快速經過的物體影像，再辨識；但人眼是長時間持續從多角度觀察物體，可收集許多資料。電腦視覺很難從多角度收集物體的影像資料，分析這些資料的關聯更是辛苦，且自駕車需即時辨識物體，不能花太多時間分析。上述情境還是室內的場景，自駕車一定是在戶外，天候陰晴、濕度、雨、霧、雪、不同時刻造成光線效果例如黃昏、夜間，以及清晨、地面水漬反光等更是難以應付的狀況，所以不能用人眼看東西的角度想電腦視覺偵測與辨識的問題。現在的電腦視覺能力離人眼視覺的功能還非常遙遠，而且應用在自駕車還無能力關聯時間前後所看到的內容，效果當然遠不如人眼視覺系統的表現。

其次自駕車的綜合分析及決策能力也還不夠健全，此方面的研究深度與廣度也遠不如感測的研究。例如有人拿偽造的交通標誌站在路邊，駕駛人看見交通標誌是臨時加上，且看到周遭環境沒有任何道路維修等的異狀，很容易知道標誌是假的。自駕車會同時偵測到交通標誌和人，但不一定知道是人拿著偽造交通標誌。許多自駕車不會偵測周遭景觀，即使有些自駕車會偵測並做場景分割（scene segmentation）[註4]，也不一定能判斷出周遭有無異狀，更不一定能夠判斷異狀與交通標誌的關係；即使能判斷關係，也不一定能判斷交通標誌的真偽。即使用了深度學習系統，研發單位也不一定曾教導自駕車判斷上述狀況，因為狀況太多變異，教導過的自駕車也不一定能夠分析出正確的結果。這些都是自駕車容易受騙的原因。但也不是自駕車不會受騙才可上路；高速公路環境相對單純、變異小，讓完全自駕車在高速公路上行駛是比較可能達成的。

註釋：

[註1] 入侵偵測系統（Intrusion Detection System, IDS）：用數學邏輯比對、分析現有或網路上可獲得的資訊，檢查系統中異常的入侵行為或企圖。

[註2] 共識演算法（Consensus Algorithm）：讓各個節點的資訊保持一致的演算法，用於自駕車可以確保傳遞給自動駕駛系統的訊息和指令保持一致。

[註3] 車聯網排程：由電腦計算「車輛行進狀態」、「車輛預期路徑」、「交通路況」等參數後，自動化安排車輛的移動順序、路徑、行進速度、方向等。

[註4]場景分割（scene segmentation）：將畫面分割成多個不重疊、不規則的區塊，且辨認各區塊是道路、建物、樹木、或行人等。

參考文獻：

[1] Sayin, M. O., Lin, C. W., Kang, E., Shiraishi, S., & Başar, T. (2019). Reliable Smart Road Signs. IEEE Transactions on Intelligent Transportation Systems(T-ITS).

[2] Zheng, B., Lin, C. W., Shiraishi, S., & Zhu, Q. (2019). Design and Analysis of Delay-Tolerant Intelligent Intersection Management. ACM Transactions on Cyber-Physical Systems(TCPS), 4(1), 3:1-3:27.