當前位置： 主頁 > 技術&應用 >

360度全景環視和自動泊車系統

本文作者：John Smrstik 點擊： 2020-03-17 18:55

前言：

John Smrstik Jacinto™ 處理器產品行銷團隊 Aish Dubey Jacinto™處理器系統工程師

介紹
深夜開車回家，卻發現自行車、體育器材和庭院修剪機鳩占鵲巢，你多麼希望車庫能為愛車保留一席之地。

風雨交加的早上，辦公樓停車場已是虛位難覓，空車位與你仿佛隔了一條鴻溝。

週五晚上想去市中心放鬆，必須要確定可以為愛車找到棲身之地且能夠在停車入庫後正常打開車門，否則歡樂時光無從談起。

駕駛員難免遇到行程匆忙、回避麻煩或尋求便利的情況，在這些常見場景中真是有苦難言。

幸運的是，自動駕駛功能將緩解這類尷尬，提供更便利、舒適的駕駛體驗，即使是泊車這種日常操作也不在話下。

基礎環視系統為駕駛員提供視覺化提示，從而讓他們更加全面地瞭解周圍環境。通過深度學習汽車攝像頭捕獲的視頻圖像，可提供更高級的服務，如檢測空的停車位、自動泊車和啟用無人駕駛的“自動代客泊車”功能。

這些自動功能（包括多攝像頭輸入、視覺感知和場景創建）需要汽車具有強大的處理能力。高級駕駛輔助系統 (ADAS) 應用的處理器需要具有整合數以百萬位元組的視覺資料或其他感測器資料的能力，從而為汽車創建一個經過解讀的環境，在有/無駕駛員的情況下均支援低速、安全操控車輛。針對這一挑戰，德州儀器 (TI) 專門設計了Jacinto™ 7 處理器系列。

在此白皮書中，我們將說明汽車客戶如何借助 TI Jacinto TDA4VM 器件構建 ADAS 應用，從而實現輔助和全自動泊車功能，還將提供各類細分的汽車市場（緊湊型、中型、大型和豪華版）對 Jacinto TDA4VM 處理器晶片和軟體平臺的技術要求，並介紹如何引入實現安全、舒適的全自動泊車所需的技術。

自動泊車和泊車輔助系統
根據泊車輔助系統的不同功能，該系統可分為三個基本類型。表 1 對這三種類型進行了詳細的介紹。基礎環視系統使用多個攝像頭輸入為駕駛員提供汽車周圍區域的 360 度全景視圖。攝像頭輸入拼接到以汽車為中心的俯視圖中。該圖像以視覺化的形式提供給駕駛員，以提供手動泊車輔助。顯示汽車與物體、路緣或停車線相對位置的多個圖層的疊加增強了環視圖像的可用性。

系統類型

功能說明

所用感測器的數量和類型

所需演算法

所需器件特性

環視系統

（又名環視監控）

為駕駛員提供車輛周圍區域的 360 度 2D 或 3D 視圖，從而提供手動泊車輔助

• 四到六個攝像頭

• 基於圖形處理單元 (GPU) 和數位信號處理器 (DSP) 創建 2D 和 3D 視圖

• 特定需求下，專用硬件加速器可用于生成

有限的

3D 視圖

• 集成 ISP

• 用於視圖創建的 GPU 或 HWA

半自動泊車

駕駛員先確定可用車位，然後汽車自動停在平行或垂直車位上。該系統也能自動駛離停車位。駕駛員保留對該系統的最終控制。

• 四到六個攝像頭

• 6 到 12 個超聲波傳感器

• 四到六個短程雷達傳感器

• 慣性測量單元 (IMU)

• 定位硬體和軟體

• 停車位和停車線檢測

• 低速情況下近場和遠

場物體檢測和分類

• 同步定位與地圖構建

(SLAM)

• 給定地圖和駕駛條件下的 L4 級路線規劃

• 記錄車輛行為的視頻

流編碼和錄影

• 集成 ISP

• 用於視覺分析和卷積神經網絡 (CNN) 處理的嵌入式硬件加速器 HWA

• 實現部分感測器融合和決策

傳達的 ASIL-D 處理

• GPU

• 提供足夠DMIPS實現通用、有限性能路線規劃和感測器融合的 MCU (ASIL-B)

全自動代客泊車

車輛能在界限分明的停車區域或停車位上自動泊車和自動駛離。車輛會識別可用車位。駕駛員全程無需控制車輛。

• 四到六個攝像頭

• 6 到 12 個超聲波傳感器

• 四到六個短程雷達

• IMU

• 定位硬體和軟體

• 停車位和停車線檢測

• 低速情況下近場和遠

場物體檢測和分類

• SLAM

• 記錄車輛行為的視頻流編碼和錄影

• ASIL-D SLAM

• 集成 ISP

• 用於視覺化分析、路線規劃

和 CNN 處理的嵌入式 HWA

• 實現全域感測器融合的

ASIL-D 處理

• 用於路線規劃的 ASIL-D DMIPS性能

• 片上視訊轉碼器

表 1.環視和自動泊車應用和要求。

下一個類型的泊車輔助系統是半自動泊車系統。這類系統綜合了攝像頭、超聲和位置資訊，能夠生成更詳盡的汽車周圍環境圖片，從而在某種程度上實現了自動泊車。借助上述資訊，汽車將完成基本的泊車操作，即通過控制轉向、制動、加速和換檔，自動停在（或駛離）可用的水準或垂直車位。在這類場景中，駕駛員首先需找到一個空車位，且仍對負責自動泊車的系統進行完全控制（如需要）。

全自動代客泊車系統會接手後續步驟，控制汽車全自動駛入和駛離界限分明的停車場。泊車過程中，駕駛員會讓出確定可用車位後對車輛的控制。這一應用需要更多的感測器輸入和更複雜的處理和演算法，從而可靠、安全地自動完成泊車。

從基礎環視功能到全自動代客泊車，各個方案對感測器、資料及資料處理的需求越來越高。

為實現這些應用而配置的處理器片上系統 (SoC)需要：
• 圖像輸入，
• 通用處理，
• 加速特定的深度學習任務，
• 多層疊加的圖像渲染，以及
• 有助於確保系統安全運行的符合汽車安全完整性等級 (ASIL) 的處理。

表 1 詳細說明了各個系統類型所需的演算法和片上功能。所有這些功能所需的絕對性能，如深度學習萬億次運算每秒 (DLTOPS)、每秒百萬條指令(DMIPS)、每秒十億次浮點運算 (GFLOPS) 或圖像信號處理器 (ISP) 或硬體加速器 (HWA) 引擎的百萬圖元處理功能，可進一步將系統類型進行細分。

TDA4VM 處理器的 Jacinto 系列如何應對環視和自動泊車挑戰
正如你通過表 1 可能瞭解的情況一樣，汽車製造商的系統架構師和業務團隊以及一級供應商在將這些功能引入到汽車生產的過程中，面臨若干挑戰。首先，汽車製造商希望在各個車型上安裝一系列功能- 經濟車型配備簡單環視功能，中型車和豪華車配備增強的感知和自動化水準。各個車型配備與其價格相符的設備：經濟車型無法與高端奢華車型配備相同的電子裝置。針對每一車型的不同軟體，開發和驗證處理器平臺不僅費時，而且成本高昂。

有一種解決方案可通過向基礎設計添加其他感測器和攝像頭將低端汽車升級為高端汽車，一級供應商青睞能提供實施這種解決方案常見方法的平臺。重複利用硬體和軟體資產可提高必要的開發效率，從而最大限度地降低不同產品的研發成本並加快其進入市場速度。

Jacinto TDA4VM 處理器系列和 TI 的處理器軟體發展套件 (SDK) 相結合，為 OEM 和一級供應商解決這一問題提供了新的方法。該處理器可通過異構處理提高應用性能並降低功耗，使其適用於散熱和尺寸受限的嵌入式空間。TI 的 Jacinto TDA4VM SoC採用硬體加速器、專用處理器核心、數位訊號處理器（DSP）、通用處理器和微控制器 (MCU)，可幫助設計人員制定高效的系統解決方案。TI 精選並設計了各種具有智慧財產權 (IP) 的元件，以説明解決具體問題並符合各種終端系統的要求。

表 2 說明了簡單環視監控應用和更複雜的自動代客泊車用例中常用的處理步驟和 IP 元件。

處理步驟	SoC IP 組件
圖像採集	圖像輸入/輸出（攝像頭串列接口 [CSI]-2）
影像處理	ISP 和視覺加速組
	件
用於特徵提取的分析處理	DSP 和深度學習加速器
融合處理（利用多傳	通用處理器，MCU
感器輸入）
顯示圖像製備	GPU
顯示輸出	多顯示子系統

表 2.環視和自動泊車應用的處理步驟以及所用的 SoC IP。

異構方法要求每種處理器內核或加速器使用特定的軟體。可通過更高級的軟體理念抽象封裝低級軟體棧，並針對硬體優化，從而簡化開發並提供高性能存取權限。OpenVX就是這樣的一種免版稅開源軟體框架，專為即時嵌入式視覺處理而設計。TI 的 Processor SDK 通過基於 OpenVX的常式，展示如何利用 SDK 中的軟體元件構建應用（如環視監控）。

綜上所述：Jacinto TDA4VM SoC
泊車輔助和自動化應用基本上都需要採集攝像頭和圖像感測器資料，並為處理階段進行預處理。處理階段處理圖像資料並執行分析和深度學習演算法，從而抽取與泊車應用相關的主要特性。這一階段整合（或融合）其他感測器的資料，從而形成汽車周圍環境更全面的感知，並提供給決策應用，此例中是安全操控汽車駛入和駛離停車位。最後一步則是以直觀的方式向駕駛員展示圖像資料，從而幫助他們安全駕駛車輛。保存視頻資料留作日後查看也很有必要，尤其是在全自動場景中。所有這些操作都必須在能提供冗餘並將任務關鍵型功能與其他操作進行邏輯（或物理）分區的功能安全環境中進行。

TI 在 TDA4VM SoC 的設計中已考慮所有這些應用要求。基於對該系統的理解和提供高效、靈活且易用的解決方案的目標，TDA4VMSoC 包含多種元件來滿足採集、處理和渲染要求。其中的一個主要設計是平衡處理和資料需求，從而確保本機存放區有足夠的空間且能適當訪問高速外部存儲，同時確保處理系統高效運行。

圖 1 所示為 TDA4VM 器件在環視用例中的簡化方框圖。

圖 1.基於 TDA4VM 的簡化環視系統。

環視/自動泊車應用階段	TDA4VM SoC 特性
圖像資料捕獲	• 適用於低電壓差分信號攝像頭的 CSI-2 介面 • 適用於乙太網攝像頭的乙太網 • 第七代 TI ISP • 鏡頭失真校正硬體加速器 • 雜訊濾波硬體加速器 • 多級圖像縮放硬體加速器
感測器融合和分析處理	• C66x 和 C7x DSP 內核 • 適用于深度學習應用的矩陣乘法加速器 • 稠密光流硬體加速器 • 雙目深度硬體加速器 • 兩個 Arm® Cortex®-A72 中央處理器 • 四個 Arm Cortex-R5F MCU • CAN-FD和UART介面 • 大規模片上共用記憶體 (8MB) • 高效、高頻寬片上互聯結構 • 具有 17GBps 峰值頻寬的LPDDR4
圖像顯示和保存	• Imagination GE8430 GPU 內核 (100GFLOPS) • H.264 編碼硬體 • H.265 解碼硬體 • 4K 和 2.5K 解析度視頻顯示輸出
安全性	• 雙核鎖步 R5F MCU（ASIL-C 安全島） • 保護 IP 安全、防入侵和攻擊的系統方法

表 3.環視應用階段與對應的 TDA4VM 器件特性。

顯示視頻和其他感測器輸入、顯示輸出和對壓縮視頻檔記憶體的訪問。表 3 介紹環視和自動泊車應用的處理階段，以及支援這些處理階段的TDA4VM 器件的主要特性。如上所述，TDA4VM 器件是非常完整的片上系統，適用於這類泊車應用。晶片解決方案必須擁有與晶片配套的軟體環境。TDA4VM SoC 由適用於 Linux 的完整軟體套件和TI 即時操作系統 (RTOS) 內核支援。Processor SDK 套件包括一整套驅動程式、作業系統內核、應用庫、啟動常式、基於 OpenVX 的應用框架以及說明如何在真正的系統應用中使用軟體和硬體元件的應用示例。這些軟體發展套件（SDK）都在由 TI提供的評估板卡上經過了驗證。

Jacinto TDA4 是一個產品系列，其中 TDA4VM 是本系列的第一款產品型號。該處理器系列的後續產品將包括同一晶片級 IP 的各種組合，從而為ADAS市場的各個領域（無論是偏重計算性能的應用還是對消費類汽車的更多成本優化需求）提供更多優化產品。由於這些器件採用相同的基本硬體 IP 和軟體架構，因此具有良好的相容性。為特定型號開發的軟體可重複用於本系列中的其他器件，不僅可以提高開發效率，還方便在所有汽車型號中引進具有不同功能子集的完整產品線。您可以使用 Jacinto系列產品輕鬆開發向泊車輔助和自動代客泊車方向發展的環視系統類應用。

其他資源
• 瞭解有關適用于 ADAS 應用的 Jacinto TDA4x 處理器的詳細資訊。
• 獲取有關適用於 ADAS 的 TI 解決方案和設計資源的更多資訊。
• 瞭解我們適用于 ADAS 應用的 FPD-Link攝像頭串列器和解串器產品系列。

平臺標識和 Jacinto 是德州儀器 (TI) 的商標。所有其他商標均為其各自所有者的財產。

本月熱點 HOME

欄目熱點 HOME