訂閱電子報，掌握最新科技與產業趨勢
2018/10/11
新一代迷你超強人工智慧邊緣計算開發平台NVIDIA Jetson AGX Xavier開箱文
開箱者：益登科技(EDOM Technology)
繼Jetson TX2之後，NVIDIA又推出新一代迷你超強人工智慧邊緣計算的開發平台--Jetson AGX Xavier。它是一款用於自動機器的AI計算機，在緊湊的100 x 87mm模組大小中提供無與倫比的32 Tera OPS(TOPS)峰值計算，並具有10W、15W和30W可配置的操作模式。Jetson AGX Xavier為可部署到邊緣的計算密度、能效和AI推理功能設立了新的標準，使下一代智能機器具有端到端自主功能。Jetson開發平台專注於性能、效率和可編程性，使用深度學習和計算機視覺為許多世界上最先進的機器人和自動機器提供動力。
性能方面，帶有Tensor內核的集成Volta GPU，雙深度學習加速器(DLAs)，八核NVIDIA Carmel ARMv8.2 CPU，GPU採用512顆CUDA的Volta，支持FP32/FP16/INT8。在15W功耗以下，單精度浮點性能為1.3 TFLOPS，Tensor核心性能為20 TOPS。如果解鎖到30W，性能可達到32 TOPS。記憶體子系統為16GB，256位元LPDDR4x @ 2133MHz (137 Gb/s)，以及32 GB eMMC快閃記憶體和650Gbps的高速I / O，包括MIPI CSI-2的PCIe Gen 4和16個攝像機通道。標準的DevKit包括Jetson AGX Xavier計算模組、開源參考載板、冷卻解決方案和電源。DevKit上提供了幾個方便的I/O接口，如下表所示：
NVIDIA在開發者網站上也公布了AGX Xavier相關的技術文件，包含硬體參考設計、JetPack 4.1開發人員預覽搶先版軟體安裝包、LT4核心編譯流程說明以及Tensorflow深度學習相關的開發工具。益登科技的研發團隊在第一時間取得AGX Xavier當時便做了簡單的性能測試，以及益登自家研發的GMSL轉接板與車用鏡頭模組的功能驗證。
1. 開機功能測試
從按下開關到進入Ubuntu桌面，大約花了40秒的時間。AGX Xavier有內建USB UART的接口，開發者只要透過Micro USB的傳輸線就可以跟很快地跟主機連接，方便開發者檢視由AGX Xavier上發出的偵錯訊息。
2. JetPack 4.1開發人員預覽搶先版軟體包安裝過程以及示範程式功能展示
NVIDIA JetPack SDK是構建AI應用程序的最全面的解決方案。它捆綁了所有Jetson平台軟體，包括TensorRT、cuDNN、CUDA Toolkit、VisionWorks、GStreamer和OpenCV，它們都建立在帶有LTS Linux內核的L4T之上。使用JetPack安裝程序使用最新的操作系統映像刷新Jetson Developer Kit，為主機PC和Developer Kit安裝開發人員工具，並安裝快速啟動開發環境所需的程式庫和API、示範程式和文檔。
我們下載了JetPack 4.1 Developer Preview EA components軟體包並進行安裝，安裝包裡有包含：
-
L4T R31.0.2
-
Ubuntu 18.04 LTS aarch64
-
CUDA 10.0
-
cuDNN 7.3
-
TensorRT 5.0 RC
-
VisionWorks 1.6
-
OpenCV 3.3.1
這個安裝非常簡單，只要遵循視窗提示的說明一步一步操作，就可以完成軟體安裝。因此我們簡化整個流程，只針對NVIDIA官網公布的安裝文件中，做重點式的描述。
2.1 先下載JetPack-L4T-4.1-linux-x64_b5.run並更改可執行的屬性 (chmod +x) 然後執行
2.2 選擇 Jetson AGX Xavier
2.3 選擇安裝所有的元件
2.4 選擇PC與Jetson Device之間網路連接的方式，建議選擇第一個連接方式。
2.5 等終端視窗出現時，繼續按照上面要求的動作。
2.6 隨時注意視窗內的提示，若有過程中有問題產生，可依據視窗內的建議進行排解，最後便可完成所有安裝。
2.7 執行範例程式: 12_camera_v4l2_cuda與backend
12_camera_v4l2_cuda主要在展現擷取V4L2 YUV的攝像頭的影像，我們使用的是ES1016 GMSL的攝像頭，解析度為1280x720 @ 30p。
另一個backend範例則是載入高清預錄的車流影片，展現使用NVIDIA TensorRT執行車輛偵測，並在識別為車輛的周圍生成邊界框。
3. NVIDIA Jetson開發板專屬開發套件介紹與實測
以下介紹益登科技所研發的Jetson開發板專屬開發套件，共有三個組成
-
ES1016-60J/ES1016-120J: GMSL鏡頭模組-FOV60/FOV120
-
ET-GMSL: NVIDIA Jetson開發板專用GMSL鏡頭轉接板
-
GMSL傳輸線
Multiple GMSL Camera System
ET-GMSL是一個專門為NVIDIA Jetson 開發板上設計的轉接版，主要是延伸TX2模組上MIPI CSI的介面，藉由轉接板MAXIM MAX9288 Deserializer轉換成GMSL的介面。靠著MAXIM GMSL的技術，在全速傳輸模式可以將視訊訊號延伸至15公尺遠的距離。
ES1016由SONY高感度圖像傳感器ISX016(130萬像素)和大立光超高分辨率鏡頭組成。圖像輸出格式為YUV422，可以根據用戶的設置進行更改。連接接口採用MAXIM的MAX96705和FAKRA Z型連接器應用於連接接口。ISX016內部有嵌入式ISP，可在IQ調整方面提供更大的靈活性。開發者可以藉著這些專用配件進行車用平台相關的開發，如高級輔助駕駛系統、機器人，或是無人地面載具。
3.1 四路鏡頭即時環視功能:
影片中呈現四路鏡頭即時顯示功能，每個鏡頭擷取的影像皆為720p@30pfs，利用gstreamer plug-in “nvvidconv”將每個顯示畫面縮放至640x360大小，可用於環視功能的應用。
3.2 四路鏡頭即時物件偵測功能:
影片呈現的是四路鏡頭即時物件(車輛)偵測功能，針對影片裡的車輛做多物件框選的標示動作。每路鏡頭呈現720p, 15pfs，可用於高級輔助駕駛系統的應用。
結論:
Jetson AGX Xavier專為機器人、無人機和其他自動機器而設計，這些機器需要在邊緣進行最大程度的計算，以運行現代AI工作負載並解決製造、物流、零售、服務、農業等方面的問題，也適用於智能城市應用和可攜式醫療設備。它的深度學習計算能力是大約TX2的20幾倍，所以它能處理比TX2更大的演算資料與更多並行的處理線程。目前釋出的JetPack 4.1開發人員預覽搶先版只提供功能的驗證，NVIDIA還在做一些效能的調整以及增加的額外功能，請拭目以待。如果開發者在使用上有遇到任何問題，可以上NVIDIA開發者網站的論壇上發文來尋求協助。
若您有任何產品諮詢的需求，歡迎與NVIDIA代理商益登科技聯繫(Sales@edom.com.tw)。
LEARN MORE:
Jetson AGX Xavier>>
Jetson AGX Xavier Developer Kit>>
參考文獻:
https://elinux.org/Jetson_AGX_Xavier
https://docs.nvidia.com/jetpack-l4t/4.0DPEA/index.html#jetpack/4.0ea/introduction.htm
https://developer.nvidia.com/embedded/faq
https://news.developer.nvidia.com/
若您有任何產品諮詢的需求，歡迎與NVIDIA代理商益登科技聯繫(Sales@edom.com.tw)。
LEARN MORE:
Jetson AGX Xavier>>
Jetson AGX Xavier Developer Kit>>
參考文獻:
https://elinux.org/Jetson_AGX_Xavier
https://docs.nvidia.com/jetpack-l4t/4.0DPEA/index.html#jetpack/4.0ea/introduction.htm
https://developer.nvidia.com/embedded/faq
https://news.developer.nvidia.com/
