訂閱電子報，掌握最新科技與產業趨勢
2024/05/08
讓生成式AI「靠邊」 NVIDIA展現軟硬兼施真功夫
Author: MakerPRO 編輯部
在2023年爆紅的生成式AI (Generative AI)迄今熱度不減，除了吸引越來越多終端使用者運用該技術提升生產力，開發者也積極嘗試以生成式AI為基礎打造各種創新應用，特別是不需要連結雲端、在網路邊緣裝置上就可實現的智慧功能──也就是所謂的Edge AI。這股熱潮讓目前市場上能支援生成式AI的邊緣運算平台供應商成為矚目焦點，其中NVIDIA是最閃亮的明星之一，不僅能提供軟硬體兼備的系統級解決方案、容易上手的開發工具，還有資源豐富的廣大生態系夥伴扮演堅強後盾。
為了讓更多開發者了解生成式AI技術的魅力所在，以及NVIDIA的Jetson系列平台在部署Edge AI應用時發揮的關鍵作用，NVIDIA代理商益登科技(EDOM)與MakerPRO合作舉辦了一場線上講座，由來自益登的專家──技術經理巫濟帆(James Wu)──從講解生成式AI、大語言模型(LLM)的基礎原理出發，帶領聽眾探索生成式AI新技術將如何顛覆各行各業的運作模式；接著他詳細介紹了NVIDIA支援生成式AI模型的NeMo工具功能特色，並展示了利用Jetson系列平台實現的創新應用範例。
生成式AI將顛覆世界
那究竟什麼是生成式AI？巫濟帆表示，生成式AI是透過學習大量的資料，使用類神經網路去模仿那些資料的結構與邏輯來生成新的內容，包括文字、影像與聲音，甚至是蛋白質結構、DNA等等，其特色是使用非監督式或是半監督式學習來訓練一個大型語言模型，因為不需要大量標註，能節省這方面任務所需要的成本與時間；此外，生成式AI產生的內容可以是在訓練中未曾出現過的內容，簡單來說有點像是「無中生有」的能力。
能以文生圖的Stable Diffusion，或是輸入文字提示能產生另一段文字內容的ChatGPT，都是在去年爆紅的生成式AI模型。巫濟帆指出，生成式AI正在改變各行各業的運作模式，根據一項市場研究機構的調查，企業若導入生成式AI技術，取得營收成長10%以上的可能性是未導入該類技術之企業的2.6倍；而這也意味著各家企業必須要及早進行AI相關基礎設施的投資，才能掌握市場競爭優勢。
借助LLM與生成式AI在文字產生、翻譯、寫程式、視覺內容創作以及資料分析等方面的能力，無論是金融、醫療保健、零售、通訊、製造、能源、媒體、娛樂等產業或是政府機關，都可以從中獲益。巫濟帆補充：「例如在金融業支援個人化理財服務、防詐騙偵測，在醫療產業支援分子結構模擬、治療方案建議，還有協助零售業者透過分析消費者行為模式提供採購建議、在製造業生產線上讓人機協作過程更順暢，以及幫助媒體娛樂產業生成廣告內容、或是生成3D遊戲場景等等，生成式AI將會為不同垂直的產業帶來變革。」
模型訓練與微調
生成式AI背後都有一個大型的基礎模型，需要訓練大量的數據；巫濟帆表示，通常企業採用生成式AI會有三種模式，第一個是直接使用既有的生成式AI基礎模型，像是OpenAI的ChatGPT、Google的Gemini或是Amazon的Bedrock等等，二是根據特定應用需求對基礎模型做一些中度的微調(fine tuning)或預訓練，這會需要花費一些時間與成本；「第三種是最少人會採用的模式，就是從頭到尾自己創建一個模型。這會需要具備相關專業知識的人力、大量的資料以及具備一定程度算力的平台。」
而若是要在生成式AI基礎模型上針對特定應用進行訓練或微調，方法則分為三類：一是P-tuning，即提示學習(Prompt Learning)，這種方法沒有修改模型的參數，而是設計一個可學習的提示來調整輸入的方式，讓輔助模型可以更充分理解並完成任務，讓LLM回答使用者想要它回答的問題。第二種是監督式微調(Supervised Fine Tuning)，也就是在基礎模型上加入特有的資料集去做額外訓練，這種方法會調整模型的參數與權重，會需要花費較多時間精力。
還有第三種方法則是以人類回饋為基礎的強化學習(Reinforcement Learning from Human Feedback，RLHF)；巫濟帆指出，這種方法顧名思義就是從人類使用者的回饋資料來調整、最佳化模型，讓模型的回答可以更貼近人類，減少一些不合邏輯的答案；ChatGPT就使用了這樣的技術來升級其版本。另外還有一種最近相當熱門的技術RAG (Retrieval-Augmented Generation)，它的原理是讓一個向量資料庫(vector database)與基礎模型連結，讓LLM能讀取企業特定資料庫的資料，以更精準地回答問題。
支援生成式AI的NVIDIA軟硬體平台
而根據巫濟帆的介紹，NVIDIA支援生成式AI的軟體平台有三種，分別是支援語言模型的NeMo、支援生命科學相關模型(例如蛋白質分子結構模擬)的BioNeMo，還有與影像有關的Picasso，這些都可以透過NVIDIA的AI Enterprise服務取得，在DGX或AWS、Google或Microsoft Azure等雲端環境，或NVIDIA的本地裝置執行。
NeMo是一個端對端的雲端原生框架，能支援生成式AI模型的建置、客製化與部署。該軟體包括訓練和推論框架、防護工具組、資料統籌工具和預先訓練模型，能讓企業以符合成本效益、簡單快速的方式採用生成式AI。例如利用NeMo Retriever微服務(Microservice)，企業就可將自訂模型與各種商業資料流暢連結，進而提供高度準確的回應；此外透過企業級的RAG技術強化生成式AI應用程式，進而能連結至分散各處的企業資料。
因應AI由雲端轉移到網路邊緣裝置的趨勢，NVIDIA也推出了支援生成式AI的Edge平台，包括32G/64G的Jetson AGX Orin高階產品，16GB Jetson Orin NX與較低階的8G Jetson Orin Nano，可因應使用者不同的算力需求。除了展示在Jetson平台上的生成式AI應用範例(包括以文生圖、辨識物件與人物動作並提供語音或文字描述等等)，巫濟帆並指出，這幾款裝置都具備容易上手、儲存空間充足等優勢，並提供軟體開發工具套件與豐富的線上資源，有興趣投入Edge AI創新應用的開發者也可洽詢益登進一步了解更多產品細節。
在2023年爆紅的生成式AI (Generative AI)迄今熱度不減，除了吸引越來越多終端使用者運用該技術提升生產力，開發者也積極嘗試以生成式AI為基礎打造各種創新應用，特別是不需要連結雲端、在網路邊緣裝置上就可實現的智慧功能──也就是所謂的Edge AI。這股熱潮讓目前市場上能支援生成式AI的邊緣運算平台供應商成為矚目焦點，其中NVIDIA是最閃亮的明星之一，不僅能提供軟硬體兼備的系統級解決方案、容易上手的開發工具，還有資源豐富的廣大生態系夥伴扮演堅強後盾。
為了讓更多開發者了解生成式AI技術的魅力所在，以及NVIDIA的Jetson系列平台在部署Edge AI應用時發揮的關鍵作用，NVIDIA代理商益登科技(EDOM)與MakerPRO合作舉辦了一場線上講座，由來自益登的專家──技術經理巫濟帆(James Wu)──從講解生成式AI、大語言模型(LLM)的基礎原理出發，帶領聽眾探索生成式AI新技術將如何顛覆各行各業的運作模式；接著他詳細介紹了NVIDIA支援生成式AI模型的NeMo工具功能特色，並展示了利用Jetson系列平台實現的創新應用範例。
生成式AI將顛覆世界
那究竟什麼是生成式AI？巫濟帆表示，生成式AI是透過學習大量的資料，使用類神經網路去模仿那些資料的結構與邏輯來生成新的內容，包括文字、影像與聲音，甚至是蛋白質結構、DNA等等，其特色是使用非監督式或是半監督式學習來訓練一個大型語言模型，因為不需要大量標註，能節省這方面任務所需要的成本與時間；此外，生成式AI產生的內容可以是在訓練中未曾出現過的內容，簡單來說有點像是「無中生有」的能力。
能以文生圖的Stable Diffusion，或是輸入文字提示能產生另一段文字內容的ChatGPT，都是在去年爆紅的生成式AI模型。巫濟帆指出，生成式AI正在改變各行各業的運作模式，根據一項市場研究機構的調查，企業若導入生成式AI技術，取得營收成長10%以上的可能性是未導入該類技術之企業的2.6倍；而這也意味著各家企業必須要及早進行AI相關基礎設施的投資，才能掌握市場競爭優勢。
借助LLM與生成式AI在文字產生、翻譯、寫程式、視覺內容創作以及資料分析等方面的能力，無論是金融、醫療保健、零售、通訊、製造、能源、媒體、娛樂等產業或是政府機關，都可以從中獲益。巫濟帆補充：「例如在金融業支援個人化理財服務、防詐騙偵測，在醫療產業支援分子結構模擬、治療方案建議，還有協助零售業者透過分析消費者行為模式提供採購建議、在製造業生產線上讓人機協作過程更順暢，以及幫助媒體娛樂產業生成廣告內容、或是生成3D遊戲場景等等，生成式AI將會為不同垂直的產業帶來變革。」
圖1: 生成式AI將為各產業帶來各種助益
模型訓練與微調
生成式AI背後都有一個大型的基礎模型，需要訓練大量的數據；巫濟帆表示，通常企業採用生成式AI會有三種模式，第一個是直接使用既有的生成式AI基礎模型，像是OpenAI的ChatGPT、Google的Gemini或是Amazon的Bedrock等等，二是根據特定應用需求對基礎模型做一些中度的微調(fine tuning)或預訓練，這會需要花費一些時間與成本；「第三種是最少人會採用的模式，就是從頭到尾自己創建一個模型。這會需要具備相關專業知識的人力、大量的資料以及具備一定程度算力的平台。」
圖2: 企業導入生成式AI的不同形式
而若是要在生成式AI基礎模型上針對特定應用進行訓練或微調，方法則分為三類：一是P-tuning，即提示學習(Prompt Learning)，這種方法沒有修改模型的參數，而是設計一個可學習的提示來調整輸入的方式，讓輔助模型可以更充分理解並完成任務，讓LLM回答使用者想要它回答的問題。第二種是監督式微調(Supervised Fine Tuning)，也就是在基礎模型上加入特有的資料集去做額外訓練，這種方法會調整模型的參數與權重，會需要花費較多時間精力。
還有第三種方法則是以人類回饋為基礎的強化學習(Reinforcement Learning from Human Feedback，RLHF)；巫濟帆指出，這種方法顧名思義就是從人類使用者的回饋資料來調整、最佳化模型，讓模型的回答可以更貼近人類，減少一些不合邏輯的答案；ChatGPT就使用了這樣的技術來升級其版本。另外還有一種最近相當熱門的技術RAG (Retrieval-Augmented Generation)，它的原理是讓一個向量資料庫(vector database)與基礎模型連結，讓LLM能讀取企業特定資料庫的資料，以更精準地回答問題。
圖3: 生成式AI模型微調/訓練模式
支援生成式AI的NVIDIA軟硬體平台
而根據巫濟帆的介紹，NVIDIA支援生成式AI的軟體平台有三種，分別是支援語言模型的NeMo、支援生命科學相關模型(例如蛋白質分子結構模擬)的BioNeMo，還有與影像有關的Picasso，這些都可以透過NVIDIA的AI Enterprise服務取得，在DGX或AWS、Google或Microsoft Azure等雲端環境，或NVIDIA的本地裝置執行。
圖4: NVIDIA的生成式AI平台
NeMo是一個端對端的雲端原生框架，能支援生成式AI模型的建置、客製化與部署。該軟體包括訓練和推論框架、防護工具組、資料統籌工具和預先訓練模型，能讓企業以符合成本效益、簡單快速的方式採用生成式AI。例如利用NeMo Retriever微服務(Microservice)，企業就可將自訂模型與各種商業資料流暢連結，進而提供高度準確的回應；此外透過企業級的RAG技術強化生成式AI應用程式，進而能連結至分散各處的企業資料。
因應AI由雲端轉移到網路邊緣裝置的趨勢，NVIDIA也推出了支援生成式AI的Edge平台，包括32G/64G的Jetson AGX Orin高階產品，16GB Jetson Orin NX與較低階的8G Jetson Orin Nano，可因應使用者不同的算力需求。除了展示在Jetson平台上的生成式AI應用範例(包括以文生圖、辨識物件與人物動作並提供語音或文字描述等等)，巫濟帆並指出，這幾款裝置都具備容易上手、儲存空間充足等優勢，並提供軟體開發工具套件與豐富的線上資源，有興趣投入Edge AI創新應用的開發者也可洽詢益登進一步了解更多產品細節。
圖5: 依據算力區分等級的Jetson系列Edge AI平台
