2024年6月28日 星期五

【課程簡報】20240628_OpenVINO x AIPC : 技術新亮點剖析

很高興今天受邀擔任「OpenVINO x 產業AI轉型關鍵技術論壇」講者並以「OpenVINO x AIPC：技術新亮點剖析」和大家分享一下 Intel AIPC 及 OpenVINO 的最新發展。此次簡報大綱如下。

  1. 從Computex看Intel技術藍圖
  2. AIPC 為何需要 NPU
  3. OpenVINO 2024最新亮點
  4. OpenVINO 生成式AI實例展示

（點擊圖片放大）

閱讀更多 »
於 沒有留言:
標籤： ,

2024年6月25日 星期二

台灣學術圈 TinyML 發展現況

作者：許哲豪 2024/6/25

台灣學術圈TinyML發展現況_Fig00

今年 Computex 2024 生成式 AI 火爆全場，各家 CEO 都紛紛來站台宣揚 AIGC & AIPC & NPU 世代來臨，全台產官學研的資源也幾乎壓寶於此，主要集中在行動智慧(手機、平板、筆電)的應用，對於嵌入式及穿戴式智慧(單板微電腦、單晶片)就僅有少數廠商參與，對比十多年前智慧物聯網(AIoT)興起時，滿場子都是智慧應用裝置，就顯得有些被邊緣化了。

建構 TinyML 生態系

身為超級邊緣人一份子，不免想幫大家更了解這個生態系，進而能投入更多資源來助威。邊緣智慧領域跨度頗大，大家可以參考「【vMaker Edge AI專欄 #17】 開發者如何選擇 Edge AI 開發方案」[1]，而一個完整的生態系必需包含下列條件。

  • 買的到、買的下手的硬體及開發套件 （供應商級）
  • 原廠充份的開發說明文件及範例程式 （工程師級）
  • 適量的應用例、教材及影片 （教育單位級）
  • 理想的交流空間、社群互動 （一般開發者級）
  • 更深入的理論開發及實踐 （學術研究級）
  • 政府機構及民間團體的協力推動 （政策推動級）

從以往的智慧物聯網(AIoT)經驗來看，嵌入式、穿戴式、微型感測式的智慧應用看似很有市場、技術門檻不高、應用領域很廣，但實際上大多數想把雲端 AIoT 轉向裝置端 AI 都會遇到相當多困難，就像開發汽車（GPU AI）或腳踏車（MCU AI）的工程師突然跑去開發機車（MPU/MCU + NPU）一樣地不知所措，中間技術的鴻溝需要更多的邊緣智慧(Edge AI)及微型機器學習(TinyML)教學課程及第三方軟硬體及系統供應商來協助解決。

若將裝置端 AI 技術領域拆解，從各大專院校所開設的課程大致可分為下列領域。

  • 數位邏輯及積體電路設計（CPLD / FPGA / NPU）
  • 計算機結構（CISC / RISC）
  • 程式語言（ASM / C/C++ / Python）、演算法及人機界面(GUI / HMI)
  • 嵌入式系統開發（微處理器MPU / 單晶片MCU / 神經網路處理單元 NPU）
  • 編譯器（Compiler）及即時作業系統（RTOS / ROS / MBED）
  • 資料探碪（大數據）及機器學習（Machine Learning）
  • 人工智慧（GPU AI）及邊緣智慧（Edge AI）（深度學習 / 自然語言 / 電腦視覺 / 多模態、生成式應用）
  • 算法、模型優化

彌平嵌入式與人工智慧鴻溝

目前在學研及業界中，嵌入式系統和人工智慧相關領域各自都發展的不錯，但中間的鴻溝頗大，整合上難度很高，主要是由於玩大型AI的人不懂得如何從超高算力、超多記憶體、超複雜模型中壓到不到1MB模型大小、數百KB隨機處理記憶體及少的可憐不到千分之一甚至萬分之一的算力，去建構一個微型AI應用。而微處理器及單晶片工程師則不懂 AI 工作流程，更不理解這類模型如何部署及除錯，更沒有足夠的知識進行推論效能優化。

2012年因為卷積神經網路(CNN)興起，開啟新一波的AI浪潮，主要集中在以 GPU 為中心的大型AI應用。有別於大型應用，2019年非營利組織 tinyML 基金會[2]成立，積極整合能將微型智慧應用功耗控制在毫瓦(mW)等級的晶片(MCU/MPU/NPU)、算法、產品、服務等供應商，企圖打造一個離網微型智慧應用的生態系。這個組織沒有強制的規範約束，也沒有建立共同標準，但積極推動各項技術發展，也在全世界辦理許多類學術研討會及技術論壇。去年也曾在韓國有辦理過 tinyML Asia 2023[3]，台灣也有數個廠商參與，如 Himax, Skymizer 等，因此「tinyML」這個代名詞亦可等於 Embedded AI, Embedded Machine Learning, Micro AI, Tiny AI, MCU AI, MPU AI, AI on Device 等小型、微型智慧裝置及應用的代名詞。

為了彌平嵌入式系統和人工智慧兩端的距離及開發的困難，所以目前有很多 TinyML 系統、平台供應商提供從資料收集管理、模型選用建立、訓練參數調整到模型優化部署等全面性的解決方案，如 Edge Impulse、SensiML等，讓一些想專心特定領域應用的開發商及學術單位可以用較不費力的方式進入小型 AI 應用領域。

國內 TinyML 學術論文

目前 Embedded AI 及 TinyML 技術在台灣還算在起步階段，已經有很多大專院校的老師帶著學生在從事相關應用及學術論文發表，為了讓大家更了解目前台灣學界的研究成果，這裡幫大家盤點了最近五年（2020 ~ 2024）出版的相關論文並簡單分類，主要鎖定在可獨立離網進行 AI 推論的軟硬體及系統，即可在單板微電腦(SBC, 如樹莓派、Jetson Nano等)、微處理器(MPU, 如Arm Cortex-A系列等)及單晶片(MCU, 如Arm Cortex-M, RISC-V等)上運行的算法及應用。

主要資料來源為國家圖書館臺灣博碩士論文加值系統，查詢關鍵字為 "tinyml", "tiny machine learning", "微型機器學習"，查詢欄位為「關鍵字(Keyword, kw)」、「摘要(Abstract, ab)」及「標題(Title, ti)」，以下列指令進行複合式查詢。

"tinyml".kw,ab,ti or "tiny machine learning".kw,ab,ti or "微型機器學習".kw,ab,ti

經查找得到20筆論文，共13校、16系所、16位指導教授。完整論文清單如下所示，依學校系所、指導教授、出版進行排序，方便大家了解有哪些老師正在從事相關研究。

註：點擊論文名稱可自動連結到台灣博碩網

No.論文名稱研究生指導教授學校系所出版
01鄭仲凱陳雍宗大葉電機2023
02王耀駿陳雍宗大葉電機2023
03羅健銘楊忠原正修電機2022
04陳存平唐明中明志電子2023
05蔡沛清林子軒中央土木2023
06張建達林子軒中央土木2023
07莊庭翰林子軒中央土木2022
08劉冠宇王家慶中央資工2022
09劉冠宏黃崇勛中正電機2022
10陳冠傑劉立頌中正電機2022
11孫啟慧涂嘉恒成大資工2024
12吳承彬許永和虎尾資工202
13楊宗峻徐偉智高科電通2023
14黃柏諺周百祥清大資工2023
15黃普揚周百祥清大資應2022
16張哲郡陳添福陽交資工2023
17戴宏諺葉宗泰陽交網工2023
18張翔量鍾官榮彰師機電2022
19鄭翔升黃文吉台師資工2024
20李宗原楊淳良淡大電機2021

為了更擴大搜索範圍，把關鍵字再加上「嵌入式 and 機器學習」及「嵌入式 and 深度學習」，進行更深入檢索，如下指令。

"tinyml".kw,ab,ti or "tiny machine learning".kw,ab,ti or "微型機器學習".kw,ab,ti or ("嵌入式".kw,ab,ti and ("機器學習".kw,ab,ti or "深度學習".kw,ab,ti))

經查找共得365筆，扣除2019（含）之前論文後得229筆，共39校、104系所、155位指導教授。其中交通大學2020年論文併入陽明交通大學一併統計。

以下簡單列出超過三篇以上論文之指導教授名單，方便大家了解相關領域專家，合計79篇，佔近五年論文數量的34.5%。

陽交電子 郭峻因(9)、中正電機 黃崇勛(8)、中興電機 范志鵬(5)、中興電機 蔡耀全(5)、雲科電子 夏世昌(5)、北科機械 李志鴻(4)、北科電機 張陽郎(4)、雲科電子 許明華(4)、中正資工 林泰吉(4)、中山資工 蕭勝夫(4)、南台電子 李博明(3)、台大機械 李綱(3)、中央土木 林子軒(3)、中正資工 張榮貴(3)、雲科電機 紀光輝(3)、雲科電子 蘇慶龍(3)台大生機 郭彥甫(3)、北科自動 陳文輝(3)、大葉電機 陳雍宗(3)。

以下就依校系名稱、指導教授及出版年份（由新到舊）進行排序。

註：點擊論文名稱可自動連結到台灣博碩網

論文名稱研究生指導教授校系名稱出版年份
賈漢文謝禎冏大同資工2023
金鼎奕謝禎冏大同資工2022
鐘立偉林仁勇大葉電機2023
林奕辰陳雍宗大葉電機2024
鄭仲凱陳雍宗大葉電機2023
王耀駿陳雍宗大葉電機2023
曾歆庭蕭勝夫中山資工2022
陳冠霖蕭勝夫中山資工2022
林鑫辰蕭勝夫中山資工2021
陳俊良蕭勝夫中山資工2020
王翊芸鄺獻榮中山資工2020
趙晨皓邱日清中山電機2023
李冠毅邱日清中山電機2022
林雨欣彭昭暐中山機電2023
蔡沛清林子軒中央土木2023
張建達林子軒中央土木2023
莊庭翰林子軒中央土木2022
簡莨蔚陳永芳中央通工2020
賴秋燕陳彥文中央通工2020
劉冠宇王家慶中央資工2022
張仲良孫敏德中央資工2022
謝易軒王文俊中央電機2021
池宇非吳炤民中央電機2024
黃思齊徐國鎧中央電機2023
吳柏賢蔡宗漢中央電機2022
童迺婕蔡宗漢中央電機2022
許晉瑋蔡宗漢中央電機2020
劉浩銘李皇辰中正通工2021
張明祥林泰吉中正資工2024
徐孟澤林泰吉中正資工2021
王宣仁林泰吉中正資工2020
莊俊輝林泰吉中正資工2020
楊哲銓張榮貴中正資工2023
林丞熙張榮貴中正資工2020
王聖融張榮貴中正資工2020
陳立勝黃崇勛中正電機2023
呂鎮宇黃崇勛中正電機2023
陳宗祺黃崇勛中正電機2023
劉冠宏黃崇勛中正電機2022
彭亮丁黃崇勛中正電機2022
李啟源黃崇勛中正電機2022
戴少庠黃崇勛中正電機2022
陳子修黃崇勛中正電機2020
江衍廷葉經緯中正電機2022
陳冠傑劉立頌中正電機2022
黃舜盈敖仲寧中正機械2021
莊慧玲劉冠顯中科資工2022
許嘉仁賴正育中原企管2022
譚少謙湯松年中原資工2020
陳建芳朱守禮中原電子2023
陳宗毅陳世綸中原電子2023
林映丞繆紹綱中原電子2023
鄧有成涂世雄中原電機2022
葉文祥廖裕評中原電機2023
朱濬謙蔡燿全中興生機2024
孫碩靖蔡燿全中興生機2024
朱菁芳蔡燿全中興生機2022
莊景勛蔡燿全中興生機2021
陳昱傑蔡燿全中興生機2020
李協致謝廣文中興生機2021
李昌叡謝廣文中興生機2020
蕭丞軒高勝助中興資工2020
黃詩淳林冠成中興資管2024
陳姣雯蔡孟勳中興資管2021
歐威良范志鵬中興電機2023
褚保維范志鵬中興電機2023
賴頎鈞范志鵬中興電機2022
潘彥碩范志鵬中興電機2021
鄭宇修范志鵬中興電機2020
楊宗軒黃穎聰中興電機2023
林欣彤溫志煜中興電機2024
山塔努林啟芳元智資工2021
阮鄭重陽歐昱言元智資工2020
黃慶昀汪群超北大統計2020
范嘉玲林道通北大資工2020
林威宇詹景裕北大電機2021
徐唯中許嘉裕北科工工2022
黃宇瑍林志哲北科自動2022
曾韋智林志哲北科自動2021
許修睿陳文輝北科自動2022
傅冠傑陳文輝北科自動2020
郭翰揚陳文輝北科自動2020
陳立昂李達生北科能源2020
呂秀盈陳彥霖北科資工2021
何宗龍李文達北科電子2023
李其鴻李昭賢北科電子2022
蘇立誠蔡偉和北科電子2022
鄒昌諭賴冠廷北科電子2022
鄭偉辰李俊賢北科電機2022
葉又銘姚立德北科電機2021
鄭宇孝姚立德北科電機2021
許志成張陽郎北科電機2023
江承峻張陽郎北科電機2023
蔡岳勳張陽郎北科電機2021
蔣亞哲張陽郎北科電機2021
簡川隆黃有評北科電機2023
林寶昌黃有評北科電機2021
吳宗恩練光祐北科電機2022
張和豐李志鴻北科製科2023
黃羿豪李志鴻北科製科2020
周威圻何昭慶北科機電2021
林鴻智李志鴻北科機電2022
陳奎文李志鴻北科機電2020
俞傑許佳興北教資科2021
林聖祐傅楸善台大生資2023
段紹安林達德台大生機2020
陳柏霖郭彥甫台大生機2023
蔡侑容郭彥甫台大生機2022
粘書耀郭彥甫台大生機2020
陳育婷蔡政安台大統計2020
張季祐傅楸善台大資工2023
蔡祐琳林永松台大資管2023
林均澤簡韶逸台大電子2020
洪譽承丁建均台大電信2022
陳俊儒李綱台大機械2021
曾俊為李綱台大機械2020
陳俊翰李綱台大機械2020
洪子翔沈上翔台科資工2020
苑家齊黃元欣台科資工2022
紀玉敏鍾國亮台科資工2021
吳婉萍呂政修台科電子2021
鄭又瑄林銘波台科電子2020
陳冠宇賴坤財台科電子2020
劉琦允周瑞生台科營建2024
鄭翔升黃文吉台師資工2024
蔡陳杰黃文吉台師資工2021
羅健銘楊忠原正修電機2022
柯勛耀侯廷偉成大工科2020
孫啟慧涂嘉恒成大資工2024
李俊德張大緯成大資工2020
沈詮鈞連震杰成大資工2021
朱庭慶林志隆成大電機2021
葉豐豪陳朝鈞成大製系2024
林怡秀莊啟宏佛光資應2022
陳存平唐明中明志電子2023
林家財黃植振明志電子2021
徐光廷鄒杰烔虎科航電2022
林倪君林易泉虎科資工2020
吳承彬許永和虎科資工2024
朱冠融許永和虎科資工2022
石豐連顏志達虎科電機2020
吳哲維魏一勤長庚電機2023
林侑慶李博明南臺電子2022
吳伯律李博明南臺電子2021
曾冠榤李博明南臺電子2021
柯欣芳施金波南臺電機2022
林宗賢廖文宏政大資科2020
謝茗鈞辛華昀海大資工2022
唐與笙李東霖海大電機2022
戴健亘張忠誠海大電機2023
楊宗峻徐偉智高科電通2023
羅翊祥韓維愈健行資工2022
吳維盛陳淵琮崑山資工2023
周明勝林文暉崑山資管2020
丁丞郁吳向宸崑山機械2021
李宗原楊淳良淡大電機2021
陳文東王銀添淡大機電2020
朱珈立葉維彰清大工工2023
鐘祥維姚遠清大化工2022
高聖哲黃之浩清大通工2022
楊峻傑李政崑清大資工2023
黃柏諺周百祥清大資工2023
吳宗憲金仲達清大資工2021
劉育騏張隆紋清大資工2022
鄧意頻張隆紋清大資工2021
林哲聰賴尚宏清大資工2020
黃普揚周百祥清大資應2022
高銘杉李祈均清大電機2020
高振晏陳博現清大電機2021
吳梓傑沈祖望逢甲自控2023
凃毓昇林上智逢甲自控2024
吳友輝竇其仁逢甲資工2021
徐福任鄭經華逢甲電子2024
莊詠存陳榮靜朝陽資管2023
黃明祥許聞廉陽交生資2022
張先佑許鉦宗陽交生醫2020
莊斯堯謝君偉陽交智科2021
劉維恆郭峻因陽交智慧2023
王賢程郭峻因陽交智慧2023
林怡秀易志偉陽交資工2022
張哲郡陳添福陽交資工2023
郭雅然游逸平陽交資工2022
黃思淳黃俊穎陽交資工2022
楊秉叡古政元陽交資管2020
王韋鈞莊紹勳陽交電子2020
林子靖郭峻因陽交電子2023
胡哲綸郭峻因陽交電子2022
吳柏勳郭峻因陽交電子2021
賴志昇郭峻因陽交電子2021
林佳正郭峻因陽交電子2021
林弘偉郭峻因陽交電子2020
蔡家齊郭峻因陽交電子2020
康力仁宋開泰陽交電控2021
詹清翔陳永平陽交電控2020
松黃方偉騏陽交電資2020
金凱娜宋開泰陽交電資2021
阮德輝趙昌博陽交電資2022
習瑪瑞賴伯承陽交電資2021
曹家瑋簡仁宗陽交電機2020
戴宏諺葉宗泰陽交網工2023
柯柏宏李育杰陽交數工2021
謝明恩曾新穆陽交數工2020
邵思維夏世昌雲科電子2023
徐育勝夏世昌雲科電子2023
袁維謙夏世昌雲科電子2023
鍾璨鴻夏世昌雲科電子2021
鄭孟杰夏世昌雲科電子2021
張育軒許明華雲科電子2023
張榮鑑許明華雲科電子2022
林耿瑋許明華雲科電子2021
蔡長銘許明華雲科電子2021
黃瀚緯蘇慶龍雲科電子2023
鐘竣耀蘇慶龍雲科電子2022
李俊德蘇慶龍雲科電子2020
蔡秉翰吳先晃雲科電機2023
曾士軒洪崇文雲科電機2022
黃錦泓紀光輝雲科電機2022
錢昱杰紀光輝雲科電機2022
蔡協霖紀光輝雲科電機2020
官元弘顏孟華勤益電子2023
洪聖宗郭英哲勤益電機2021
林瑞惲廖冠雄義守資工2024
蘇柏丞徐超明嘉義電機2023
許富淵陳仁德彰師資工2021
張翔量鍾官榮彰師機電2022
李威劉震昌暨南資工2021
陳淵傑韓欽銓聯合資工2023
吳益賢韓欽銓聯合資工2020
謝昀晉張呈源聯合電機2021

國際 TinyML 學術論文

如果想更了解國際上 TinyML 相關研究的朋友，個人經過歷年來的收集，目前已有整理了2003~2023年超過500篇的論文清單，有興趣的朋友可參考下列連結。如有不足的地方也請留言推薦。

https://hackmd.io/@OmniXRI-Jack/tinyML_papers

小結

此次篩選出的論文數量繁多，個人僅花費數日整理，無法一一詳讀、過濾、分類，亦有可能出現關連性不強論文，在此先說聲抱歉，待後續有時間再做更進一步分析，大家可自行點擊有興趣的論文連結了解更多資訊，也期待希望透過此次的概略性整理能收到拋磚引玉效果。

參考文獻

[1] 許哲豪，【vMaker Edge AI專欄 #17】 開發者如何選擇 Edge AI 開發方案
https://omnixri.blogspot.com/2024/05/vmaker-edge-ai-17-edge-ai.html

[2] tinyML Foundation
https://www.tinyml.org

[3] tinyML Asia 2023
https://www.tinyml.org/event/asia-2023/

延伸閱讀

[A] OmniXRI 學習資源 ─ TinyML
https://hackmd.io/@OmniXRI-Jack/series_articles#TinyMLMCU-AI系列

於 沒有留言:
標籤：
訂閱： 文章 (Atom)

【頂置】簡報、源碼、系列文快速連結區

常有人反應用手機瀏覽本部落格時常要捲很多頁才能找到系列發文、開源專案、課程及活動簡報，為了方便大家快速查詢，特整理連結如下，敬請參考！ Edge AI Taiwan 邊緣智能交流區 全像顯示與互動交流區 台科大(NTUST) 人工智慧與邊緣運算實務 開南大學...