歐尼克斯實境互動工作室(OmniXRI)
OmniXRI (Omni-eXtened Reality Interaction) 歐尼克斯實境互動工作室是一個全方位電腦視覺、實境互動、邊緣計算及人工智慧技術的愛好者及分享者,歡迎大家不吝留言指教多多交流。 這裡的文章大部份是個人原創,如有引用到他人內容都會註明,若不慎疏漏侵犯到,煩請儘快通知,我們會儘速處理。當然這裡的資料也歡迎引用及推廣,煩請註明出處(網頁網址),謝謝!
2028年12月31日 星期日
2024年11月17日 星期日
【課程簡報】20241117_中央大學_創意專題製作心法:從想法評估、可行性分析到新創競賽
今天很高興受中央大學土木工程系林子軒老師邀約,擔任苗圃計畫工作坊講師,和同學們聊聊「創意專題製作心法:從想法評估、可行性分析到新創競賽」這個主題,並將過往參加創業競賽及擔任評審的心得分享給大家,順便指導一下同學們目前正在進行的專案,希望未來不管是參加比賽或是創業都能有所助益。以下將此次課程簡報分享給大家參考。
(點擊圖放大)
2024年11月8日 星期五
歐尼克斯實境互動工作室部落格成立七週年
從2017/11/8創建這個部落格至今已滿七年了,又是到了自我檢視的時候了。感謝過去一年間大家的支持,點閱次數已累積532,254次,較去年新增109,642次,新增貼文61篇。相較去年貼文數38篇增加了近一倍多,點閱率較去年的39,954增加了二倍多。
以往發文時會大力在FB各AI社團上貼文分享獲取一些流量,但這兩年由於AI社團氛圍大多轉向 LLM & GenAI ,我寫的內容仍偏 Edge AI & TinyML ,且中規中矩沒有太多爆點,因此就較少大量轉發。而且今年的文章很多同步到 Medium & HackMD,因此也分散了一些流量到部落上(這兩項媒體較不容易統計總量,因此就未加入分析)。
到2024/11/8部落格累積瀏覽數統計 |
今(2024)年點擊率上升猜想還有另一個因素,就是今年二月受李宏毅老師感召,於是從三月開始在Youtube上連開了16週的「OmniXRI's Edge AI & TinyML小學堂」直播課程,獲得大量網友支持,Youtube合計近萬次瀏覽次數,間接連帶部落格也受益,也算另一種成果,讓我晉升成為小網紅。
除了部落格外,平日花最多心力的還是經營「Edge AI Taiwan 邊緣智能交流區」FB 社團,經過多年的努力,成員數也已破萬,其成果還受到 Intel & Arm 的關注,讓小弟有幸成為台灣地區第一位英特爾創新大使(Intel Innovator, 2023)(目前全世界不分領域近千位,榮譽職),今年也成為第一位 Arm 開發者大使(Arm Ambassador, 2024) (目前全世界共130位,榮譽職),這也是大家支持下的功勞。
經營自媒體及學習型社群是非常辛苦的,這是一份無給職的工作,我只能盡力而為,如果有作的不好的或者想更進一步交流的地方歡迎隨時留言。不過這裡補充一點,如果是商業單位尋求合作,請不要以為可以像社群一樣可以免費取得服務,畢竟我要靠這點收入來支撐這些半公益性的服務。
以下就是過去一年的成果,感謝大家的點閱、按讚,讓我有繼續寫下去的動力,如果覺得部落格、FB社團中的內容及Youtube的影片還用得上,歡迎多多分享給需要的人,謝謝!
2023/11/8-2024/11/8 Top10文章清單(1/2)
2023/11/8-2024/11/8 Top10文章清單(2/2)
延伸閱讀
2024年10月31日 星期四
大語言模型真的搞得懂人類的數學問題嗎?
作者: Jack OmniXRI 2024/10/31
今天剛好看了一個有趣的新聞[1]提到「面試官問 3, 4, 5 組成最大數字是多少? 博士神回答妙錄取」,結果答案是「5的43次方 」,當然這是不用計算機的情況下最快的反應出的最佳答案,但如果仔細給計算機精算後會發覺最大數字應該是「3的(4的5次方)次方, ,即3的1024次方 」才對,因為多了一個小括號就瞬間讓次方數達到最高。當然如果限制不能增加符號的話,那麼「4的53次方, 」 才是最大值而不是「5的43次方」,所以這位面試官也不合格-。
以下我們就拿這個題目來問幾個LLM,包括Google Gemini, OpenAI ChatGPT, Claude, Perplexity, Microsoft Copilot,看看誰能答的比較好。依序分三次問下列問題。
- 3,4,,5組成的最大數字是多少?
- 如果這是腦筋急轉彎的問題,有更好的解法嗎?
- 「3、4、5組成的最大數字」的答案好像不對,可以重新列出思考步驟,再給出正確答案嗎?
2024年10月28日 星期一
【vMaker Edge AI專欄 #22】使用Intel OpenVINO搭配YOLOv11輕鬆駕馭姿態偵測
作者:Jack OmniXRI, 2024/10/15
相信有在玩AI影像「物件偵測」的朋友對於YOLO(Yolo Only Look Once)一定不會陌生。從2015年第一版(v1)問世至今,在各路大神的努力之下,現在已發展到第十一版(v11),而其中 v4, v7, v9 正是中研院資訊所廖弘源所長及高徒王建堯博士所貢獻的。
目前最新的 YOLOv11 [1] [2] 就是由 Ultralytic 這家公司所提出的,它是基於該公司先前提出的 v8 版本進行改良而得的,並發表於今(2024)年9月底 YOLO Vision 2024 [3] 活動中。此次這個版本延續之前 v8 版本,一樣提供了「影像分類」、「物件偵測」(含正矩形和斜矩形外框)、影像分割、物件追蹤及姿態估測(人體骨架偵測)等模型,並支援多種推論框架,包括 Google TensorFlow, PyTorch, ONNX, Apple CoreML 及 Intel OpenVINO。
Intel OpenVINO 為了讓大家更快上手,馬上就在開源範例庫 Notebooks [4] 上給出 YOLOv11 物件偵測、姿態估測及影像分割等三個案例,還可支援 Google Colab ,讓大家不用在桌機、筆電上安裝 OpenVINO 也可體驗一把。
接下來我們就跟著源碼說明[5]來了解一下如何運行 【姿態估測】 範例「Convert and Optimize YOLOv11 keypoint detection model with OpenVINO™」及動作原理。完整源碼請參考[6],點擊連結即可進到 Google Colab 環境執行。
執行前建議可先點擊選單「檔案」─「在雲端硬碟中儲存複本」,複製一份到自己的雲端硬體,方便如果想修改測試時更為方便。接著點擊選單「編輯」─「清除所有輸出內容」,方便稍後觀察運行過程中產出的內容。最後點擊選單「執行階段」─「全部執行」即可看到所有運行結果。
原則上這個範例程式可分成五大段來看,如下所示。
- 原始 YOLOv11 推論結果
- 轉換到 OpenVINO IR推論結果
- 經過 NNCF 壓縮優化推論結果
- 使用基準測試工具進行比較
- 連續影片推論展示
這裡為方便大家學習,這裡已把完整源碼[6]步驟簡化為上述五大步驟,並將註解簡化成易懂的中文說明,新版完整範例及說明請參考下方連結。
2024年10月15日 星期二
感謝通過!成為台灣首位Arm開發者計畫大使(Arm Ambassador)
在Arm @Odin 大大的推薦下及提交了最近幾年協助推動 Arm 相關技術的成果,包含大量文章、教學影片及社群互動,歷經多輪審查後,終於成為台灣第一位「Arm 開發者計畫大使」(榮譽職),個人倍感榮幸也深感惶恐,擔心自己能力不足,只能盡力為之。後續如果有關於Arm開發者社群推動、技術推廣或相關事宜,歡迎一起加入。不過小弟能力有限,如果大家想更了解 Arm 相關技術可免費加入開發者計畫,即可獲得更好的技術支援。以下貼出來信及幾張代表圖示,將這份喜悅分享給大家。
“我很高興宣布,我已被選中成為 @Arm Ambassador!我期待支持 Arm Developer Program 社群,並與大家分享我的見解,一起打造 #onArm 的未來。最棒的是,您也可以成為成員。今天就註冊加入,和我一起踏上這段旅程。 #ArmDeveloper”
“I'm excited to announce that I've been selected to become an @Arm Ambassador! I look forward to supporting the Arm Developer Program community and sharing my insights with you all as we build the future #onArm. The best part? You can become a member too. Sign up today and join me on this journey. #ArmDeveloper”
#EdgeAI #ArmDevloper #ArmAmbassador #onArm
2024年10月14日 星期一
【課程簡報】20241015_中央太空_微型人工智慧如何應用於立方衛星
感謝今天(2024/10/15)中央大學太空科學與工程學系郭政靈教授的邀約,和同學們分享「微型人工智慧如何應用於立方衛星」。人造衛星從大型(>1000公斤)、中型(500~1000公斤,如福衛二、五號)、小型(100~500公斤,如福衛一、七號)、微型(10~100公斤,如福衛三號)到奈米衛星(1~10公斤,如中央飛鼠、珍珠立方衛星),就像目前Edge AI 離線推論系統從大型伺服器、桌機(筆電、工業電腦)、行動裝置(平板、手機)、單板微電腦(微處理器MPU等級,如樹莓派、Jetson Orin)及微型穿戴式(微控制器MCU、TinyML等級)。 立方衛星和微型人工智慧(TinyML)同樣有著麻雀雖小五臟俱全的特性,資源極其有限卻要發揮最大效能,所以今天就來讓同學們也來感受一下TinyML最新發展。
完整簡報大綱如下所示。
1. 立方衛星發展與系統架構
台灣立方衛星、開發中立方衛星、成功大學 PACE 立方衛星結構圖、成功大學鳳凰立方衛星結構圖、中央大學珍珠立方衛星結構圖、立方衛星常見酬載、立方衛星相關研究論文、AI晶片能上太空?
2. 何謂微型人工智慧 (TinyML)
邊緣智慧(Edge AI)誰說了算?、何謂微型人工智慧(TinyML) ?、常見嵌入式系統架構、常見 Arm 晶片CPU等級及指令集、TinyML常見應用及限制、TinyML案例分享(技術分類)、Edge AI & TinyML開發流程、開發框架與平台 (TinyML / CPU / GPU / NPU / MCU)
3. 單晶片如何加速推論計算
神經網路技術發展、單晶片如何加速推論計算、常見邊緣智慧硬體、常見具視覺TinyML開發板、CES 2024 MCU+NPU 相關產品、模型優化與部署
4. 立方衛星應用 TinyML 情境
* 矩陣計算、姿態計算、向量(矩陣)求解
* 環境異常偵測(異常分類)
* 影像辨識(影像增強、影像分類、物件偵測)
* 開源立方衛星─自由方塊 (LibreCube)
(點擊圖片放大)
2024年10月10日 星期四
如何讓 Arduino 2.0 快速編譯(增量編譯)
作者:Jack OmniXRI, 2024/10/10
以往在開發簡易型聲音辨識(Keyword Spotting / Voice Command)時常使用 Edge Impulse 來建立及訓練模型,再輸出成 Arduino LIB(ZIP)格式給對應的開發板使用[1]。不過由於 AI 相關函式庫非常多,所以第一次編譯程式時都得等上十到三十分鐘,這還勉強可以接受,但悲劇地是就算什麼都不作,再傳新上傳程式時也要再全部重新編譯一次,這就有點不合乎常理,不是沒更動到的部份就不用重編嗎?難道沒有好的解決方式嗎?
2024年9月28日 星期六
【vMaker Edge AI專欄 #21】 從2024自動化展看智慧機器人發展趨勢
作者:Jack OmniXRI, 2024/9/15
今年六月份 Nvidia 黃仁勳執行長在 Computex 2024 刮起一陣旋風,不僅帶來了各項 AI 前沿技術,更當起了台灣推廣大使,除了拼命走訪各地夜市推銷美食外,更將台灣各領域的伙伴們介紹給全世界認識,讓大家更了解台灣在 AI 的實力。
此次除了發表了開發 AI 所需高效硬體外,同時也介紹了數位孿生(Digital Twin)最佳工具 Omniverse,它不僅可適用於各種場景及機器的靜態模擬,更能幫助如自主移動機器人(Autonomous Mobile Robot, AMR)、多軸機器手臂(Robotic Arm, RA)建立足夠的測試資料集,以利在真實世界智慧視覺辨識及運動控制的表現。而搭配上述技術中最令人驚豔的就是此次壓軸的「人型機器人(Humanoid Robots, HR)」,讓大家深感科幻電影中的場景就要實現了。
2024年9月27日 星期五
【課程簡報】20240927_生成式AI的發展趨勢以及應用
很高興今天(2024/09/26)受文曄科技與英特爾邀請擔任此次活動講師之一,此次分享時間較長有一個小時,主題為「生成式AI的發展趨勢以及應用」,分為四小段,大綱如下所示。
1. Intel AI PC & NPU 技術演進
- 何謂AI PC ? 為何需要 NPU?
- 從 Computex 2024 看 Intel 技術藍圖
- 常見 AI PC 主要晶片比較
- Lunar Lake (Core Ultra V200系列) 功耗比較
- Intel NPU 演進
- Lunar Lake (Core Ultra 200V系列) AI 效能
- Geekbench AI 效能評測
- 神經網路技術發展
- 常見影像分類/物件偵測模型參數量
- 常見大型語言模型參數量
- 影像生成 效能/功耗 孰重?
2. OpenVINO 2024 最新亮點
- Intel OpenVINO 簡介
- OpenVINO 2024 亮點 ─ NNCF 模型壓縮
- NNCF 訓練後量化及訓練時優化流程
- OpenVINO 2024 亮點 ─ 異質加速
- OpenVINO 2024 亮點 ─直接支援AI框架
- OpenVINO 2024.2 亮點 – Gen AI API
- OpenVINO 2024.3 亮點 – Hugging Face
- OpenVINO 2024.3 亮點 – dGPU效能提升
3. 如何從決策式 AI 邁向生成式 AI
- 決策式 AI 常見應用
- OpenVINO Open Model Zoo (OMZ)
- OpenVINO Notebooks Colab範例 (1/2)
- OpenVINO Notebooks Colab範例 (2/2)
- 決策式 AI 應用實例 ─ 台達電
- 決策式 AI 應用實例 ─ 垃圾自動分類
4. 生成式AI 開發及應用例
- 生式 AI 常見應用
- OpenVINO 可支援生成式 AI 案例與模型
- 生成式 AI 應用實例 ─ PCBA 3D瑕疵生成
- 生成式 AI 應用實例 ─ 虛擬助理 (數字人)
- 生成式 AI 應用實例 ─ 聲控機器人Tonypi
- OpenVINO Notebooks 範例庫
- OpenVINO Notebooks Pages
- OpenVINO Notebooks AI 範例類型
- Notebooks 範例 ─ 對話生成 LLM Chatbot
- Notebooks 範例 ─ 語音生成 TTS Bark
- Notebooks 範例 ─ 影像生成 TinySD
- Notebooks 範例 ─ 影像生成 ControlNet
- 更多OpenVINO Notebooks AIGC範例(1/2)
- 更多OpenVINO Notebooks AIGC範例(2/2)
- HuggingFace + Intel 預訓練模型庫
- Intel AI Playground 生成式 AI 工具
(可點擊圖片放大觀看)
2024年9月22日 星期日
大型語言模型真的能解所有疑難雜症了嗎?
大型語言模型真的能解所有疑難雜症了嗎?留言
作者: Jack OmniXRI 2024/09/22
有學過可程式邏輯控制器(Programmable Logic Controller, PLC)的朋友應該都懂得階梯圖(Ladder)這種程式語言吧?甚至老一輩的還會拿手持式程式書寫器直接編寫指令,秀一下輸入手速,來讓徒弟們產生驚訝的表情。而通常入門的朋友一定會學到自保持迴路控制,就像學習電腦語言(Basic, C/C++, Java …)一定會寫「Hallo World!」,玩嵌入式的朋友一定會寫「Blink」一樣。
所謂自保持迴路通常會用在馬達或大動力的設備的開始和停止供電。一般會有一個開始按鍵(X0)、一個停止按鍵(X1)和一個繼電器(Y0),當按下開始時令繼電器激磁(導通),當按下停止鍵時繼電器結束激磁動作。如果用階梯圖表示則會得到如下圖傳統自保持回路所示,這和傳統配電盤的接線幾乎相同,較受傳統機械和電機人員喜歡。
近年來由於受電腦程式語言影響,有些較高階用法會改用設置(Set)開啟和重置(Reset)關閉來改變繼電器的輸出狀態。這裡暫不討論此類用法。
這兩年大家常說 ChatGPT(這裡泛指所有LLM大型語言模型)已可回答各式各樣的問題,但如果屬於網路上不容易收集或未被大量電子化的資料,此時就會力有未逮,開始胡說八道了。當然如果透過微調(Fine-Tuning)、擷取增強生成(RAG)還是有機會修正到大家可接受的範圍,這裡就先以標準公開的模型來進行測試。
以下就以相同提示句來詢問不同大型語言模型,包括Microsoft Copilot, Google Gemini, OpenAI ChatGPT, Claude, Perplexity ,看看會得到什麼結果。輸入內容為「請使用階梯圖來產生一個自保持回路範例,其中包含二個輸入及一個輸出。」
【頂置】簡報、源碼、系列文快速連結區
常有人反應用手機瀏覽本部落格時常要捲很多頁才能找到系列發文、開源專案、課程及活動簡報,為了方便大家快速查詢,特整理連結如下,敬請參考! Edge AI Taiwan 邊緣智能交流區 全像顯示與互動交流區 台科大(NTUST) 人工智慧與邊緣運算實務 開南大學...
-
作者:Jack OmniXRI, 2024/10/15 留言 相信有在玩AI影像「物件偵測」的朋友對於YOLO(Yolo Only Look Once)一定不會陌生。從2015年第一版(v1)問世至今,在各路大神的努力之下,現在已發展到第十一版(v11),而其中 v4, v7...
-
作者: Jack OmniXRI 2024/10/31 今天剛好看了一個有趣的新聞[1]提到「 面試官問 3, 4, 5 組成最大數字是多少? 博士神回答妙錄取 」,結果答案是「5的43次方 5 43 = 1.136 ∗ 10 30 」,當然這是不用計算機的情況下最快的反...