中文 | English

70美元為第五代樹莓派添加AI套件

作者:陸向陽

 

圖1 樹莓派AI套件的硬體為一個PCIe對M.2介面的轉接器及一張M.2介面的模組子卡(圖片來源:樹莓派官網)

第五代樹莓派(RPi 5)有個特點,那就是具備PCI Express(PCIe)2.0介面,不過樹莓派基金會在設計RPi 5時希望維持電路板的嬌小特點,沒有使用一般電腦上已普遍使用的標準PCIe插槽,而是改用一個專屬連接器,透過該連接器再行轉接。

70美元的AI套件

一般認為該PCIe介面會用來連接固態硬碟,畢竟RPi 5效能大幅提升,持續使用microSD記憶卡當硬碟實在委屈,不過既然是PCIe介面就有各種連接可能,而近期(英國時間6月4日)基金會就發表了一個70美元的人工智慧(AI)套件,該套件附有一個轉接器,將RPi 5特有PCIe連接器轉成M.2介面,這稱之為Raspberry Pi M.2 HAT+(註1),然後再與M.2介面的AI推論加速模組子卡連接,讓RPi 5系統獲得AI推論的硬體加速能力。

註1:Raspberry Pi M.2 HAT+也有單獨出售,筆者查詢了美國DigiKey約12美元,主要設想還是用來連接M.2介面固態硬碟。

AI套件的重點是在模組子卡,該子卡上有一顆以色列新創公司Hailo的AI推論硬體加速晶片Hailo-8L,實際上是該公司過去Hailo-8晶片的降規版,Hailo-8的推論效率約為26TOPS(8位元整數精度而言),而Hailo-8L則降至13TOPS,晶片功耗也從2.5瓦降到1.5瓦。

圖2 模組子卡上主要是一顆以色列Hailo公司的Hailo-8L推論加速晶片(圖片來源:樹莓派官網)

為何會有降規版晶片?對此筆者只能推測,有可能是客戶反應有些AI推論應用不需要到26TOPS那麼高的效能,如此何不推出一個更平價、更省電的版本給客戶?或者可能晶片生產上有若干良率問題,若僅少部份電路壞損就讓整顆晶片報廢也有些可惜,在主功能無大礙下是可以改訴求低規、低價版。

除了Hailo-8、Hailo-8L外,Hailo公司也有Hailo-8R晶片、針對AI視覺應用特別強化的Hailo-15晶片,甚至針對生成式AI應用而推出Hailo-10H晶片。

雖然是用以色列晶片,但這是基金會官方自己推行的AI硬體套件,並且標榜無論是不是使用基金會官方的攝影機AI套件都可以支援運作,一顆Hailo-8L晶片在一個攝影機下同時支援多個視覺影像模型的推論,或者是兩個攝影機下同時支援一個模型或多個模型的推論。

圖3 先搭裝上轉接器,而後在轉接器上安裝模組子卡(圖片來源:樹莓派官網)

除了硬體晶片外套件裡另一個重點是軟體,Hailo公司隨Hailo-8L晶片提供豐富的預訓練模型可供運用,一堆預訓練模型的集合也稱為模型動物園(Model Zoo);同時基金會官方也針對攝影機應用提供rpicam-apps suite的軟體套餐,裡頭有即時攝影機推論的後處理範本(post-processing template)可用;或者也有Hailo公司的TAPPAS的後處理函式庫可用。有了這些只要再行撰寫幾百行C++程式碼就可以實現一個AI電腦視覺應用,而這些軟體整合很快也會套用到樹莓派官方的Picamera2上。

不僅是rpicam-apps或Picamera2,AI套件也能用在其他框架上,如GStreamer框架,或者供Python、C++撰寫成的應用程式以API呼叫方式取用。另外上述這些軟體的安裝也很方便,使用Debian Linux常見的應用程式套件(package)安裝方式即可,即是用apt下達命令列安裝,安裝完重新啟動RPi 5便可使用。

圖4 Hailo公司針對其晶片提供完整的軟體支援,如Hailo模型動物園、TAPPAS範例應用程式,另外也包含編譯器、執行階段的軟體等(圖片來源:Hailo官網)

小結

最後,不知道基金會是只推行一款硬體AI套件,還是未來會廣泛推出不同晶片商的套件,畢竟現在Edge AI的推論晶片相當多廠商投入。但也可能怕創客眼花撩亂、選擇無力,短期內只讓創客用戶熟悉一款軟硬體,而集中心力推Hailo方案。

無論基金會態度如何,既然在官方已如此示範,估計會有許多協力商推出類似方案,一樣透過M.2介面介接加速晶片,且讓我們拭目以待。

 

延伸閱讀:

https://www.raspberrypi.com/documentation/accessories/ai-kit.html#getting-started

樹莓派AI套件的起步說明(英文)

https://www.youtube.com/watch?v=m0O1r1ijFjk

https://www.youtube.com/watch?v=-huMW13Fp7U

樹莓派AI套件應用:物體識別

https://www.youtube.com/watch?v=xL013eHuSeI

樹莓派AI套件應用:人體姿態推估

https://www.youtube.com/watch?v=2xOogME0Ah4

樹莓派AI套件應用:畫面主體細分

 

 

 

分享到社群

vMaker編輯部

歡迎各界朋友投稿你的maker故事,不論是個人作品、創客觀點或是創客的經驗分享,我們都十分期待能聽到您的分享。 投稿請至:contact@vmaker.tw

This site or product includes IP2Location LITE data available from https://lite.ip2location.com.