你的位置:首頁 > 互連技術 > 正文

                                    一種基于 FPGA 的圖神經網絡加速器解決方案

                                    發布時間:2021-08-09 責任編輯:lina

                                    【導讀】一些可穿戴設備制造商不認為能量收集(任何形式)是有意義的設計。為了追求自供電的可穿戴設備,電子開發人員正在尋求改變如今這種狀況。
                                     
                                    得益于大數據的興起和計算能力的快速提升,機器學習技術近年來經歷了革命性的發展。諸如圖像分類、語音識別和自然語言處理等機器學習任務,都是對具有一定大小、維度和有序排列的歐幾里得數據進行處理。然而,在許多現實場景中,數據是由復雜的非歐幾里得數據(例如圖形)表示的。這些圖形不僅包含數據,還包含數據之間的依賴關系,例如社交網絡、蛋白質分子結構、電子商務平臺中的客戶數據等。數據復雜性的提升給傳統的機器學習算法設計及其實現技術帶來了嚴峻的挑戰。在這種情況下,許多全新的基于圖形的機器學習算法或圖神經網絡(GNN)不斷在學術界和工業界涌現。
                                     
                                    GNN 對計算能力和存儲有非常高的要求,而且其算法的軟件實現效率非常低。因此,業界對 GNN 的硬件加速有著非常迫切的需求。盡管傳統的卷積神經網絡(CNN)硬件加速有很多種解決方案,但 GNN 的硬件加速還沒有得到充分的討論和研究。在撰寫本白皮書時,谷歌(Google)和百度(Baidu)都無法搜索到關于 GNN 硬件加速的中文研究資料。本白皮書的寫作動機是將國外最新的 GNN 算法、對加速技術的研究以及對基于現場可編程邏輯門陣列(FPGA)的 GNN 加速技術的探討相結合,并以概述的形式呈現給讀者。
                                     
                                    對圖神經網絡(GNN)的介紹
                                     
                                    在宏觀層面上,GNN 的架構與傳統 CNN 有很多相似之處,諸如卷積層、池化、激活函數、機器學習處理器(MLP)、全連接層(FC layer)等模塊,這些都可以應用到 GNN。下圖展示了一個相對簡單的 GNN 架構。
                                     
                                    一種基于 FPGA 的圖神經網絡加速器解決方案
                                    圖 1:典型的 GNN 架構(來源:https://arxiv.org/abs/1901.00596)
                                     
                                    但是,GNN 中的圖形數據卷積計算與傳統 CNN 中的二維卷積計算不同。以下圖為例,紅色目標節點的卷積計算過程如下所示:
                                    1、圖卷積 - 使用近鄰函數對周圍節點的特征進行采樣,并計算平均值。相鄰節點的數量是不確定且無序的(非歐幾里得數據)
                                    2、二維卷積——使用卷積核對周圍節點的特征進行采樣,并計算加權平均值。相鄰節點的數量是確定且有序的(歐幾里得數據)
                                     
                                    一種基于 FPGA 的圖神經網絡加速器解決方案
                                    圖 2:圖卷積和二維卷積(來源:https://arxiv.org/abs/1901.00596)
                                     
                                    對 GraphSAGE 算法的介紹
                                     
                                    學術界對 GNN 算法進行了大量的研究和探討,提出了相當多的創新實現方法。其中,由斯坦福大學(Stanford University)于 2017 年提出的 GraphSAGE 是一種歸納表示學習算法,用于預測大規模圖中動態的、全新的、未知的節點類型,還專門針對節點數量龐大、節點特征豐富的圖進行了優化。如下圖所示,
                                    GraphSAGE 算法的計算過程可以分為三個主要步驟:
                                    1、相鄰節點采樣——用于降低復雜性,一般采樣兩層,每層采樣幾個節點。
                                    2、聚合——用于嵌入目標節點,即圖的低維向量表示。
                                    3、預測——使用嵌入作為全連接層的輸入,以預測目標節點 d 的標簽。
                                     
                                    一種基于 FPGA 的圖神經網絡加速器解決方案
                                    圖 3:GraphSAGE 算法的可視化表示(來源:http://snap.stanford.edu/graphsage)
                                     
                                    1.Sample neighborhood
                                    1、樣本鄰域
                                    2.Aggregate feature information from neighbors
                                    2、聚合來自鄰域的特征信息
                                    3.Predict graph context and label using aggregated information
                                    3、利用聚合信息預測圖形情況和標簽
                                     
                                    為了在 FPGA 中實現 GraphSAGE 算法加速,必須了解其數學模型,以便將算
                                    法映射到不同的邏輯模塊。下圖所示的代碼說明了該算法的數學過程。
                                     
                                    一種基于 FPGA 的圖神經網絡加速器解決方案
                                    圖 4:GraphSAGE 算法的數學模型(來源:http://snap.stanford.edu/graphsage)
                                     
                                    Step 1: Sample a sub-graph node with neighborhood function N[}.
                                    步驟 1:使用近鄰函數 N[}對子圖節點進行采樣。
                                    Step 2: Aggregate features from neighbor nodes, e.g. mean[}, lstm[}, polling[}
                                    步驟 2:聚合相鄰節點的特征,例如 mean[}、lstm[}、polling[}
                                    Step3: Combine aggregated node features. E.g. convolution[}
                                    步驟 3:合并聚合的節點特征。例如卷積[}
                                    Step 4: Nonlinear activation, e.g, relu[}
                                    步驟 4:非線性激活,例如 relu[}
                                    Step 5: Iterate for each neighbor with a sub-graph
                                    步驟 5:使用子圖迭代每個鄰域
                                    Step 6: Normalize
                                    步驟 6:標準化
                                    Step 7: Iterate for each search-depth
                                    步驟 7:對每個深度搜索進行迭代
                                    Step 8: Final node embedding of node v
                                    步驟 8:節點 v 的最終節點嵌入
                                     
                                    對于每個要處理的目標節點 xv,GraphSAGE 算法都會執行以下操作:
                                    1、通過近鄰采樣函數 N(v)對子圖中的節點進行采樣。
                                    2、聚合要采樣的相鄰節點的特征。聚合函數可以是 mean()、lstm()或 polling()
                                    等。
                                    3、將聚合結果與上一次迭代的輸出表示合并起來,并使用 Wk 進行卷積。
                                    4、對卷積結果進行非線性處理。
                                    5、多次迭代以結束當前第 k 層的所有相鄰節點的處理。
                                    6、對第 k 層迭代的結果進行標準化處理。
                                    7、多次迭代以結束對所有 K 層采樣深度的處理。
                                    8、將最終的迭代結果 zv 嵌入到輸入節點 xv。
                                     
                                    GNN 加速器設計所面臨的挑戰
                                     
                                    GNN 算法涉及大量的矩陣計算和存儲訪問操作。在傳統的 x86 架構服務器上運行這種算法的效率是非常低的,表現為速度慢、能耗高等。
                                     
                                    新型圖形處理器(GPU)的應用可以顯著提高 GNN 的計算速度與能效比。但是,GPU 在存儲可擴展性方面存在短板,使其無法處理圖形中的海量節點。GPU 的指令執行方式也會導致計算延遲過大和不確定性;因此,它不適用于需要實時計算圖形的場景。
                                     
                                    上面提到的各種設計挑戰,使得業界迫切需要一種能夠支持高并發、實時計算,擁有巨大存儲容量和帶寬,并可擴展到數據中心的 GNN 加速解決方案。
                                     
                                    基于 FPGA 設計方案的 GNN 加速器
                                     
                                    Achronix 的 Speedster®7t 系列 FPGA 產品(以及該系列的第一款器件AC7t1500)是針對數據中心和機器學習工作負載進行了優化的高性能 FPGA器件,消除了基于中央處理器(CPU)、GPU 和傳統 FPGA 的解決方案中存在的若干性能瓶頸。Speedster7t 系列 FPGA 產品采用了臺積電(TSMC)的7nm FinFET 工藝,其架構采用了一種革命性的全新二維片上網絡(NoC)、獨創的機器學習處理器矩陣(MLP),并采用高帶寬 GDDR6 控制器、400G 以太網和 PCI Express Gen5 接口,在確保 ASIC 級性能的同時,它為用戶提供了靈活的硬件可編程性。下圖展示了高性能 FPGA 器件 Speedster7t1500 的架構。
                                     
                                    一種基于 FPGA 的圖神經網絡加速器解決方案
                                    圖 5:Achronix 高性能 FPGA 器件 Speedster AC7t1500 的架構
                                     
                                    上述特點使 Achronix Speedster7t1500 器件成為應對在 GNN 加速器設計中面臨的各種挑戰的完美解決方案。
                                     
                                    表 1:GNN 設計面臨的挑戰和 Achronix Speedster7t1500 FPGA 器件提供的
                                    解決方案
                                     
                                    一種基于 FPGA 的圖神經網絡加速器解決方案
                                     
                                    GNN 加速器頂層架構
                                     
                                    此 GNN 加速器是為 GraphSAGE 算法設計的,但是它的設計也可以應用于其他類似的 GNN 算法加速。其頂層架構如下圖所示。
                                     
                                    一種基于 FPGA 的圖神經網絡加速器解決方案
                                    圖 6:GNN 加速器頂層架構
                                     
                                    Synthesizable IPs
                                    可綜合的 IP
                                    GNN Core: Preforms GNN computation
                                    GNN 內核:執行 GNN 計算
                                    RoCE-Lite: Memory scalability with RDMA
                                    RoCE-Lite:采用 RDMA 的存儲可擴展性
                                    Harden IPs
                                    硬化 IP
                                    NoC: High speed and unified IP connectivity
                                    NoC:高速、統一的 IP 連接
                                    DDR4 Ctrl: Large memory for graph storage
                                    DDR4 Ctrl:用于圖形存儲的大存儲容量
                                    GDDR6 Ctrl: High speed memory for computing
                                    GDDR6 Ctrl:用于計算的高速存儲
                                    PCIe Gen5×16: High throughout host interface
                                    PCIe Gen5×16:高吞吐量的主機接口
                                    Ethernet 400GE: High speed network
                                    以太網 400GE:高速網絡
                                     
                                    該架構由以下模塊組成:
                                     
                                     ●圖中的 GNN 內核是算法實現的核心部分(詳情如下)。
                                     ●RoCE-Lite 是 RDMA 協議的輕量級版本,用于通過高速以太網進行遠程存儲訪問,以支持海量節點的圖計算。
                                     ●400GE 以太網控制器用于承載 RoCE-Lite 協議。
                                     ●GDDR6 存儲器用于存儲 GNN 處理過程中所需的高速訪問數據(DDR4 作為備用大容量存儲器)。該存儲器用于存儲訪問頻率相對較低的數據,例如
                                     ●PCIe Gen5 ×16 接口提供高速主機接口,用于與服務器軟件進行數據交互。
                                     
                                    上述所有模塊均通過具有高帶寬的 NoC 實現互連。
                                     
                                     
                                    GNN 內核微架構
                                     
                                    在開始討論 GNN 內核的微架構之前,有必要先回顧一下 GraphSAGE 算法。
                                     
                                    其內層循環的聚合和合并(包括卷積)占據了該算法的大部分計算和存儲訪問。通過研究,我們得出這兩個步驟的特點,具體如下。
                                     
                                    表 2:GNN 算法中聚合和合并操作的對比(來源:https://arxiv.org/abs/1908.10834)
                                    一種基于 FPGA 的圖神經網絡加速器解決方案
                                     
                                     
                                    可以看出,聚合操作和合并操作在計算和存儲訪問模式上有著完全不同的需求。聚合操作涉及相鄰節點的采樣。然而,圖形是一種非歐幾里得數據類型——它的大小和維度是不確定且無序,矩陣稀疏,節點位置隨機。因此,存儲訪問是不規則的,并且難以重復利用數據。
                                     
                                    在合并操作中,輸入數據是聚合結果(節點的低維表示)和權重矩陣。它的大小和維度是固定的,具有線性存儲位置。因此對存儲訪問沒有挑戰,但是矩陣的計算量非常大。
                                     
                                    基于上述分析,我們決定在 GNN 內核加速器設計中選擇使用兩種不同的硬件結構來分別處理聚合和合并操作(如下圖示):
                                     
                                    聚合器——通過單指令多數據(SIMD)處理器陣列,對圖形相鄰節點進行采樣和聚合。單指令可以預定義為 mean()平均值計算,或其他適用的聚合函數;多數據是指單次 mean()均值計算中需要多個相鄰節點的特征數據作為輸入,這些數據來自子圖采樣器。SIMD 處理器陣列通過調度器 AggScheduler 進行負載平衡。子圖采樣器通過 NoC 從 GDDR6 或 DDR4 讀回的鄰接矩陣和節點特征數據 h0v 分別緩存在鄰接列表緩沖區(Adjacent ListBuffer)和節點特征緩沖區(Node Feature Buffer)。聚合的結果 hkN(v)存儲在聚合緩沖區(Aggregation Buffer)中。
                                     
                                    合并器——通過脈動矩陣 PE 對聚合結果進行卷積運算。卷積核是 Wk 權重矩陣。卷積結果由 ReLU 激活函數進行非線性處理,同時也存儲在 PartialSum Buffer 中,以用于下一輪迭代。
                                     
                                    一種基于 FPGA 的圖神經網絡加速器解決方案
                                    圖 7:GNN 內核功能框圖
                                     
                                    合并結果經過 L2BN 標準化處理后,即為最終的節點表示 hkv。在一個典型的節點分類預測應用中,節點表示 hkv 可以通過一個全連接層(FC)來獲取節點的分類標簽。這個過程是傳統的機器學習處理方法之一,在 GraphSAGE 文獻資料中沒有體現,這個功能也沒有包含在這個架構中。
                                     
                                    結論
                                    本白皮書探討了 GraphSAGE GNN 算法的數學原理,并從多個角度分析了GNN 加速器設計中的技術挑戰。通過分析問題并在架構層面逐一解決,提出了一種架構,利用 Achronix Speedster7t AC7t1500 FPGA 器件提供的具有競爭性的優勢,創建了一種高度可擴展的、能夠提供卓越性能的 GNN 加速解決方案。
                                     
                                    免責聲明:本文為轉載文章,轉載此文目的在于傳遞更多信息,版權歸原作者所有。本文所用視頻、圖片、文字如涉及作品版權問題,請電話或者郵箱聯系小編進行侵刪。
                                     
                                     
                                    推薦閱讀:
                                    什么樣的能量收集系統更適合可穿戴類應用?
                                    貿澤電子2021年上半年新增62家制造商合作伙伴 (半年增速創下新高)
                                    用Dialog芯片創建聯網家電應用方案
                                    碳化硅如何為電機驅動賦能
                                    【邀請函】2021大灣區物聯網創新技術及應用大會火熱報名中…
                                    特別推薦
                                    技術文章更多>>
                                    技術白皮書下載更多>>
                                    熱門搜索

                                    關閉

                                    關閉

                                    国内卡一卡二卡三免费,韩国一卡二卡三卡四卡无卡免费,一卡二卡三卡网站,日本一卡二卡三卡四卡在线观看免费软件,一卡二卡三卡在线播放 中文字幕一卡二卡三卡不卡| 久久亚洲中文字幕不卡一二区| 永久免费AV无码网站在线| VIDEOSGRATIS侏儒孕交| 国产系列丝袜熟女精品网站| 啦啦啦啦啦影视| 国产在线精品亚洲一区二区三区| 野狼第一精品社区| 亚洲欧美国产日韩在线高清| 日本不卡一卡二卡的视频| 最爽A片无码| 亚洲精品丝袜国产在线页| 强奷乱码中文字幕| 成本人动漫免费网站免费观看| 双飞丰满老熟女| 国内卡一卡二卡| 欧美40老熟妇色XXXXX| 亚洲 自拍 另类小说综合图区| 国色天香电影在线观看完整| 亚洲欧洲日产国码高潮AV| 啊好深用力在线播放视频| 一卡二卡三卡四卡免费观看| 调教性奴喷水18禁里番| 韩国精品一区二区在线观看| 妈妈的朋友在线观看5免费| japanese日本熟妇photo| 娇小的学生VIDEOSBABE| 国产亚洲无线码在线| 免费欧洲美妇做爰| 日韩精品无码一区二区三区视频| 亚洲无亚洲人成网站77777| 2012中立字墓视频宗整版| 24小时日本在线视频| 飘花电影网| 男生在线打飞手视频网站| 日本韩av无码毛片| 高清国产天堂在线BT免费| 日本一卡二卡三卡四卡无卡在线观看免费| 深度抽出男女GIF动态图| 熟女乱2 伦| A级男女性高爱潮试看| 色情无码高清电影| 亚洲 欧洲 日产 韩国网站| 无敌神马影院在线观看视频1| 很黄很黄吸奶头视频| 男人的天堂国产在线视频| 奶头好大揉着好爽视频| 成年网站在线在免费线播放| 日本免费的高清毛片视频| 亲嘴亲胸揉胸膜下刺激视频| 国产欧美日韩在线观看一区二区| 哒哒哒电影免费观看在线高清视频| 亚洲AV无码乱码在线观看| 日韩人妻系列无码专区| 久久精品人妻中文系列| 亚洲日韩国产欧美二区手机在线| 国语自产少妇精品视频| 无卡在线观看免费| 人禽伦免费交视频播放| 18禁成年无码免费网站| 男孩和女孩差差视频| 成年美女黄网站色大全在线看| 亚洲成人网| 午夜d在线观看免费完整直播动漫| 日本不卡av一区二区三区| 色老板精品视频在线观看| GOGO大胆啪啪艺术| 男女做高潮120秒| 免费男女啪啦啦超猛烈网站| 11电影网| 日本XXWWXXWW视频免费| CHINESE色XVIDEOSINCHINESE| 日本高H动漫在线观看| 少妇特殊按摩高潮不止| 人妻慢慢放弃抵抗开始迎合| 久久青青草原国产免费| 无限资源在线观看| 亚洲欧美另类日本人人澡| 日本熟妇色情AV| 亚洲欧美日韩国产精品专区| 野花社区在线观看视频在线高清| 免费无码中文A级毛片| 野花在线观看免费高清完整版| 日本大片免A费观看视频无码| 十分钟在线视频免费观看| 亚洲日本在线观看片| 嘿咻嘿咻免费区在线观看| 高跟丝袜AV专区| 国产三级在线观看播放视频| 五月色天六月色天情网| 已婚丰满少妇21P| 女人69XXXX视频| 偷拍医院女沟厕所偷拍 | 一本大香伊蕉最新视频| 毛成片1卡2卡3卡4卡| 黑白配视频在线观看| 日本免费最新高清不卡视频| FREE性欧美69巨大| PISS厕所撒尿1WC女厕所新| 无码绝顶敏感痉挛抽搐潮喷| 老熟妇性色老熟妇性| 无敌在线视频免费观看| 午夜j在线观看免费完整高清在线视频| 亚洲五月综合缴情在线| 日韩AV影院在线观看| 无码丰满熟妇一区二区| 伊人久久综在合线亚洲2019| 怡红院成永久免费人视频| AV男人的天堂在线观看国产| 无敌视频在线观看高清| 成年无码一区视频| 日本一本二卡三卡四卡无卡在线| 好男人视频在线观看2019| 久草AV| 学生粉嫩下面自慰喷白浆免费观看| 囗交19种姿势图| 久久大香伊蕉在人线观看热| 么公的粗大征服了我 小说| 丰满老熟妇607080| 欧美人与物VIDEOS| 放荡的美妇欧美在线播放| 黄网站色成年片在线观看| 欧美亚洲日本国产其他|