談 Synology DS1517+ NAS上的 PCI Express 擴充槽運用
對中小企業來說,NAS的挑選當然以高效能的機器為主要考量,除此之外,擴充性也是是衡量之一, Synology DS1517+ 擁有5個硬碟儲存槽,亦可外加兩個連接 2 台DX517擴充裝置多達 15 顆硬碟,擁有4埠的RJ-45 1GbE 網路孔,支援 IEEE 802.3ad 網路聚合技術,提供 PCIe 插槽可安裝 M.2 雙轉卡(M2D17)或10GbE 網路介面卡,提升系統快取的IOPS與迅捷的資料傳輸,此篇就來談談PCIe擴充槽的運用。
Synology DS1517+上的PCI Express擴充槽
Synology DS1517+ 搭Intel Atom C2538四核處理器,內建硬體加密(AES-NI),具備記憶體雙通道與PCIe 插槽擴充,專為中小型企業設計的5顆硬碟多功能NAS伺服器,可搭配兩台DX517 設備,強悍的高擴充性可支援多達 15 顆硬碟,尤其DSM 6.x更有完美的私有雲端運用,能更完善地同時支援多項任務,有效提升企業動能,筆者特別青睞於PCIe介面的支援,讓中小企業有擴充的機會,絕對是值得選擇的機種。
網路連接儲存裝置(NAS)的瓶頸不僅是網路,硬碟的存取速度與機器本身CPU處理的能力都是重點,目前硬碟都是SATA 3.0的天下,SATA 3.0理論值達到了6Gb/s 速度(也就是600MB/s),但傳統硬碟轉速跟物理架構的限制下,最高的讀寫速度也只有約130MB/s~150MB/s左右,必須利用RAID或使用SSD固態硬碟來因應,說到固態硬碟,可說是最近很夯的儲存設備,目前上市的SSD的循序讀寫速率輕鬆達到500 MB/s 以上,似乎要達到SATA 3.0的瓶頸了,因此追求速度的玩家都轉到PCIe 規格的SSD了,畢竟PCIe 匯流排頻寬加持下,傳輸速率少則 1000 MB/s 起跳,超過 2000 MB/s也是蠻正常的,因此 Synology DS1517+ 加上了 PCIe 插槽就更加如虎添翼了。
先來看看傳說中Synology DS1517+的PCIe插槽(1 x Gen2 x8),可選擇 M.2 SSD 雙轉卡(M2D17)與10GbE 網路介面卡,中小企業不可或缺的擴充功能。
利用兩張E10G17-F2網卡與Synology M2D17來獨自玩玩,這樣可以來嘗試Synology DS1517+的蛻變功能。
本來要跟好友借10Gb的交換器,因家裡出了狀況不便出遠門,所以就將就點測試,Synology M2D17快取卡與兩張E10G17-F2網卡,當然少不了SFP+接頭網路線。
插上10GbE 網路介面卡,讓你的網路在多人使用下不再有瓶頸的問題。
Synology DS1517+的PCIe也可插上M2D17快取卡,支援多款尺寸的 M.2 SSD ,帶來優越的 SSD 讀寫快取,不需佔用任何硬碟抽取夾。
Synology M.2 SSD 轉接卡 M2D17
有了NAS容錯保護後,慢慢的會要求速度,相信速度永遠不會嫌太快,快之外還要求更快,傳統硬碟有機械動作的瓶頸,SSD固態硬碟又有寫入次數的詬病,試想若將SSD+HDD的混合模式,將讀寫資料放入容量小速度快的SSD中,待下次需要資料時,即可從快速的SSD來讀取,這樣就不必再到機械動作傳統硬碟,加快了存取的速度,雖然有命中率的問題,但確實也提昇了不少速度。
獨家設計的 Synology M.2 SSD 轉接卡—M2D17—能讓 NAS 輸入 / 輸出效能大幅躍進,具備雙 M.2 SSD 插槽,可高速進行 SSD 讀取 / 寫入快取,讓主要硬碟插槽只須負責資料儲存。M2D17支援 2280/2260/2242 規格,符合多種 M.2 SATA SSD 類型,可與各種廠牌靈活搭配。
Synology M2D17是一張 PCIe 的 M.2 SSD 轉接卡,主要是針對 DS1517+ 與 DS1817+的Synology NAS機種,簡約樸素的環保材質紙盒包裝。
掀開紙盒,除了有海綿軟墊包圍外,另一邊的上方有海綿保護,以防止運送過程中的擠壓與跌落。
全部的配件亮相,其實除了M2D17卡外,沒有什麼配件啦!僅附上M.2 SSD2的螺絲與螺絲底座。
PCI Express 是個介面, 有分 PCI Express 1.1、PCI Express 2.0與 PCI Express 3.0,下圖是維基百科上的匯流排效能表。
M2D17是一張 PCIe 2.0 x8 的規格,對照表上可知有 4 GB/s 的頻寬,卡上支援兩個 M.2 的插槽,採用 low profile 短卡設計。
M.2 SSD的尺寸規格支援有 2280 / 2260 / 2242三種尺寸,可從介面卡上的圓孔來查看尺寸的大小,符合多種 M.2 SATA SSD 類型,可與各種廠牌靈活搭配。
Synology M2D17 PCIe 介面卡主要是用來快取,想要讀、寫分開的功能必須使用兩片 M.2 SSD,利用附贈的螺絲與螺絲底座來固定。
Synology M.2 SSD 轉接卡 M2D17可帶來優越的 SSD 快取效能,在中小企業多人使用上更顯得其重要。
具備雙 M.2 SSD 插槽,可高速進行 SSD 讀取 / 寫入快取,讓主要硬碟插槽只須負責資料儲存,在空間配置規劃上能有效靈活應用。
Synology DS1517+ 插上M2D17雙 M.2 SSD 轉接卡,帶來優越的 SSD 讀寫快取,不需佔用任何硬碟抽取夾。
插入開機後到DSM系統的「儲存空間管理員」視窗上,點選左邊的【HDD/SSD】選項,右邊畫面即可出現目前所有個儲存裝置,此時會看到快取裝置上兩個為初始化的訊息。
切換到【SSD快取】畫面上,選擇新增來建立快取空間。
由於使用兩顆SSD建立快取,所以可以選讀寫的快取,可以針對存空間或SCSI LUN來加快讀寫速度。
選擇要掛載於哪個儲存空間或SCSI LUN後,在勾選快取的SSD裝置。
SSD快取還可建立RAID 1,讓快取的資料也有安全的保障。
預設是指定全部的容量當快取,你可以改變;眾所周知,SSD有寫入的壽命,為了延長SSD壽命,循序性的I/O其實可以略過快取,直接寫入硬碟即可,預設值也是勾選的。
接著確認一些事項並說明會刪除SSD上所有的資料。
統計命中率的大小,就是以最近存取檔案大小,快取需要多人的環境下才能顯示其效果,Synology DS1517+利用PCIe饋充槽來加快取功能,不佔用原來的5bay插槽,對中小企業來是雙贏的選擇。
除了查看命中率外,你也可以了解目前快取的使用狀況。
被掛載的儲存空間,可以在SSD快取項目上看到有快取的對應。
Synology 的快取機制是以儲存空間或SCSI LUN為主,假如你有多個儲存空間,想要改變快取至另外的儲存空間,只能先刪除後再建立快取時選擇不同的儲存空間。
Synology E10G17-F2 乙太網路卡
Synology E10G17-F2 乙太網路卡配載 10 Gigabit 雙 SFP+ 網路埠及 PCIe Express 3.0 x8 介面,專為 Synology FS/XS(+) 系列的 NAS 伺服器所設計,雖然DS 1517+ 的 PCIe 是Gen2 x8規格,一樣可以使用,當然速度就無法達到 PCIe 3.0 x8 的 7.877GB,不過仍然大於10Gb(1250MB /s)的頻寬。
Synology E10G17-F2 乙太網路卡一樣使用環保的紙盒包裝。
掀開紙盒,一貫的包裝作風,有海綿軟墊包圍外,另一邊的上方有海綿保護,以防止運送過程中的擠壓與跌落。
全部的配件亮相,其實除了Synology E10G17-F2卡外,有附標準高度的全高擋片,因為E10G17-F2網卡也可以使用在PC上,全高檔片是必須的哦!
Synology E10G17-F2 是一款 PCIe Express 3.0 x8 介面的乙太網路卡,是專為 Synology FS/XS(+) 系列的 NAS 伺服器所設計,E10G17-F2 支援 CPU 卸載 (RDMA over Ethernet),能夠滿足高效能運算的需求,當然也適用於 DS 1517+ 與 DS1817+機種。
至於哪些機種支援支援 CPU 卸載功能呢?你可以參考官方的網頁說明。
Synology E10G17-F2 乙太網路卡配載 10 Gigabit 雙 SFP+ 網路埠,看到 SFP+ 接頭就有高人一等的感覺。
筆者沒有10Gb的交換器,所以特別向好友借了兩張 Synology E10G17-F2 乙太網路卡,一個插DS1517+,另一個插PC上。
雖然DS 1517+ 的PCIe是Gen2 x8規格,一樣可以使用向下相容的Synology E10G17-F2 PCIe Express 3.0 x8 規格。
Synology DS+1517+與E10G17-F2 的相遇
目前PC上的網路幾乎是1Gbps的配備,換算後約有 125 MB/s,雖然傳統硬碟轉速跟物理架構的限制下,讀寫速度應該也有 150 MB/s左右,此1Gbps的網路頻寬配備免強可以應付,但若使用SSD固態硬碟的循序讀寫速率輕鬆達到500 MB/s 以上,或者是RAID方式來提高讀寫存取速度,加上中小企業多人使用的狀況下,1Gbps的125MB/s頻寬真的是捉襟見肘啊!此時Link Aggregation的網路聚合就顯得格外重要,但有支援PCIe插槽的NAS就有許多的優勢,例如安裝10GbE網路卡即可解決網路頻寬問題,Synology E10G17-F2 配載 10 Gigabit 雙 SFP+ 網路埠,也可以Link Aggregation成20Gb,絕對是DS1517+ NAS的好幫手。
根據官網上的說明,選配10GbE網路卡,可以超過每秒的1100MB的讀取,與520MB的寫入優異效能,挨踢路人甲不是網路專家,只是一般小公司的MIS人員,所以接下來的測試僅就個人的設備環境下運作,測試的目的不是要彰顯DS1517+的極限效能,而是要描述Synology DS1517+ PCIe擴充槽帶來的優勢,畢竟用特別安排的環境表達極限速度很迷人,但對於一個中小企業的MIS人員來說,速度並非唯一的選項,所以筆者不想運用公司的環境來測試極限速度感,而是以家中目前僅有的設備環境來說明E10G17-F2 10GbE網卡與DS1517+的點點滴滴。
先來看看筆者的PC裝置配備,筆者是個窮MIS人員,使用的是文書處理效能的AMD A10-6800K的CPU,主機板是MSI的A88XM-E45,記憶體是DDR3-1600 24G的大小,沒有獨顯卡,OCZ TRION 150 240GB TLC SSD固態硬碟與一顆SATA 3的2GB傳統硬碟,Google一下就知道這樣的配備並沒有高檔,大概連中階都談不上吧!
由於筆者家中沒有10Gb交換器,所以特別向好友借兩張 E10G17-F2 網卡,一張插入PC,另一張插入DS1517+內的PCIe插槽,使用PC上原來的1GbE網路孔連上DS1517+背後的網路孔(綠色線),並指定192.168.8.x網段,再使用SFP+接頭的網路線連接插入PC與DS1517+的E10G17-F2 網卡上(藍色線),並指定192.168.0.x網段以區隔,利用這兩個網段來處理1Gb與10Gb的流動區分。至於紅色虛線是使用網路磁碟機指定的資料夾對應地方,主要是來測試硬碟與網路瓶頸差異用。
E10G17-F2 網卡擁有10Gb頻寬,想要測試這個數值不容易,有兩個磁碟I/O要克服,一是PC上的硬碟,另一是DS1517+上的硬碟,筆者手頭上可用的SSD不多,於是將120GB與240GB的SSD做Raid 0來提升讀寫速度(就是儲存空間3)。
將itwssd共享資料夾指定到儲存空間3,也就是SSD Raid 0的地方,筆者的SSD循序讀寫速度為500 MB /s與400 MB/s,照道理會提升的兩倍的SSD讀寫速度,下圖是itw、itwalker與itwssd共享資料夾對應的儲存空間,itw是對應到傳統的Raid 1硬碟,itwalker是對應到傳統的單顆硬碟,而itwssd是對應到做Raid 0的 SSD固態硬碟。
開啟檔案總管來設定網路磁碟機,指定磁碟X:對應到\\192.268.8.244\itwssd上,看到IP的位置就知道是連接Synology DS1517+背面的原先1Gb網路孔,而itwssd是SSD Raid 0的儲存空間,很明顯瓶頸應該會卡在1Gb網路頻寬上。
磁碟Y:對應到\\192.168.0.21\itwalker共享資料夾,不過IP是指向DS1517+的E10G17-F2 網卡上,但資料夾itwalker是在傳統單硬碟的儲存空間。
磁碟Z:對應到\\192.168.0.21\itwssd共享資料夾,IP是指向DS1517+的E10G17-F2 網卡上,資料夾itwssd是在SSD Raid 0的儲存空間,網路速度與I/O速度是最佳的。
指定完三種網路磁碟機後如下畫面。
接下來在PC上各使用SSD硬碟與傳統硬碟直接上傳大檔案,也就是利用單機來模擬多人使用狀況,PC上的SSD硬碟讀寫有500MB/s的實力,傳統硬碟也有160MB/s,理論上合併應有660 MB/s左右的速度,在兩個上傳動作起起伏伏,在DS1517+資訊監控下看到最高的速度的數字是496.4 MB/s(接近官網520MB/s的數據),相當有感的速度。由於SSD硬碟有較佳速度,所以再次測試上傳兩個動作,加上傳統硬碟共三個動作,發現一樣無法突破500 MB/s的寫入DS1517+的SSD Raid 0的儲存空間,是網路頻頸、機器效能還是前端PC與DS1517+的讀寫I/O問題呢?
為了避免是前端PC的磁碟I/O的瓶頸,挨踢路人甲使用記憶體虛擬磁碟的方式(就是 Ram Disk),將24G記憶體利用Softprefect RAM Disk挪出12G虛擬成虛擬磁碟機T :。
再用CrystalDiskMark測試T碟的效率如下,看到這數字應該夠應付10Gb(1250MB /s)的速度了吧!
利用產生出來的記憶體虛擬磁碟機上傳X:磁碟,也就是透過傳統的1Gb網路孔(125 MB/s)到SSD Raid 0的儲存空間,筆者的SSD的循序讀寫有500/450 MB/s左右,更何況是做Raid 0,可想而知頻頸就在1Gb網路孔身上。
利用產生出來的記憶體虛擬磁碟機上傳Y:磁碟,也就是透過E10G17-F2 10Gb網卡(1250 MB/s)到傳統單硬碟的儲存空間,前端的記憶體磁碟、網路都遠遠大於單硬碟的讀寫,明顯的瓶頸就在DS1517+上的傳統硬碟I/O上。
再利用產生出來的記憶體虛擬磁碟機上傳Z:磁碟(DS1517+的Raid 0 SSD)一個大檔案,也就是透過E10G17-F2 10Gb網卡(1250 MB/s)到SSD Raid 0的儲存空間,前端的記憶體磁碟與網路都大於1250MB/s,DS1517+的itwssd資料夾是對應在Raid 0 SSD,理論上來說有兩倍的SSD速度(我的單顆SSD循序讀寫有500/450 MB/s左右),發現一樣達不到500MB/s的速度,筆者沒有多餘的SSD來做3顆Raid 0,無法進一步測試原因,即使是官方說明的520 MB/s寫入,也不及10Gb網路速度的一半,想要突破這個限制,是機器效能還是E10G17-F2 10Gb網卡的問題呢?
略過I/O實測DS1517+上的E10G17-F2 網路能力
實驗到現在可以證明磁碟I/O的影響甚鉅,為了證明10Gb網路是否有10GB的速度,還是只是數據上的噱頭而已,想個方式略過I/O的部分,於是想到iperf3這套軟體來測試網路速度,iperf是一個透過tcp測試系統網路能力的工具,可以不管application layer的干擾,相當適合來測試插在DS1517+上的E10G17-F2 網路能力,iperf必須在PC端與Synology DS1517+端同時運作,PC上當然是OK,可是Synology DSM系統備沒有開放自行安裝第三方的功能,於是想到DSM系統尚有Docker的能力,利用Docker實作輕量級的作業系統虛擬化功能,來實作做並運作iperf,雖然Docker虛擬化後會影響效能,但只少是目前最方便的方式之一。
自從群暉(Synology)釋出最新NAS作業系統DSM 6.0版後,除了功能大幅更新外,最令筆者讚賞的功能就是「Virtual DSM」與「Docker DSM」的虛擬技術,對輕量型Docker虛擬化的支援也不愧餘力。請使用瀏覽器輸入192.168.0.21的IP來連入DSM系統畫面(就是E10G17-F2 10Gb網卡IP位址),安裝玩Docker套件服務後進入其畫面,在「倉庫伺服器」頁面上使用搜尋找iperg包裝過的套件,找到後請下載。
下載後會統一存放在映像檔的頁面上,點選並來佈署。
首先出現的畫面上點選〔進階設定〕。
在網路分頁畫面上勾選「與Docker Host使用相同的網路」,這就是開始時進入DSM系統用192.168.0.21的IP連入的原因,因為此IP就是DS1517+ NAS上的10GbE網卡的IP,這樣Docker虛擬化的iperf3就能在這個網路IP,有利於PC端的iperf3測試。
切換到【環境設定】分頁畫面上,在執行指令內輸入「-s」,表示在DS1517+的piref3為伺服端。
敲定想要的容器名稱後按〔下一步〕來繼續。
在產生前列出設定清單來確認,請注意執行指令上是不是「-s」的參數,與Docker Host使用相同網路為「是」。
產生後到【容器】畫面上即可看到運作中的iperf虛擬服務,確認執行中後按下〔詳細資訊〕。
【概況】分頁畫面上可以看到執行的一些訊息,包括CPU使用率與RAM使用率等。
在【日誌】分頁畫面上,可以看到伺服端啟動等待前端的運作。
在PC前端進入命令提示字元視窗,輸入「iperf -c 伺服端的IP位置 -t 90 -w20m」,伺服端的IP位置就是DS1517+的E10G17-F2 網路位址,而Docker iperf虛擬服務使用與Docker Host相同的網路,也就是筆者圖解的192.168.0.21的IP。
結束90秒後看到約 3.4 Gb/sec的平均頻寬(425MB/s),與筆者使用檔案總管模擬兩個動作寫入Raid 0 SSD中的496.3 MB/s接近,透過Docker虛擬化的環境,也與官網的選配10GbE網路卡所說明的520MB的寫入相差不遠,這個落差是可以接受的,畢竟是透過Docker來測試的,可見官方公布的DS1517+搭配E10G17-F2 10Gb網卡的效能說明算中肯。
再到Docker iperf虛擬主機上查看日誌訊息,也是出現3.40Gbits/sec的流量頻寬,估計沒有使用Docker的話,應該有4.1 Gbits/s值。
來測試看看DS1517+內附的1Gb網路效能,在沒有I/O的干擾下的網路效能,所以使用1Gb網卡的IP進入DSM畫面,與之前建立Docker方式再建立一個,為了與10Gb有所區別,名稱命名為iperg31-1g,成功並啟動如下圖所示。
一樣輸入「iperf -c 伺服端的IP位置 -t 90 -w20m」,伺服端的IP位置就是DS1517+的1Gb網路位址,也就是筆者圖解的192.168.8.244的IP。
結束90秒後看到約 937 Mbits/sec的平均頻寬,幾乎接近1Gb/s的極限。
1Gb的網路測近滿載數值,明明就是10Gb的網卡,都已經屏除I/O的影響,為何iperf測不出應有的速度呢?難道是10Gb是噱頭嗎?挨踢路人甲不是網路專家,記得之前玩遊戲調整了MTU參數後,整個網路效能提升了,試著畫葫蘆一下,到Ds1517+ DSM系統畫面上將E10G17-F2 10Gb介面的IP位址上手動調整MTU值到9000。
插在PC端的E10G17-F2 10Gb的介面位址上也調整Jumbo Packer為9014(預設值為1514)。
再來執行iperf測試一下,果然Bandwidth攔下的數值飆高到至少 8 Gb/s 以上。
其當中最高達到 9.40 Gbit/s,測完90秒後平均為 8.61 Gbit/s,果然10Gb網卡並非是噱頭。
心得與感想
筆者以個人角度去探討Synology DS1517+ NAS上搭配M2D17快取卡與E10G17-F2 10Gb網路卡的擴充性,難免也測試了效能,挨踢路人甲也強調過非網路專家,測試網路效能時跌跌撞撞,也因此驗證多人使用環境下,面對有5bay的Synology Ds1517+ NAS,在Raid的靈活運用下,1Gb的網路的確力有未逮,或許利用內建的4埠網路建立Link Aggregation 多重網路聚合是不錯的方案。若不想大費周章,插上10GbE網路卡即可瞬間解決網路瓶頸的問題,這就是DS1517+內建PCIe插槽的絕活,若搭配E10G17-F2 雙10Gb網卡,還可Link Aggreation到20Gb;覺得卡在磁碟I/O上,也可插上M.2 SSD 雙轉快取卡(M2D17),讓中小企業隨著需求來擴充,DS1517+獨有的魅力就在此,可惜只有一個PCIe插槽,想要同時插上E10G17-F2 與 M2D17 可就魚與熊掌不可兼得囉!
Thanks.
如果安裝完要改email要如何改?
不解,此篇文章與email有關係嗎?