- 相關(guān)推薦
存儲(chǔ)架構(gòu)體系發(fā)展在電信支撐系統(tǒng)中的應(yīng)用
磁盤存儲(chǔ)器經(jīng)過多年發(fā)展，在容量、速度及體系架構(gòu)方面都有很大發(fā)展，從目前電信運(yùn)營商支撐系統(tǒng)的現(xiàn)狀來看，主流還是SMP/NUMA存儲(chǔ)，但在電信運(yùn)營商互聯(lián)網(wǎng)化的進(jìn)程中，MPP存儲(chǔ)應(yīng)用可能會(huì)越來越廣泛。
一、存儲(chǔ)器發(fā)展簡述
存儲(chǔ)與主機(jī)分離的概念顛覆了傳統(tǒng)的DAS模式，存儲(chǔ)子系統(tǒng)從原來的計(jì)算系統(tǒng)中分離出來形成一個(gè)獨(dú)立的子系統(tǒng)，存儲(chǔ)和主機(jī)間通過高速網(wǎng)絡(luò)互聯(lián)。同時(shí)隨著網(wǎng)絡(luò)共享應(yīng)用的持續(xù)增長和網(wǎng)絡(luò)文件共享協(xié)議的成熟，文件服務(wù)器作為一種獨(dú)立的NAS存儲(chǔ)器也走向了市場。
二、存儲(chǔ)體系架構(gòu)的發(fā)展
存儲(chǔ)本質(zhì)上也是計(jì)算機(jī)，影響計(jì)算機(jī)行業(yè)快速發(fā)展、頻繁更新?lián)Q代的最重要的部件是CPU。計(jì)算機(jī)體系架構(gòu)中一個(gè)很重要的部分就是如何讓多個(gè)CPU一起協(xié)同工作，而且性能能夠成倍提高。
結(jié)合到存儲(chǔ)行業(yè)來講，主機(jī)主要負(fù)責(zé)信息的快速處理，而數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)保護(hù)等工作漸漸被轉(zhuǎn)移到存儲(chǔ)器上。歸根到底存儲(chǔ)器的功能還是儲(chǔ)存和保護(hù)被主機(jī)處理過的信息，其主要的設(shè)計(jì)思想應(yīng)該是著重于在接收到主機(jī)的信息后做到以下幾點(diǎn)：高性能的IO響應(yīng)能力、高可靠性、可管理性和其他數(shù)據(jù)保護(hù)功能(如容災(zāi)、克隆、快照等)。
存儲(chǔ)器比較學(xué)術(shù)的一種分類方法是根據(jù)其體系架構(gòu)進(jìn)行分類。(1)低端的基于陣列控制卡技術(shù)的存儲(chǔ)器。(2)中端的基于簡單群集技術(shù)的模塊化存儲(chǔ)器。(3)高端存儲(chǔ)器現(xiàn)在有兩種方向，一種是基于統(tǒng)一大緩存scale-up架構(gòu)多處理器(SMP)存儲(chǔ)器;另外一種是分布式緩存多處理器scale-out架構(gòu)的存儲(chǔ)器。
三、scale-up架構(gòu)多處理器存儲(chǔ)介紹
此類存儲(chǔ)通常可以先只配少量的前端主機(jī)接口卡、后端磁盤接口卡或者核心控制卡，在升級(jí)擴(kuò)容時(shí)在通過靈活添加相關(guān)接口卡來提升各個(gè)部分的性能從而達(dá)到存儲(chǔ)器整體性能的提升，這種設(shè)計(jì)思路稱為scale up縱向擴(kuò)展大存儲(chǔ)器的設(shè)計(jì)思路。
存儲(chǔ)器從雙控制器集群發(fā)展到高端陣列，為了滿足性能需求，需要用到多個(gè)控制器，把數(shù)量超過兩個(gè)以上的多控制器組合起來協(xié)同工作。這種把多路CPU組合在一起工作的設(shè)計(jì)方式在計(jì)算機(jī)體系結(jié)構(gòu)里稱為共享存儲(chǔ)對(duì)稱多處理機(jī)系統(tǒng)(SMP)架構(gòu)。SMP架構(gòu)的特點(diǎn)包括：(1)對(duì)稱共享存儲(chǔ)：系統(tǒng)中任何處理器均可直接訪問任何存儲(chǔ)模塊中的存儲(chǔ)單元和I/O模塊聯(lián)接的I/O設(shè)備，所有內(nèi)存地址單元統(tǒng)一編址。(2)單一的操作系統(tǒng)映像：全系統(tǒng)只有一個(gè)操作系統(tǒng)駐留在共享存儲(chǔ)器中。(3)局部高速緩存Cache及其數(shù)據(jù)一致性：每個(gè)處理器均配備局部Cache，但是這些數(shù)據(jù)必須保持與存儲(chǔ)器中數(shù)據(jù)是一致的。(4)低通信延遲：各個(gè)進(jìn)程通過讀/寫操作系統(tǒng)提供的共享數(shù)據(jù)緩存區(qū)來完成處理器間的通信。(5)共享總線帶寬：所有處理器共享總線的帶寬，完成對(duì)內(nèi)存模塊和I/O模塊的訪問。
四、分布式緩存多處理器scale-out架構(gòu)的存儲(chǔ)器
Scale out體系架構(gòu)是指基于橫向擴(kuò)展的體系架構(gòu)的思路，即整個(gè)系統(tǒng)一開始由一個(gè)節(jié)點(diǎn)構(gòu)成，隨著業(yè)務(wù)需求的增加，通過把更多的節(jié)點(diǎn)添加進(jìn)去，把多臺(tái)小計(jì)算機(jī)(節(jié)點(diǎn))通過一個(gè)快速的通道技術(shù)/或外部網(wǎng)絡(luò)連接起來，這樣就形成一臺(tái)可以做到線性擴(kuò)展的超大型計(jì)算機(jī)設(shè)備，這種思路在服務(wù)器體系架構(gòu)中叫做scale out，即橫向擴(kuò)展。(1)傳統(tǒng)的存儲(chǔ)陣列相當(dāng)于老式機(jī)頭牽引的火車。存儲(chǔ)控制器：1個(gè)或2個(gè)火車頭，代表性能與冗余性;每節(jié)車廂只代表容量;對(duì)于較短的火車，火車頭會(huì)過度配置;添加車廂過載亦會(huì)超過功率極限。(2)新架構(gòu)的Scale Out存儲(chǔ)相當(dāng)于高鐵和諧號(hào)。每節(jié)車廂同時(shí)代表容量和性能;如果一節(jié)車廂的引擎出現(xiàn)故障，其它車廂不會(huì)受到影響;添加車廂即同時(shí)擴(kuò)展性能;組合功能整體上仍是一列火車。
Scale-Out具體又可再細(xì)分成兩類架構(gòu)，一種是分布式緩存但統(tǒng)一編址的NUMA架構(gòu)，另一類產(chǎn)品線是每個(gè)節(jié)點(diǎn)各自管理控制器內(nèi)部緩存的MPP架構(gòu)。
五、Scale-Out架構(gòu)分支一：NUMA架構(gòu)
在前述SMP架構(gòu)中，整個(gè)系統(tǒng)相當(dāng)于一臺(tái)大型計(jì)算機(jī)，所有的處理器P/C訪問內(nèi)存SM的速度和延遲都是一致的。由于總線和交叉開關(guān)工藝終將會(huì)碰到難于擴(kuò)展的問題，因此其上端的處理器的數(shù)量以及下端的緩存模塊的數(shù)量和容量也會(huì)碰到擴(kuò)展性的問題。這些擴(kuò)展性的問題在早期并不明顯，因?yàn)榇鎯?chǔ)器容量或者處理能力不夠時(shí)，用戶可以再新增購買，但在今天整個(gè)IT架構(gòu)對(duì)于存儲(chǔ)器的容量、處理能力以及擴(kuò)展性都提出了更大的挑戰(zhàn)，因此就出現(xiàn)了另外一種設(shè)計(jì)思路，即拋開設(shè)計(jì)一臺(tái)超級(jí)大計(jì)算機(jī)的思路，而是把多個(gè)存儲(chǔ)節(jié)點(diǎn)(引擎)通過一個(gè)快速的通道技術(shù)連接起來，仍然采用統(tǒng)一內(nèi)存編址設(shè)計(jì)，這樣就形成一臺(tái)可以做到線性擴(kuò)展的架構(gòu)。
具備這種設(shè)計(jì)思想稱為分布共享存儲(chǔ)多處理機(jī)系統(tǒng)架構(gòu)DSM，又稱為CC-NUMA架構(gòu)(高速緩存一致性非均勻存儲(chǔ)訪問，ccNUMA，Cache-Coherent Non-Uniform Memory Access)，如圖1所示。
NUMA架構(gòu)的特點(diǎn)：
(1)每個(gè)處理器都有自己的內(nèi)存LM，本質(zhì)上就是1臺(tái)的計(jì)算機(jī);(2)這些處理器之間通過一個(gè)快速的定制網(wǎng)絡(luò)互聯(lián)起來;(3)各個(gè)處理器之間的內(nèi)存/緩存LM統(tǒng)一編址，即虛擬分布共享內(nèi)存體系DSM;(4)通過在定制網(wǎng)絡(luò)范圍內(nèi)添加更多的處理器芯片和LM緩存等模塊，從而方便的擴(kuò)展整個(gè)存儲(chǔ)系統(tǒng)，即scale out橫向擴(kuò)展。
六、Scale-Out架構(gòu)分支一：MPP架構(gòu)
NUMA架構(gòu)可以理解成將多個(gè)SMP進(jìn)行松一點(diǎn)的耦合，即多個(gè)SMP之間通過快速交換通道互聯(lián)，每個(gè)SMP都有各自自己的內(nèi)存，一個(gè)SMP內(nèi)部的CPU訪問自己的內(nèi)存時(shí)與之前沒什么兩樣，但是要訪問其他SMP處的內(nèi)存，就需要走交換通道。所以，NUMA通過犧牲了內(nèi)存訪問的時(shí)延來達(dá)到更高的擴(kuò)展性。SMP和NUMA架構(gòu)同一臺(tái)機(jī)器內(nèi)都使用單一操作系統(tǒng)。但是由于NUMA訪問遠(yuǎn)端內(nèi)存時(shí)的時(shí)延問題，擴(kuò)展到達(dá)一定規(guī)模時(shí)，NUMA架構(gòu)下的效率也不能隨著CPU數(shù)量的增加而線性增長，但是要好過SMP。 而MPP實(shí)質(zhì)上是將許多獨(dú)立的主機(jī)使用外部網(wǎng)絡(luò)來組成一個(gè)集群。每個(gè)節(jié)點(diǎn)都有各自的CPU、內(nèi)存、IO總線和操作系統(tǒng)。整個(gè)系統(tǒng)屬于最松散的耦合，各個(gè)節(jié)點(diǎn)運(yùn)行大范圍并行化的程序。MPP的效率隨節(jié)點(diǎn)數(shù)量的增長表現(xiàn)為線性關(guān)系。MPP相當(dāng)于把內(nèi)存、把操作系統(tǒng)強(qiáng)制分開，把程序架構(gòu)也強(qiáng)制改變以保持海量計(jì)算下的效率線性增長。
MPP體系架構(gòu)特點(diǎn)包括：(1)由數(shù)百個(gè)乃至數(shù)千個(gè)計(jì)算結(jié)點(diǎn)和I/O結(jié)點(diǎn)組成，通過高性能互聯(lián)網(wǎng)絡(luò)相互聯(lián)接。(2)每個(gè)結(jié)點(diǎn)相對(duì)獨(dú)立，并擁有一個(gè)或多個(gè)微處理器(P/C)。(3)MPP的各個(gè)結(jié)點(diǎn)均擁有不同的操作系統(tǒng)映像。(4)各個(gè)結(jié)點(diǎn)間的內(nèi)存模塊相互獨(dú)立，且不存在全局內(nèi)存單元的統(tǒng)一硬件編址。
七、電信支撐系統(tǒng)對(duì)于存儲(chǔ)架構(gòu)的選擇
面對(duì)同樣的預(yù)算區(qū)間，電信支撐系統(tǒng)是選擇傳統(tǒng)scale up高端陣列，還是新型scale out架構(gòu)的高端陣列，其實(shí)這是一個(gè)辯證的問題。在服務(wù)器領(lǐng)域，通常會(huì)根據(jù)應(yīng)用系統(tǒng)的特點(diǎn)不同，選擇基于scale up架構(gòu)的服務(wù)器(如數(shù)據(jù)庫服務(wù)器)，或者基于scale out架構(gòu)擴(kuò)展的服務(wù)器(如應(yīng)用服務(wù)器)。
特定場景下，由于單路I/O就可能導(dǎo)致整個(gè)MPP集群中的磁盤資源全部牽動(dòng)(每磁盤同一時(shí)刻只能執(zhí)行一個(gè)I/O)。然后在多路大塊連續(xù)I/O并發(fā)的情況下，反而效率很差(比如多流大塊連續(xù)地址I/O);而某些特定場景下，多路I/O之間牽制很少，則表現(xiàn)出線性增長的性能(比如小塊高隨機(jī)I/O)。這也可以類比為將一個(gè)程序并行分解成多個(gè)執(zhí)行顆粒(類比為高隨機(jī)I/O)，顆粒間的關(guān)聯(lián)性越少，則并行執(zhí)行的效率越高。所以MPP自身為Share-Nothing架構(gòu)，那么運(yùn)行在它上面的程序顆粒之間最好也Share-Nothing。因此MPP架構(gòu)可廣泛用于互聯(lián)網(wǎng)運(yùn)營商的底層Key-Value分布式數(shù)據(jù)庫，在高隨機(jī)小塊讀訪問場景下能獲得巨量的性能以及線性的效率-擴(kuò)展曲線。
【存儲(chǔ)架構(gòu)體系發(fā)展在電信支撐系統(tǒng)中的應(yīng)用】相關(guān)文章：
流媒體系統(tǒng)架構(gòu)的應(yīng)用06-20
高校數(shù)字廣播系統(tǒng)架構(gòu)與應(yīng)用06-17
企業(yè)應(yīng)用系統(tǒng)架構(gòu)優(yōu)化方法06-17
IMS系統(tǒng)中PCC架構(gòu)及引入06-20
數(shù)字化校園應(yīng)用系統(tǒng)架構(gòu)05-10
紅帽認(rèn)證體系架構(gòu)介紹03-29
智慧健康系統(tǒng)架構(gòu)05-15
秒殺系統(tǒng)架構(gòu)分析05-18