云計(jì)算數(shù)據(jù)論文匯總十篇

時(shí)間:2022-03-22 20:11:55

序論:好文章的創(chuàng)作是一個(gè)不斷探索和完善的過程,我們?yōu)槟扑]十篇云計(jì)算數(shù)據(jù)論文范例,希望它們能助您一臂之力,提升您的閱讀品質(zhì),帶來更深刻的閱讀感受。

云計(jì)算數(shù)據(jù)論文

篇(1)

通過對大數(shù)據(jù)的匯集、智能分析和挖掘技術(shù),發(fā)現(xiàn)數(shù)據(jù)中的潛在價(jià)值信息,幫助人們做出正確決策,這就是大數(shù)據(jù)產(chǎn)業(yè)的利益。國外大數(shù)據(jù)的起步比較早,比較成功的大數(shù)據(jù)應(yīng)用案例有:商業(yè)龍頭沃爾瑪公司通過對消費(fèi)者的購物數(shù)據(jù)進(jìn)行分析,了解顧客的行為喜好,對超市的商品結(jié)構(gòu)進(jìn)行搭配重置以增加銷售額;亞馬遜公司通過大數(shù)據(jù)構(gòu)建自己的推薦系統(tǒng),每年可以靠此多收益20%;奧巴馬通過大數(shù)據(jù)分析系統(tǒng)進(jìn)行數(shù)據(jù)挖掘,用科學(xué)的手段獲取選票、募集資金,贏得了總統(tǒng)競選的勝利。相比于國外,國內(nèi)的大數(shù)據(jù)研究和應(yīng)用還處于起步和發(fā)展中的階段,比較成功的案例有:淘寶數(shù)據(jù)魔方平臺,通過大數(shù)據(jù),為買家量身打造完善的購物體驗(yàn)產(chǎn)品;新浪微博大數(shù)據(jù)產(chǎn)品,通過大量的社交數(shù)據(jù),創(chuàng)造不同的社會經(jīng)濟(jì)價(jià)值等。

1.2云計(jì)算的發(fā)展

云計(jì)算可以像電力資源一樣提供彈性的按需服務(wù),事實(shí)上它是集合了一系列的服務(wù)提供給用戶。云計(jì)算的核心可分為三個(gè)層次,分別為基礎(chǔ)設(shè)施層、平臺層、應(yīng)用層,如圖2所示。云計(jì)算將基礎(chǔ)設(shè)施、軟件運(yùn)行環(huán)境、應(yīng)用程序抽象成服務(wù),具有可靠性高、可用性強(qiáng)、規(guī)模可伸縮等特點(diǎn),滿足了不同企業(yè)的發(fā)展需求,各個(gè)云服務(wù)提供商根據(jù)各自服務(wù)對象的差別分別開發(fā)了各具特色的云服務(wù)。(1)基礎(chǔ)設(shè)施即服務(wù)層基礎(chǔ)設(shè)施即服務(wù)(InfrastructureasaService,IaaS)層通過部署硬件基礎(chǔ)設(shè)施對外提供服務(wù),用戶可以根據(jù)各自的需求購買虛擬或?qū)嶓w的計(jì)算、存儲、網(wǎng)絡(luò)等資源。用戶可以在購買的空間內(nèi)部署和運(yùn)行軟件,包括操作系統(tǒng)和應(yīng)用程序。消費(fèi)者不能管理或控制任何云計(jì)算基礎(chǔ)設(shè)施,但能控制操作系統(tǒng)的選擇、存儲空間、部署的應(yīng)用,也有可能獲得有限制的網(wǎng)絡(luò)組件(如防火墻、負(fù)載均衡器等)的控制。云服務(wù)提供商為了使硬件資源得到更有效的利用,引入了Xen、KVM、VMware等虛擬化技術(shù),使得云服務(wù)商可以提供更個(gè)性化的IaaS服務(wù)。亞馬遜彈性云計(jì)算(AmazonElasticComputeCloud,AmazonEC2)是亞馬遜Web服務(wù)產(chǎn)品之一,AmazonEC2利用其全球性的數(shù)據(jù)中心網(wǎng)絡(luò),為客戶提供虛擬主機(jī)服務(wù),讓使用者可以租用云服務(wù)運(yùn)行所需應(yīng)用的系統(tǒng)。(2)平臺即服務(wù)層平臺即服務(wù)(PlatformasaService,PaaS)層是指云計(jì)算應(yīng)用程序開發(fā)和部署的平臺,包括應(yīng)用設(shè)計(jì)、應(yīng)用開發(fā)、應(yīng)用測試和應(yīng)用托管,都作為一種服務(wù)提供給客戶。開發(fā)者只需要上傳代碼和數(shù)據(jù)就可以使用云服務(wù),而無需關(guān)注底層的具體實(shí)現(xiàn)方式和管理模式。鑒于PaaS平臺的重要意義,國內(nèi)外廠商根據(jù)各自的戰(zhàn)略提出了相應(yīng)的PaaS平臺,國外的如GoogleAppEngine(GAE),通過GAE,即使在重載和數(shù)據(jù)量極大的情況下,也可以輕松構(gòu)建能安全運(yùn)行的應(yīng)用程序。國內(nèi)也有新浪的SAE(SinaAppEngine)、阿里的ACE(AliyunCloudEnginee)等。(3)軟件即服務(wù)層軟件即服務(wù)(SoftasaService,SaaS)層是為云計(jì)算終端用戶提供基于互聯(lián)網(wǎng)軟件應(yīng)用服務(wù)的平臺。隨著Web服務(wù)、HTML5、AJAX、Mashup等技術(shù)的成熟與標(biāo)準(zhǔn)化,SaaS應(yīng)用近年來發(fā)展迅速,典型的SaaS應(yīng)用包括GoogleApps、SalesforceCRM等。國外云計(jì)算平臺比較成功的應(yīng)用案例有:亞馬遜電子商務(wù)網(wǎng)站根據(jù)用戶的購買行為和搜索技術(shù)搭建Hadoop集群,構(gòu)建推薦系統(tǒng);Twitter社交網(wǎng)站搭建Hadoop分布式系統(tǒng)用于用戶關(guān)聯(lián)的建立。國內(nèi)云計(jì)算平臺的成功案例有:阿里巴巴目前整個(gè)集群達(dá)到1700個(gè)節(jié)點(diǎn),數(shù)據(jù)容量達(dá)到24.3PB,并且以每天255TB的速率不斷攀升;2013年,華為推出國內(nèi)首個(gè)運(yùn)營云平臺,目前為止與該平臺簽訂協(xié)議的ISV有3000多家。

1.3云計(jì)算相關(guān)技術(shù)

(1)分布式文件系統(tǒng)分布式文件系統(tǒng)(GoogleFileSystem,GFS)[3]是Google公司針對云計(jì)算過程處理海量數(shù)據(jù)而專門設(shè)計(jì)的。一個(gè)GFS集群由一個(gè)主節(jié)點(diǎn)和多個(gè)從節(jié)點(diǎn)組成,用戶可以通過客戶端訪問文件系統(tǒng),進(jìn)行正常的文件處理工作。在云計(jì)算中,海量數(shù)據(jù)文件被分割成多個(gè)固定大小的數(shù)據(jù)塊,這些數(shù)據(jù)塊被自動分配到不同的從節(jié)點(diǎn)存儲,并會在多個(gè)節(jié)點(diǎn)進(jìn)行備份存儲,以免數(shù)據(jù)丟失。主服務(wù)器管理文件系統(tǒng)記錄文件的各種屬性,包括文件名、訪問控制權(quán)限、文件存儲塊映射、塊物理信息等數(shù)據(jù)。正是通過這個(gè)表,文件系統(tǒng)可以準(zhǔn)確地找到文件存儲的位置,避免數(shù)據(jù)丟失,保證數(shù)據(jù)安全。圖3是GFS的體系結(jié)構(gòu)示意,每一個(gè)節(jié)點(diǎn)都是普通的Linux服務(wù)器,GFS的工作就是協(xié)調(diào)成百上千的服務(wù)器為各種應(yīng)用提供服務(wù)。(2)分布式并行數(shù)據(jù)庫BigTableBigTable[4]是一個(gè)為管理大規(guī)模結(jié)構(gòu)化數(shù)據(jù)而設(shè)計(jì)的分布式存儲系統(tǒng),可以擴(kuò)展到PB級數(shù)據(jù)和上千臺服務(wù)器。很多Google的項(xiàng)目使用BigTable存儲數(shù)據(jù),這些應(yīng)用對BigTable提出了不同的挑戰(zhàn),比如對數(shù)據(jù)規(guī)模的要求、對時(shí)延的要求。BigTable能滿足這些多變的要求,為這些產(chǎn)品成功地提供了靈活、高性能的存儲解決方案。BigTable采用的鍵是三維的,分別是行鍵(RowKey)、列鍵(ColumnKey)和時(shí)間戳(Timestamp)。行鍵和列鍵都是字節(jié)串,時(shí)間戳是64位整型;值是一個(gè)字節(jié)串,可以用(row:string,column:string,time:int64)string來表示一條鍵值對記錄。(3)分布式計(jì)算框架MapReduceMapReduce[5]是Google公司提出的大數(shù)據(jù)技術(shù)計(jì)算框架,被廣泛應(yīng)用于數(shù)據(jù)挖掘、海量數(shù)據(jù)處理以及機(jī)器學(xué)習(xí)等領(lǐng)域,由于其并行化處理數(shù)據(jù)的強(qiáng)大能力,越來越多的廠商根據(jù)MapReduce思想開發(fā)了各自的云計(jì)算平臺,其中以Apache公司的Hadoop最為典型。MapReduce由Map和Reduce兩個(gè)階段組成。用戶只需要編寫簡單的map()和reduce()函數(shù)就可以完成復(fù)雜分布式程序設(shè)計(jì),而不用了解計(jì)算框架的底層實(shí)現(xiàn)。MapReduce的數(shù)據(jù)分析流程如圖4所示。分布在不同服務(wù)器節(jié)點(diǎn)上的海量數(shù)據(jù)首先通過split()函數(shù)被拆分成Key/Value鍵值對,map()函數(shù)以該鍵值對為輸入,將該鍵值對進(jìn)行函數(shù)處理,產(chǎn)生一系列的中間結(jié)果并存入磁盤。MapReduce的中間過程shuffle()將所有具有相同Key值的鍵值對傳遞給Reduce環(huán)節(jié),Reduce會收集中間結(jié)果,并將相同的Value值合并,完成所有工作后將結(jié)果輸出給用戶。MapReduce是一個(gè)并行的計(jì)算框架,主要體現(xiàn)在不同的服務(wù)器節(jié)點(diǎn)同時(shí)啟動相同的工作,并且在每個(gè)獨(dú)立的服務(wù)器節(jié)點(diǎn)上又可以啟動多個(gè)map()、reduce()并行計(jì)算。

2基于云計(jì)算的大數(shù)據(jù)處理

目前大數(shù)據(jù)處理的基本流程如圖5所示,整個(gè)流程經(jīng)過數(shù)據(jù)源的采集,用不同的方式進(jìn)行處理和加工,形成標(biāo)準(zhǔn)的格式,存儲下來;然后用合適的數(shù)據(jù)計(jì)算處理方式將數(shù)據(jù)推送到數(shù)據(jù)分析和挖掘平臺,通過有效的數(shù)據(jù)分析和挖掘手段,找出大數(shù)據(jù)中有價(jià)值的信息;最后通過可視化技術(shù)將信息展現(xiàn)給人們。

2.1數(shù)據(jù)采集存儲

大數(shù)據(jù)具有不同結(jié)構(gòu)的數(shù)據(jù)(包括結(jié)構(gòu)、半結(jié)構(gòu)、非結(jié)構(gòu)),針對不同類型的數(shù)據(jù),在進(jìn)行云計(jì)算的分布采集時(shí),需要選擇不同的數(shù)據(jù)采集方式收集數(shù)據(jù),這也是大數(shù)據(jù)處理中最基礎(chǔ)的一步。采集到的數(shù)據(jù)并不是都適合推送到后面的平臺,需要對其進(jìn)一步處理,例如來源不同的數(shù)據(jù),需要對其進(jìn)行加載合并;數(shù)據(jù)存在噪聲或者干擾點(diǎn)的,需要對其進(jìn)行“清洗”和“去噪”等操作,從而保障數(shù)據(jù)的有效性;數(shù)據(jù)的格式或者量綱不統(tǒng)一的,需要對其進(jìn)行標(biāo)準(zhǔn)化等轉(zhuǎn)換處理;最后處理生成的數(shù)據(jù),通過特定的數(shù)據(jù)庫,如NoSQL數(shù)據(jù)(Google的BigTable,Amazon的Dynamo)進(jìn)行存儲,方便進(jìn)行下一步的數(shù)據(jù)讀取。由于傳統(tǒng)的數(shù)據(jù)倉庫無法適應(yīng)大數(shù)據(jù)的存儲要求,目前基于云計(jì)算的數(shù)據(jù)倉庫都是采用列式存儲。列式存儲的數(shù)據(jù)具有相同的數(shù)據(jù)類型,可以大大提高數(shù)據(jù)的壓縮率,例如華為的云存儲服務(wù)MOS(MassiveObjectService)的數(shù)據(jù)持久性高達(dá)99.9%,同時(shí)提供高效率的端到端保障。

2.2數(shù)據(jù)計(jì)算模式

這一環(huán)節(jié)需要根據(jù)處理的數(shù)據(jù)類型和既定目標(biāo),選擇合適的計(jì)算模型處理數(shù)據(jù)。由于數(shù)據(jù)量的龐大,會消耗大量的計(jì)算資源,因此,傳統(tǒng)的計(jì)算技術(shù)很難使用大數(shù)據(jù)的環(huán)境條件,取而代之的是分而治之的分布式計(jì)算模式,具有代表性的幾種計(jì)算模式的特點(diǎn)見表1。采用批處理方式計(jì)算的Hadoop平臺,例如,F(xiàn)acebook擁有全球最大規(guī)模的Hadoop集群,集群機(jī)器目前超過3000臺,CPU核心更是超過30000個(gè),可以存儲的數(shù)據(jù)量能夠達(dá)到驚人的40PB;采用流處理方式計(jì)算的Storm平臺分布式計(jì)算的時(shí)延比Hadoop更小;實(shí)時(shí)處理方式計(jì)算的Spark是一種基于內(nèi)存的計(jì)算模式,例如,Yahoo運(yùn)用Spark技術(shù)在廣告營銷中實(shí)時(shí)尋找目標(biāo)用戶,目前在Yahoo部署的Spark集群有112臺節(jié)點(diǎn)和9.2TB內(nèi)存;交互處理方式計(jì)算的Dremel在處理PB級別的數(shù)據(jù)時(shí)耗時(shí)可以縮短至秒級,并且無需大量的并發(fā)。

2.3數(shù)據(jù)分析挖掘

數(shù)據(jù)分析挖掘環(huán)節(jié)是從海量數(shù)據(jù)中發(fā)現(xiàn)隱藏規(guī)律和有價(jià)值信息的過程,這個(gè)環(huán)節(jié)是大數(shù)據(jù)處理流程最為有價(jià)值和核心的部分,傳統(tǒng)的數(shù)據(jù)分析方法有機(jī)器學(xué)習(xí)、商業(yè)智能等。傳統(tǒng)的數(shù)據(jù)挖掘十大算法[6](其中有K-Means、Na觙veBayes、SVM、EM、Apriori等)在云計(jì)算環(huán)境下都得到了大幅度的并行優(yōu)化,在大數(shù)據(jù)的背景下,計(jì)算速度得到了很大程度的提升。現(xiàn)在新興的深度學(xué)習(xí)是原始機(jī)器學(xué)習(xí)的一個(gè)新領(lǐng)域,動機(jī)是在于建立、模擬人腦進(jìn)行分析學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò),它模仿人腦的機(jī)制來解釋數(shù)據(jù),這種新的數(shù)據(jù)分析挖掘技術(shù)已經(jīng)在計(jì)算機(jī)視覺、語音識別、自然語言處理等領(lǐng)域有了成功的應(yīng)用。

2.4數(shù)據(jù)解釋展現(xiàn)

將挖掘出來的復(fù)雜信息進(jìn)行數(shù)據(jù)解釋和展現(xiàn)是整個(gè)大數(shù)據(jù)處理流程的最后一個(gè)環(huán)節(jié),數(shù)據(jù)分析的結(jié)果需要向客戶進(jìn)行恰當(dāng)?shù)恼宫F(xiàn)。與傳統(tǒng)的數(shù)據(jù)輸出和文本展示等方式不同,現(xiàn)在絕大部分的企業(yè)都通過引進(jìn)“數(shù)據(jù)可視化”技術(shù)來展示大數(shù)據(jù)分析的結(jié)果信息,這種方式以圖像、動畫等方式,形象地向客戶展現(xiàn)數(shù)據(jù)處理分析的結(jié)果,也容易被客戶理解和接受,更為先進(jìn)的是,現(xiàn)在逐步形成的“交互式可視化技術(shù)”,大大地方便了數(shù)據(jù)與人之間的“親密交流”。目前面向大數(shù)據(jù)主流應(yīng)用的可視化技術(shù)見表2。

3大數(shù)據(jù)和云計(jì)算的未來挑戰(zhàn)

大數(shù)據(jù)需要超大存儲容量的計(jì)算能力,云計(jì)算作為一種新的計(jì)算模式,為大數(shù)據(jù)的應(yīng)用研究提供了技術(shù)支持,大數(shù)據(jù)和云計(jì)算的完美結(jié)合,相得益彰,發(fā)揮了各自的最大優(yōu)勢,為社會創(chuàng)造了巨大的價(jià)值。雖然國內(nèi)大數(shù)據(jù)和云計(jì)算的研究還是處于初步階段,但隨著研究的不斷進(jìn)行,所面臨的問題也越來越多。在大數(shù)據(jù)向前不斷邁進(jìn)的階段里,如何讓我們對大數(shù)據(jù)的研究朝著有利于全人類的方向發(fā)展成為了重中之重。

3.1重要戰(zhàn)略資源

在這個(gè)信息社會里,大數(shù)據(jù)將會成為眾多企業(yè)甚至是國家層面的重要戰(zhàn)略資源。國家層面要將大數(shù)據(jù)上升為國家戰(zhàn)略。奧巴馬在2012年3月將“大數(shù)據(jù)戰(zhàn)略”上升為最高國策,像陸權(quán)、海權(quán)、空權(quán)一樣,將數(shù)據(jù)的占有和控制作為重要的國家核心能力。大數(shù)據(jù)資源也會成為各種機(jī)構(gòu)和企業(yè)的重要資產(chǎn)以及提升企業(yè)社會競爭力的有力武器。在大數(shù)據(jù)市場里,客戶的各種數(shù)據(jù)信息都會為企業(yè)創(chuàng)造價(jià)值,也會在促進(jìn)消費(fèi)水平、提高廣告效應(yīng)等方面扮演重要的角色。

3.2數(shù)據(jù)隱私安全

大數(shù)據(jù)如果運(yùn)用得當(dāng),可以有效地幫助相關(guān)領(lǐng)域做出幫助和決策,但若這些數(shù)據(jù)被泄露和竊取,隨之而來的將是個(gè)人信息及財(cái)產(chǎn)的安全問題得不到保障。2011年索尼公司遭到黑客攻擊,造成一億份客戶資料泄露,經(jīng)濟(jì)虧損約1.71億美元。為了解決大數(shù)據(jù)的數(shù)據(jù)隱私安全問題,Roy等在2010年提出了一種隱私保護(hù)系統(tǒng),將信息流控制和差分隱私保護(hù)技術(shù)融入到云計(jì)算平臺中,防止MapReduce計(jì)算過程中的數(shù)據(jù)泄露問題。在數(shù)據(jù)更新飛速的情況下,如何維護(hù)數(shù)據(jù)的隱私安全成為大數(shù)據(jù)時(shí)代研究的重點(diǎn)方向。

3.3智慧城市

人口的增長給城市交通、醫(yī)療、建筑等各方面帶來了不小的壓力,智慧城市就是依靠大數(shù)據(jù)和云計(jì)算技術(shù),實(shí)現(xiàn)城市高效的管理、便捷的民生服務(wù)、可持續(xù)的產(chǎn)業(yè)發(fā)展。在剛剛結(jié)束的“兩會”的政府工作報(bào)告中,總理也特意強(qiáng)調(diào)了智慧城市發(fā)展的重要性,目前國家智慧城市試點(diǎn)已遍布全國各地,多達(dá)409個(gè)。智慧安防、智慧交通、智慧醫(yī)療等都是智慧城市應(yīng)用領(lǐng)域。智慧城市的建設(shè)也趨使大數(shù)據(jù)人才的培養(yǎng)。據(jù)預(yù)測,到2015年,大數(shù)據(jù)將會出現(xiàn)約100萬的人才缺口,全球?qū)⑿略?40萬個(gè)與大數(shù)據(jù)相關(guān)的工作崗位來填補(bǔ)這個(gè)空缺。

篇(2)

云計(jì)算技術(shù)的發(fā)展為計(jì)算機(jī)的進(jìn)一步技術(shù)提升提供了方向,由于云計(jì)算自身有著對空閑資源整合的優(yōu)勢并能使之合理化的分配,所以在當(dāng)前的工作生活中發(fā)揮了重要的功能作用。云計(jì)算的出現(xiàn)是技術(shù)上的革新,但為人們帶來方便的同時(shí),在安全性上也存在著諸多問題,其中最為突出的就是數(shù)據(jù)的完整性,所以加強(qiáng)這一層面的理論研究就有著實(shí)質(zhì)性意義。

1 云計(jì)算中數(shù)據(jù)完整性具備的特征及檢測技術(shù)

1.1 云計(jì)算中數(shù)據(jù)完整性具備的特征分析

云計(jì)算環(huán)境下的數(shù)據(jù)完整性自身具備著鮮明的特征,主要體現(xiàn)在對動態(tài)操作的支持,為能夠?qū)υ浦械膽?yīng)用得以有效滿足,此時(shí)就需要完整性的驗(yàn)證機(jī)制加以支持動態(tài)操作。當(dāng)前的數(shù)據(jù)更新需要生成大量的簽名標(biāo)簽,從而使得計(jì)算代價(jià)以及通信開銷方面相對較大。另外則是無狀態(tài)的認(rèn)證以及對用戶隱私的確保,還有就是公開認(rèn)證允許任意第三方替代用戶完成數(shù)據(jù)的完整性驗(yàn)證。

1.2 云計(jì)算中數(shù)據(jù)完整性檢測技術(shù)分析

云計(jì)算中的數(shù)據(jù)完整性檢測技術(shù)比較多樣,此次分析比較重要的幾個(gè)協(xié)議,首先是哨兵完整性檢測方案,這一技術(shù)方案主要是在數(shù)據(jù)當(dāng)中進(jìn)行隨機(jī)插入小段數(shù)據(jù)作為哨兵,在進(jìn)行實(shí)際的檢測過程中,對哨兵進(jìn)行檢測替代對整個(gè)文件的檢測。這一技術(shù)方案的安全性主要體現(xiàn)在原始文件以及哨兵除了在數(shù)據(jù)的擁有著之外其他人是無法進(jìn)行分辨的。這一協(xié)議主要是先對數(shù)據(jù)進(jìn)行處理,按照糾錯(cuò)以及加密和哨兵產(chǎn)生置換等程序進(jìn)行實(shí)施。

從糾錯(cuò)這一程序傻上來看,主要就是將文件按照每組數(shù)據(jù)當(dāng)中有多塊的合理化分組,通過參數(shù)糾錯(cuò)碼加以編碼。另外在加密過程中所使用的對稱密鑰加密編碼后每塊數(shù)據(jù),再者就是哨兵的產(chǎn)生,而在最后的環(huán)節(jié)置換上,首先是要通過偽隨機(jī)置換函數(shù)將多個(gè)哨兵及加密后數(shù)據(jù)重新的排列并混合,從而實(shí)現(xiàn)數(shù)據(jù)中的嵌入工作。

2 云計(jì)算的數(shù)據(jù)完整性檢測方案設(shè)計(jì)

2.1 數(shù)據(jù)完整性檢測模型分析

云計(jì)算所提供的服務(wù)性能及成本管理等都有著很多的優(yōu)勢,能夠讓用戶享受到高規(guī)格以及大容量的計(jì)算服務(wù),而在云計(jì)算的數(shù)據(jù)完整性檢測的模型應(yīng)用框架方面也比較重要,其應(yīng)用框架主要有參與方以及云服務(wù)商等。在云服務(wù)商所建立的云系統(tǒng)方面主要是向數(shù)據(jù)的擁有著及請求者提供的云計(jì)算服務(wù),為能有效的達(dá)到這一服務(wù)目標(biāo),云服務(wù)商就要能采取相應(yīng)安全措施來對服務(wù)的安全性得以確保。

大數(shù)據(jù)的完整性檢測方案上,由于大數(shù)據(jù)信息量比較大,這就決定了其和普通大量數(shù)據(jù)間的區(qū)別,并能看出普通輕量級檢測協(xié)議是不能完成大數(shù)據(jù)完整性檢測的。要想能夠有效完成數(shù)據(jù)的完整性檢測,就需要滿足相應(yīng)的條件,數(shù)據(jù)的檢測量和檢測位置可由用戶自己進(jìn)行定義,倘若是檢測的方案不能實(shí)現(xiàn)檢測塊數(shù)量由用戶定義,是通過所有數(shù)據(jù)進(jìn)行的監(jiān)測,這樣在檢測所消耗的資源及時(shí)間上都有著較大的耗費(fèi)。另外就是整個(gè)協(xié)議檢測階段的效率要能夠和文件以及數(shù)據(jù)塊大小保持獨(dú)立性,適用于大數(shù)據(jù)完整性檢測協(xié)議在數(shù)據(jù)檢測階段計(jì)算量不能與數(shù)據(jù)塊大小有關(guān),否則就會造成計(jì)算隨著數(shù)據(jù)塊的增大而增大。

2.2 檢索公鑰加密算法設(shè)計(jì)

為能夠保障用戶的信息數(shù)據(jù)安全完整,就要進(jìn)行制定相對應(yīng)的方案,從方案的主要參與方上來看主要有數(shù)據(jù)信息的發(fā)送者以及接收者、服務(wù)器、可信第三方這幾個(gè)方面。其中的信息數(shù)據(jù)發(fā)送者主要是對數(shù)據(jù)的創(chuàng)建然后通過云服務(wù)商及接收者公開密鑰加密以及發(fā)送數(shù)據(jù)。而在接收者則主要是通過私鑰生成的所要查詢的關(guān)鍵信息,發(fā)送給云服務(wù)商進(jìn)行檢索,在接收到云服務(wù)商檢索結(jié)果過程中,進(jìn)行解密數(shù)據(jù)和對結(jié)果數(shù)據(jù)進(jìn)行核對。再者就是云服務(wù)商以及可信第三方,云服務(wù)商主要是向接收者提供云中文件存儲及搜索服務(wù),而可信第三方則主要是對云服務(wù)商的服務(wù)加以安全評估及認(rèn)證,其主要的框架如圖1所示。

對數(shù)據(jù)的完整性及安全性的考慮,主要是從離線關(guān)鍵詞猜測攻擊以及抗不可區(qū)分性選擇明文攻擊層面進(jìn)行考慮。從方案的設(shè)計(jì)過程來看,首先假設(shè)k是一個(gè)安全參數(shù),在云計(jì)算的系統(tǒng)實(shí)施部署的過程中,可信第三方調(diào)用子算法來進(jìn)行計(jì)算公共參數(shù),而后通過調(diào)用子算法生成服務(wù)器及接收者公私鑰對并分發(fā)。在發(fā)送者所需要的明文文件n傳輸?shù)浇邮照叩臅r(shí)候,要對文件n的關(guān)鍵詞進(jìn)行確認(rèn)。這些程序完成之后在進(jìn)行調(diào)用Trapdoor(cp,pks,skR,W)進(jìn)行對對應(yīng)的陷門信息進(jìn)行計(jì)算,并傳輸至服務(wù)器,在對信息接收之后通過檢索得到密文并通過函數(shù)部分進(jìn)行對密文解密。在這一過程中,接收者通過函數(shù)來解密文件的密文,然后通過相關(guān)的關(guān)鍵詞來判定返回密文和檢索的要求是否是符合的。

另外也可通過全同態(tài)加密的方式進(jìn)行對數(shù)據(jù)完整性進(jìn)行檢測,這一檢測的方法主要是在隱私的保護(hù)及數(shù)據(jù)處理過程中的應(yīng)用,用戶把需要存儲的數(shù)據(jù)通過密文的形式進(jìn)行提交云端服務(wù)器,其他的用戶能夠直接性的對密文數(shù)據(jù)進(jìn)行處理操作但不能獲得原始的數(shù)據(jù),而用戶則能通過云端服務(wù)器來獲取數(shù)據(jù)處理結(jié)果并進(jìn)行同態(tài)加密。

3 結(jié)語

總而言之,云計(jì)算當(dāng)中的數(shù)據(jù)完整性檢測是保障用戶數(shù)據(jù)信息的重要途徑,隨著科學(xué)技術(shù)的不斷發(fā)展,在檢測技術(shù)上也隨之而得到了升級,這樣對數(shù)據(jù)的完整性將會得到更有效的保障。由于本文的篇幅限制,不能進(jìn)一步深化探究,希望此次努力能起到拋磚引玉的作用,以待后來者居上。

參考文獻(xiàn)

[1]姜日敏.電信運(yùn)營商數(shù)據(jù)脫敏系統(tǒng)建設(shè)方案探討[J].中國科技信息,2014(08).

[2]程風(fēng)剛.基于云計(jì)算的數(shù)據(jù)安全風(fēng)險(xiǎn)及防范策略[J].圖書館學(xué)研究,2014(02).

[3]王衍鋒,陳典友,姜帆,關(guān)磊,范瑾輝.商業(yè)銀行敏感數(shù)據(jù)識別與風(fēng)險(xiǎn)分析[J].計(jì)算機(jī)安全,2013(10).

[4]王志文,王強(qiáng).云計(jì)算敏感數(shù)據(jù)防泄露技術(shù)研究[J].信息安全與通信保密,2013(08).

篇(3)

2云計(jì)算環(huán)境下工作流執(zhí)行模型

科學(xué)工作流由工作流管理系統(tǒng)提交和管理,工作流管理系統(tǒng)駐留在提交主機(jī),協(xié)調(diào)調(diào)度工作的流執(zhí)行。工作流管理系統(tǒng)將工作流中的任務(wù)分配到虛擬機(jī)的工作節(jié)點(diǎn),任務(wù)的執(zhí)行所需要的數(shù)據(jù)可以從一個(gè)或多個(gè)輸入數(shù)據(jù)存儲點(diǎn)輸入。中間文件在工作流執(zhí)行期間駐留在數(shù)據(jù)暫存站點(diǎn)。當(dāng)工作流結(jié)束時(shí),工作流管理系統(tǒng)刪除中間數(shù)據(jù),同時(shí)將輸出文件從暫存站點(diǎn)轉(zhuǎn)存到輸出站點(diǎn),然后永久性保存。根據(jù)工作流管理系統(tǒng)和目標(biāo)執(zhí)行環(huán)境的不同,多個(gè)數(shù)據(jù)站點(diǎn)可以協(xié)同工作。例如,在輸入數(shù)據(jù)已經(jīng)駐留在計(jì)算節(jié)點(diǎn)的情況下,該計(jì)算節(jié)點(diǎn)和輸入點(diǎn)是相同的。圖2顯示了具有兩個(gè)任務(wù)的工作流,來說明工作流所需的文件是如何在邏輯上獨(dú)立的站點(diǎn)之間移動的。

3對象存儲應(yīng)用于科學(xué)工作流中的數(shù)據(jù)管理

對象存儲系統(tǒng)主要包括存儲服務(wù)器、元數(shù)據(jù)服務(wù)器、客戶端等組成部分,其核心思想是將數(shù)據(jù)的讀和寫與元數(shù)據(jù)存儲分離,如圖3所示。存儲服務(wù)器主要負(fù)責(zé)數(shù)據(jù)存儲、智能的數(shù)據(jù)分布以及每個(gè)對象元數(shù)據(jù)的管理;元數(shù)據(jù)服務(wù)器主要提供對象存儲訪問、文件和目錄訪問管理以及客戶端緩存的一致性管理等功能。為了提供可擴(kuò)展的可靠服務(wù),對象存儲器的內(nèi)部結(jié)構(gòu)非常復(fù)雜。例如,亞馬遜的簡單存儲服務(wù)(S3)[12]通過REST(RepresentationalStateTransfer)、SOAP(SimpleObjectAccessProtocol)和APIs(ApplicationProgrammingInterfaces)提供檢索和刪除操作;它將一個(gè)對象的多個(gè)副本布局在存儲服務(wù)器上以提供錯(cuò)誤情況下的冗余。很多網(wǎng)格存儲服務(wù)和為數(shù)據(jù)密集型應(yīng)用設(shè)計(jì)的協(xié)議可以認(rèn)為是對象存儲,這種架構(gòu)對構(gòu)建來自不同的執(zhí)行環(huán)境的數(shù)據(jù)管理模式而言具有重要的借鑒意義。針對面向大數(shù)據(jù)工作流,利用對象存儲的優(yōu)點(diǎn),本文提出兩個(gè)方案:一是工作流中的3類數(shù)據(jù)文件都使用遠(yuǎn)程的對象存儲;二是在計(jì)算節(jié)點(diǎn)上使用共享文件系統(tǒng)作為數(shù)據(jù)暫存點(diǎn)來存儲中間數(shù)據(jù)。

3.1單獨(dú)使用對象存儲

在這種情況下,所有的數(shù)據(jù)都存儲在對象存儲系統(tǒng)中,工作流管理系統(tǒng)需要從對象存儲中無縫檢索數(shù)據(jù),為本地工作流任務(wù)使用。在這樣的設(shè)置中,工作流管理系統(tǒng)從對象存儲中檢索輸入文件和中間文件,然后,工作流中的任務(wù)對本地的POSIX文件系統(tǒng)做必要的輸入/輸出設(shè)置,任務(wù)完成時(shí),工作流管理系統(tǒng)能夠?qū)⒅虚g數(shù)據(jù)和輸出數(shù)據(jù)存儲到對象存儲中。這樣,即使工作流被部署在分布的資源上,科學(xué)應(yīng)用只需要對POSIX做常規(guī)的輸入/輸出設(shè)置,就能完成工作流的執(zhí)行。工作流管理系統(tǒng)與對象存儲的多次交互增加了工作流執(zhí)行的開銷,而該開銷與分布資源上的計(jì)算相比并不算大。對象存儲中既有輸入數(shù)據(jù)也有中間數(shù)據(jù),只要工作流系統(tǒng)與對象存儲能夠無縫檢索和存儲,那么任務(wù)執(zhí)行可以在任何地方。如圖4中,任務(wù)t1可以在校園計(jì)算機(jī)集群上完成,而屬于同一工作流的任務(wù)t2可以在亞馬遜的EC2上完成,t1、t2使用亞馬遜的S3對象存儲作為中間數(shù)據(jù)文件的暫存。總之,數(shù)據(jù)存儲和執(zhí)行環(huán)境的分離,使得工作流在分布資源上的執(zhí)行更為容易。一個(gè)常見的情況是,當(dāng)計(jì)算需求超過本地或校園計(jì)算所提供的資源時(shí),將使用云資源。圖4也說明了工作流的數(shù)據(jù)移動情況。在這里,文件F-i被傳送到云中的高性能計(jì)算集群工作節(jié)點(diǎn)的本地文件系統(tǒng)。任務(wù)t1從該節(jié)點(diǎn)開始,讀入輸入文件F-i,然后寫入本地文件系統(tǒng)的中間文件F-t,F(xiàn)-t被傳回到作為數(shù)據(jù)暫存點(diǎn)的對象存儲中。F-t文件將從對象存儲中被檢索進(jìn)入到EC2節(jié)點(diǎn)的本地文件系統(tǒng)。任務(wù)t2啟動后讀取F-t文件(該文件是由t1創(chuàng)建),然后將F-o寫到本地磁盤,再傳送到對象存儲中。以上所有的數(shù)據(jù)傳輸工作都由工作流管理系統(tǒng)完成。科學(xué)工作流中單獨(dú)使用對象存儲的明顯不足之處是,數(shù)據(jù)重復(fù)傳輸會引起在大數(shù)據(jù)處理過程中的延遲。工作流中的多個(gè)任務(wù)使用相同的文件,所以重復(fù)傳輸是顯而易見的[13][14]。對象存儲將對同一資源的重復(fù)請求認(rèn)為是不同的請求,對象存儲通常以其良好的擴(kuò)展性減輕這種重復(fù)對工作流性能造成的影響。另外,工作流系統(tǒng)可能在本地節(jié)點(diǎn)選擇緩存文件,或者利用集群中的共享文件系統(tǒng)來減輕此問題。延遲是整個(gè)工作流性能應(yīng)該關(guān)注的問題,云對象存儲的設(shè)計(jì)提供了很高的帶寬,但對單個(gè)檢索或?qū)ο蟛僮骺赡苄枰獢?shù)秒鐘的延遲。對具有大量文件的數(shù)據(jù)密集型的科學(xué)工作流而言,這種延遲顯著增加了工作流運(yùn)行的時(shí)間開銷。大型工作流中的另一個(gè)問題是多數(shù)中間文件需要被傳輸?shù)綄ο蟠鎯χ杏上嚓P(guān)后續(xù)任務(wù)檢索并使用。由于商業(yè)對象存儲提供以GB為單位的存儲,并按遷移、存儲和檢索的請求數(shù)付費(fèi),所以重復(fù)傳輸也就意味著費(fèi)用的增加。

3.2共享文件系統(tǒng)作為數(shù)據(jù)暫存

解決由數(shù)據(jù)重復(fù)遷移造成的延遲問題的方法之一,是工作流管理系統(tǒng)將中間文件暫存在POSIX兼容系統(tǒng)中,由多個(gè)計(jì)算節(jié)點(diǎn)文件系統(tǒng)共享,然后在一個(gè)資源節(jié)點(diǎn)上運(yùn)行所有的計(jì)算。文件共享系統(tǒng)保存了工作流管理系統(tǒng)中所有任務(wù)的中間數(shù)據(jù),在這種情況下,只有輸入輸出文件存儲在對象存儲中。由于中間文件不需要在對象存儲與計(jì)算節(jié)點(diǎn)之間傳送,從而可降低使用商業(yè)云對象存儲的費(fèi)用。如圖5所示,是一個(gè)具有文件共享系統(tǒng)的高性能計(jì)算環(huán)境下具有2個(gè)任務(wù)的簡單工作流。文件F-i被工作流管理系統(tǒng)傳送到集群文件共享文件系統(tǒng)。任務(wù)t1在計(jì)算節(jié)點(diǎn)1上啟動,從共享文件系統(tǒng)中讀入文件F-i,然后將中間文件F-i-t寫入到共享文件系統(tǒng)中,任務(wù)t2在計(jì)算節(jié)點(diǎn)2上啟動,從文件共享系統(tǒng)中讀入F-i-t(由任務(wù)t1創(chuàng)建),然后將其輸出寫入到F-o,F(xiàn)-o由工作流管理系統(tǒng)送到對象存儲中,這種方法的優(yōu)點(diǎn)在傳統(tǒng)的有高速并行超級計(jì)算環(huán)境中尤為顯著。例如,XSEDE(ExtremeScienceandEngineeringDiscoveryEnvironment)節(jié)點(diǎn)對多數(shù)科學(xué)工作流點(diǎn)有極大擴(kuò)展性[15]。值得注意的是,如果第一個(gè)計(jì)算節(jié)點(diǎn)忙而需要將計(jì)算溢出到另一個(gè)節(jié)點(diǎn)時(shí),這種隨數(shù)據(jù)布局任務(wù)的方法,損失了布局計(jì)算的靈活性。以上兩種方法各有所長,選擇使用哪種方法取決于工作流的類型和工作流執(zhí)行的目標(biāo)環(huán)境,這就要求工作流管理系統(tǒng)的開發(fā)具有彈性的數(shù)據(jù)管理方案,允許科學(xué)家有效使用對他們有用的基礎(chǔ)設(shè)施。工作流中的數(shù)據(jù)管理方案應(yīng)該具有如下特征:首先,科學(xué)工作流管理系統(tǒng)允許任務(wù)和數(shù)據(jù)后綁定,任務(wù)依據(jù)資源的可用性映射到計(jì)算資源上,任務(wù)在執(zhí)行時(shí)能夠發(fā)現(xiàn)資源,并從眾多存儲中選擇數(shù)據(jù)暫存位置;其次,在科學(xué)家只有一個(gè)計(jì)算資源可用的情況下,允許任務(wù)和數(shù)據(jù)的靜態(tài)綁定;再次,支持使用不同協(xié)議和不同安全機(jī)制訪問對象存儲。

4相關(guān)工作

工作流管理系統(tǒng)處理數(shù)據(jù)的方法很多,Swift[16]采用與本文所描述的第二種模式類似,使用本地文件系統(tǒng)或共享文件系統(tǒng)作為數(shù)據(jù)緩存,提交主機(jī)扮演數(shù)據(jù)暫存的角色。系統(tǒng)首先選擇一個(gè)計(jì)算站點(diǎn)來運(yùn)行一個(gè)任務(wù),然后將數(shù)據(jù)從提交主機(jī)推向該站點(diǎn)的文件系統(tǒng),任務(wù)執(zhí)行后,輸入的文件被回傳給提交主機(jī),中間文件被留在共享文件系統(tǒng)中以便后續(xù)任務(wù)的執(zhí)行。相對而言,本文將數(shù)據(jù)文件(包括輸入、輸出、中間文件)與提交主機(jī)分離,并使用不同的協(xié)議,具有更好的靈活性。其他工作流管理系統(tǒng)如Kepler[17],Triana[18]和Taverna[19]關(guān)注的是流式工作流中任務(wù)的調(diào)度和其他Web資源的調(diào)用,這些工作流具有圖形化的用戶界面,允許用戶搭建具有不同部件的工作流,但通常沒有涉及訪問大量數(shù)據(jù)集的問題。這些工作流中的數(shù)據(jù)管理很大程度上依賴于用戶,數(shù)據(jù)管理自動化非常有限。Kepler[20]引入了一個(gè)MapReduce執(zhí)行器,允許執(zhí)行采用MapReduce算法的混合工作流。Hadoop平臺通常用來運(yùn)行數(shù)據(jù)密集型的科學(xué)應(yīng)用,它所提供的文件操作與POSIX類似,允許隨機(jī)讀,但不允許隨機(jī)寫。在這種情況下,Hadoop平臺負(fù)責(zé)將輸入文件切片并分布在各個(gè)數(shù)據(jù)節(jié)點(diǎn)。而本文提出的方法主要針對工作流運(yùn)行在多個(gè)不同的執(zhí)行環(huán)境中,代碼不能MapReduce的情況。在XSEDE中,任務(wù)利用分布式文件系統(tǒng)如GPFS-WAN[21](GeneralParallelFileSystem-WAN)來訪問數(shù)據(jù),分布式文件系統(tǒng)支持POSIX操作,可以對輸入和輸出文件進(jìn)行遠(yuǎn)程訪問。研究表明[22],將大型數(shù)據(jù)集布局在本地計(jì)算節(jié)點(diǎn)會更好,但這一策略也會帶來新的問題,如不同類型工作流的融合以及數(shù)據(jù)布局策略算法等。

篇(4)

中圖分類號:TP393 文獻(xiàn)標(biāo)識碼:A 文章編號:2095-2163(2015)02-

Improve the Security of Cloud Computing Data with Encrypting the Communication Channel

ZHANG Jianzhen

(ShanXi Institute of Mechanical & Electrical Engineering, ChangZhi ShanXi 046000,China)

Abstract: With the development of cloud computing, the security of cloud data gets more and more attention, in order to make the data in the cloud computing, data storage, data communication be more secure, this paper analyzes main risk and the existed security measures, puts forward through encrypting the communication channel to strengthening communications’ security, which could promote cloud computing data security.

Keywords: Cloud Computing; Data Security; Data Encryption; Access Control; Channel Encryption

0 引 言

自2010年以來,云服務(wù)得到廣泛的應(yīng)用,云計(jì)算、云存儲、云平臺幾乎滲透到工作、學(xué)習(xí)、生活的各個(gè)領(lǐng)域,許多企業(yè)紛紛搭建云平臺以提供云服務(wù),還有一些企業(yè)則開始遷移企業(yè)數(shù)據(jù)至云平臺,以節(jié)約成本、提高效率。由于云計(jì)算對網(wǎng)絡(luò)的依賴,使其除了云計(jì)算技術(shù)本身安全性外,同時(shí)更要考慮計(jì)算機(jī)網(wǎng)絡(luò)的安全風(fēng)險(xiǎn)。如何保障云中數(shù)據(jù)的安全性,成為云技術(shù)發(fā)展的重要課題。

1 云計(jì)算數(shù)據(jù)風(fēng)險(xiǎn)分析

云計(jì)算的一個(gè)主要特征就是網(wǎng)絡(luò)依賴,其一切服務(wù)均通過計(jì)算機(jī)網(wǎng)絡(luò)來實(shí)現(xiàn),用戶的數(shù)據(jù)存放在云端,無論使用PaaS、IaaS還是SaaS服務(wù),均需要通過網(wǎng)絡(luò)與用戶通信。因此,云計(jì)算在平臺架構(gòu)、網(wǎng)絡(luò)連接、用戶訪問等環(huán)節(jié)均存在安全風(fēng)險(xiǎn)。

1.1 平臺架構(gòu)

2010年以來,OpenStack提供了最簡單可行的私有云平臺架構(gòu)技術(shù),支持僅通過5臺計(jì)算機(jī)建立一個(gè)正常運(yùn)行的簡單云計(jì)算平臺,5臺計(jì)算機(jī)功能分別是計(jì)算服務(wù)器nova、存儲服務(wù)器swift、鏡像管理服務(wù)器glance、身份與訪問管理服務(wù)器keystone和Web服務(wù)接口Horizon,其中計(jì)算服務(wù)器Nova是OpenStack的核心,負(fù)責(zé)管理和優(yōu)化云計(jì)算資源配置[1]。因此,如果Nova節(jié)點(diǎn)出現(xiàn)故障(SPoF,single point of failure),將直接導(dǎo)致OpenStack云平臺的崩潰,云中數(shù)據(jù)的可用性也不復(fù)存在[2]。

1.2 網(wǎng)絡(luò)連接

由于云計(jì)算對網(wǎng)絡(luò)的依賴性,所以一般網(wǎng)絡(luò)存在的安全風(fēng)險(xiǎn)在云計(jì)算中同樣存在,如中間節(jié)點(diǎn)、網(wǎng)絡(luò)設(shè)備、連接設(shè)備等構(gòu)成云計(jì)算網(wǎng)絡(luò)每個(gè)環(huán)節(jié)的安全性,不僅如此,云計(jì)算平臺構(gòu)建的網(wǎng)絡(luò)連接本身也將是云中數(shù)據(jù)安全的重要一環(huán)。

1.3 用戶訪問

分布式虛擬技術(shù)是云計(jì)算關(guān)鍵技術(shù)之一,在云中,用戶不僅不清楚自己的數(shù)據(jù)儲存在哪臺服務(wù)器上,也不了解服務(wù)器具體放置何處,用戶之間通過分布式虛擬技術(shù)實(shí)現(xiàn)共享計(jì)算或存儲資源,此時(shí)若用戶之間安全隔離不夠,就使得一些惡意用戶利用溢出等攻擊技術(shù)讀取共享區(qū)數(shù)據(jù),從而使得用戶數(shù)據(jù)被竊取、篡改或丟失。

2 云計(jì)算數(shù)據(jù)安全主要措施

為保障云中數(shù)據(jù)安全,目前采用的安全保障措施主要包括數(shù)據(jù)加密和采用訪問控制策略。

2.1 數(shù)據(jù)加密

采用數(shù)據(jù)加密技術(shù)是實(shí)現(xiàn)用戶信息在云計(jì)算環(huán)境下安全存儲與安全隔離[3]的有效手段,目前比較流行的數(shù)據(jù)加密方法有同態(tài)加密[4-6]和基于屬性的加密。同態(tài)加密使云端在不知道用戶明文數(shù)據(jù)m情況下,對加密的用戶數(shù)據(jù)e直接進(jìn)行操作,如同對明文進(jìn)行操作,另外也有類似的半同態(tài)或somewhat同態(tài)加密技術(shù)。基于屬性的加密使用用戶的屬性集合作為公鑰對用戶數(shù)據(jù)加密[7],若一個(gè)訪問用戶要解密一個(gè)密文,則要求該用戶的屬性集合與公鑰的屬性集合相同屬性的數(shù)量達(dá)到要求數(shù)量才能解密。但加密數(shù)據(jù)的密鑰管理往往成為另一個(gè)新的問題。

2.2 訪問控制

用戶訪問云中數(shù)據(jù)時(shí),必須經(jīng)過云服務(wù)商CSP認(rèn)證,因此,云服務(wù)商需要采用訪問控制策略來控制用戶對云中數(shù)據(jù)和云服務(wù)的訪問[8]。由于云計(jì)算中,用戶都有自己的數(shù)字ID,因此基于身份的加密IBE和簽名IBS的IBACC認(rèn)證協(xié)議廣泛用于云計(jì)算身份認(rèn)證,采用此身份認(rèn)證方式,可以進(jìn)行實(shí)時(shí)身份監(jiān)控、權(quán)限認(rèn)證和證書檢查,從而防止來自惡意用戶的越權(quán)訪問。訪問控制不能就消息傳輸過程的安全性作出反應(yīng)。

3 通信信道加密保障安全

正如密碼學(xué)上經(jīng)典的Alice和Bob通信問題,目前保障云中數(shù)據(jù)安全的方法無論加密消息本身還是在Alice和Bob之間設(shè)置訪問控制協(xié)議,均各有利弊。為保障云中數(shù)據(jù)的安全可靠,除采用數(shù)據(jù)加密和訪問控制外,充分借鑒計(jì)算機(jī)網(wǎng)絡(luò)通信加密技術(shù)提出通過信道加密來保障云數(shù)據(jù)安全。OSI通信模型中,加密可以發(fā)生在通信低層如物理層、數(shù)據(jù)鏈路層,也可以發(fā)生在如應(yīng)用層等較高層。物理層與數(shù)據(jù)鏈路層等低層加密也叫鏈―鏈加密(link-by-link encryption),即通過該鏈路的所有數(shù)據(jù)將被加密;發(fā)生在較高層(如應(yīng)用層)的加密叫端―端加密(end-to-end encryption),數(shù)據(jù)傳輸?shù)酱颂帟r(shí)被有選擇性地加密,并且只在最后的接收端解密[9]。以下為加密具體實(shí)現(xiàn)方法。

3.1 鏈―鏈加密

鏈―鏈加密方法是在標(biāo)準(zhǔn)物理層接口處添加硬件設(shè)備,在線加密,每一次鏈接僅需要一組密鑰。通過物理接口的所有數(shù)據(jù)將被加密,如數(shù)據(jù)、路由信息、協(xié)議等,對用戶透明,發(fā)送端與接收端之間的任務(wù)智能交換或節(jié)點(diǎn)要處理數(shù)據(jù)必須對其進(jìn)行解密,因此鏈―鏈加密以后,由于所有數(shù)據(jù)被加密,竊聽者得不到任何關(guān)于數(shù)據(jù)結(jié)構(gòu)的信息,也無法猜測數(shù)據(jù)來源及目的地,偵聽到的僅是貌似隨機(jī)的位序列。由于鏈路加密需要對每個(gè)物理鏈路加密,只要有一處沒加密就會危及整個(gè)網(wǎng)絡(luò)安全。因此,對于大網(wǎng)絡(luò),鏈―鏈加密開銷將變大,且中間節(jié)點(diǎn)數(shù)據(jù)易被暴露。鏈路加密原理如圖1所示。

圖1鏈路加密原理模型

Fig.1 Link encryption principle model

3.2 端―端加密

端―端加密方法主要是在通信模型的較高層――網(wǎng)絡(luò)層或傳輸層之間添加加密設(shè)備,加密設(shè)備根據(jù)OSI模型低三層的協(xié)議理解數(shù)據(jù),由于端―端加密只加密傳輸中的數(shù)據(jù)單元,不處理路由信息,因而省去了通信中在物理層加解密信息的繁瑣,數(shù)據(jù)單元可以保持加密狀態(tài),直到傳輸結(jié)束。端―端加密獨(dú)立于網(wǎng)絡(luò)所用的通信結(jié)構(gòu),加密和解密離線完成,因此密鑰管理相對復(fù)雜。由于路由信息不加密,因此攻擊者將可根據(jù)路由信息分析通信雙方,通信時(shí)間及時(shí)長等。端―端加密原理如圖2所示。

圖2端―端加密原理模型

Fig.2 P2P encryption principle model

3.3 組合加密

根據(jù)鏈―鏈加密與端―端加密的優(yōu)缺點(diǎn),考慮一種針對云計(jì)算有效的網(wǎng)絡(luò)安全方式,即加密每個(gè)物理鏈路同時(shí)加密數(shù)據(jù)單元,從而既避開了端―端加密攻擊者對路由信息的分析,也提升了鏈―鏈加密中間節(jié)點(diǎn)數(shù)據(jù)的安全性。密鑰管理方面,用戶仍采用離線的端―端加密,網(wǎng)絡(luò)管理員負(fù)責(zé)物理層在線的鏈―鏈加密。

4 結(jié)束語

隨著云計(jì)算技術(shù)的發(fā)展,云服務(wù)不斷滲透人們生活的方方面面,但是由于云計(jì)算模式下數(shù)據(jù)異地存儲導(dǎo)致數(shù)據(jù)超出人們的掌控范圍,數(shù)據(jù)安全成為時(shí)下普遍關(guān)注的焦點(diǎn)。數(shù)據(jù)加密與訪問控制是最常規(guī)的安全措施,作為云計(jì)算數(shù)據(jù)傳輸?shù)摹案咚俟贰报D―通信信道往往被人們所忽視,數(shù)據(jù)安全環(huán)環(huán)相扣,只要其中任何一個(gè)環(huán)節(jié)出現(xiàn)漏洞,均會導(dǎo)致功虧一簣。通過數(shù)據(jù)加密、訪問控制、信道加密三位一體的安全措施,相信在一定程度上解決云計(jì)算數(shù)據(jù)安全問題,但隨著網(wǎng)絡(luò)技術(shù)的高新、快速發(fā)展,有效的安全手段仍需要不斷深入研究,力爭實(shí)現(xiàn)防患于未然。

參考文獻(xiàn):

[1] 陳伯龍,程志鵬.云計(jì)算與OpenStack[M].北京:電子工業(yè)出版社,2013.

[2] 曾文琦,葉家煒,楊陽,等.面向應(yīng)用服務(wù)的虛擬機(jī)性能評估[J].計(jì)算機(jī)工程與設(shè)計(jì),2014(10): 156-158.

[3] 張啟云.云計(jì)算中數(shù)據(jù)安全問題研究[J].計(jì)算機(jī)光盤軟件與應(yīng)用, 2012(6):25-26.

[4] 吳旭東.云計(jì)算數(shù)據(jù)安全研究[A].第26次全國計(jì)算機(jī)安全學(xué)術(shù)交流會論文集[C]. 上海:信息網(wǎng)絡(luò)安全, 2011:38-40.

[5] Marten van Dijk and Craig Gentry and Shai Halevi and Vinod Vaikuntanathan.Full Homomorphic Encryption over the Integers[C]//Eurocrypt.Nice,F(xiàn)rance:ICAR,2010.

[6] 彭偉.面向云計(jì)算安全的同態(tài)加密技術(shù)應(yīng)用研究[D]. 重慶:重慶大學(xué), 2014.

[7] 程玉柱,胡伏湘.云計(jì)算中數(shù)據(jù)資源的安全加密機(jī)制[J].長沙民政職業(yè)技術(shù)學(xué)院學(xué)報(bào), 2013(2):132-134.

篇(5)

【中圖分類號】G40-057 【文獻(xiàn)標(biāo)識碼】A 【論文編號】1009-8097(2012)03-0099-05

引言

隨著的IT(Information Technology,信息技術(shù))逐漸滲透到高校的教學(xué)、科研和辦公等核心業(yè)務(wù),各類信息系統(tǒng)數(shù)量和存儲的數(shù)據(jù)越來越多,數(shù)據(jù)中心規(guī)模越來越大,學(xué)校對數(shù)據(jù)中心的可靠性、安全性、靈活性提出了更苛刻的要求,傳統(tǒng)的數(shù)據(jù)中心建設(shè)管理模式己無法滿足當(dāng)前數(shù)字化校園的建設(shè)需求。服務(wù)器虛擬化以其高效、節(jié)能、高可用等諸多優(yōu)點(diǎn)已經(jīng)為人們所熟知,在高校校園網(wǎng)中服務(wù)器虛擬化的應(yīng)用也越來越廣泛。許多高校在使用虛擬化技術(shù)改造或新建數(shù)據(jù)中心時(shí),僅實(shí)現(xiàn)了服務(wù)器的虛擬化,對實(shí)現(xiàn)數(shù)據(jù)中心整體虛擬化及云計(jì)算技術(shù)在數(shù)據(jù)中心的研究和應(yīng)用較少。服務(wù)器虛擬化提升了服務(wù)器硬件使用效率,但如果不能實(shí)現(xiàn)數(shù)據(jù)中心的整體虛擬化,虛擬機(jī)得不到存儲及網(wǎng)絡(luò)系統(tǒng)的支持,虛擬化技術(shù)提供的高可靠性、高可用性、靈活性等更有價(jià)值的功能將無法得到應(yīng)用。本文分析了利用云計(jì)算、虛擬化和無狀態(tài)計(jì)算等技術(shù)對服務(wù)器、存儲、網(wǎng)絡(luò)和應(yīng)用交付設(shè)備進(jìn)行全面虛擬化整合的方法,并對關(guān)鍵技術(shù)的選擇進(jìn)行了深入的探討。最后在徐州師范大學(xué)數(shù)據(jù)中心建設(shè)方案的基礎(chǔ)上,提出了一套基于云計(jì)算以實(shí)現(xiàn)數(shù)據(jù)中心計(jì)算服務(wù)化、資源虛擬化和管理智能化為建設(shè)目標(biāo)的數(shù)據(jù)中心優(yōu)化解決方案。

一、高校數(shù)據(jù)中心建設(shè)的現(xiàn)狀

不斷成熟的虛擬化技術(shù)正在幫助更多的高校數(shù)據(jù)中心減少服務(wù)器數(shù)量、優(yōu)化資源配置并簡化管理,利用虛擬化和云計(jì)算技術(shù)可以實(shí)現(xiàn)動態(tài)IT基礎(chǔ)設(shè)施環(huán)境,進(jìn)一步改善現(xiàn)有的架構(gòu)和管理模式,得到了諸多高校的認(rèn)可。但是目前多數(shù)高校僅實(shí)現(xiàn)了用虛擬服務(wù)器簡單代替物理服務(wù)器,而沒有把數(shù)據(jù)中心內(nèi)的存儲、網(wǎng)絡(luò)及應(yīng)用交付系統(tǒng)進(jìn)行針對性調(diào)整,虛擬化技術(shù)提供的高可用性、高可靠性和資源動態(tài)分配等非常有應(yīng)用價(jià)值的功無法實(shí)施,傳統(tǒng)數(shù)據(jù)中心普遍存在的業(yè)務(wù)連續(xù)性差、靈活性差、業(yè)務(wù)部署周期長、管理維護(hù)成本高和高負(fù)載應(yīng)用(如每學(xué)期的集中選課)等問題依然沒有得到解決。

在數(shù)據(jù)中心僅對服務(wù)器進(jìn)行虛擬化,而不對其它硬件資源進(jìn)行針對性的調(diào)整,各類信息系統(tǒng)仍然無法與其使用的硬件資源徹底脫離關(guān)系。當(dāng)應(yīng)用系統(tǒng)使用的硬件資源性能無法滿足需要或出現(xiàn)故障時(shí),信息系統(tǒng)的運(yùn)行仍將受到影響。在利用云計(jì)算技術(shù)實(shí)現(xiàn)了存儲、網(wǎng)絡(luò)應(yīng)用交付系統(tǒng)整體虛擬化的數(shù)據(jù)中心,所有的硬件資源都在一個(gè)統(tǒng)一管理、分配并具有彈性伸縮能力的資源池中,這可以為應(yīng)用系統(tǒng)屏蔽底層硬件架構(gòu)的復(fù)雜性,使應(yīng)用系統(tǒng)與硬件資源徹底分離,系統(tǒng)使用的計(jì)算、存儲和網(wǎng)絡(luò)資源可以從數(shù)據(jù)中心的資源池中按需獲取,資源池中的設(shè)備出現(xiàn)故障時(shí)或系統(tǒng)需要更多的計(jì)算、網(wǎng)絡(luò)和存儲資源時(shí),云計(jì)算管理平臺可自動從資源池中分配新的可用資源,從而保證業(yè)務(wù)的連續(xù)性和可用性。數(shù)據(jù)中心整體虛擬化基礎(chǔ)架構(gòu)與服務(wù)器虛擬化架構(gòu)比較如圖1所示。

在高校數(shù)據(jù)中心建設(shè)中可以通過云計(jì)算技術(shù)解決服務(wù)器虛擬化帶來的問題。云計(jì)算是通過整合、管理、調(diào)配分布在數(shù)據(jù)中心的各類資源,并以統(tǒng)一的界面向用戶提供安全可靠的數(shù)據(jù)存儲、網(wǎng)絡(luò)和計(jì)算能力。作為一種共享的網(wǎng)絡(luò)交付信息服務(wù)的模式,云計(jì)算的使用者看到的只有服務(wù)本身,而不用關(guān)心相關(guān)基礎(chǔ)設(shè)施的具體實(shí)現(xiàn),利用云計(jì)算和虛擬化技術(shù)構(gòu)建數(shù)據(jù)中心,對數(shù)據(jù)中心的服務(wù)器、存儲、網(wǎng)絡(luò)和應(yīng)用交付系統(tǒng)進(jìn)行整體虛擬化,使整個(gè)數(shù)據(jù)中心的運(yùn)行實(shí)現(xiàn)高效、可靠、安全和高可用的同時(shí),還可對硬件資源進(jìn)行智能管理、靈活部署、動態(tài)調(diào)整和按需分配,最終實(shí)現(xiàn)IaaS(Infrastructureas a Service,基礎(chǔ)設(shè)施即服務(wù))的目標(biāo)。利用云計(jì)算技術(shù)可根本解決高校傳統(tǒng)數(shù)據(jù)中心普遍存在的多種問題,考核數(shù)據(jù)中心運(yùn)維情況的TCO、服務(wù)器利用率、節(jié)能、穩(wěn)定性、容災(zāi)、可用性、安全性等指標(biāo),與傳統(tǒng)無虛擬化的數(shù)據(jù)中心和僅對服務(wù)器做了虛擬化的數(shù)據(jù)中心相比有明顯提升,根據(jù)[3]中調(diào)查數(shù)據(jù),利用雷達(dá)圖對相關(guān)指示做了比較如圖2所示。

二、云計(jì)算數(shù)據(jù)中心的關(guān)鍵環(huán)節(jié)

建設(shè)云計(jì)算數(shù)據(jù)中心時(shí),除了已被廣泛接受的虛擬化技術(shù)以外,資源池化、資源動態(tài)管理和資源動態(tài)擴(kuò)展等技術(shù)是實(shí)現(xiàn)高校云計(jì)算數(shù)據(jù)中心的關(guān)鍵環(huán)節(jié)。本節(jié)將分析這些環(huán)節(jié)實(shí)現(xiàn)技術(shù)的特點(diǎn)及其在數(shù)據(jù)中心建設(shè)過程中的作用。

1.資源池化

資源池化是指通過虛擬化手段,將數(shù)據(jù)中心內(nèi)的軟、硬件資源虛擬成一個(gè)大的“資源水池”,從而簡化硬件資源管理、調(diào)度難度,實(shí)現(xiàn)資源按需獲取和空閑資源自動釋放,是實(shí)現(xiàn)云計(jì)算數(shù)據(jù)中心的關(guān)鍵技術(shù)之一,也是實(shí)現(xiàn)云計(jì)算數(shù)據(jù)中心的基礎(chǔ)。云計(jì)算數(shù)據(jù)中心對虛擬化的要求不僅僅是將一臺服務(wù)器變成多臺這么簡單,它需要把數(shù)據(jù)中心的各類硬件資源虛擬并轉(zhuǎn)化為多個(gè)資源池,包括計(jì)算資源池、網(wǎng)絡(luò)資源池、存儲資源池、安全和應(yīng)用交付池等。資源池化是云計(jì)算的一個(gè)典型特點(diǎn),只有實(shí)現(xiàn)了資源的池化,才有可能實(shí)現(xiàn)資源的靈活分配。

實(shí)現(xiàn)資源池化可以使數(shù)據(jù)中心的硬件資源管理方式由管理離散的硬件更改為管理虛擬化的共享資源池,管理工作將變得更加簡單和高效,同時(shí)還可以提高硬件資源利用率并針對關(guān)鍵應(yīng)用優(yōu)先進(jìn)行動態(tài)的資源分配。從資源池可以按應(yīng)用系統(tǒng)需要分配出個(gè)性化的邏輯構(gòu)造塊(包含計(jì)算、網(wǎng)絡(luò)、存儲和安全能力),根據(jù)應(yīng)用系統(tǒng)需求這些從資源池中獲取的邏輯構(gòu)造塊經(jīng)過針對性調(diào)整,可提供修改化的服務(wù)級別或業(yè)務(wù)需求。實(shí)現(xiàn)資源池還有一個(gè)優(yōu)勢就是可以實(shí)現(xiàn)業(yè)務(wù)的快速部署,將資源池中的資源動態(tài)的分配給應(yīng)用程序。每個(gè)應(yīng)用程序與。個(gè)vApp(Virtual Application,虛擬化應(yīng)用程序)堆棧捆綁,而vApp配有應(yīng)用程序需要的應(yīng)用服務(wù)器、數(shù)據(jù)庫和服務(wù)器操作系統(tǒng)配置,這使得業(yè)務(wù)部署變得更加靈活、高效。

2.資源動態(tài)管理

資源動態(tài)管理可以簡化資源管理、調(diào)度難度,實(shí)現(xiàn)資源按需獲取和空閑資源快速釋放是云計(jì)算數(shù)據(jù)中心必須具備的能力。變更指定給應(yīng)用系統(tǒng)負(fù)載的硬件資源或硬件資源離線維護(hù)時(shí),負(fù)載需要在硬件資源之間進(jìn)行轉(zhuǎn)移,這需要數(shù)據(jù)中心對資源池進(jìn)行動態(tài)管理。如何智能化的分配、調(diào)整、回收資源池中的資源是云計(jì)算數(shù)據(jù)中心必須解決的問題。數(shù)據(jù)中心資源的動態(tài)管理可有效提高設(shè)備利用率和數(shù)據(jù)中心可用性、可靠性和靈活性。

數(shù)據(jù)中心資源池的管理和調(diào)度可以通過負(fù)載均衡設(shè)備及虛擬化軟件的DRS(Distributed Resources Scheduler,分布式

資源調(diào)度)、HA(VMware High Availability,高可用性)、FT(Fault Tolerance,系統(tǒng)容錯(cuò))等功能實(shí)現(xiàn)各類應(yīng)用程序產(chǎn)生的負(fù)載在不同的硬件資源上動態(tài)移動,從而實(shí)現(xiàn)硬件資源的按需分配、動態(tài)調(diào)整和自動回收。通過多種資源管理技術(shù)的實(shí)施可以整合工作負(fù)載、提高利用率、減少單點(diǎn)故障、實(shí)現(xiàn)故障自動切換等功能,使各類應(yīng)用系統(tǒng)不必再去關(guān)心硬件資源的分配及運(yùn)行情況,應(yīng)用系統(tǒng)面對的只是一臺虛擬機(jī),虛擬機(jī)產(chǎn)生的數(shù)據(jù)流被靈活、均衡地分配到資源池中,從而實(shí)現(xiàn)了資源的動態(tài)管理。

3.動態(tài)擴(kuò)展

現(xiàn)有資源池內(nèi)的資源無法滿足應(yīng)用系統(tǒng)的需求時(shí),就需要數(shù)據(jù)中心的資源池可以在不中斷服務(wù)的情況下實(shí)現(xiàn)快速擴(kuò)容。采用模塊化數(shù)據(jù)中心(Portable Optimized Datacenter.POD)的建設(shè)方式,在每個(gè)模塊里有支撐業(yè)務(wù)部署的計(jì)算、網(wǎng)絡(luò)、及存儲資源,這種方式實(shí)現(xiàn)了資源的高度整合,縮短了建設(shè)周期,避免了大型平臺建設(shè)中不必要的銜接問題。同時(shí)每個(gè)模塊具有獨(dú)立承載業(yè)務(wù)能力,提升了后期設(shè)備選型的靈活性。隨著技術(shù)的發(fā)展,IT行業(yè)越來越意識到把應(yīng)用部署在單一支撐點(diǎn)的缺陷,云計(jì)算環(huán)境建議采用并行分布部署方式將業(yè)務(wù)加載到多個(gè)物理上完全獨(dú)立的模塊上,從而確保云環(huán)境下應(yīng)用的高冗余及業(yè)務(wù)連續(xù)性。通過POD建設(shè)方式動態(tài)擴(kuò)展資源池的過程如圖3所示。

三、關(guān)鍵設(shè)備和軟件的選型

本節(jié)將介紹各資源系統(tǒng)實(shí)現(xiàn)方法并給出一些高校在建設(shè)云計(jì)算數(shù)據(jù)中心時(shí)技術(shù)、設(shè)備選擇的建議。重點(diǎn)介紹計(jì)算系統(tǒng)、網(wǎng)絡(luò)系統(tǒng)、存儲系統(tǒng)和安全應(yīng)用交付系統(tǒng)和云管理平臺的建設(shè)方法。

1.計(jì)算系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

計(jì)算資源的虛擬化是通過服務(wù)器虛擬化軟件來實(shí)現(xiàn)的,關(guān)于服務(wù)器虛擬化軟件的選擇爭議并不大,在高校中應(yīng)用最廣泛、最具有代表意義的服務(wù)器虛擬化軟件是VMware公司的vSphere,也有部分高校使用了少量的Hyper-V、XenServer和Virtuozzo。vSphere是目前唯一可供生產(chǎn)環(huán)境使用的虛擬化套件,與同類產(chǎn)品相比其整合比最高,優(yōu)勢明顯。

在服務(wù)器的選擇上首先考慮的是設(shè)備的性能,系統(tǒng)最終能否支持海量用戶服務(wù)及時(shí)響應(yīng)的需求是系統(tǒng)設(shè)計(jì)是否成功的關(guān)鍵。其次是系統(tǒng)結(jié)構(gòu)應(yīng)該具有伸縮能力,保證系統(tǒng)能夠在維持系統(tǒng)框架、追加少量備件或設(shè)備的前提下,滿足數(shù)年內(nèi)學(xué)校業(yè)務(wù)增長的需要。徐州師范大學(xué)計(jì)算系統(tǒng)采用統(tǒng)一計(jì)算、一體化架構(gòu)設(shè)計(jì),計(jì)算能力主要由兩臺Cisco UCS 5108刀片服務(wù)器提供。UCS采用了Service Profile和無狀態(tài)計(jì)算概念,UCS中的所有服務(wù)器在沒被啟用前均可視為裸機(jī),其物理特性已經(jīng)不再重要。配置文件會自動尋找第一個(gè)可用的服務(wù)器,并和它關(guān)聯(lián)。當(dāng)該服務(wù)器損壞,配置文件會自動尋找第二個(gè)可用服務(wù)器。由于配置文件中設(shè)置了服務(wù)器的物理參數(shù),備用服務(wù)器也會獲取和原服務(wù)器一樣的物理參數(shù),因此,無需在網(wǎng)絡(luò)和存儲設(shè)備上做任何重新設(shè)置,備用服務(wù)器就能具有原服務(wù)器所有物理特性,操作系統(tǒng)和應(yīng)用還可以實(shí)現(xiàn)自動重啟,完全無需人工干預(yù)即實(shí)現(xiàn)了備機(jī)的自動上線。

高校公共數(shù)據(jù)平臺使用的數(shù)據(jù)庫產(chǎn)品多數(shù)是Oracle,因Oracle公司不建議將其產(chǎn)品部署于第三方公司的虛擬化平臺上,同時(shí)高校公共數(shù)據(jù)平臺是整個(gè)數(shù)字化校園的基礎(chǔ),對硬件性能、可靠性、可用性要求都非常高。因此在徐州師范大學(xué)計(jì)算資源中還另外增加了兩臺IBM公司的Power 740小型機(jī)供數(shù)據(jù)庫系統(tǒng)使用,同時(shí)服務(wù)器負(fù)載均衡,這在提升了服務(wù)器處理能力的同時(shí)實(shí)現(xiàn)了雙機(jī)熱備,該方案整體性能可滿足學(xué)校公共數(shù)據(jù)平臺運(yùn)轉(zhuǎn)需求。

2.網(wǎng)絡(luò)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

云計(jì)算數(shù)據(jù)中心網(wǎng)絡(luò)區(qū)別于傳統(tǒng)的數(shù)據(jù)中心網(wǎng)絡(luò)及校園網(wǎng),網(wǎng)絡(luò)資源調(diào)用方式是面向云服務(wù)而不是面向復(fù)雜的物理底層設(shè)施進(jìn)行設(shè)計(jì)的。通過網(wǎng)絡(luò)虛擬化可以把數(shù)據(jù)中心的網(wǎng)絡(luò)設(shè)備以一種與物理位置、物理存在和物理狀態(tài)無關(guān)的方式進(jìn)行調(diào)用,這是云計(jì)算架構(gòu)中IT資源池形成的關(guān)鍵環(huán)節(jié)。網(wǎng)絡(luò)虛擬化是實(shí)現(xiàn)網(wǎng)絡(luò)資源復(fù)用、降低管理維護(hù)復(fù)雜度、提高網(wǎng)絡(luò)設(shè)備利用率、保證全局服務(wù)策略一致性的關(guān)鍵,同時(shí)也是為自動化資源調(diào)用和配置打下基礎(chǔ)。

高校數(shù)據(jù)中心承載業(yè)務(wù)的應(yīng)用特點(diǎn)決定了其網(wǎng)絡(luò)既要考慮傳統(tǒng)校園網(wǎng)絡(luò)接入,又要考慮數(shù)據(jù)中心網(wǎng)絡(luò)接入,因此在方案設(shè)計(jì)上采用超大規(guī)模數(shù)據(jù)中心交換機(jī)Cisco Nexus 7000作為核心,在性能上實(shí)現(xiàn)了網(wǎng)絡(luò)核心和數(shù)據(jù)中心匯聚交換機(jī)資源的共享和復(fù)用,解決了核心層數(shù)據(jù)量和數(shù)據(jù)中心數(shù)據(jù)量可能存在較大差異的問題。數(shù)據(jù)中心核心配備了兩臺10插槽Nexus 7000,通過虛擬交換技術(shù)以雙機(jī)冗余的方式部署在網(wǎng)絡(luò)核心。配置了1塊48端口1/10G板卡,通過選配不同的光纖模塊,可同時(shí)實(shí)現(xiàn)萬兆和千兆的接入。在網(wǎng)絡(luò)虛擬化方面,Nexus采用了VDC(VirtualDeviceContent,虛擬化數(shù)據(jù)中心)技術(shù),可以將一臺物理交換機(jī)邏輯上模擬成多臺虛擬交換機(jī),從而實(shí)現(xiàn)更加靈活的、與物理設(shè)備無關(guān)的跨平臺資源分配能力,為數(shù)據(jù)中心這種底層設(shè)施資源消耗型網(wǎng)絡(luò)提供更經(jīng)濟(jì)高效的組網(wǎng)方式,也為管理和運(yùn)營智能化、自動化創(chuàng)造了條件。

另外還可以通過改進(jìn)虛機(jī)系統(tǒng)平臺內(nèi)的軟交換機(jī)運(yùn)行方式來提升虛擬化網(wǎng)絡(luò)的運(yùn)行質(zhì)量。Cisco與VMware聯(lián)合推出了一款內(nèi)置于vSphere系統(tǒng)的分布式交換機(jī)Nexus 1000v,替代V/V1ware原有的vSwitch和分布式交換機(jī)。該交換機(jī)使得在一個(gè)集群內(nèi)主機(jī)上的所有虛機(jī)可以看成連接在單一的一臺智能化交換機(jī)上,如圖4所示,它可實(shí)現(xiàn)無論虛機(jī)如何遷移,配置在虛擬交換機(jī)上的所有網(wǎng)絡(luò)策略都隨虛機(jī)遷移而自動跟隨,這在降低管理復(fù)雜性的同時(shí)提升了虛擬機(jī)的遷移速度。

3.存儲系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

云計(jì)算采用分布式存儲的方式來存儲數(shù)據(jù),在云計(jì)算數(shù)據(jù)中心對服務(wù)器穩(wěn)定性的要求有所降低,但對存儲可靠性與性能要求大幅提高。存儲系統(tǒng)是數(shù)據(jù)中心的核心基礎(chǔ),其性能的優(yōu)劣、質(zhì)量的好壞,對全局影響重大,因此如何保證數(shù)據(jù)中心的存儲系統(tǒng)能夠不斷地完善、發(fā)展,保持系統(tǒng)的實(shí)用性和技術(shù)的先進(jìn)性是在整個(gè)數(shù)據(jù)中心建設(shè)方案中必須重點(diǎn)考慮的問題。在存儲系統(tǒng)平臺的選型上應(yīng)充分考慮系統(tǒng)應(yīng)用水平和處理數(shù)據(jù)量的大小,在云計(jì)算數(shù)據(jù)中心因虛擬化帶來的服務(wù)器密度增加,導(dǎo)致I/O(Input/Output,輸入輸出)成為系統(tǒng)性能瓶頸,因此需要根據(jù)實(shí)際情況重點(diǎn)考慮系統(tǒng)I/O性能。

云計(jì)算數(shù)據(jù)中心存儲系統(tǒng)建設(shè)基本原則是利用虛擬化技術(shù)和先進(jìn)的大容量存儲設(shè)備,集中、智能管理所有存儲設(shè)備,形成存儲資源池。系統(tǒng)應(yīng)能提供完善、便捷的備份恢復(fù)解決方案,保證數(shù)據(jù)的高可用性。EMC公司VNX存儲系統(tǒng)在以上幾個(gè)方面都有卓越的表現(xiàn),并且和本方案的軟、硬件基礎(chǔ)架構(gòu)有機(jī)結(jié)合,形成一個(gè)完善的軟硬件存儲系統(tǒng)虛擬化解決方案。徐州師范大學(xué)數(shù)據(jù)中心建設(shè)方案中,我們采用一臺EMC VNX5300存儲作為數(shù)據(jù)中心主存儲,配置兩個(gè)SAN(Storage

Area Network,存儲區(qū)域網(wǎng)絡(luò))控制器,已提高系統(tǒng)的可靠性,配置一個(gè)NAS(network attached storage,網(wǎng)絡(luò)附加存儲)控制器以提高系統(tǒng)的靈活性。配置SAS硬盤,用于對I/O性能要求高的應(yīng)用。為了降低成本,還配置了SAT硬盤用于存儲對容量要求高,但對性能不太敏感的數(shù)據(jù)。另外設(shè)計(jì)一臺EMC VNX5100存儲作為數(shù)據(jù)中心的容災(zāi)存儲。存儲網(wǎng)絡(luò)通過FC(Fiber Chanel,光纖通道)和FCoE(Fibre Channel over Ethernet,以太網(wǎng)光纖通道)共存的方式實(shí)現(xiàn),這樣不僅解決了新舊技術(shù)過渡問題,還減少了接入交換機(jī)類型、數(shù)量和復(fù)雜性,整合了網(wǎng)絡(luò)資源,提高了數(shù)據(jù)中心資源部署效率,降低了功耗。

4.安全應(yīng)用交付系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

虛擬化環(huán)境下虛擬機(jī)的數(shù)量及密度迅速膨脹,為了減少防毒過程中的資源消耗、簡化管理手段并加強(qiáng)虛擬機(jī)的透明性和安全性,我們在虛擬機(jī)安全產(chǎn)品上選擇的是Trend公司的Deep Security。該系統(tǒng)是一套保護(hù)服務(wù)器和應(yīng)用程序的綜合安全系統(tǒng),擁有無安全防護(hù)技術(shù),該系統(tǒng)通過與VMware的控管中心整合,無需在虛擬機(jī)中安裝任何插件,即可實(shí)現(xiàn)對虛擬機(jī)的安全防護(hù),這進(jìn)一步減少了虛擬服務(wù)器的資源消耗,提升了計(jì)算資源工作的有效性。

虛擬化平臺本身具備部分對平臺內(nèi)的計(jì)算資源、存儲資源的負(fù)載均衡能力,可以在運(yùn)行期間持續(xù)監(jiān)控群集內(nèi)所有主機(jī)和虛擬機(jī)的CPU、內(nèi)存資源的分布情況和使用情況,根據(jù)運(yùn)行情況執(zhí)行相應(yīng)虛擬機(jī)遷移或提供遷移建議,從而保持計(jì)算資源的負(fù)載平衡。徐州師范大學(xué)數(shù)據(jù)中心建設(shè)中,輕負(fù)載通過創(chuàng)建基于VMware vSphere的主機(jī)DRS集群和存儲SDRS(Storage Distributed Resources Scheduler,分布式資源調(diào)度)集群實(shí)現(xiàn)管理。大型負(fù)載如選課、統(tǒng)一身份認(rèn)證的負(fù)載分流由F5公司的本地流量管理設(shè)備BIG-IP LTM實(shí)現(xiàn)。該設(shè)備通過與vSphere的深度整合,維護(hù)方便,利用虛擬化環(huán)境軟件的自動遷移功能,可靠性也較高。

根據(jù)主流備份系統(tǒng)的搭建準(zhǔn)則,徐州師范大學(xué)通過具有重復(fù)數(shù)據(jù)刪除功能的EMC Avama備份系統(tǒng)組建了統(tǒng)一的智能備份系統(tǒng)。通過新的數(shù)據(jù)備份技術(shù),實(shí)現(xiàn)了在存儲系統(tǒng)中完成對所有數(shù)據(jù)的備份工作,備份工作不再基于數(shù)據(jù)所處的操作系統(tǒng),這在大幅簡化數(shù)據(jù)備份工作難度的同時(shí),提升了數(shù)據(jù)備份的效率。同時(shí)因備份工作不再通過服務(wù)器,從而節(jié)省了大量的計(jì)算和網(wǎng)絡(luò)資源,降低了數(shù)據(jù)中心的負(fù)載。Avama直接運(yùn)行于VMware vSphere虛擬化平臺之上,無需其他操作系統(tǒng)支持。另外系統(tǒng)支持操作系統(tǒng)的快速恢復(fù),且備份的操作系統(tǒng)可以靈活的恢復(fù)到不同的硬件服務(wù)器上。恢復(fù)數(shù)據(jù)時(shí)不需采用全備份疊加增量備份來恢復(fù)至指定的時(shí)間點(diǎn),而是采用任意時(shí)間點(diǎn)恢復(fù)的方式。

5.云管理平臺

云管理平臺負(fù)責(zé)整個(gè)數(shù)據(jù)中心資源管理,是各資源池的管理和工作負(fù)載交付管理平臺,是實(shí)現(xiàn)IaaS的關(guān)鍵環(huán)節(jié)。云管理平臺應(yīng)能針對不同的資源池,提供統(tǒng)一的云管理接口,以實(shí)現(xiàn)對本架構(gòu)中的各資源池集中管理,包括資源管理、監(jiān)控、配置、診斷、故障檢測、審核及統(tǒng)計(jì)數(shù)據(jù)收集等方面的管理。徐州師范大學(xué)云管理平臺是在vSphere為云計(jì)算系統(tǒng)提供的基礎(chǔ)設(shè)施架構(gòu)的基礎(chǔ)上,通過第三方個(gè)性化開發(fā)軟件實(shí)現(xiàn)了與vSphere的對接。該平臺具有良好的跨平臺和功能擴(kuò)展性,系統(tǒng)用戶通過Web界面就可以實(shí)現(xiàn)自助式申請和管理,系統(tǒng)管理員不再需要手工生成和配置用戶所要求的虛擬機(jī),而是交由管理平臺自動完成。

6.數(shù)據(jù)中心拓?fù)?/p>

篇(6)

一、云計(jì)算基本概念

近些年,云計(jì)算這一概念在行業(yè)內(nèi)被普遍提及,也隨之為這一技術(shù)帶來了巨大的發(fā)展。維基百科()對云計(jì)算的定義如下:一種基于互聯(lián)網(wǎng)的計(jì)算機(jī)新方式,通過互聯(lián)網(wǎng)上的異構(gòu)、自治的服務(wù)為個(gè)人和企業(yè)用戶提供按需即取的計(jì)算。分析這一概念我們可以了解到,在互聯(lián)網(wǎng)時(shí)代,計(jì)算能力已經(jīng)成為了一種“商品”在進(jìn)行銷售,它就像我們?nèi)粘I钪械乃姟⒚簹庖粯樱瑑r(jià)格便宜,使用方便。目前,國內(nèi)外的互聯(lián)網(wǎng)商業(yè)巨頭紛紛推出自己的云計(jì)算平臺,如google、微軟、IBM、亞馬遜等,并將其作為未來發(fā)展的重要戰(zhàn)略之一。因此,針對云計(jì)算的研究不僅是互聯(lián)網(wǎng)時(shí)代業(yè)界技術(shù)發(fā)展的重要趨勢,也具有十分重要的應(yīng)用價(jià)值。

二、云計(jì)算的體系結(jié)構(gòu)

云計(jì)算是一個(gè)革命性的舉措,它不僅帶來了IT模式的變化,也引發(fā)了IT服務(wù)的變革。在云計(jì)算時(shí)代,數(shù)據(jù)是自己的,而對于數(shù)據(jù)的計(jì)算、處理等操作,都可以交給云計(jì)算數(shù)據(jù)中心進(jìn)行。云計(jì)算平臺可以看成是一個(gè)強(qiáng)大的“云”網(wǎng)絡(luò),不僅將眾多并發(fā)的網(wǎng)格計(jì)算和服務(wù)連接起來,還利用虛擬化技術(shù)對每一個(gè)服務(wù)器能力進(jìn)行拓展,這樣就通過云計(jì)算平臺使得各自的資源整合起來,擁有超級計(jì)算和存儲能力。從總體上看,云計(jì)算由三個(gè)基礎(chǔ)部分組成:基礎(chǔ)設(shè)施,網(wǎng)絡(luò)和終端。

三、云計(jì)算的關(guān)鍵技術(shù)

云計(jì)算是以數(shù)據(jù)為中心的一種數(shù)據(jù)密集型的超級計(jì)算方式,它在數(shù)據(jù)存儲和管理、編程模式和虛擬化等方面都具有自身獨(dú)特的技術(shù)。

(一)數(shù)據(jù)存儲和管理。云計(jì)算的數(shù)據(jù)一般采用分布式方式進(jìn)行存儲和管理。為了保證數(shù)據(jù)的高吞吐率、可靠性及高利用率,冗余存儲的方式也時(shí)常采用。此外,鑒于云計(jì)算中對數(shù)據(jù)讀取和分析的頻率高于數(shù)據(jù)更新頻率,云計(jì)算系統(tǒng)的數(shù)據(jù)管理常采用列存儲的數(shù)據(jù)管理模式---將表按列劃分后存儲。

(二)編程模式。在云計(jì)算系統(tǒng)的編程實(shí)現(xiàn)過程中,應(yīng)當(dāng)盡可能的簡單化。究其原因,主要是因?yàn)楹唵位木幊棠J侥軌驗(yàn)榛谠朴?jì)算服務(wù)的開發(fā)人員提供便利,可以幫助他們在進(jìn)行后臺并行執(zhí)行和任務(wù)調(diào)度時(shí)獲得相對透明的流程,進(jìn)一步得幫忙他們專心于業(yè)務(wù)邏輯。

(三)虛擬化技術(shù)。虛擬化技術(shù)是云計(jì)算有別于一般并行計(jì)算的根本性特點(diǎn),也是云計(jì)算中的一個(gè)關(guān)鍵技術(shù)。采用虛擬機(jī)技術(shù)對云計(jì)算資源進(jìn)行管理具有以下幾點(diǎn)優(yōu)勢:移動性、獨(dú)立性和高整合性。

四、云計(jì)算中的網(wǎng)絡(luò)拓?fù)湓O(shè)計(jì)

云計(jì)算作為基于互聯(lián)網(wǎng)的商業(yè)計(jì)算模型,其后端的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)十分復(fù)雜。對云計(jì)算系統(tǒng)中后端大量的服務(wù)器進(jìn)行有效地組織和管理一直是云計(jì)算研究中重要的方面,這是保證云計(jì)算系統(tǒng)穩(wěn)定運(yùn)行的關(guān)鍵。和一般的企業(yè)網(wǎng)絡(luò)、公網(wǎng)相比,云計(jì)算網(wǎng)絡(luò)結(jié)構(gòu)的特點(diǎn)有以下幾方面不同:

(一)云計(jì)算系統(tǒng)后端網(wǎng)絡(luò)的復(fù)雜程度遠(yuǎn)遠(yuǎn)大于一般公司的網(wǎng)絡(luò),因此,合理高效的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)是云計(jì)算系統(tǒng)中的關(guān)鍵,其主要的作用在于為網(wǎng)絡(luò)中數(shù)據(jù)傳輸?shù)臅惩ê头€(wěn)定提供保證。

(二)云計(jì)算系統(tǒng)網(wǎng)絡(luò)內(nèi)部的數(shù)據(jù)流量大,主要由于系統(tǒng)主要面向大量的用戶和大規(guī)模的業(yè)務(wù)處理。同時(shí),還可能會有服務(wù)等級區(qū)分度較大的問題。

(三)云計(jì)算系統(tǒng)的中網(wǎng)絡(luò)需要保證高穩(wěn)定性,這主要是由于用戶所有業(yè)務(wù)及數(shù)據(jù)都依賴云來開展。

(四)云計(jì)算系統(tǒng)需要有良好的可擴(kuò)展性。云計(jì)算系統(tǒng)的規(guī)模較大,不可能一次性建設(shè)完成,而且用戶規(guī)模會隨服務(wù)的增加持續(xù)擴(kuò)大,因此,如果沒有良好的可擴(kuò)展性很難滿足要求。

圖 1. 云系統(tǒng)后端網(wǎng)絡(luò)結(jié)構(gòu)示意圖

云計(jì)算系統(tǒng)中整個(gè)網(wǎng)絡(luò)的效率、穩(wěn)定性和復(fù)雜度由核心交換層的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)決定。顯而易見的,如果核心交換節(jié)點(diǎn)直接兩兩相【摘 要】本文的出發(fā)點(diǎn)為云計(jì)算的網(wǎng)絡(luò)需求,針對云計(jì)算系統(tǒng)中的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)特點(diǎn)進(jìn)行研究與分析,提出了云計(jì)算系統(tǒng)中網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的基本思想――由中心的主干交換部分和樹狀子網(wǎng)組成;并給出了相應(yīng)的實(shí)現(xiàn)解決思路。

【關(guān)鍵詞】云計(jì)算 網(wǎng)絡(luò)拓?fù)湓O(shè)計(jì) 算法實(shí)現(xiàn)

連,由此形成的全連通網(wǎng)絡(luò)抗穩(wěn)定性是最優(yōu)的,網(wǎng)絡(luò)的暢通性也能夠得到保證。但是,這樣拓?fù)浣Y(jié)構(gòu)的網(wǎng)絡(luò)其建設(shè)和維護(hù)的成本較高,各個(gè)核心交換節(jié)點(diǎn)中的路由和管理復(fù)雜度極高。另一方面,直接以各自交換節(jié)點(diǎn)為根生成最小生成樹也可以構(gòu)建網(wǎng)絡(luò),這樣的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)相對簡單,成本低,但是其穩(wěn)定性較差,容易造成網(wǎng)絡(luò)的不連通。

因此,一種合理且有效的方式可以簡化為如圖1所示的結(jié)構(gòu)。通過對該網(wǎng)絡(luò)抽象化,將需要研究的問題突出顯示,即抽象化每一個(gè)子網(wǎng)為一個(gè)節(jié)點(diǎn),給每個(gè)節(jié)點(diǎn)附上交換能力、子網(wǎng)流量和地理位置信息等特性。此時(shí),針對網(wǎng)絡(luò)主干拓?fù)浣Y(jié)構(gòu)的設(shè)計(jì)問題就可以表示為如何在已知若干節(jié)點(diǎn)容量、地理位置信息和可能流量等信息的前提下,將這些節(jié)點(diǎn)互相連接并形成一個(gè)冗余小、網(wǎng)絡(luò)架設(shè)開銷小的網(wǎng)絡(luò)拓?fù)洹?/p>

針對云計(jì)算網(wǎng)絡(luò)拓?fù)湓O(shè)計(jì)已有眾多研究者進(jìn)行了深入的研究和討論,該問題可以表示成圖論中的一個(gè)數(shù)學(xué)模型:即抽象化云計(jì)算系統(tǒng)中的網(wǎng)絡(luò)節(jié)點(diǎn)和所有可能的鏈路,表示為圖論中圖的頂點(diǎn)和邊,抽象化帶寬、延時(shí)、鏈路長度等表示為圖的邊權(quán)重。

本文針對云計(jì)算系統(tǒng)后端網(wǎng)絡(luò)的特點(diǎn),給出了云計(jì)算網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)組成---主干交換部分為中心和樹狀子網(wǎng)為結(jié)構(gòu)。通過將該問題抽象化為數(shù)學(xué)模型,并求解該抽象化問題,能夠有效地計(jì)算出云計(jì)算系統(tǒng)的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)。

參考文獻(xiàn):

[1]鄧自立, 云計(jì)算中的網(wǎng)絡(luò)拓?fù)湓O(shè)計(jì)和Hadoop平臺研究,[D].中國科學(xué)技術(shù)大學(xué). 2009. 學(xué)位論文

篇(7)

0 引言

2006年谷歌推出了“Google 101計(jì)劃”,并正式提出“云”的概念和理論。隨后亞馬遜、微軟、惠普、雅虎、英特爾、IBM等公司都宣布了自己的“云計(jì)劃”。

云計(jì)算的思想可以追溯到20世紀(jì)60年代,John McCar2thy[1]曾經(jīng)提到“計(jì)算早晚有一天能變成公用的基礎(chǔ)設(shè)施”,意味著計(jì)算能力可以流通,像人們使用商品一樣使用計(jì)算機(jī)資源。將計(jì)算、服務(wù)作為一種公共設(shè)施為公眾提供,像使用電話、煤氣和水電一樣使用計(jì)算機(jī)資源,并且費(fèi)用低廉、取用方便。云計(jì)算是通過互聯(lián)網(wǎng)進(jìn)行傳輸?shù)?數(shù)據(jù)存儲在云端,服務(wù)存儲在云端,通過利用數(shù)據(jù)的強(qiáng)大計(jì)算能力,為用戶服務(wù)。繼2007年IBM和Google宣布在云計(jì)算領(lǐng)域的合作后[2],云計(jì)算迅速成為產(chǎn)業(yè)界與學(xué)術(shù)界的熱點(diǎn)研究,得到廣泛的關(guān)注。

1 云計(jì)算的定義

云計(jì)算(Cloud Computing)是網(wǎng)格計(jì)算(Grid Computing)、分布式計(jì)算(Distributed Computing)、并行計(jì)算(Parallel Computing)、效用計(jì)算(Utility Computing)網(wǎng)絡(luò)存儲(Network Storage Technologies)、虛擬化(Virtualization)、負(fù)載均衡(Load Balance)等傳統(tǒng)計(jì)算機(jī)技術(shù)和網(wǎng)絡(luò)技術(shù)發(fā)展融合的產(chǎn)物,是新興的商業(yè)計(jì)算模型。它旨在通過網(wǎng)絡(luò)把多個(gè)成本相對較低的計(jì)算實(shí)體整合成一個(gè)具有強(qiáng)大計(jì)算能力的完美系統(tǒng),并借助SaaS、PaaS、IaaS、MSP等先進(jìn)的商業(yè)模式把這強(qiáng)大的計(jì)算能力分布到終端用戶手中。Cloud Computing的一個(gè)核心理念就是通過不斷提高“云”的處理能力,進(jìn)而減少用戶終端的處理負(fù)擔(dān),最終使用戶終端簡化成一個(gè)單純的輸入輸出設(shè)備,并能按需享受“云”的強(qiáng)大計(jì)算處理能力通俗的理解是,云計(jì)算的“云”就是存在于互聯(lián)網(wǎng)上的服務(wù)器集群上的資源,它包括硬件資源和軟件資源,本地計(jì)算機(jī)只需要通過互聯(lián)網(wǎng)發(fā)送一個(gè)需求信息,遠(yuǎn)端就會有成千上萬的計(jì)算機(jī)為你提供需要的資源并將結(jié)果返回到本地計(jì)算機(jī),這樣,本地計(jì)算機(jī)幾乎不需要做什么,所有的處理都在云計(jì)算提供商所提供的計(jì)算機(jī)群來完成。

2 云計(jì)算的主要服務(wù)形式

目前,云計(jì)算的主要服務(wù)形式有:SaaS、Paas和IaaS。

(1)軟件即服務(wù)(SaaS)。SaaS服務(wù)指的是提供商在自己的服務(wù)器上將應(yīng)用軟件統(tǒng)一部署,用戶通過互聯(lián)網(wǎng)來訂購自己需要的應(yīng)用軟件,提供商會根據(jù)所定軟件的時(shí)間長短和數(shù)量來收費(fèi),服務(wù)提供商會通過瀏覽器給用戶提供軟件。(2)平臺即服務(wù)(PaaS)。PaaS是指將開發(fā)環(huán)境作為服務(wù)來提供。廠商提供開發(fā)環(huán)境、服務(wù)器平臺、硬件資源等服務(wù)給客戶,用戶在其平臺基礎(chǔ)上定制開發(fā)自己的應(yīng)用程序并通過其服務(wù)器和互聯(lián)網(wǎng)傳遞給其他客戶。PaaS能夠給企業(yè)或個(gè)人提供研發(fā)的中間件平臺,提供應(yīng)用程序開發(fā)、數(shù)據(jù)庫、應(yīng)用服務(wù)器、試驗(yàn)、托管及應(yīng)用服務(wù)。(3)基礎(chǔ)設(shè)施服務(wù)(IaaS)。IaaS即把廠商的由多臺服務(wù)器組成的“云端”基礎(chǔ)設(shè)施,作為計(jì)量服務(wù)提供給客戶。它可以提供存儲資源和虛擬化服務(wù)器,前提是它將I/O設(shè)備、內(nèi)存、計(jì)算能力和存儲整理合并成虛擬的資源池。這是一種托管型硬件方式,用戶付費(fèi)使用廠商的硬件設(shè)施。

3 云計(jì)算的核心技術(shù)

云計(jì)算系統(tǒng)運(yùn)用了許多技術(shù),其中以編程模型、數(shù)據(jù)管理技術(shù)、數(shù)據(jù)存儲技術(shù)、虛擬化技術(shù)、云計(jì)算平臺管理技術(shù)最為關(guān)鍵。

(1)編程模型。MapReduce是Google開發(fā)的java、Python、C++編程模型,它是一種簡化的分布式編程模型和高效的任務(wù)調(diào)度模型,用于大規(guī)模數(shù)據(jù)集(大于1TB)的并行運(yùn)算。嚴(yán)格的編程模型使云計(jì)算環(huán)境下的編程十分簡單。(2)海量數(shù)據(jù)分布存儲技術(shù)。云計(jì)算系統(tǒng)由大量服務(wù)器組成,同時(shí)為大量用戶服務(wù),因此云計(jì)算系統(tǒng)采用分布式存儲的方式存儲數(shù)據(jù),用冗余存儲的方式保證了數(shù)據(jù)可靠性。(3)海量數(shù)據(jù)管理技術(shù)。云計(jì)算需要對分布的、海量的數(shù)據(jù)進(jìn)行處理、分析,因此,數(shù)據(jù)管理技術(shù)必需能夠高效的管理大量的數(shù)據(jù)。云計(jì)算系統(tǒng)中的數(shù)據(jù)管理技術(shù)主要是Google的BT數(shù)據(jù)管理技術(shù)和Hadoop團(tuán)隊(duì)開發(fā)的開源數(shù)據(jù)管理模塊HBase。(4)虛擬化技術(shù)。通過虛擬化技術(shù)可實(shí)現(xiàn)軟件應(yīng)用與底層硬件相隔離,它包括將單個(gè)資源劃分成多個(gè)虛擬資源的裂分模式,也包括將多個(gè)資源整合成一個(gè)虛擬資源的聚合模式。(5)云計(jì)算平臺管理技術(shù)。云計(jì)算系統(tǒng)的平臺管理技術(shù)能夠?qū)⒋罅康姆?wù)器進(jìn)行協(xié)同工作,進(jìn)行業(yè)務(wù)部署和開通非常方便,發(fā)現(xiàn)和恢復(fù)系統(tǒng)故障也非常的快速,通過智能化、自動化的手段實(shí)現(xiàn)大規(guī)模系統(tǒng)的運(yùn)營。

4 云計(jì)算技術(shù)發(fā)展面臨的主要問題

隨著云計(jì)算技術(shù)的日益發(fā)展和廣泛應(yīng)用,云計(jì)算模式同時(shí)存在著一些問題。(1)數(shù)據(jù)隱私問題。如何保證存放在云服務(wù)提供商的數(shù)據(jù)隱私不被非法利用,不僅需要技術(shù)的改進(jìn),也需要法律的進(jìn)一步完善。(2)數(shù)據(jù)安全性。有些數(shù)據(jù)是企業(yè)的商業(yè)機(jī)密,數(shù)據(jù)的安全性關(guān)系到企業(yè)的生存和發(fā)展。云計(jì)算數(shù)據(jù)的安全性問題解決不了會影響云計(jì)算在企業(yè)中的應(yīng)用。(3)用戶使用習(xí)慣。如何改變用戶的使用習(xí)慣,使用戶適應(yīng)網(wǎng)絡(luò)化的軟硬件應(yīng)用是長期而艱巨的挑戰(zhàn)。(4)網(wǎng)絡(luò)傳輸問題。云計(jì)算服務(wù)依賴網(wǎng)絡(luò),目前網(wǎng)速低且不穩(wěn)定,使云應(yīng)用的性能不高。云計(jì)算的普及依賴網(wǎng)絡(luò)技術(shù)的發(fā)展。

5 結(jié)語

目前,云計(jì)算技術(shù)的發(fā)展正處在起步階段,但云計(jì)算技術(shù)的發(fā)展將會改變用戶對計(jì)算資源的使用方式,使用戶從以桌面為核心轉(zhuǎn)向了以Web為核心。云計(jì)算的前景美好,但還存在一些技術(shù)問題亟待解決,例如可擴(kuò)展的并行計(jì)算技術(shù)、高可靠的系統(tǒng)容錯(cuò)技術(shù)、數(shù)據(jù)安全技術(shù)、負(fù)載均衡技術(shù)、海量數(shù)據(jù)的挖掘技術(shù)、任務(wù)調(diào)度技術(shù)等方向。隨著云計(jì)算技術(shù)的發(fā)展,將會有更多的平臺和服務(wù)不斷涌現(xiàn)出來進(jìn)而推動云計(jì)算技術(shù)及其應(yīng)用的發(fā)展。

篇(8)

中圖分類號:TH16, TP311 文獻(xiàn)標(biāo)識碼:A 文章編號:1007-9416(2017)02-0108-01

1 系統(tǒng)設(shè)計(jì)

1.1 系統(tǒng)軟件的開發(fā)平臺

數(shù)控機(jī)床可靠性管理系統(tǒng)采用SQL Server 2000作為數(shù)據(jù)庫軟件,采用VC++6.0作為應(yīng)用程序。VC++6.0是微軟公司推出的一種可視化的、面向?qū)ο蟮腤indows應(yīng)用程序開發(fā)工具,VC既具有C++的強(qiáng)大功能和高效性,同時(shí)又具有可視化編程的方便性,所以越來越受到使用者的歡迎。

1.2 系統(tǒng)的功能模塊[2]

該系統(tǒng)主要包括:用戶管理模塊、數(shù)據(jù)信息管理模塊、設(shè)備運(yùn)行狀態(tài)查詢模塊、可靠性指標(biāo)分析模塊、報(bào)表輸出模塊。

2 SQL數(shù)據(jù)庫的建立

2.1 ADO數(shù)據(jù)連接技術(shù)

ADO(ActiveX Data Objects)是微數(shù)據(jù)庫應(yīng)用程序開發(fā)的新接口,可以通過VC++先建立一個(gè)ADO連接對象,然后通過該對象打開到數(shù)據(jù)庫的連接。為了簡化操作,在使用ADO對象時(shí)可以將其封裝到類中,這樣只要引用封裝類的頭文件,即可使用封裝過的ADO對象。[3]

2.2 數(shù)據(jù)的錄入

系統(tǒng)主要錄入機(jī)床名稱、故障維修時(shí)間、故障部位、故障現(xiàn)象和故障原因等數(shù)控設(shè)備基本數(shù)據(jù)信息。

3 功能模塊實(shí)現(xiàn)

3.1 用戶管理模塊

該模塊主要是為了確保系統(tǒng)數(shù)據(jù)的安全,將登錄用戶分為:普通、高級、管理員三類用戶。

三類用戶的權(quán)限如下:普通用戶可以瀏覽和導(dǎo)出數(shù)據(jù),不能編輯數(shù)據(jù);高級用戶可以編輯數(shù)據(jù);管理員用戶除了可以編輯數(shù)據(jù)外,還可以對普通和高級用戶進(jìn)行權(quán)限管理。

3.2 數(shù)據(jù)信息管理模塊

該模塊主要實(shí)現(xiàn)數(shù)控設(shè)備故障信息的添加、修改、刪除、保存、導(dǎo)出等功能。

3.3 數(shù)控設(shè)備運(yùn)行狀態(tài)查詢模塊[4]

該模塊是對數(shù)控機(jī)床的故障狀態(tài)進(jìn)行統(tǒng)計(jì)和查詢,可以根據(jù)字段名、邏輯關(guān)系、過濾條件等進(jìn)行查詢,也可以導(dǎo)出相關(guān)的機(jī)床編號、故障編號、運(yùn)行時(shí)間、故障率等信息,以方便進(jìn)行故障分析。

3.4 可靠性指標(biāo)分析模塊[5]

該模塊主要計(jì)算數(shù)控機(jī)床可靠性分析常用的三個(gè)指標(biāo)MTBF、MTTR、A的值。

(1)平均故障間隔時(shí)間MTBF,一般可用式(1)計(jì)算。

(1)

其中,N0 為在評定周期內(nèi)機(jī)床累計(jì)故障頻數(shù);

n為機(jī)床抽樣臺數(shù);

ti為在評定周期內(nèi)第i臺機(jī)床的實(shí)際工作時(shí)間(h);

ri為在評定周期內(nèi)第i臺機(jī)床出現(xiàn)的故障頻數(shù)。

(2)平均維修時(shí)間 MTTR,一般可用式(2)計(jì)算:

(2)

其中:tMi ――在評定周期內(nèi)第i臺數(shù)控床的實(shí)際修復(fù)時(shí)間(小時(shí))。

(3)固有可用度 A,固有可用度A 綜合了可靠度和維修度的可靠性特征量,其計(jì)算公式為:

(3)

3.5 報(bào)表輸出模塊

該模塊主要是打印功能,可以輸出數(shù)控設(shè)備的故障信息表、數(shù)控設(shè)備的運(yùn)行狀態(tài)、數(shù)控設(shè)備的可靠性指標(biāo)分析等數(shù)據(jù)信息。

4 結(jié)語

數(shù)控機(jī)床可靠性管理系統(tǒng)是針對數(shù)控機(jī)床產(chǎn)品的基本故障信息管理和可靠性評估而開發(fā)的,通過軟件的使用可以實(shí)現(xiàn)用戶管理、數(shù)據(jù)信息管理、設(shè)備運(yùn)行狀態(tài)查詢、可靠性指標(biāo)分析、報(bào)表輸出等功能,實(shí)現(xiàn)了設(shè)計(jì)的目的和要求。此外, 通過該軟件的數(shù)據(jù)結(jié)果可以分析出數(shù)控機(jī)床的薄弱環(huán)節(jié)和潛在缺點(diǎn),方便生產(chǎn)廠家采取改進(jìn)機(jī)床的可靠性的措施, 并為機(jī)床使用廠家的維修計(jì)劃提供建設(shè)性的依據(jù),增加企業(yè)的經(jīng)濟(jì)效益。

參考文獻(xiàn)

[1]李南,盧曉紅,韓鵬卓,武文毅.數(shù)控機(jī)床及其關(guān)鍵功能部件可靠性研究綜述[J].組合機(jī)床與自動化加工技術(shù),2012(11).

[2]鄭銳.基于可靠性分析的數(shù)控機(jī)床維修策略研究[D].吉林:吉林大學(xué)碩士論文,2011.6.

篇(9)

一、SDN技術(shù)的發(fā)展歷史

2006年,SDN誕生于美國GENI項(xiàng)目資助的斯坦福大學(xué)Clean Slate課題。

2008年,基于Ethane 及其前續(xù)項(xiàng)目Sane的啟發(fā), Nick McKeown 教授等人提出了OpenFlow 的概念,并于當(dāng)年在ACM SIGCOMM 發(fā)表了題為《OpenFlow: Enabling Innovation in Campus Networks》的論文,首次詳細(xì)地介紹了OpenFlow 的概念。

2009年12月,OpenFlow規(guī)范了具有里程碑意義的可用于商業(yè)化產(chǎn)品的1.0版本,之后又進(jìn)一步修訂推出了1.1、1.2、1.3、1.4版本。

在工業(yè)界,2010年1月,Google數(shù)據(jù)中心開始采用OpenFlow技術(shù)。

2011年3月,開放網(wǎng)絡(luò)聯(lián)盟ONF成立,標(biāo)志著SDN/ OpenFlow從單純的學(xué)術(shù)研究正式過渡到產(chǎn)業(yè)化發(fā)展的軌道中。

2012年底,AT&T、英國電信(BT)、德國電信、Orange、意大利電信、西班牙電信公司和Verizon聯(lián)合發(fā)起成立了網(wǎng)絡(luò)功能虛擬化產(chǎn)業(yè)聯(lián)盟(Network Functions Virtualisation,NFV),旨在將SDN的理念引入電信業(yè)。除ONF外,包括互聯(lián)網(wǎng)工程任務(wù)組、國際電信聯(lián)盟、歐洲電信標(biāo)準(zhǔn)協(xié)議也在推動SDN的發(fā)展和應(yīng)用。

二、應(yīng)用場景

目前,SDN主要應(yīng)用于通信技術(shù)領(lǐng)域,具體涉及校園網(wǎng)、移動網(wǎng)絡(luò)以及云計(jì)算網(wǎng)絡(luò)等,隨著SDN技術(shù)的深化發(fā)展,其應(yīng)用領(lǐng)域會更加廣泛。

2.1應(yīng)用于校園網(wǎng)

SDN最早誕生于斯坦福大學(xué)的Clean Slate課題,該課題主要是用于校園網(wǎng)絡(luò)的試驗(yàn)創(chuàng)新,旨在改變設(shè)計(jì)已略顯不合時(shí)宜,且難以進(jìn)化發(fā)展的現(xiàn)有網(wǎng)絡(luò)基礎(chǔ)架構(gòu),從而構(gòu)建一個(gè)靈活高效的校園網(wǎng)。

2012年,國家“863”項(xiàng)目“未來網(wǎng)絡(luò)體系結(jié)構(gòu)和創(chuàng)新環(huán)境” 獲得科技部批準(zhǔn)。該項(xiàng)目是一個(gè)符合SDN思想的項(xiàng)目主要由清華大學(xué)牽頭負(fù)責(zé),清華大學(xué)、中科院計(jì)算所、北郵、東南大學(xué)、北京大學(xué)等分別負(fù)責(zé)各課題,項(xiàng)目提出了未來網(wǎng)絡(luò)體系結(jié)構(gòu)創(chuàng)新環(huán)境FINE(Future Internet innovation Environment)。

2.2應(yīng)用于移動網(wǎng)

SDN邏輯上集中的控制平面能夠更好地實(shí)現(xiàn)網(wǎng)絡(luò)融合,使統(tǒng)一管理成為可能。利用SDN技術(shù)可以在固定網(wǎng)絡(luò)和移動網(wǎng)絡(luò)中實(shí)現(xiàn)無縫控制、提高VPN管理的靈活性等。

在運(yùn)營商網(wǎng)絡(luò)中利用SDN技術(shù)不但能夠降低網(wǎng)絡(luò)管理難度,還能加快業(yè)務(wù)部署速度,提高網(wǎng)絡(luò)服務(wù)器的適應(yīng)能力。

目前,我國三大移動運(yùn)營商紛紛找有實(shí)力的SDN技術(shù)研發(fā)公司進(jìn)行合作,如華為與電信運(yùn)營商的合作,其合作的目的是將現(xiàn)有的網(wǎng)絡(luò)結(jié)構(gòu)向SDN網(wǎng)絡(luò)結(jié)構(gòu)轉(zhuǎn)型,以期能夠適應(yīng)時(shí)代的潮流,為客戶提供更好的服務(wù)。

2.3應(yīng)用于云計(jì)算網(wǎng)絡(luò)

隨著網(wǎng)絡(luò)通信技術(shù)的發(fā)展以及客戶需求的增長,傳統(tǒng)的存儲處理系統(tǒng)遠(yuǎn)遠(yuǎn)達(dá)不到數(shù)據(jù)處理的需求,因此提出了集群及云計(jì)算概念。

云計(jì)算數(shù)據(jù)中心的交換機(jī)管理結(jié)構(gòu)復(fù)雜,因此需要對服務(wù)器和虛擬機(jī)進(jìn)行快速配置和數(shù)據(jù)遷移。如果不能在大量的服務(wù)器集群中進(jìn)行快速高效的尋址與數(shù)據(jù)傳輸,就極容易造成網(wǎng)絡(luò)擁塞,發(fā)揮不出網(wǎng)絡(luò)功能。

在數(shù)據(jù)中心網(wǎng)絡(luò)中部署OpenFlow交換機(jī),可以借助SDN技術(shù),實(shí)現(xiàn)高效尋址、優(yōu)化傳輸路徑、負(fù)載均衡等功能,提供數(shù)據(jù)交換的效率。

三、展望

SDN是一種新興的網(wǎng)絡(luò)架構(gòu),屬于下一代網(wǎng)絡(luò)技術(shù)研究范疇,但又與其他下一代網(wǎng)絡(luò)技術(shù)研究方向有很大區(qū)別。由于SDN技術(shù)剛剛提出,因此目前使用軟件定義網(wǎng)絡(luò)還存在一些問題,如讓不同的網(wǎng)絡(luò)服務(wù)提供者互相交換網(wǎng)絡(luò)信息從商業(yè)的角度來說是不容易實(shí)現(xiàn)的,在實(shí)現(xiàn)數(shù)據(jù)平面和控制平面的分離時(shí)如何實(shí)現(xiàn)分離轉(zhuǎn)發(fā)和控制面的OpenFlow協(xié)議的完善等。

但是相信隨著SDN技術(shù)的發(fā)展,這些問題在不久的將來會得到妥善解決。

參 考 文 獻(xiàn)

篇(10)

中圖分類號:TP309 文獻(xiàn)標(biāo)識碼:A 文章編號:1671-7597(2013)19-0059-02

隨著云計(jì)算技術(shù)的興起,傳統(tǒng)的C/S和B/S模式網(wǎng)絡(luò)服務(wù)形式正在發(fā)生著各種變革。在云計(jì)算模式下,客戶端和服務(wù)器端的定位正在發(fā)生變化,網(wǎng)絡(luò)的主要功能從服務(wù)器端到客戶端信息的傳送變化成服務(wù)的傳送。云計(jì)算服務(wù)體系由許多企事業(yè)單位的私有云及其相互之間的連接網(wǎng)絡(luò)組成。云的增多使得云內(nèi)部、云之間和客戶之間的連接網(wǎng)絡(luò)越來越龐大和復(fù)雜,網(wǎng)絡(luò)內(nèi)部的數(shù)據(jù)存儲和傳輸也變得越來越復(fù)雜,作為云計(jì)算信息傳輸?shù)幕A(chǔ)網(wǎng)絡(luò)而言,傳統(tǒng)的網(wǎng)絡(luò)架構(gòu)和協(xié)議無法應(yīng)對越來越復(fù)雜的數(shù)據(jù)傳輸要求,而數(shù)據(jù)在不同節(jié)點(diǎn)的存儲和傳輸控制顯得復(fù)雜化,所以有必要對傳統(tǒng)的網(wǎng)絡(luò)結(jié)構(gòu)和存儲技術(shù)進(jìn)行相應(yīng)的改進(jìn),建立一個(gè)具有高連通性、高吞吐量、高可靠性與安全性的云中數(shù)據(jù)存儲與傳輸架構(gòu)。同時(shí)具有較低的實(shí)現(xiàn)成本。

1 云計(jì)算數(shù)據(jù)中心拓?fù)浣Y(jié)構(gòu)改進(jìn)

云計(jì)算采用虛擬化技術(shù)建立一個(gè)抽象的云概念和透明的訪問方式,便于用戶的使用。云計(jì)算需要建立一個(gè)數(shù)據(jù)中心,數(shù)據(jù)中心由網(wǎng)絡(luò)將不同的云或云計(jì)算單元互聯(lián),網(wǎng)絡(luò)需要實(shí)現(xiàn)較高吞吐帶寬和較高的可靠性。傳統(tǒng)的基于核心層、匯聚層和接入層三層的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)能將數(shù)據(jù)實(shí)現(xiàn)分層,應(yīng)用于局域網(wǎng)傳輸具有較大的優(yōu)勢。為了提高網(wǎng)絡(luò)的可靠性每層網(wǎng)絡(luò)設(shè)備之間還使用了多根線路連接,具備了鏈路冗余和流量負(fù)載均衡的功能。但作為提供云計(jì)算服務(wù)的服務(wù)器位于接入層交換機(jī)之下,服務(wù)器與接入層交換機(jī)只能實(shí)現(xiàn)單線連接,無冗余和流量負(fù)載功能。不利于發(fā)揮服務(wù)器群的性能。本文提出了一種在原有拓?fù)浣Y(jié)構(gòu)基礎(chǔ)上利用可管理交換機(jī)實(shí)現(xiàn)網(wǎng)絡(luò)結(jié)構(gòu)改進(jìn),使服務(wù)器能實(shí)現(xiàn)雙出口設(shè)計(jì),大大增強(qiáng)服務(wù)器的數(shù)據(jù)吞吐量。同時(shí)具有較好的容錯(cuò)功能。具體如圖1所示。

在本拓?fù)浣Y(jié)構(gòu)中,出現(xiàn)兩個(gè)對稱的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)樹,將服務(wù)器實(shí)現(xiàn)了雙出口設(shè)計(jì)。此網(wǎng)絡(luò)能容納的服務(wù)器數(shù)量主要以交換機(jī)的端口數(shù)為準(zhǔn),核心層和匯聚層交換機(jī)可以通過增加插槽和模塊的方式擴(kuò)容,端口一般夠用。接入層交換機(jī)一般為固定端口,以24、48口居多。如果以每個(gè)交換機(jī)48個(gè)口為例,則整個(gè)網(wǎng)絡(luò)可以容納27648臺服務(wù)器。對一般的企事業(yè)單位構(gòu)建私有云來說都足夠了。當(dāng)然此結(jié)構(gòu)的成本低廉,且容易實(shí)現(xiàn),具有雙倍的數(shù)據(jù)吞吐量,能充分挖掘服務(wù)器的性能。如果網(wǎng)絡(luò)中虛擬主機(jī)需要遷移則更容易實(shí)現(xiàn)。

改變了網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)后需要對網(wǎng)絡(luò)重新進(jìn)行IP地址的劃分,并重新進(jìn)內(nèi)網(wǎng)的路由設(shè)計(jì)。為了提高網(wǎng)絡(luò)的可伸縮性、增加服務(wù)器的容量。建議采用10.0.0.0/8的A類私網(wǎng)地址,然后根據(jù)匯聚層和和接入層交換機(jī)的數(shù)據(jù)量劃分子網(wǎng),一般推薦每一個(gè)接入層交換機(jī)劃入一個(gè)VLAN,因?yàn)槊總€(gè)接入層交換機(jī)的端口數(shù)為48,所有保留5個(gè)主機(jī)位即可,剩下19個(gè)主機(jī)位可以作為子網(wǎng)劃分用。根據(jù)業(yè)務(wù)和管理需要,將連接相同功能的服務(wù)器的接入層交換機(jī)劃入相同子網(wǎng),然后再對每個(gè)接入交換機(jī)劃分子網(wǎng)。也就是說子網(wǎng)的劃分從核心、匯聚到接入逐級劃分,這樣的好處是路由匯總?cè)菀祝酚蓷l目較少,便于網(wǎng)絡(luò)維護(hù)。需要注意的是,服務(wù)采用雙網(wǎng)卡,兩個(gè)網(wǎng)卡處于不同的網(wǎng)段,服務(wù)器本身采用負(fù)載均衡技術(shù)實(shí)現(xiàn)兩個(gè)網(wǎng)卡的流量平衡。由于全網(wǎng)采用VLAN的方式結(jié)合冗余路由協(xié)議實(shí)現(xiàn)全網(wǎng)互通的話存在一定安全隱患,當(dāng)某臺服務(wù)器感染病毒時(shí)可能會導(dǎo)致整個(gè)網(wǎng)絡(luò)傳輸大量垃圾信息。所以推薦在匯聚層和核心層之間采用路由模式。以提高整個(gè)網(wǎng)絡(luò)的抗攻擊能力。采用此方式還可以發(fā)揮匯聚交換機(jī)的交換性能。

2 網(wǎng)絡(luò)緩存技術(shù)設(shè)計(jì)

對云計(jì)算機(jī)平臺設(shè)計(jì)好網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)后,需要對網(wǎng)絡(luò)中服務(wù)器進(jìn)行功能定位。服務(wù)器系統(tǒng)有索引服務(wù)器、存儲服務(wù)器和客戶端節(jié)點(diǎn)三個(gè)部分組成。索引服務(wù)器主要保存賬戶、空間、內(nèi)容目錄、文件片與存儲位置等信息。該服務(wù)器主要給方便用戶訪問所需要的資源。存儲服務(wù)器主要保存云計(jì)算平臺所提供的各種資源及其備份。客戶節(jié)點(diǎn)則提供系統(tǒng)入口,通過預(yù)先定義的規(guī)則與云中的其他服務(wù)器進(jìn)行交互。這樣的網(wǎng)絡(luò)存儲系統(tǒng)可以利用廣域網(wǎng)中大量開放的存儲服務(wù)形成云服務(wù)。能提供較大空間和數(shù)據(jù)傳輸帶寬。當(dāng)用戶的數(shù)量劇增或出現(xiàn)黑客攻擊時(shí),也可能出現(xiàn)許多用戶請求同一服務(wù)而導(dǎo)致拒絕服務(wù)。具體表現(xiàn)在:

1)當(dāng)較多用戶下載同一數(shù)據(jù)時(shí),將導(dǎo)致大量的訪問請求指向存儲該數(shù)據(jù)的服務(wù)器,該服務(wù)器由于壓力劇增而出現(xiàn)崩潰的幾率將大增。

2)云服務(wù)方便用戶上傳大量文件,當(dāng)用戶頻繁訪問某種存儲服務(wù)時(shí)出現(xiàn)速度變慢等現(xiàn)象,這是由于出現(xiàn)了服務(wù)拒絕的情況,當(dāng)然可以通過重傳的等方式,但執(zhí)行任務(wù)的周期會增加,從拖累了整個(gè)系統(tǒng)的效率。

針對該問題,本文提出了給云計(jì)算數(shù)據(jù)中心增加緩存服務(wù)器層的思路來改進(jìn)云計(jì)算平臺的數(shù)據(jù)保存和傳輸效率的思路。主要做法如下:

1)引入緩存服務(wù)器層概念,增加相應(yīng)的數(shù)據(jù)存儲服務(wù)器,將服務(wù)器集中統(tǒng)一的方式進(jìn)行管理,作為系統(tǒng)初始的文件冗余備份機(jī)制。如果將云計(jì)算平臺看作一臺計(jì)算機(jī),那么該服務(wù)器群相當(dāng)于給整個(gè)數(shù)據(jù)中心增加了內(nèi)存容量。該服務(wù)器群定位于臨時(shí)數(shù)據(jù)的存儲。

2)將客戶端的帶寬和存儲資源利用起來,運(yùn)用分布式哈希算法來解決結(jié)構(gòu)化的分布式存儲問題,將用戶節(jié)點(diǎn)組織起來,使用戶之間能夠彼此交換數(shù)據(jù)和資源共享。這樣可以減輕存放數(shù)據(jù)的服務(wù)器的壓力,避免服務(wù)器成為系統(tǒng)瓶頸或出現(xiàn)崩潰現(xiàn)象。

3)添加點(diǎn)對點(diǎn)的網(wǎng)絡(luò)傳輸層,引入服務(wù)節(jié)點(diǎn)群和傳輸節(jié)點(diǎn)全兩個(gè)模型,服務(wù)節(jié)點(diǎn)具有帶寬高、計(jì)算能力強(qiáng)、存儲量大、在線時(shí)間長的特點(diǎn)。傳輸節(jié)點(diǎn)則相對于服務(wù)節(jié)點(diǎn)性能較弱、資源較少。服務(wù)節(jié)點(diǎn)根據(jù)一定評價(jià)指標(biāo)進(jìn)行篩選,然后根據(jù)KAD算法組成一個(gè)網(wǎng)絡(luò),網(wǎng)絡(luò)信息有緩存服務(wù)器進(jìn)行保存,服務(wù)節(jié)點(diǎn)的主要作用是共享數(shù)據(jù)或提供服務(wù)。具體拓?fù)浣Y(jié)構(gòu)如圖2所示。

4) 處理流程:

上傳數(shù)據(jù):用戶節(jié)點(diǎn)聯(lián)入網(wǎng)絡(luò)后,如果達(dá)到了服務(wù)節(jié)點(diǎn)的要求,將成為服務(wù)節(jié)點(diǎn),并向緩存服務(wù)器匯報(bào)自己的節(jié)點(diǎn)信息,緩存服務(wù)器根據(jù)緩存的節(jié)點(diǎn)信息調(diào)度各個(gè)服務(wù)節(jié)點(diǎn)協(xié)同作業(yè)。用戶節(jié)點(diǎn)向索引服務(wù)器請求網(wǎng)絡(luò)存儲服務(wù)器,獲得授權(quán)后首先向緩存服務(wù)器上傳數(shù)據(jù),作為冗余備份。然后通過緩存服務(wù)器層向網(wǎng)絡(luò)存儲服務(wù)器上傳數(shù)據(jù)。

協(xié)同傳輸備份:索引服務(wù)器將需要備份的數(shù)據(jù)信息發(fā)送到緩存服務(wù)器,緩存服務(wù)器根據(jù)其保存的各種節(jié)點(diǎn)信息協(xié)調(diào)節(jié)點(diǎn)進(jìn)行傳輸備份,這樣緩存服務(wù)器、服務(wù)節(jié)點(diǎn)和存儲服務(wù)器都具有備份的數(shù)據(jù)。當(dāng)然緩存服務(wù)器、服務(wù)節(jié)點(diǎn)保存的時(shí)間有限,存儲服務(wù)器是永久保存。根據(jù)傳輸備份結(jié)果將數(shù)據(jù)保存信息反饋給索引服務(wù)器,方便下次用戶數(shù)據(jù)下載請求訪問。

下載數(shù)據(jù):用戶節(jié)點(diǎn)下載數(shù)據(jù)時(shí),索引服務(wù)器將用戶引導(dǎo)至緩存服務(wù)器,當(dāng)緩存服務(wù)器存在用戶下載的數(shù)據(jù)時(shí),將引導(dǎo)用戶從上傳該數(shù)據(jù)的服務(wù)節(jié)點(diǎn)下載,用戶節(jié)點(diǎn)還可以根據(jù)下載速度同時(shí)從服務(wù)節(jié)點(diǎn)、緩存服務(wù)器和存儲服務(wù)器同時(shí)下載。服務(wù)節(jié)點(diǎn)、緩存服務(wù)器和存儲服務(wù)器會根據(jù)負(fù)載的情況動態(tài)調(diào)整帶寬。多方下載的前提是數(shù)據(jù)進(jìn)行了合理的分片。下載后用戶需要將分片的數(shù)據(jù)進(jìn)行重組。

3 總結(jié)

云計(jì)算技術(shù)的不斷應(yīng)用,促使傳統(tǒng)的數(shù)據(jù)中心拓?fù)浣Y(jié)構(gòu)不斷發(fā)生著改變,數(shù)據(jù)中心內(nèi)部、用戶與云平臺之間的數(shù)據(jù)傳輸和存儲方式在不斷發(fā)生著改變,本文提出的新型拓?fù)浣Y(jié)構(gòu)和數(shù)據(jù)傳輸技術(shù)適用于目前常見的云計(jì)算平臺。數(shù)據(jù)中心的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)的優(yōu)化,充分利用了傳統(tǒng)三層結(jié)構(gòu)的穩(wěn)定性與高效性,同時(shí)也增加了服務(wù)器的出口容量,釋放了服務(wù)器的潛力,消除了云計(jì)算平臺數(shù)據(jù)中心的系統(tǒng)瓶頸,提高了整個(gè)系統(tǒng)的可靠性和效率。緩存數(shù)據(jù)層的引入則加快了用戶使用云計(jì)算平臺的有效傳輸效率,特別是用戶下載數(shù)據(jù)體驗(yàn)會更好。經(jīng)過模型的測試,采用優(yōu)化網(wǎng)絡(luò)拓?fù)浜驮黾泳彺鏀?shù)據(jù)層結(jié)構(gòu)的云計(jì)算平臺能教明顯的提高數(shù)據(jù)的傳輸速率,該結(jié)構(gòu)的特點(diǎn)是投入有限的硬件設(shè)備的條件下,利用用戶節(jié)點(diǎn)的資源充分挖掘云計(jì)算平臺本身潛力,實(shí)現(xiàn)了整個(gè)系統(tǒng)的資源配置優(yōu)化。

項(xiàng)目基金

本論文是湖南省教育廳科學(xué)研究項(xiàng)目“基于云計(jì)算的安全數(shù)據(jù)存儲服務(wù)技術(shù)研究”(11C0273)的研究成果。

參考文獻(xiàn)

上一篇: 健康社團(tuán)活動總結(jié) 下一篇: 建筑施工工藝實(shí)訓(xùn)總結(jié)
相關(guān)精選
久久久噜噜噜久久中文,精品五月精品婷婷,久久精品国产自清天天线,久久国产一区视频
亚洲午夜在线观看 | 亚洲免费在线观看 | 日本久久综合视频 | 中文字幕酒后影院 | 在线国产日韩欧美播放精华一区 | 中文字幕精品三区 |