云計算的基本架構匯總十篇

時間:2023-08-27 15:09:47

序論:好文章的創作是一個不斷探索和完善的過程,我們為您推薦十篇云計算的基本架構范例,希望它們能助您一臂之力,提升您的閱讀品質,帶來更深刻的閱讀感受。

云計算的基本架構

篇(1)

中圖分類號:TP391.9 文獻標識碼:A 文章編號:1009-914X(2014)47-0249-01

0 引言

自2006年以來,云概念的提出受到IT界內的很大重視,各大IT公司紛紛研發相應的云產品,為代表的云計算在全世界內得到快速發展。廣義范圍上,云技術是通過網絡服務器向客戶提供在線軟件服務、軟件租借、數據存儲及數據挖掘的服務,涵蓋多種技術,如虛擬化、分布式計算、分布式數據庫及分布式存儲等技術。虛擬化技術是云計算技術的基石,是實施的關鍵技術。利用虛擬化技術才可實現軟硬件、操作系統、存儲及網絡等的虛擬化,最終得以實現云計算的目標。VMware vSphere作為重要的虛擬技術,對于云平臺的搭建有著不容小視的作用。

1 VMware vSphere系統概述

1.1 虛擬化技術的含義及地位

當今社會的虛擬化技術是目前大型的數字化控制中心進行硬件資源的整合及提高價值的重要 技術,分為完全虛擬化、部分虛擬化及操作系統層虛擬化三種形式。虛擬化屬于一個抽象概念,打破了普通物理硬件和操作系統間的物理連接形式。

服務器虛擬化系統實質是利用虛擬技術在服務器里虛擬出許多客戶機進行整合式管理,而這些 客戶機是能夠相互獨立且運行不同操作系統及應用程序。為了成為面向全體用戶的系統,必須要設 計一個擁有簡潔友好界面的虛擬化客戶應用程序,能夠更好滿足對用戶靈活有效管理與服務,實現虛擬化,VMware vSphere就是其中的典型虛擬技術。虛擬化技術涉及的范圍十分廣,包含服務器虛擬化、桌面虛擬化等技術。

1.2 VMware vSphere虛擬技術簡介

VMware vSphere是從原先的VI3基礎之上推出的新系統,被稱作信息技術業界首款的云計算操作系統。它將應用程序及操作系統從底層的硬件分離出,并通過此簡化了IT的操作難度。在現有的應用程序中可以看到有專有的資源,其服務則能夠作為其資源池來進行管理。 系統主要包括三個部分:首先是虛擬化的管理器VMM處部分的VMware ESX4,Server一般是用于調配的物理服務器中相應內存、CPU、存儲和網絡之中的各種硬件資源,在物理服務器上運行的一個虛擬層并通過由此預定的策略將這些相關的資源分配到其中不同虛擬機的運行之中,這些相應的虛擬機憑借安全獨立的模式進行并行運行;其次,用來整合及管理vCenter,在虛擬基礎架構所有級別上集中控制及可見性都需要提高,利用主動地管理發揮其內在潛能,成為具有廣泛合作的伙伴體系可支持、可伸縮及可擴展的平臺。

2 云平臺系統搭建中VMware vSphere的應用

2.1 VMware vSphere云計算應用綜述

VMware vSphere系統能夠利用虛擬化技術將數據中心轉換為云計算的基礎架構,能使IT行業擁有提供靈活可靠服務的機會。其兩個核心組件包括VMware ESXi及VMware vCenter Server。其中ESXi屬于用來創建及運行虛擬機的中體平臺。而vCenter Server[2]可以歸類于一種服務,相當于連接到網絡的ESXi系統主機的主管理員。

vCenter Server可以將多個主機資源加入資源池中對這些資源進行。此外,vCenter Server還提供許多額外功能,可以來監控及管理物理及虛擬基礎的架構。典型數據中心由物理構建塊,如x86虛擬化服務器及存儲器網絡等。

2.2 可擴展VMware vCenter虛擬技術及其應用程序

VMware vCenter常指VMware vCenter Server。VMware vCenter Server提供一個可伸縮且可擴展的平臺,給虛擬管理奠定基礎。該管理的主機可以提升虛擬性構架的可見性,并能夠實現集中化的控制與管理,對其潛能的充分發揮具有十分重要的作用。vCenter Client影響到所有VM的創建、管理、運行及維護的水平,可以使管理主機的服務器優化資源并提高其可用性,從而實現動態化遷移、容錯率提高,并完成應用備份。一般VMware vCenter應用程序包含三種,其主要表現如表1所示。

2.3 Mware Data Recovery虛擬備份技術

VMware Data Recovery技術能夠創建虛擬機備份,還可以不會中斷虛擬機使用或其數據及資料的提供。Data Recovery可以管理現有備份數據資料,并且在備份過時后及時將它們刪除。此外,它還可以支持重復功能用來刪除其余的數據。

Data Recovery是建立在VMware vStorage API for Data Protection基礎上的,與VMware vCenter Server之間集成,可以進行集中調度備份作業。通過與vCenter Server之間的集成,還可實現虛擬機的備份,也就是使用VMwarev Motion及VMware Distributed Resource Scheduler移動該類虛擬機。

Data Recovery可以使用虛擬機以及客戶端插件來進行管理和還原相應的備份數據。備份設備是為了開放虛擬化格式而提供的。因此,該插件需要安裝Client,基本可在所有由VMware ESXi支持虛擬磁盤上的存儲備份。此外,還可以利用存儲區域網絡、網絡附加存儲設備和基于具體公用文件的系統。

3 總結

VMware vSphere的應用對于構建當今信息社會的云平臺有不容忽視的作用,它的虛擬化的管理器VMM及用來整合及管理的vCenter等對于“云計算”虛擬管理十分重要。隨著信息時代的發展,VMware vSphere、Mware Data Recovery等新虛擬平臺應用將會越來越為人們所接受。

篇(2)

一、背景

隨著互聯網和移動互聯網的高速發展,網絡的靈活性和敏捷性要求更高,現有的傳統分布式IP網絡的局限性日益突顯,主要表現為:

1.網絡剛性。網絡設備大量由單一功能的專用設備構成,造成網絡復雜、無法協同、缺乏靈活性等弊端。

2.網元封閉。硬件和軟件一體化的封閉結構,導致設備擴展性差、價格昂貴、不同廠家的網元互通困難。

3.業務僵硬。不同廠家的網元設備功能單一封閉,新業務開發周期長、成本高,難以滿足快速靈活提供業務的要求。

4.運營復雜。大量廠家的各類專用設備以及相關的協議眾多,網絡規劃復雜,整合難度高,運營復雜,造成運營成本居高不下。

多年來積累的問題已經使得今天的IP網絡患有“動脈硬化癥”,網絡架構重構迫在眉睫。2006年,SDN概念于是應運而生。

SDN(Software Defined Network)即軟件定義網絡,是一種開放靈活和可持續演進的新型網絡架構,采用軟件化、虛擬化的“分離”方法,將現有傳統的分布式網絡架構進行重構,讓網絡中的控制面和數據轉發面進行分離,由傳統分布控制向集中控制的網絡轉變。

關于SDN網絡架構,不同的組織有不同的定義,當前較為主流的是開放網絡基金會ONF(Open Networking Foundation)對SDN分層架構的定義,如圖1所示。

該分層架構模型得到了產業界的廣泛認可和推廣使用。

SDN的核心是“S”即軟件,也就是網絡不再是“硬”的,固化封閉的,難以擴展的,而是可以通過軟件程序實現靈活的新I務開發和部署,網絡資源可以靈活調度,使得網絡作為一個管道變得更加智能和彈性可用,較好地解決運營商現有網絡運營的痛點,因此,SDN概念一經提出,就受到了運營商的青睞和積極響應。2014年以來,隨著SDN技術的逐步成熟,國內運營商開始進行局部試點商用。

二、傳統分布式IP網絡和SDN網絡架構分析

SDN是對運營商現有網絡架構進行重構,重構后的網絡是否能夠穩定運行,是否出了故障能及時恢復,是否能達到或接近傳統分布式IP網絡的可靠性可用性要求,是運營商關注的重點之一。

2.1可靠性、可用性

網絡的可靠性使用網絡運行階段平均業務失效故障間隔時間來描述,用無故障運行時間來衡量。網絡的可用性使用網絡穩定不出現故障的時間與總的時間的百分比來表示。

從通俗的角度來理解,可靠性高是指網絡持續一段較長時間(如一年或兩年)運行穩定,不出現業務失效的故障;可用性高是指網絡穩定運行不易出現故障,并且一旦出現故障能夠快速恢復。

要提升網絡的可靠性和可用性,通常采用冗錯技術來實現,也就是在網絡設計中增加冗余資源,避免單點故障造成業務失效。

2.2傳統分布式IP網絡基本架構分析

傳統分布式IP網絡的基本架構如圖2所示,分為管理平面、控制平面和數據平面。管理平面為網管系統,負責網絡監控和業務配置,當業務配置下發后即使脫網也不影響網絡的正常運轉。控制平面和數據平面由路由器等設備組成,路由器負責按路由表轉發數據包,采用IGP和BGP兩種核心分布式動態路由協議,當網管把業務配置上傳到路由器后,如果網絡狀態發生變化,控制平面即路由器會在網絡中自動擴散這些變化,各自根據新的狀態自動重新計算路由,全網采用冗余路由技術和路由快速收斂技術,當故障發生時能夠在秒級時間內使受到影響的業務得以恢復,網絡具有故障快速自愈能力。

2.3 SDN網絡基本架構分析

SDN網絡的基本架構如下圖3所示,分為應用層、控制層、基礎設施層。應用層由各類商業應用軟件程序組成,通過北向接口向控制器提交各種網絡應用;控制層由SDN控制器組成,它是整個網絡的控制中心和指揮中心,是整個網絡的“大腦”,擁有全局網絡視圖,負責實時采集全網設備狀態、網絡拓撲和各鏈路流量,生成流表并通過南向接口下發給網絡設備,同時根據網絡狀態變化或應用層提交的功能更改重新生成流表并下發;基礎設施層由網絡設備和線路組成,一方面負責接收控制器下發的流表并按之進行數據包轉發,另一方面負責將網絡資源信息和狀態上報給SDN控制器,是執行單元,本身不做決策。

從SDN網絡的架構來看,SDN控制器作為網絡的“大腦”是關鍵部位,成為單點故障引發全網故障的風險點。

2.4兩種架構的可靠性可用性比較

從傳統分布式IP網絡和SDN網絡的基本架構來看,傳統分布式IP網絡的控制功能是分布式的,任何一個單點故障發生時網絡具有快速自愈能力,而SDN網絡的控制功能全部集中在SDN控制器,有單點故障引發所有業務失效風險,因此,傳統分布式IP網絡的可靠性和可用性較高,但是,SDN具有簡化網絡、快速業務開發和部署、低成本等核心價值,值得研究對策,讓SDN網絡可用。

三、提升SDN網絡可靠性可用性的策略

可靠性和可用性是基于網絡故障來考慮的,如果能夠識別出各層可能發生的故障及對網絡的影響程度,拿出應對策略,避免網絡因單點故障而癱瘓。

從SDN網絡架構來看,各層可能出現的故障如下:

應用層

設備方面:服務器故障、應用程序故障、服務器所在機房出現斷電等故障。

鏈路方面:服務器與SDN控制器的通信鏈路故障。

安全方面:非法侵入等。

控制層

設備方面:服務器故障、SDN控制器軟件故障、服務器所在機樓出現坍塌等故障。

鏈路方面:SDN控制器和網絡設備之間的鏈路故障。

安全方面:非法接入或受DDOS攻擊等。

基礎設施層

設備方面:網絡設備故障。

鏈路方面:網絡設備之間的鏈路故障。

安全方面:非法侵入等。

針對以上各層可能出現的故障,以及各層在網絡中的重要程度,權衡成本投入以及可接受的可靠性、可用性等因素采取以下的應對策略:

3.1應用層的應對策略

應用層的設備方面故障對網絡的運行影響并不大,當應用需求通過北向接口提交給控制器,由控制器生成相關的業務邏輯變成相關流表下發給網絡設備執行,此后,應用程序的服務器即使出現脫網等故障也暫時不會影響網絡的運行。因此,用層的服務器、應用程序采用冷備份冗余設計,考慮到機房安全問題,在異地機樓部署冷備份系統。當主用系統出現異常時切換到冷備份系統上運行。

防范鏈路方面的故障,可采用一條主鏈路和一條備用鏈路。由于與應用程序通信的外部設備是可知的,因此,防范安全方面造成的故障,采取對連接的設備進行白名單設置并進行嚴格的身份認證。

3.2控制層的應對策略

SDN控制器是網絡的控制中心和指揮中心,一旦SDN控制器無法提供服務,假設基礎設施層的網絡沒有發生變化,網絡設備仍按原有的流表進行轉發,不影響網絡運行,但是此時基礎設施層的網絡拓撲如果發生變化,沒有SDN控制器重新計算路由生成新的轉發流表,對網絡的運行就會造成重大影響。因此,控制層健壯性設計非常關鍵。

防范設備方面的故障,采取SDN控制器異地機樓的熱備份設計顯得尤為重要,承載SDN控制器軟件的服務器采用云化虛擬機集群,這些虛擬機獨占物理設備不與其他用戶分享,軟件采用分布式部署,主用控制器和備份控制器同時運行,都在處理業務,是負載均擔關系,因此具有超強的自愈能力來應對單臺或多臺服務器故障,冗余保護措施在故障情況下自動生效,對外服務不中斷,故障服務器修復后重新上線,系統自動平衡工作負載。

控制器和網絡設備之間的通信鏈路如果中斷導致控制器無法控制網絡,會造成重大影響,為了防范鏈路故障的影響,應采用控制器通過多條鏈路連接到網絡設備,采取帶外專門的鏈路通道,輔以帶內控制通道作為冗余鏈路,使得任何一條鏈路故障,都不影響控制器與網絡設備的通信。

為防范非法接入或受DDOS攻擊,應采取在SDN控制器和網絡邊界處部署防火墻、入侵檢測設備以及流量清洗系統。通過防火墻和入侵檢測設備進行訪問控制、病毒木馬防治、非法入侵檢測、安全漏洞掃描等,采取只對特定的IP地址提供服務并按需開放端口原則,阻斷非法IP接入或攻擊;通過清洗系統對進出控制器的流量進行分析,一旦發現非法攻擊流量,立即引導非法流量到清洗部件。

3.3基礎設施層的應對策略

基礎設施層的網絡設備或鏈路故障,會造成部分業務中斷,故障發生后,SDN控制器會根據網絡變化情況,重新進行路由計算并生成新的流表下發給在線運行的網絡設備,實現網絡收斂。在設計網絡節點時采用傳統的設備冗余、鏈路冗余技術,部署IP FRR快速重路由,一旦節點故障發生,網絡設備在沒有控制器控制下也能自動完成路徑切換。適當加大資源冗余度,以輕載為主,鏈路帶寬利用率控制在50%以下。防范非法侵入網絡設備產生的故障,采取管理控制網絡與公網隔離,對遠程登錄進行嚴格設置和身份認證。

四、SDN可靠性可用性策略在實際網絡部署中的應用

中國電信廣西公司從2014年以來,積極推進SDN網絡的試點工作,在實際SDN試點網絡部署中綜合考慮以上可靠性可用性策略,采用如圖4的方式部署:

應用層和控制層的軟件使用云資源池分配的虛擬機來承載,同時在異地機樓云資源池上部署備用系統。應用層和控制層的虛擬機各自獨占一個VLAN與云資源池中的其它網絡進行隔離。這些虛擬機獨占物理設備不與其他用戶分享。SDN控制器采用熱備份部署。

SDN控制器與網絡設備的通信鏈路,采用帶外管理控制網絡和帶內控制通道相結合的方式。

基礎設施層采用設備、鏈路冗余配置。

在控制層部署防火墻、入侵檢測設備和流量清洗系統,保障SDN控制器的安全。

通過在SDN試點網絡進行了專線業務開通、業務流量優化、新業務開發和部署、模擬攻擊、設備主備倒換等一系列實驗,各項業務功能達到了預期效果,網絡可靠性可用性也達到商用的要求。

五、結束語

SDN網絡架構具有傳統網絡無可比擬的優勢,雖然SDN網絡的可靠性可用性相對于傳統分布式IP網絡而言,還有一些差距,但是可以通過以上的策略來提升SDN網絡的可靠性可用性,從而使SDN網絡達到可商用的目的。

參 考 文 獻

[1]閆長江,吳東君,熊怡 .SDN原理解析―轉控分離的SDN架構[M].北京:人民郵電出版社,2016

篇(3)

(一)智慧旅游概念研究現狀

眾所周知,當IBM公司首席執行官彭明盛在2008年首次提出“智慧地球”一詞之后,便引發了對“智慧旅游”的研究熱潮。從研究情況來看,國際上鮮有把智慧旅游作為旅游業發展的核心戰略,而是從可持續發展的角度,把游客廣泛參與、游客與旅游目的地的深層次關系,以及旅游業在社會經濟全面發展中的作用等作為關注的重點,來探索旅游智慧化進程帶給旅游業的整體利益。總的來說,主要關注智慧旅游在實踐中的應用。例如,2000年12 月 5 日,加拿大旅游業協會的菲利普斯(Phillips)把智慧旅游定義為 “簡單地采取全面的、長期的、可持續的方式來進行規劃、開發、營銷旅游產品和經營旅游業務。”在他看來,發展智慧旅游需要智慧的管理策略和營銷技術,根據游客需要,及時傳遞信息。與國外相比,國內學者主要關注理論方面的研究,比較有代表性的觀點是,一是以馬勇、姚志國等為代表從“技術應用論”的角度,對智慧旅游進行定義,他們認為,智慧旅游以人本、綠色、科技創新為特征,利用云計算、物聯網、高速通訊技術等信息高科技提升旅游服務質量與服務方式,改變人們的旅游消費習慣與旅游體驗,從而成為旅游發展與科技進步結合的世界時尚潮流。二是以張凌云、史云姬等為代表,從“管理變革論”的角度解讀智慧旅游,認為智慧旅游的目的是提升服務水平,改善旅游體驗,創新旅游管理模式,提高旅游資源利用效率,進而促進整個旅游行業的發展。把智慧旅游定義為是基于新一代的信息通信技術(ICT),為滿足游客個性化需求,提供高品質、高滿意度服務,而實現旅游資源及社會資源的共享與有效利用的系統化、集約化的管理變革。縱觀上述內容,國內學者在概念方面存在共識,他們都贊同智慧旅游的發展依賴云計算、物聯網、互聯網等信息高科技技術,通過對新技術的應用來改善旅游發展模式、管理方式、旅游服務質量。

(二)國內智慧旅游的發展方式

國內旅游業發展相比西方國家時間較短、經驗不足、資本基礎較薄弱,因此,國內在智慧旅游建設方面政府起主導作用,主要借助于政府的力量,形成國家和地方規劃,整合旅游相關資源,建設公共服務平臺,指導、協調市場主體參與的智慧旅游體系建設,激勵旅游企業的技術創新,從而實現智慧旅游的跨越式發展,完成西方發達國家在過去數十年方才完成的旅游業變革。在國內,智慧旅游已被納入“十二五”旅游發展規劃體系之中,2009年國務院頒布了《關于加快發展旅游業的意見》( 國發[2009]41 號) ,在這一精神指引下,旅游業開始尋求以信息技術為紐帶的旅游產業體系與服務管理模式重構方式,以實現旅游業建設成為現代服務業的質的跨越,受智慧城市的理念及其在我國建設與發展的啟發,智慧旅游營運而生。另外國家旅游局還部署了“智慧旅游城市”的試點工作,確定洛陽等13個城市為首批“國家智慧旅游試點城市”,在這一機遇下,洛陽可以根據自身情況制定智慧旅游發展計劃。

二、城市智慧旅游基本架構分析

從城市的角度來看,城市智慧旅游可視作智慧城市信息化的一個重要子系統,簡單的來說,智慧城市是一棵樹,而城市智慧旅游是這棵樹的一個樹杈,為實現智慧旅游的某些功能可借助或共享智慧城市已有的成果。因此,城市智慧旅游的架構體系依托智慧城市的發展。“智慧城市”是將物聯網感知技術和“云計算”技術等融入“數字城市”中,從而實現對“數字城市”的質的提升與飛躍,達到經濟上健康合理可持續、生活上和諧安全更舒適、管理上科技智能信息化,真正實現人與城市的完美融合。而城市智慧旅游就是借助智慧城市的技術基礎設施整合旅游資源和旅游產業鏈,為旅游市場主體的旅游活動提供豐富的信息資源,其基本架構主要包括技術層、應用層、產業層和關聯層。智慧旅游的技術層就是指智慧城市依托的新技術在智慧旅游中的應用,包括信息技術、物聯網技術、互聯網技術等,它為城市智慧旅游的根基,也是智慧旅游的來源。應用層是指技術層與旅游要素相融合,即把新興技術運用到旅游要素中,為智慧旅游的科學有效發展提供依據,從而實現旅游資源分析智慧化、旅游服務智慧化、旅游環境智慧化、旅游營銷智慧化、旅游接待體系智慧化等等。產業層是指通過滲透在旅游業各個市場中的智慧因素而實現旅游產業轉型升級和產業的豐富,不僅包括智慧要素在原始旅游產業和部門中的實踐,而且還包括智慧城市背景下帶來的新的文化產業和創意產業的興起。關聯層就是指上述所提到的,城市智慧旅游是智慧城市的一個重要子系統,其存在是與智慧城市的其他部件相互關聯在一起的。一方面,智慧旅游的構建體系與其他智慧產業體系都依賴于智慧城市的感知層和技術層,實現基礎設施和資源的共享;另一方面,旅游業是一個關聯度很高的產業,相應地,智慧旅游體系構建同時也需要借助與旅游相關的其他產業智慧化體系的構建。

從上述城市智慧旅游的基本架構體系來看,其設計重點應落實在三個方面:一是充分利用城市旅游產業發展過程中積累的各種旅游信息資源,采用數據挖掘技術對旅游產品進行聚類分析和關聯規則的挖掘;二是要慎重選擇城市智慧旅游各個項目的商業模式,形成良好的產業效應;三是要緊跟新科技發展步伐,注重云計算、云存儲及物聯網等新技術的應用,通過云平臺的方式整合城市各種文化旅游資源,形成一個城市的旅游云,整體提升智慧旅游的建設水平。

三、探研洛陽市智慧旅游體系建設

(一)體系構建的可能性條件

洛陽市智慧旅游體系構建條件主要體現在以下方面:一是洛陽是國家首批智慧旅游試點城市之一,在智慧旅游的建設過程中,中央政府和當地政府起主導作用;二是洛陽市有良好的旅游資源,游客量大,為滿足深入體驗的需求,游客對旅游服務信息的要求全面而便捷,洛陽市智慧旅游體系的構建有強烈的市場需求;三是自洛陽被確定為“國家首批智慧旅游試點”之一以來,洛陽市政府著手進行智慧旅游城市建設,確立了以云計算架構建設綜合數據中心的思路,建設支撐旅游產業及公共服務數據庫,目前全市智慧旅游綜合數據庫已相當完善,并且全市3A級以上景區推進數字化景區建設,為游客提供無線上網、自助導游等智慧化服務,可以看出近年來洛陽市智慧旅游的發展已具規模;四是洛陽目前已制定了《洛陽市智慧旅游城市工作方案》《智慧旅游城市建設方案》,確定了“1個中心(旅游綜合基礎數據庫暨云計算中心)、1個基礎(智慧旅游基礎設施建設)、4個平臺(智慧旅游公共服務平臺、智慧旅游綜合監管平臺、智慧旅游電子商務平臺和智慧旅游市場營銷平臺)和8個智慧旅游業態(智慧旅游景區、智慧旅游飯店、智慧旅游餐飲、智慧旅游購物、智慧旅游鄉村、智慧旅行社、智慧旅游交通、智慧旅游娛樂)”的智慧旅游城市建設總體框架,本文希望結合政府的建設框架,提出自己的構建體系,以期為洛陽市智慧旅游體系的構建貢獻一份力。

(二)洛陽市智慧旅游建設目標

智慧旅游是基于新一代信息技術,包括云計算、物聯網、移動互聯網等,為滿足市場活動主體個性化需求,提供便捷而全面的高品質服務,除此之外,新一代信息技術在旅游企業、政府管理等方面的運用,從而實現旅游資源及社會資源的共享與有效利用的系統化、集約化的管理變革。因此,洛陽的智慧旅游也應基于新一代信息技術,以政府為主導,通過智慧旅游體系的構建,來改善游客的旅游體驗,改進旅游企業的管理模式。由以上定義可以看出,洛陽市智慧旅游建設服務的對象主要為大數據時代下的游客、與旅游相關的行業、當地旅游資源。對于游客來說,智慧旅游建設目標主要是讓不同類型的游客擁有更加智能便捷而又愉悅的旅游經歷;對于相關行業,主要是為旅游行業以及相關行業管理提供更高效、智能化的信息服務平臺;對于旅游資源,主要是促進洛陽市自然、文化旅游資源的深度開發,創新旅游產品,使洛陽旅游資源擁有更強的生命力,構建洛陽旅游文化云。

(三)洛陽市智慧旅游總體構想的設計理念

洛陽市智慧旅游總體構想的設計理念主要是為實現旅游的智慧化而提出的。洛陽市智慧旅游應在技術、應用層的支撐下,構建資源統一管理、信息共享、應用廣泛而便捷的城市智慧旅游總體架構,重點建設數據庫,數據庫是智慧旅游的生命線,沒有數據的智慧旅游只能是空中樓閣。洛陽智慧旅游應確立以云計算架構建設綜合數據中心的思路,建設支撐旅游產業及公共服務數據庫,建立包括旅游公共服務數據、產業數據和綜合管理數據交換系統。以數據庫為基礎的同時,還應以中央管理平臺為中心,利用先進的技術設備,統轄與旅游相關的各個方面。

(四)洛陽市智慧旅游的總體架構體系

洛陽市智慧旅游的總體架構是:在完善智慧城市基礎公共保障的前提下,主要分為旅游相關主體應用體系和技術支撐體系兩大層次,并統一在中央管理平臺之下。

如圖1所示:

1、旅游相關主體系統

在洛陽智慧旅游總體規劃體系中,旅游相關主體系統包含游客、景區、旅游社、飯店、其他服務者以及政府部門六大主體對象以及一套安全保障體系,實際上他們不僅是旅游的重要組成部分,而且在智慧旅游中各自扮演著不同的角色,智慧旅游主要是深化旅游體驗和提供智能服務,因此,“游客”與“政府部門”在該系統中處于主要地位,而景區、旅行社、飯店以及其他從業者在該系統中作為游客體驗與政府管理的實際載體而存在,共同組成智慧旅游的服務業者。可以看出,旅游業各個主體之間聯系貫通,使智慧旅游主體更顯完善而全面。智慧城市基礎公共保障則包含智慧環保、公共安全、智慧交通、智慧醫療、突發事件智慧防控六個方面,該體系雖不完全直接隸屬于智慧旅游的主體系統,但對智慧旅游主體的運作處于舉足輕重的地位。

(1)游客

主要是指使用洛陽智慧旅游網絡平臺的游客,他們通過旅游年票、移動應用終端APP、信息服務觸摸屏、智慧旅游咨詢預訂查詢終端等進入并訪問洛陽智慧旅游系統,以獲取所需要的旅游相關資訊和智能服務。

(2)景區

洛陽自然景區和人文景區資源豐富,游客量大,在智慧旅游發展的基礎上,洛陽景區著手進行智慧化建設,該系統主要包括手機二維碼電子門票、無線旅游平臺、景區客流動態監測系統、景區信息系統、旅游資源管理系統、景區定位導航系統等。

(3)旅行社

通過建立一個統一的管理系統,整合各種相對分散的旅行社業務信息、資源,為旅行社提供統一的界面、工作環境以及一種快速安全的數據交換標準,并做到及時匯總與更新,使旅行社業成為一個有機的、緊密聯系的、高效的、共享的整體。旅行社信息系統主要是為旅行社以及服務對象構建一個完整有效的信息系統。

(4)飯店

飯店信息系統包括顧客數據管理系統、客房服務系統、飯店內部運營系統等子系統,目的是便于飯店的正常運營和管理,以及維護旅游者的權益。

(5)其他

這類旅游從業者,主要包括旅游在線服務商、各種服務業者,他們通過智慧旅游系統獲取精確的旅游資訊,服務于旅客。具有代表性的系統是旅游目的地營銷系統。

(6)政府部門

主要是指旅游行業管理部門,該信息系統主要包括旅游門戶網站集群、智慧旅游指揮系統、12301旅游服務熱線、智慧行政辦公系統、旅游行業監督管理系統。特別是洛陽市政府部門近期開通的智慧系統統轄全局,即可對景區客流動態進行實時監控,也可通過旅游車輛GPS系統實現對旅游團隊的監控,使洛陽旅游業在一個整體的框架內有條不紊的進行。

(7)公共保障

智慧城市基礎公共保障則包含智慧環保、公共安全、智慧交通、智慧醫療、突發事件智慧防控六個方面,該系統的建設是充分運用信息和通信技術整合城市資源,為民生、環保、公共安全、城市服務、工商業、旅游業等各種需求做出智能的響應,為市民和游客創造更美好的城市生活。

2、技術支撐體系

技術支撐體系主要包括旅游信息資源數據庫和基礎服務系統,統一為旅游相關主體應用體系提供全面而強大的支持服務。

(1)技術層

該體系中的技術層就是指智慧城市依托的新技術在智慧旅游中的應用,包括信息技術、物聯網技術、互聯網技術等,它為城市智慧旅游的根基,也是智慧旅游的來源。

(2)旅游資源數據庫

CIS數據庫、游客資源數據庫、旅游資源數據庫、與旅游相關的交通等行業數據庫等都是典型的旅游資源數據庫,洛陽智慧旅游建設總體構架設想是從大旅游的格局以及旅游信息化整體和全局出發,目的是實現各種旅游資源的整合,在全市范圍內制訂標準與規范的數據,建立有效的旅游資源共享機制,數據庫資源實現分級管理。

(3)智慧旅游公共服務系統

該系統包括呼叫中心、數據挖掘與決策支撐、地理信息服務、智能服務、融合通信服務等方面。從包含的內容來看,該部分就是一個信息接口平臺,被旅游相關主體對象所使用,能夠統一管理和智能調度各種旅游資源,并提供旅游資源調控、運行態勢監督、資源使用、統計旅游情況預測等功能。

3、中央管理平臺

智慧旅游中央管理平臺在功能上是作為洛陽智慧旅游的大腦和樞紐,在整個智慧旅游總體架構中起到匹配、整合、協調、聯動各個旅游相關主體應用系統和管理系統的作用,在實現智慧旅游各子系統相關高層業務數據統一抽取、融合共享的基礎上,與多種配套保障體系相互配合,對景區、飯店、旅行社等旅游主體應用系統進行統一協同管理,實現多系統間的信息共享、協同聯動,并為旅游行政管理單位人員提供統一的入口,以進行旅游行業監控與管理。

四、結語

篇(4)

二、云審計對供電企業審計工作帶來的機遇和挑戰

1.云審計對供電企業審計工作帶來的機遇

(1)審計數據處理能力將全面增強。在云審計環境下,審計師不需要面對堆積如山的會計憑證和業務檔案,云計算的高速計算技術可以根據不同的審計目的,在企業數據庫中有針對性地篩選出可疑信息,進行由點及面的掃描分析,從而得到更加客觀的審計評價。

(2)審計將為高層決策提供更有力的支持。云審計可以通過對特定領域的原始數據分析,提取工作流程數據的變化特點,了解業務發展的基本趨勢,提前預警可能出現的風險和隱患,為高層決策提供關鍵支持。例如,在營銷業務數據中如果發現某一類用戶的滿意度有所下降,就可以結合相關數據開展原因分析,研究一段時間內的變化趨勢,為下一步制定用戶服務策略提供依據和參考。

(3)審計項目的工作質量將得到充分提升。通過云審計,審計組負責人能實時了解每個組員的工作進度,并有針對性地提供指導、監督和復核。并能按照項目實際情況的變化,對審計要求和人員分工進行優化和變更,以更快的速度來處理審計項目的難點問題和反饋必要的審計信息,從而實現對審計全過程的有效控制,確保審計質量達到預定目標。

2.云審計對供電企業審計工作帶來的挑戰

云審計為供電企業審計工作的全面信息化奠定了堅實的基礎,同時,也為審計工作帶來了巨大的挑戰。在云審計的實際應用中,還存在一些有待克服的難點和問題。一是對“離線操作”問題難以介入,當舞弊人員惡意錄入與實物不符的業務數據時,數據分析工作就難以達到預定的審計目標。二是云信息安全風險,一旦用戶端密碼泄露或被破解,集中儲存在服務器中的大量審計數據就存在泄密問題。三是電子證據取證較難,電子證據具有不可見、可遷移、可修改等特征,在取證時需要更多地關注審計證據的可靠性和準確性。四是審計師的綜合分析能力還需提高,云審計需要更多的集財會、審計、計算機等技術于一身的復合型人才,審計部門必須加強對審計師的全面技術培養。

三、云審計系統的框架構建

1.云審計系統的概念和特點

云審計系統是一個全新的事物,國際上暫時還沒有給出一個比較準確和完整的定義。為方便研究,本文基于信息技術現狀和審計實際應用,對云審計系統的概念進行初步闡述:云審計系統是基于所獲得的數據,根據審計對象的基本特性,通過設定計算、判斷和限制條件建立數學或邏輯表達式,用于對審計目的進行驗證的過程。云審計系統主要有五個特點:

(1)審計網絡自助服務。審計自助服務免去了審計師與被審計單位在數據獲取上的溝通,使審計師能自行獲取所需數據,并設定疑點檢查條件。

(2)高帶寬網絡。多個審計師可以在不同的地點獲取同樣的數據,在網絡速度上不會受到影響。

(3)審計數據資源池。審計師可以將得到的所有數據上傳至“云端”,形成審計數據資源池,共享給有相關權限的其他審計師。

(4)審計彈性架構。使審計師可以隨時隨地通過權限認證后登陸系統獲取資源。

(5)可度量服務。為審計系統提供自動化的監控,并記錄審計師的工作過程,包括審計方法、程序和證據獲取手段等。

2.云審計系統建設的可行性分析云審計系統的建設并非遙不可及的事情,國內一些審計機關和大型審計機構使用的審計信息系統已經基本符合云計算的主要特點。供電企業建設云審計系統的可行性主要有三個方面:在理論基礎方面,國際上關于云計算系統的理論體系已經基本完備,國內云計算技術的研究和發展也十分迅速,為云審計系統提供了充分的先決條件。在技術方面,實施云計算的各種技術方案體系已經在生活的各個方面投入應用,供電企業的審計信息化也有相當堅實的基礎,完全可以借鑒其他行業在云計算方面的先進技術和經驗。在成本方面,云審計系統的部署費用并不高昂。服務器和網絡設備可以基于現有條件加以升級和改造,不需要全部更換。用戶端也不需要更換新的設備,凡是能打開瀏覽器的電腦、平板電腦甚至智能手機都可以登陸云審計系統。

3.云審計系統的基本架構

目前的云計算模式有三類,包括公有云、私有云和混合云。公有云是為公眾提供服務的平臺,任何人都可以通過授權登入該平臺;私有云是企業在內部建設的專用系統;混合云則是同時提供公有和私有服務的系統,是介于公有云和私有云之間的折衷方案。基于審計數據保密性和安全性的考慮,以組建私有云較為穩妥。基于私有云的基本服務架構,云審計系統主要包括審計資源層(IaaS)、審計平臺層(PaaS)、審計應用層(SaaS)等3個層級。

(1)IaaS層是系統架構的基礎,采用物理資源虛擬化技術,使系統中各個應用的不同用戶實現資源共享,主要包括信息資源和硬件資源兩個部分。硬件資源包括網絡設備、計算設備和存儲設備,為云審計系統提供網絡、計算和存儲等服務;信息資源通過對數據的采集、存儲、分類、組織等為上層提供信息服務,包括企業審計基礎信息資源庫、共享數據資源以及各專業數據庫組成的業務信息資源。

(2)PaaS層是系統架構的核心,采用分布式的存儲和計算實現對數據的分析處理。并為上層應用服務提供運行和維護,為下層基礎資源提供資源管理服務。業務開發組件提供系統程序拓展所需的環境和工具集;綜合服務組件提供基礎的綜合管理、工作應用、用戶管理、權限管理、訪問控制和身份認證等服務。資源管理組件為審計資源層提供目錄管理、數據采集、資源整理等服務。

(3)SaaS層是針對審計業務框架的軟件服務集合,實現供電企業審計業務的核心功能,為客戶端提供業務支撐。根據供電企業的業務需要,形成各項審計應用服務,并實現應用軟件的云部署。其內容主要包括審計項目管理、審計業務流程、審計質量控制、審計數據分析、審計案例瀏覽以及其它審計應用等服務。此外,在客戶端方面,審計師只要使用帶有瀏覽器程序的電子設備便可登入系統。云審計系統還擁有高可靠性的云安全環境,對系統和數據進行全方位的防病毒檢測和處理,確保審計數據的安全性。

4.云審計系統的數據處理流程

基于大數據背景,云審計系統可以將各供電企業的審計數據整合為海量的審計資源池,構成審計數據的采集、導入、分析、展示平臺,使審計業務流程轉化為數據處理過程。

(1)云審計系統的數據采集

云審計系統的數據采集方法必須非常全面,充分考慮審計數據的復雜性、多樣性和異構性。常見的數據采集方法有兩類,一類是復制采集,從被審計單位導出數據庫信息或整個數據庫的備份,用移動硬盤或優盤拷貝的方式,上傳到云審計系統進行處理;另一類是在線采集,與被審計單位的業務系統制定標準的數據接口,不間斷地連續采集業務數據,實現對業務流的動態監控。在線采集方式具有時效性強、響應速度快的優點,今后將成為主流的數據采集方式。

(2)云審計系統的數據導入

在供電企業各類業務系統的海量數據中,數據之間的結構和類型千差萬別。在進行分析之前,應先將這些數據有效地導入系統,把重要數據如重要指標、近期變化數量等置入高性能存儲器中,把不常用的次要數據置入一般存儲器,并去除不需要的冗余數據。

(3)云審計系統的數據分析

云審計系統中集成了大量審計分析程序,利用分布式計算集群對海量數據進行各種分析和分類統計,以滿足審計師的分析需求。云審計系統的數據分析具有以下幾方面的特點:一是審計分析程序的可構造性。各種審計分析程序以模塊化的方式提供給審計師,可以進行任意調整。審計師不再需要進行原始編程,只要在云審計系統中將程序模塊像搭積木一樣進行組合和排列,就可以完成分析程序的編輯,從而達到各種分析目的。二是注重對數據的全面分析。在傳統審計中,由于審計師無法將所有信息和資料都看完,于是經常采用審計抽樣的技術方法。但是在大數據處理時代,抽取樣本檢查和全部數據檢查這兩種方式,在云審計系統面前的區別,只不過在時間上相差數秒鐘或數分鐘而已。當審計師能夠在很短的時間內處理完全部的數據時,就會減少對審計抽樣方式的依賴。三是注重數據之間的關聯度分析。在以往的審計中,對被審計單位工作數據的檢查,只是對特定的業務數據進行簡單的統計和復核。在云審計系統中,還可以從該項數據關聯的其它數據,對審計目標加以驗證。例如在審查工程費用時,可以同時檢查物流部門的工程物資數據、監理機構的監理信息、工地用電記錄等等,對工程的合理性和真實性進行多方位分析。四是實現對非結構化數據的分析。非結構化數據指的是圖片、視頻、音頻等無法結構化的信息。非結構化數據在以往的信息化技術中也是一個難點,因為它們不像那些表格式的數據一樣容易抽取和篩選。而在云審計系統中,圖片、視頻、文檔也能做到自動摘要、分類處理和聚類分析,這就充分拓展了審計師的分析視野。五是實現對數據的深度挖掘。供電企業的審計數據挖掘可以從各個專業領域入手,在現有數據上進行基于各種算法的運算,實現高級別數據分析的需求,例如對業務情況進行一段時間內的趨勢分析、計算業務風險發生的概率等等。

(4)云審計系統的數據展示

數據展示將實現可視化,能夠直觀地將數據的特點、變化和疑點呈現出來,將難以閱讀的原始數據轉變為界面清晰、易于理解的圖表。進而使審計師能夠與這些能講故事的數據進行交流,對數據處理結果進行多維度分析,從中找到審計問題出現的基本規律和深度原因。

篇(5)

中圖分類號: TN911?34; TP37 文獻標識碼: A 文章編號: 1004?373X(2013)14?0010?03

Cloud computing technology and modeling of mass VOD system

CHEN Xu?wen, HUANG Ying?ming

(Department of Information Engineering, Jieyang Vocational & Technical College, Jieyang 522000, China)

Abstract: With the promotion of the triple?net fusion, the mass VOD emerges out some characteristics such as complicating data, multiple platforms and huge business, which make a huge challenge to the traditional on?demand mode. By using the powerful computing ability and mass data efficient processing of cloud computation, the application of cloud computation in mass VOD system is discussed on the basis of analysis of the basic framework and technical characteristics of cloud computation and in combination with the characteristics of VOD service. The framework and working principle of the cloud computing system are analyzed. Some main technologies, such as redundancy backup of data, heartbeat detection, replacement of intelligent nodes and load balancing are elaborated. A new idea to make the mass video propagation smooth is put forward.

Keywords: cloud computation; mass VOD; Hadoop system; modeling

隨著互聯網技術和多媒體技術的迅猛發展,基于網絡的視頻點播(Video On Demand,VOD)業務成為了網絡應用的一大熱點。人們通過手機、掌上電腦等簡易的終端設備隨意欣賞視頻的新型模式極大地顛覆了傳統的電視觀看模式,逐步成為視頻點播的主流。雖然流媒體及P2P技術[1]的應用在一定程度上減輕了中央服務器和骨干網絡的負擔,優化了節目流的播放質量,但當面對熱點視頻時,海量視頻的處理傳播極大地考驗著視頻運營商的實力。另外,隨著電信網、計算機網和有線電視網三網融合步伐的快速推進,對于視頻點播業務的需求也將呈現出數據量劇增和多平臺共存的局面,光靠原有的硬件基礎絕對無法滿足形勢的發展,而增加投入勢必會增加企業的運營成本,租用第三方運營平臺將成為一種發展趨勢。

作為一種新型的商業計算模型,云計算提供了強大靈活的計算能力和高效快捷的海量數據處理方法,其高可靠性也是普通的第三租賃方所無法比擬的。本文以云計算為平臺,研究了基于云平臺的視頻點播模式,為解決海量視頻的高效傳輸提供了新方法。

1 云計算技術及海量視頻點播的技術特點

1.1 云計算的概念

自云計算(Cloud Computing)概念提出以來,至今仍沒有統一、公認的定義,比較獲得業界認可的是2011年由美國國家標準和技術研究院(NIST)提出的[2]:云計算是一種通過網絡以便利的、按需付費的模式獲取計算資源(包括網絡、服務器、存儲、應用和服務)并提高其可用性的模式,這些資源來自一個共享的、可配置的資源池,并能夠以最省力和無人干預的方式獲取和釋放。

云計算是網格計算、并行計算、分布式計算、效用計算、網絡存儲、虛擬化、負載均衡等傳統技術和網絡技術發展融合的產物,它以虛擬化為核心,通過網絡把多個成本較低的計算實體整合成一個具有強大計算能力的資源系統,以按需、易擴展的方式為用戶提供所需的各種資源和服務。云是一個包含大量可用虛擬資源的資源池,云中的資源在使用者看來是可以無限擴展、隨時獲取、按需使用、按量付費的[3]。云模式[4]也即電廠模式,利用電廠的規模效應來降低電力價格,用戶根據用電量付費,便可源源不斷獲取電力資源,而無需維護和購買任何發電設備。

云計算具有低成本、高性能、超大規模、虛擬化、高可靠性、通用性、高可擴展性、按需服務等特點[5]。目前比較成熟的云計算業務和應用有:Google的AppEngine、Amazon的彈性計算云EC2、微軟的Azure云平臺和IBM的藍云等。

1.2 云計算的架構[5]

(1)軟件即服務(Software as a Service,SaaS):SaaS服務供應商將各類應用軟件統一部署在服務器上,用戶通過簡易的互聯網接入終端就能直接使用,并按需按量付費。云中的軟硬件設施由供應商負責維護和管理,用戶不需顧慮類似安裝、升級和防毒等瑣事,且免去初期高昂的硬件投入、人員配置、軟件許可證等費用的支出,經濟便捷。

(2)平臺即服務(Platform as a Service,PaaS):PaaS主要面向開發人員提供一個應用的開發和部署平臺,包括SDK、文檔、測試環境和部署環境等。平臺的部署和運維均由供應商負責,用戶可一心一意致力于研發工作。

(3)基礎設施即服務(Infrastructure as a Service,IaaS):IaaS由底層硬件或虛擬機資源構建而成,用戶從供應商那里獲取所需的計算或存儲資源來裝載相關應用,且僅需為所租借的那部分資源付費。

1.3 海量視頻點播的技術特點

(1)文件龐大,數據量多。單個視頻文件非常大,視頻資源繁多,數據海量化。

(2)編碼多樣,業務復雜。隨著三網融合的推進及視頻播放技術的改革,必將出現多編碼、多平臺共存及多業務共享的局面。

(3)質量至上,要求嚴格。龐大的數據量對服務器性能及網絡帶寬要求甚高,而隨著點播量的快速增長,對于計算能力及處理強度的要求也相應劇增。

2 海量視頻點播系統的云計算技術與建模實現

2.1 系統架構

根據視頻點播業務的技術特征及云計算技術的特點,本文提出了基于云計算的海量視頻點播平臺的基本架構,其拓撲圖如圖1所示。用戶通過Web交互服務器向視頻點播系統發出業務請求,經Web交互服務器受理后將具體的業務要求提交給云核心服務器,由核心服務器對整個云文件系統進行控制處理,完成視頻文件的調用并反饋回客戶端。

圖1 系統架構圖

2.2 系統工作原理

系統采用Hadoop系統實現云點播平臺SaaS層的構建[6]。根據點播系統的功能要求及Hadoop系統的基本構成,包括以下幾個功能組件,闡述如下:

2.2.1 Web交互服務器

在整個點播系統中,Web交互服務器作為系統前端窗口,負責受理用戶的點播、注冊、用戶管理等常規業務,當涉及視頻文件調用時,則將業務請求轉交給后臺的云核心服務器處理,Web交互服務器僅負責點播信息的傳遞工作,沒有涉及具體視頻文件的傳輸內容。

2.2.2 云核心服務器

云核心服務器位于云計算的最上層,負責整個云系統的資源管理及任務控制。

(1)資源管理。作為Hadoop系統的主控節點,云核心服務器負責記錄文件的數據塊分割規則及這些數據塊的具體存儲位置,對內存及I/O進行集中管理。為加快維護效率,同時減輕本身負擔,云核心服務器通過與各集群主控服務器進行交互控制,對集群中的所有節點和所有虛擬機進行實時控制,維護系統的資源狀態信息表。為提高系統的運作性能,云核心服務器僅管理文件系統的元數據,具體的數據訪問則交由下層服務器負責[7]。

(2)任務控制。響應Web交互服務器的點播請求,檢索資源狀態信息表,獲取資源的具置,然后通過集群主控服務器匯總節點信息,建立客戶端與各虛擬機實例的通信,實現數據傳輸。

2.2.3 集群主控服務器

為提高云系統的運作效率,減輕核心服務器的負擔,將云系統的資源劃分成多個集群,由集群主控服務器負責管理該集群中的所有資源。集群主控服務器主要有以下作用:

(1)集群主控服務器管理其集群中的所有節點控制器和虛擬機,對系統資源進行實時監控,形成子資源狀態信息表,并將結果反饋給云核心服務器,更新整個云系統的資源狀態信息表。

(2)響應云核心服務器的任務要求,快速調用集群中的虛擬機實例,建立與客戶端機器的連接,傳輸數據。

(3)擔任Hadoop系統的主節點,控制集群中的所有從節點,對集群中所有虛擬機實例及系統資源進行統籌管理,提高系統的響應效率。

2.2.4 節點控制器

節點控制器是整個云系統的前沿陣地,在節點控制器上真正運行著虛擬機實例,并通過虛擬機管理器進行管理,虛擬機實例的數量由節點控制器的資源及計算任務的類型決定,一般為3~5臺。節點控制器的功能包括以下三方面[8]:

(1)節點控制器負責監控節點上運行的所有虛擬機實例的運行狀態及資源的使用情況,并將監控狀況實時返回給上層的集群主控服務器。

(2)響應集群主控服務器的需求,啟動虛擬機實例實現數據通信。當任務完成后或在規定時間內客戶端無響應(如客戶異常退出)時,則停止虛擬機實例運作,釋放網絡帶寬及點播資源。

(3)監控和管理虛擬機實例。包括虛擬機資源的存儲備份、虛擬機宕機的應急處理等。

2.3 系統設計的關鍵技術

2.3.1 數據的冗余備份

云系統的文件傳輸采用流媒體技術實現,即將多媒體文件壓縮后分解成若干大小相等的數據塊(數據塊的大小可根據實際情況進行配置),并統一編號,再由服務器對客戶端進行實時傳送。為了容錯,文件的所有數據塊都會有副本,即冗余備份。系統運行時,節點控制器利用虛擬機管理器對虛擬機上的文件系統進行監控,產生一份數據塊與本地文件對應關系的列表,形成塊報告返回給節點控制器,節點控制器根據塊報告進行完善(如增加數據塊具體路徑等)后反饋給集群主控服務器更新資源狀態信息表。

云系統的集群一般運行在多個機架上,不同機架上的數據通信必須通過交換機,通常機架內節點之間的帶寬比跨機架節點之間的帶寬要大,這有可能影響云系統的可靠性和性能。采用機架感知(Rack?aware)策略[9],將數據塊以多個副本形式部署在本地機架和不同機架上,改進數據的可靠性、可用性和網絡帶寬的利用率。此策略可防止機架失效時的數據丟失,也可保證系統的性能。

2.3.2 心跳檢測技術

在任何系統設計中,硬件異常檢測總是極其重要的。云系統采用心跳檢測[10]技術來控制系統硬件的異常情況。集群主控服務器周期性地通過節點控制器接受虛擬機的心跳包和塊報告,以此判斷虛擬機的存活狀態:收到心跳包說明工作正常;若在特定時間t內沒有收到心跳包信息,則認為宕機,系統將不會發給它們任何新的I/O請求。對于宕機的虛擬機,系統將不斷進行檢測并通過虛擬機管理器進行故障修復,若在特定時間內仍無法恢復,則將重新復制該數據塊,避免該數據塊副本數減少所造成的影響。

2.3.3 智能節點替換技術

智能節點替換技術與心跳檢測技術聯合應用,當系統在特定時間內仍無法檢測到某數據塊的心跳包時,則將該數據包重新復制,此時,節點控制器將更新數據包的新位置,并使用新節點替換原來的故障節點,保證數據傳輸的連貫性。

2.3.4 負載均衡技術

負載均衡是很多系統中需要解決的重要問題。在云系統中,云核心服務器根據節點控制器發送的心跳信息和存儲的數據塊情況,掌握各節點的當前狀態,通過平衡資源狀態信息表中的資源分配情況,將數據塊分配給負載較輕、寫入速度較快的節點控制器。具體包括:在新數據加入時,為新數據尋找優越的存儲位置;若現有的資源過于集中,可采用數據塊遷移方法,重新分配合適的存儲位置,平衡整個文件存儲系統。

3 結 語

隨著三網融合進程的不斷推進,視頻點播業務將面對內容繁雜、平臺多樣、業務量激增等局面,這對傳統的視頻點播模式提出了巨大的挑戰。

本文在分析云計算的基本架構和技術特點的基礎上,結合視頻點播業務的特點,論述了云計算在視頻點播系統中的應用,對其系統架構、工作原理和關鍵技術進行了詳細的闡述,為解決海量視頻的流暢傳播提出了一個全新的思路。

參考文獻

[1] 陳旭文,林若波.基于P2P的多原VOD系統的設計[J].測控技術,2012,31(8):27?30.

[2] MELL P,GRANCE T. NIST SD 800?145 the NIST definition of cloud computing [S]. Gaithersburg,MD: NIST Special Publication,2011.

[3] 吳朱華.云計算核心技術剖析[M].北京:人民郵電出版社,2011.

[4] GROSSMAN R L.The case for cloud computing [J]. IEEE Computer Society,IT Professional, 2009(11):23?27.

[5] 周洪波.云計算技術、應用、標準和商業模式[M].北京:電子工業出版社,2011.

[6] HADOOP W T. 權威指南[M].曾大聃,譯.北京:清華大學出版社,2010.

[7] 劉鵬,黃宜華,陳衛衛.實戰Hadoop:開啟通向云計算的捷徑[M].北京:電子工業出版社,2011.

篇(6)

軟件定義網絡(Software-Defined Networking,SDN)采用了控制與轉發分離架構,能夠在控制平面上邏輯集中可編程控制器并掌握全局網絡的各種狀態信息,抽象后通過開放接口提供給應用層,它擁有靈活調整與實驗部署能力,能夠實現基于應用的開放式網絡體系架構。

1 技術背景與基本架構

1.1 技術背景

SDN始于2006年斯坦福大學的CleanSlate研究課題,2009年,Mckeown教授正式提出SDN概念,核心思想是通過分層將數據與控制解耦合,以此消除現有網絡的局限性,實現可編程網絡控制與轉發分離。SDN的開放可編程性提供主動網絡(Active Network),能夠通過簡單轉發節點設備來動態執行報文中所攜帶的應用程序,這也使得SDN能夠實現對網絡的靈活管控。另外,SDN的4D架構也將可編程的決策平面從數據平面中完全分離出來,它提高了異構網絡的管理能力。

SDN技術在學術界的理論拓展以及企業的廣泛推廣使其快速成長,諸如美國的GENI、Internet、歐盟的SPARC和日本的JGN2Plus都先后開展了基于SDN的技術研究與工作部署。在電信領域等方面,德國電信、Google、微軟、Yahoo等公司聯合成立了開放網絡基金會組織(ONF),希望將SDN相關標準化定制工作快速推廣。SDN技術理念打破了傳統網絡的運行模式及格局,受到了來自于世界各地科研機構與商業領域的青睞,逐步成為網絡標準化體系的技術標桿,也體現出作為潛力網絡技術的實際價值。

1.2 基本架構

在互聯網及軟件學術領域,SDN軟件定義網絡擁有狹義與廣義兩種定義,從廣義來看,SDN表示向上層應用最大限度開放資源接口,進而幫助系統實現應用的編程控制與基礎網絡架構流程;而從狹義角度來講,SDN是指符合ONF定義的開放架構,并要求在控制器的控制條件下基于OpenFlow協議來實現網絡架構轉發功能。其中所存在的區別就在于狹義SDN嚴格規定要采用OpenFlow,而廣義SDN則不僅僅局限于OpenFlow,它還可以采用諸如Netconf、XMPP等等其它控制接口或協議,如圖1。

總體而言,SDN框架應該滿足以下兩點設計思想:

(1)實現對網絡的控制層面與數據轉發層面分離,提高網絡管理的控制能力;

(2)提高硬件平臺的可編程性,實現快速配置,滿足靈活的應用需求。

而無論哪個組織提出的SDN體系結構,實現目標其實是一致的,SDN概念下的數據控制相分離的網絡具有開放性和可編程性,科研人員及運營人員可以通過PC、手機/PAD、Web網頁以及未來可能出現的各種途徑進行全網部署,部署工作僅僅是應用的簡單定制開發及配置。可以預見,針對SDN架構的業務應用研究,是未來研究發展的重要方向。

2 SDN的應用及未來發展

2.1 SDN在數據中心及云計算方面的應用

SDN轉發控制分離特性賦予其在流量工程方面的天然優勢,在2012年,谷歌公司就推出了B4項目,該項目充分展示了SDN的優越性,它利用OpenFlow技術將包括美國、比利時、芬蘭、新加坡、臺灣等12個國家的數據中心連接起來,促成了全球首個廣域商用SDN體系。基于OpenFlow技術的流量工程實施應用后,數據中心的平均鏈路利用率從30%躥升到70%,甚至某些鏈路在繁忙時利用率達到100%,該項目的成功也為SDN在全世界信息領域的推廣奠定了信心基礎。有理由相信,未來數據中心在軟件定義的框架下,能夠對云計算實現重構,為網絡資源、計算資源和存儲資源提供重新整合的發展機會,使各項資源能夠協同控制,進而有效提升資源利用效率和服務質量。

2.2 SDN在無線接入網絡中的應用

SDN在無線接入網絡中的應用也已相當廣泛,通過利用可編程物理層與介質層來共同構建無線接入網絡數據平面,該數據平面可以同時兼容多個技術制式的網絡,例如WIFI、3/4G-LTE、GSM等。當這些數據技術平面被接入到SDN后,就可以通過向上接口來實現對業務應用的支撐,通過業務應用實現對用戶的集中式業務邏輯控制和移動性管理,從而能夠解決網間無縫切換以及單鏈路丟包嚴重等問題,研究結果也表明可以明顯提升此類應用的流暢度和視頻清晰度,大大提高用戶的體驗效果與質量。

2.3 SDN在光網絡中的應用

光網絡的集中控制涉及設備集中控制機制,通過它來設置轉發策略可以實現編程控制等技術的自我突破。將SDN應用于光網絡中,就可以構建出面向業務的新一代光網絡體系架構,例如SDON(Software-Defined Optical Networks),可以通過控制與傳送平面解耦來屏蔽光網絡中所存在的物理技術細節,并利用集中控制策略來提高光網絡的智能調度與協同控制機能。在2013年4月,ONF就成立了光傳送工作組OTWG(Optical Transport Working Group)。通過基于SDON架構和OpenFlow協議來實現多廠商的互操作。在2014年底,中國電信協調華為、中興等企業基于OpenFlow實現了SDON互通,也使得該業務能夠在未來的發展中可以充分融合到企業通信與合作應用體系當中。

3 結語

軟件定義網絡通過抽象將控制面和轉發面分離,能夠很好地解決傳統網絡中如配置復雜度、控制方式等諸多現實問題,同時,可編程網絡的相關研究也為SDN奠定了理論依據,使得應用層面可以直接調用接口而無須關心控制層乃至底層硬件,較好的開放性使其可以根據需求靈活定制各種應用,能夠在未來信息發展中應用于多個領域和行業。目前,更多的研究人員基于軟件定義技術拓展出了新一代技術的各種應用方向及思路,同時也應該意識到,應用的多樣化使得北向接口呈現多樣性,如何實現統一還需要業界進一步推動。

篇(7)

2.云計算特點結合上述定義以及云計算的應用背景,其特點可歸納為:(1)資源租用化:云計算提供對計算、存儲、網絡、軟件等多種IT基礎設施資源的租用化服務,用戶不需要自己擁有和維護這些資源。(2)共享資源池:資源以共享資源池的方式統一管理。利用虛擬化技術,將資源分享給不同用戶,資源的存儲、分配與管理對用戶透明。(3)彈性化服務:服務的規模可快速伸縮,以自動適應負載的變化。(4)按需化服務:以服務的形式為用戶提供應用程序、數據存儲、基礎設施等資源,并可根據用戶需求自動分配,不需系統管理員干預。(5)服務可計費:監控用戶的資源使用量,并根據資源使用情況對服務計費。(6)泛在式接入:用戶可以利用各種終端設備(PC、筆記本、移動終端等)隨時隨地訪問云計算服務。

3.云計算優勢云計算是在互聯網技術的基礎上把所有硬件、軟件結合起來,充分利用和調動現有一切信息資源,通過架構一種新型服務模式結構,為人們提供不同層次、不同需求的低成本、高效率的智能化信息服務模式。與傳統的IT服務相比,其優勢主要集中在:(1)資源使用靈活:以并行計算為核心,按需調度計算任務、分配計算資源,并提供從數據整合處理、計算模型設定到計算結果輸出等完整的數據處理服務,為用戶提供靈活可靠的平臺。(2)提高設施利用率:通過虛擬化技術,在不增加新的計算能力前提下,有效提高硬件利用率。(3)節約成本:配置簡單,資源即取即用,無需花費大量的時間搭建、維護計算環境,以服務的方式使用及存儲資源,按需取用,按需付費,不需購買大量設備。(4)管理統一:通過云計算的統一整合,轉變原來IT管理一對多模式,實現物理資源池化的機制,通過云平臺統一調度,實現統一的管理入口。

二、云計算的服務類型及關鍵技術

1.云計算的服務類型云計算核心服務分為3種類型:基礎設施即服務、平臺即服務、軟件即服務。其基本架構如圖1所示:IaaS為用戶提供硬件基礎設施部署服務,如處理能力、存儲空間、網絡組件等,用戶可以根據需求向IaaS提供基礎的配置信息,以及運行于基礎設施的程序代碼和用戶數據。IaaS采用虛擬化技術向用戶提供高可靠性、可伸縮、可擴展的服務。典型服務,如AmazonEC2、Rackspace。PaaS為用戶提供應用程序的計算平臺和解決方案堆棧的服務。PaaS模式的重要應用場景之一是向用戶交付一個支撐應用運行的應用運行平臺。用戶不必關注底層的網絡、存儲和操作系統。基于PaaS模式構建應用運行平臺,需要具備:提供應用需求接口的能力、提供快速構建應用運行環境的能力、提供實時動態滿足應用需求的能力。典型服務,如:GoogleAPPEngine、Hadoop。SaaS是基于云計算平臺所開發的應用程序服務。軟件系統各個模塊可以由每個用戶自己定制、配置、組裝和測試,得到滿足客戶自身需要的軟件系統。可以在此定制滿足遠程教育需要的遠程教育教學平臺,而不必考慮系統的維護和管理,終端用戶可將桌面應用遷移至互聯網上,實現泛在訪問。典型服務,如:GoogleApps,ZohoOffice。

2.云計算的關鍵技術云計算的目標是以低成本的方式提供高可靠、高可用、規模可伸縮的個性化服務。為達到這個目標,需要虛擬化、海量數據存儲與處理、平臺管理與調度等關鍵技術加以支撐。(1)虛擬化技術:虛擬化技術是指計算元件在虛擬的基礎上運行,它可以擴大硬件的容量,簡化軟件的重新配置過程,減少軟件虛擬機相關開銷、支持更廣泛的操作系統。通過虛擬化技術可以實現軟件應用與底層硬件相隔離,它包括將單個資源劃分成多個虛擬資源的裂分模式,也包括將多個資源整合成一個虛擬資源的聚合模式。虛擬化技術目前主要應用在CPU、操作系統、服務器等多個方面,是提高服務效率的最佳解決方案。虛擬化技術是實現云計算資源池化和按需服務的基礎。(2)海量數據存儲與處理技術:云計算系統由大量服務器組成,同時為大量用戶服務,因此云計算系統采用分布式數據存儲技術,用冗余存儲的方式保證數據的可靠性。這種方式保證了分布式數據的高可用、高可靠和經濟性,即為同一份數據存儲多個副本,如GFS。另外,由于海量數據資源部署在大規模硬件基礎上,因此海量數據的處理分析需要抽象化處理,并要求其編程模型支持規模擴展,屏蔽底層細節,如Google提出的并行程序編程模型MapReduce。(3)平臺管理與調度技術:由于資源規模龐大,服務器數量眾多并分布在不同地點,同時運行著上百種應用,如何有效管理服務器,保證整個系統提供不間斷的服務是個巨大的挑戰。云計算系統的平臺管理與調度技術能夠保證大量服務器協同工作,方便進行業務部署和開通,快速發現和恢復系統故障,通過自動化、智能化手段實現大規模系統的可靠運營。(4)節能環保技術:云計算數據中心規模龐大,為保證設備正常工作,需要消耗大量的電能。因此,實施綠色環保的節能技術,不僅可以降低云計算中心的能耗,而且可以減少二氧化碳的排放。(5)安全管理技術:由于云計算的海量數據特性(TP甚至PB級),使得傳統的安全機制難以滿足安全需求,因此云計算環境下的數據安全與隱私保護成為關鍵技術之一。

三、基于云計算的遠程教育平臺建設

現代遠程教育是基于互聯網技術發展起來的教育新模式,它打破了時空限制,使學習者可以隨時、隨地獲取學習資源,其優勢在于資源利用最大化、教學形式多樣化、學習行為自主化、學習形式交互化、教學管理自動化。目前,無論是電大開放教育、高校網絡教育還是遠程教育培訓機構,其平臺建設都是采用B/S工作模式,這種方式具有技術成熟、管理簡單、資源集中、訪問便捷等優點。但隨著用戶規模的擴充,學習需求的多樣化、軟硬件更新速度加劇等諸多因素的影響,傳統的遠程教育平臺的缺點逐漸顯示出來,如:資源重復建設、軟硬件投入大、系統擴充能力弱、可配置性差、集中訪問時對網絡和服務器壓力大等。

1.基于云計算的遠程教育平臺架構設計

云計算技術的出現為遠程教育的發展注入了新的活力,為遠程教育帶來了更高層次的變化,也為學習者獲取更好的教學支持服務提供了技術支撐。本文提出基于云計算的遠程教育平臺建設方案,其架構如圖2所示。從圖2可知,基于云計算的遠程教育平臺基本架構由物理資源池、基礎管理層、應用接口層和遠程教育應用層組成。它應包含從事遠程教育所必須的一切軟硬件計算資源,這些計算資源經過虛擬化后,向遠程教育機構、學生提供以租用計算資源為形式的服務。遠程教育云區別于其他云的關鍵技術在于遠程教育應用層,它體現遠程教育主要的業務邏輯,由一組經拓展的遠程教育程序組成。遠程教育應用層主要包括:(1)遠程教育管理程序。實現遠程教育教學和管理的業務,包含遠程教學平臺、教務管理系統、OA管理系統、作業管理系統、考試管理系統、虛擬實驗室等;(2)遠程教育應用程序。包含流媒體播放軟件、文檔閱讀軟件、在線交互程序、電子郵件等程序;(3)遠程教育中間件。遠程教育機構可以通過中間件系統快速開發出適合自己應用的遠程教育程序。構建基于云計算的遠程教育平臺,其優勢包括:(1)物理層方面:由于云服務提供商能提供跨平臺、運算能力強大、資源豐富統一的通信平臺,因此,無需購買本地服務器和網絡硬件設備,僅需投入少數管理終端及云接入設備即可。其次,因所有的服務都由云端提供,無需考慮服務器運行的可靠性、可用性、安全性、完整性,大大降低維護、升級等工作量,從而節省大量的人力、物力。(2)應用層方面:教師能夠輕松構建自己的個性化教學環境,促進學生高級思維能力和群體智慧發展,提高教育質量。通過網上視頻教學、實時課堂、在線作業、在線測評、虛擬實驗室、在線答疑等功能,為學生提供教學輔導。(3)資源建設方面:基于云計算的遠程教育平臺能夠充分發揮云計算的特點,統籌使用各地軟、硬件資源,提供強大的遠程教學能力和資源提供能力,各地遠程教育機構能夠統一部署資源,有效避免資源的重復建設。資源訪問者不需要知道資源位于何處,系統使用統一的資源列表提供最合理的服務,不再受地域、時間的限制。對于任意的一個資源訪問者,系統可以自動分析IP、確定路由,尋找離他最近的資源并建立連接。(4)客戶端:隨著移動互聯網的飛速發展,學習者可以通過配置各種標準瀏覽器的終端(如PC、iPAD、手機等)使用遠程教育云提供的各種資源和服務,師生之間能更加快捷地采用協同模式開展教學活動,真正做到泛在學習。

2.國內遠程教育云平臺建設模式

目前,國內遠程教育主要由電大系統、普通高校網院、遠程教育公共服務體系、遠程培訓機構等組成,其運作模式都是自成體系,各自為陣,很難統一。其缺點顯而易見,其一,造成軟硬件資源的極大浪費,重復建設情況嚴重。其二,由于地區、觀念、師資等因素差異導致教育教學平臺建設質量參差不齊,教育教學發展不均衡。其三,教育模式不能有效統一,學分不能互認,學分銀行建設很難有效推進。隨著國家開放大學的掛牌成立,建立終生教育的立交橋有望取得突破,而云計算技術作為催化劑可以加速這一趨勢的發展。中央電大校長楊志堅在2012年中國遠程教育大會上發表的《選擇適應與追求卓越》上提到:云計算越來越成為經濟發展過程中的一個必然選擇和趨勢,我們要去迎接、擁抱新技術,推進國家開放大學教育信息化建設,利用新技術改變現有的教育方式。中央電大作為我國遠程教育的領頭羊,其具有成為建設遠程教育云平臺的物質條件和內在動力。因此,筆者認為國內遠程教育云平臺建設,可以以政府為主導、國家開放大學具體實施、高校和教育培訓機構共同參與建設的方法進行。一方面,基于云計算技術建立的網絡支持環境可以作為一種基礎設施,供任何遠程教育辦學機構使用,實現了基礎設施即服務。另一方面,云計算中虛擬化、按需服務等概念使得原有各級電大系統的基礎設施都能充分利用,并與新增的基礎設施一起通過資源調度管理后對外集成服務。因此,可以建立國家級、分部級、學院級等多級網絡架構,在用戶邊緣采用內容緩存以減少網絡流量為用戶提供高可靠、高體驗的遠程教育服務。

篇(8)

摘 要 鑒于傳統構架的協同決策(CDM)系統不能適應民航事業快速發展,提出建立基于云計算平臺的CDM系統。

首先概述了云計算的基本概念和主要特征,并總結了云計算的關鍵技術和基本架構。之后,研究了對云計算拓撲設計算法,在樹形拓撲結構的基礎上對三種算法進行了比較和選擇,確定方案為merge-MST。最后,完成云計算平臺的初步總體設計,并搭建仿真測試平臺,測試結果證明所設計的云計算CDM系統具有較好的性能。

關鍵詞 民航,協同決策系統,云計算

中圖分類號:TP392 文獻標識碼:A

doi:10.3969/j.issn.1674-7933.2015.04.004

*基金項目:上海市2013 年“ 科技創新行動計劃”信息技術領域項目(13511504700) 。

作者簡介:葉云斐,1984 年生,本科,助理工程師,主要從事及研究領域:航空計算機信息管理,Email :leaves616@126.com ;

陳曉建,研究生,高級工程師;

陳偉青,本科,工程師;

谷葉,研究生,助理工程師。

0 引言

近年來我國民航事業快速發展,航班延誤現象愈發嚴重。中國民用航空局的《2013年民航行業發展統計公報》顯示: 2013年不正常航班占比27.66%,旅客投訴率較2012年增長13.66%。華東區域經濟發展迅速,人口密度大,以全國1/9的空域面積承載著1/3的航班流量,問題尤為顯著。以發展的眼光看問題,有必要依靠各方可靠、全面、實時的信息,采用高效合理的航班排序、放飛算法,充分利用空域時隙資源,協同決策(CDM)的概念應運而生。

民航華東空管局CDM系統于2012年12月上線運行,系統基礎數據多,計算量大,對軟硬件資源要求高。以上海虹橋、浦東兩個機場為例,每天就有5 000多架航班起落,涉及空域航路點300~400個,各航路點又分3~4個高度層;在此基礎上,CDM系統必須結合實時的流量控制、氣象預報等信息反復計算調整,且任何時刻的航班重新規劃都會影響到一整條航路上與之相關的所有航班,使計算量成倍增加。隨著航空流量的逐年增加,CDM系統計算量也以指數方式快速增長。

現有系統采用傳統架構設計,不能滿足前瞻性設計要求。理想的CDM系統架構應具有虛擬化、易擴展、按需部署、高靈活性、高可靠性、高性價比的特點。本文提出一種基于云計算的CDM系統構架,利用自動拓撲設計算法(merge-MST)設計網絡拓撲,采用Hadoop開源管理軟件實現任務調度,最后通過仿真手段驗證了該方案的可行性和適用性。

1 現有民航CDM系統的不足

協同決策是一種技術手段,更是一種基于資源共性和信息交互的多主體(空管、機場、航空公司等)聯合協作運行模式。華東空管局CDM系統從各個參與單位引接實時航班數據,建立塔臺電子進程單系統、A-CDM系統、飛行計劃處理系統等,并形成三大客戶端——流量管理客戶端、塔臺客戶端和公司機場客戶端,系統構成如圖1所示。

`該系統基于傳統的關系型數據庫,以塔臺電子進程單為例,架構示意圖如圖2所示。盡管其成熟度高、可靠性好,但隨著數據量逐漸增大,數據范圍逐漸拓寬,其存儲和查詢效率已不能滿足需求。

2 云計算平臺及其架構設計

2.1 定義和特點

云計算是一種新的計算模式,由分布式計算、并行計算和網格計算的發展而來。其后臺大量采用虛擬機,并通過互聯網形成資源池。這些虛擬資源可以根據不同的負載動態重新配置,快速并以最小的管理代價提供服務[1]。從用戶角度看,云計算具有可靠的存儲技術和嚴格的權限策略,可為客戶提供安全可靠的數據存儲中心;對用戶端的設備要求低,支持手機、平板電腦等無線通信設備;可實現不同設備間的數據、應用共享。

從硬件的角度看,云計算高度靈活,可按需投入或釋放硬件資源,從而提高整體利用率。2.2 類型

云計算按其服務層次分為三類[2],如圖3所示:

1)基礎設施即服務(IaaS,infrastructure as a service)

在虛擬化技術的支持下,利用廉價計算機實現大規模集群運算能力,同時按需配置,為用戶提供個性化的基礎設施服務。此類型的典型代表有亞馬遜云計算AWS(Amazon Web Services)、IBM藍云等。

2) 平臺即服務(PaaS,platform as a service)

提供的服務是開發環境,允許用戶使用中間商提供的設備開發自己的程序。此類型的典型代表有GoogleApp Engine(GAE)等。

3) 軟件即服務(SaaS,software as a service)

通過Internet直接提供運行在云計算設備上的應用程序。用戶無需考慮基礎設施及軟件授權等內容。此類型的典型代表有Salesforce公司的CRM服務、ZohoOffi ce、Webex等。

2.3 關鍵技術

云計算作為一種集群計算和服務模式,運用了多種計算機技術,以編程模型、數據存儲管理、虛擬化最為關鍵。

1) 編程模型

Google提出的Map-Reduce[3]是一種流行的云計算編程模式,Map(映射)程序將數據分割成不相關的數據塊,Reduce(化簡)程序則將將數據處理的中間結果進行歸并,如圖4所示。Map-Reduce可將海量異構數據的分析處理工作分解成任意粒度的子任務,并允許在多個計算節點之間進行靈活的數據調度,此外,程序員無需關心數據塊的分配和調度,該部分工作由平臺自動完成。

2) 數據存儲管理

云計算采用分布式的方法存儲和管理數據,并利用冗余存儲保證數據的可靠性,常用技術有Google的GFS及Hadoop團隊的HDFS[4],其中后者是前者的開源實現。

GFS系統架構如圖5所示,整個系統節點分三類:Client(客戶端)是GFS提供給應用程序的訪問接口、Master(主服務器)是管理節點, Chunk Server(數據塊服務器)則負責具體工作。Chunk Server可有多個,每個Chunk對應一個索引號(Index)。作為對比,HDFS體系結構如圖6所示。

云計算的數據管理需滿足大規模海量數據的計算和分析,大多采用列存儲的數據管理模式。現有技術中最主流的是Google的BigTable,Google對BigTable給出了如下定義:BigTable是一種為了管理結構化數據而設計的分布式存儲系統,這些數據可以擴展到非常大的規模。此外,Hadoop團隊也開發了類似BigTable的開源產品HBase和Hive。

3) 虛擬化技術

虛擬化技術是云計算區別于一般并行計算的根本性特點,其實質是實現軟件應用與底層硬件相隔離,把物理資源變成邏輯可管理資源。目前云計算中虛擬化技術主要包括將單個資源劃分成多個虛擬資源的裂分模式,也包括將多個資源整合成一個虛擬資源的聚合模式。根據對象又可分為存儲虛擬化、計算虛擬化、應用級虛擬化等等。

將虛擬化的技術應用到云計算平臺,使得云計算具有靈活的進程遷移方式,更有效的使用主機資源,在部署上也更加靈活。

2.4 架構設計

云計算體系結構的特點包括:設備眾多、規模大、采用虛擬機技術、任意地點、多種設備匯集,并可以定制服務質量等等。文獻[5]提出了一種面向市場應用的云計算體系結構,如圖7所示:

1) 用戶:用戶可以在任意地點提交服務請求;

2) SLA資源分配器:充當云后端和用戶之間的接口,包括服務請求檢測和接納控制模塊、計價模塊、會計模塊、VM監視器模塊、分發器模塊和服務請求監視器模塊;

3) 虛擬機(VMs):為實現在一臺物理機上的多個服務提供最大彈性的資源分配;

4) 物理設備:包括服務器、存儲設備及路由器等。

基于云計算平臺的華東CDM系統還處于初步研究階段,采用本架構進行初步設計及仿真驗證。

3 云計算網絡拓撲設計

云計算系統后端的網絡由大量服務器組成,分布廣泛,復雜度高。要保證數據的暢通傳輸,需要設計一個合理高效的網絡拓撲結構。

首先,為保證管理擴展和維護的方便,將云計算系統分成多個子網,各子網采用樹形拓撲結構,如圖8所示。在此基礎上,把每個子網看成一個節點,各個節點具備流量、交換能力、地理位置等屬性,將云計算網絡拓撲抽象成圖論數學模型。如何連接各個節點,才能即滿足冗余度要求,又盡可能降低網絡架設花銷已被證明為NP-hard[6][7],故只能求解近似最優解。此類問題的解法有兩種,一種是在限定網絡花銷的情況下最大化網絡的抗毀能力[8],另一種是在保證網絡一定抗毀能力的條件下盡可能減小花銷[7],本文按照后者進行設計。

在圖論領域,該問題可簡化為求解特定連通度k時最小生成子圖的問題,本文主要考慮基于圖論的k-FOREST算法[9]、merge-MST算法[10]和啟發式算法TEA[7]。通過理論推導,三種算法的時間復雜度如表1所示,其中TMST=O(m?logm)或O(n2),m代表圖邊數,n代表點數。

本文

參考文獻[11]的仿真手段對三種算法進行比較,考慮7、10、15、25個節點的場景,得到平均邊數和平均花銷的比較示意圖如圖9、10所示。

通過比較可看出,在節點數目較少時TEA算法表現最佳,但隨著節點數目增多性能迅速下降;在節點數多于20個時,則是merge-MST算法更優。

考慮到CDM系統規模龐大,僅華東區域就需要計算機點80~100個,故選取merge-MST進行網絡架構的設計。

4 總方案設計

基于云計算架構的CDM系統,依托中心節點、區域節點和業務集中節點,整合分布的物理資源,形成統一的可調配的邏輯資源。總方案結構如圖11所示。包括基礎設施、虛擬資源層、信息共享云平臺層,應用層以及貫穿始終的安全層和管理層。

1) 基礎設施層:既包括支持民航CDM系統運行所必需的基礎設施,也包括行業內可整合入CDM系統的其他設施。

2) 虛擬資源層:采用云計算技術,整合分布的硬件資源,形成資源池,靈活調配提供服務。

3) 云平臺層:涵蓋管理底層資源、支撐上層應用的各個軟件和模塊,包括平臺管理、負載均衡、中間件、業務流程管理軟件等等。

4) 應用層:將CDM系統功能進行最后一步封裝后提供給用戶。

5) 安全層:負責整個CDM系統的安全。

6) 管理層:管理整個CDM系統運行配置,包括資源管理、網絡監控、部署管理、內容管理以及用戶管理等,監控硬件、軟件等多個層次,提高整體運行效率。

5 系統測試與應用

為驗證所設計方案的可行性,并測試方案性能,本文搭建了測試環境,針對CDM系統多項業務進行了測試。

CDM系統主要業務涵蓋協同決策系統、流量管理系統、統一飛行計劃處理系統和塔臺電子進程單系統。其中協同決策系統為頂層系統;流量管理系統幫助最大限度利用空中交通服務的容量;統一飛行計劃處理系統負責接收、處理和飛行計劃;塔臺電子進程單系統則協助塔臺管制員管制飛機的起降。

5.1 硬件環境

云計算集群設有3個master節點,18個slave節點,各節點均是基于X86架構的PC機。PC機配置如表2所示。

所有測試主機均連接在千兆網絡中,網絡環境中不存在其他設備,干擾因素可忽略不計。

5.2 軟件環境

測試采用Hadoop團隊開發的開源軟件,版本如表3所示。

5.3 測試結果

通過編寫程序,在測試環境中進行電報處理、雷達軌跡處理、氣象與情報處理、橋位信息處理、航班信息、數據查詢以及協同航班處理等壓力測試,平均日最大處理條目數量如表4所示。

測試結果表明:云計算平臺計算能力強,能夠彌補現有民航CDM系統的不足,可滿足華東地區CDM系統前瞻性設計要求。

6 結束語

本文針對華東地區巨大的航班吞吐量,提出了一套基于云計算平臺的CDM系統設計方案。通過測試驗證,該系統架構具備良好的計算能力和業務處理能力,使用靈活,更滿足系統安全可靠、成本低、易拓展的需求。

基于云計算的華東空管CDM系統是現有CDM系統的發展方向,將在2015年開始詳細設計。

參考文獻

Vaquero L, Rodero-Marino L.Caceres J. et al. A break in theclouds: towards a cloud defi nition[J]. SIGCOMM ComputerCommunication Review. 2009,3(1): 50-55.

UC Berkeley 可靠自適應分布式系統實驗室, 姚宏宇譯. 云端之上——Berkeley對云計算的看法. 2009.

J. Dean, S. Ghemawat, MapReduce: Simplified DataProcessing on Large Cluster[C], OSDI’04, Sixth Symposiumon Operating System Design and Implementation, SanFrancisco, CA, December, 2004.

Sanjay Ghemawat, Howard Gobioff, Shun-Tak Leung.The Google File System[C]. Proceedings of 19th ACMSymposium on Operating Systems Principles. 2003, 37(5):20~43.

R. Buyya, C.S. Yeo, S. Venugopal, Market-OrientedCloud Computing: Vision, Hype, and Reality for DeliveringIT Services as Computing Utilities [C], The 10th IEEEInternational Conference on High Performance Computingand Communications.

S. Pierre, G. Legault, A Genetic Algorithm for DesigningDistribute Computer Network Topologies[J], IEEE Trans.Man, Systems, and Cybernetics, 28(2), 1998: 249-258.

E. Szlachcic, Fault Tolerant Topological Design for ComputerNetworks[C], Proceedings of the international Conferenceon Dependability of Computer Systems, DepCos-RELCOMEX’06.

F.M. Shao, X. Shen, and P.H. Ho. Reliability Optimization ofDistributed Access Networks with Constrained Total Cost[J],IEEE Trans. Reliability, 2005,54:412-430.

篇(9)

使用者定義IT

如今,在許多IT廠商的會上,云計算、大數據、移動和社交化已經成了必提的影響IT變革的四大要素。在這四大因素的作用下,IT系統越來越龐大和復雜,而用戶對IT系統的要求也水漲船高,希望IT資源隨時可用。為了應對新應用、新技術帶來的挑戰,很多用戶有些疲于奔命,不斷嘗試對IT系統進行調整和優化,虛擬化、云計算、大數據等技術手段都被派上了用場。但是在嘗試變革的過程中,一些用戶的精力過于集中在如何解決眼前的技術問題上,在埋頭苦干的時候,并沒有抬起頭來看一看未來IT的發展趨勢。其實,無論是IT廠商還是用戶,在這個IT變革的轉折點上都應該把眼光放得更長遠些,將技術變革的趨勢與應用的需求更緊密地結合在一起。

在“應用定義IT”、“軟件定義一切”等一系列新概念被熱炒后,HDS公司提出了自己對IT變革的看法――業務定義IT。軟件定義IT也好,業務定義IT也罷,其本質是相同的,都在強調用戶的需求和應用的重要性。HDS高級副總裁兼亞太地區總經理Neville Vincent解釋說:“業務定義IT就是從用戶的商業需求出發,重新審視IT能為其業務的發展提供哪些積極有效的服務。IT服務必須與用戶的業務需求緊密聯系起來。”

利用業務定義IT可以更好地保證IT服務的移動性、經濟性,并使用戶獲得更佳的洞察力。Neville Vincent舉了中國某大型汽車銷售商的例子。該銷售商不僅要掌握每個省的汽車銷售情況,而且要具體了解每個商的銷售數字,還要對多年的歷史銷售數據進行對比分析,這就需要借助大數據分析工具。掌握第一手的銷售數據,并通過數據分析對銷售策略進行調整,從而提升競爭力,這就是該汽車銷售商的首要業務需求,也是IT在不斷演進的過程中必須解決的實際問題。業務定義IT其實就是這么簡單。

Neville Vincent小結說:“IT是由使用者決定的。用戶希望不受時間和空間的限制,只要需要,就能獲得所需的信息。這在以前是不可想象的,而現在則成了IT努力的方向。”

業務永不中斷

業務定義IT并不是一句空話,其技術基礎就是永續IT云架構。對于云計算架構,人們已經十分熟悉,而HDS公司在云架構之前加上了“永續”二字,著重強調的是IT架構的可用性必須得到有效提升和保障,即使是在數據遷移的過程中,業務的連續性也不會受到影響,不會產生意外宕機。

如上文所述,業務定義IT可以改善業務的移動性、經濟性和洞察力,而確保這些改變的實現,就需要IT云架構始終可用,并且保持自動化和敏捷性。這三點恰好也是HDS賦予永續IT云架構的關鍵內涵。為了保證永續IT云架構的落地,HDS此次了一系列新產品和新的版本升級,比如VSP G1000、存儲虛擬化操作系統(SVOS)、Command Suite v8、Unified Compute Platform等。

“在云計算方面,我們提供的是私有云和混合云解決方案。在公有云方面,我們主要是配合合作伙伴的工作,而自己不會提供公有云服務。”Neville Vincent告訴記者。在HDS的云計算框架中,基礎架構云、內容云和信息云三部分今年都會有更新,而永續IT云架構是HDS云平臺的基礎與核心。比如,VSP G1000和存儲虛擬化操作系統進一步充實了HDS的基礎架構云解決方案。雖然作為軟件定義存儲的代表,VSP G1000本身就極具賣點,不過在Neville Vincent的眼里,HDS還是以端到端平臺解決方案取勝,并在全面服務的基礎上實現方案的差異化。以VSP G1000為代表的存儲基礎架構、內容平臺和管理軟件等構成了HDS的差異化解決方案。

“為了推出永續IT云架構方案,我們已經準備了一年。我們相信,永續IT云架構方案一定能夠在亞太市場上取得成功。”Neville Vincent希望內容移動性解決方案、永續IT云架構方案和整合方案今年能夠增長一倍,而作為平臺方案重要支撐的數據保護解決方案和文件管理方案也是HDS關注的重點。

存儲虛擬化的演進

HDS永續IT云架構最大的亮點就是存儲虛擬化操作系統和VSP G1000,兩者軟硬結合,相得益彰。HDS 產品規劃副總裁兼信息技術平臺部(ITPD)總工程師Michael Hay介紹說,存儲虛擬化操作系統是HDS首個用獨立軟件方式實現虛擬化功能的系統,它采用通用的軟件架構,能夠跨越HDS的整個基礎架構產品組合,同時增強服務器虛擬化的效能。存儲虛擬化操作系統使得用戶可以擁有更多選擇、更大的靈活性和一個簡約的基礎架構,能夠將傳統數據中心平滑遷移至軟件定義的數據中心。

存儲虛擬化操作系統兼具軟件定義存儲的靈活性和HDS企業級存儲軟件的成熟功能,在閃存優化、高級存儲虛擬化、自動分層、平滑數據遷移等方面實現了新的突破,且無需外置設備就能提供多系統和多數據中心的雙活功能。

在存儲虛擬化方面,HDS是基于存儲控制器虛擬化方式的成功代表。HDS使用基于存儲控制器的虛擬化,將存儲控制器與磁盤存儲系統分離。這種方法將邏輯視圖與物理資產分離,可以虛擬化其他廠商的存儲系統。而存儲虛擬化操作系統是在存儲硬件平臺上的一個軟件層,它利用軟件定義存儲的思路,將軟件與硬件相分離,充分發揮了軟件的靈活性與管理的方便性。Michael Hay表示,未來HDS的存儲平臺都將支持存儲虛擬化操作系統。

VSP G1000是運行存儲虛擬化操作系統的理想硬件平臺。VSP G1000可以實現逐步擴展,具有超過48GB/s的可用帶寬和超過120萬次操作/秒的NFS操作性能。 在各項配置和性能指標上,VSP G1000全面超越了以前的VSP系列,比如IOPS提高3倍多,緩存容量和HNAS集群節點數量都增加一倍,能效提高10%以上。Michael Hay表示,VSP系列與VSP G1000有不同的市場定位,兩者將并存。

簡化管理是最大賣點

篇(10)

[9] 無錫市政府.無錫市人民政府辦公室印發關于更大力度吸引物聯網技術和產業高層次人才三年行動計劃的通知[EB/OL]., 2013-5-4.

Study on the Operation Mechanism of Internet

of Things Industry Ecosystem Based on System Dynamics

GUO Jinfei REN Licheng ZHANG Yongyun

上一篇: 保險在風險管理中的作用 下一篇: 工廠生產安全管理
相關精選
久久久噜噜噜久久中文,精品五月精品婷婷,久久精品国产自清天天线,久久国产一区视频
亚洲成色在线观看网站 | 亚洲第一情网站久久网 | 九色九热国产在线视频 | 亚洲综合久久综合网 | 亚洲欧洲精品国产二码 | 亚洲最新在线观看 |