大數據開發的過程匯總十篇

序論：好文章的創作是一個不斷探索和完善的過程，我們為您推薦十篇大數據開發的過程范例，希望它們能助您一臂之力，提升您的閱讀品質，帶來更深刻的閱讀感受。

篇（1）

自上個世紀90年代初，信息高速公路在美國提出以來，歷經近30年的發展演進，信息技術發展突飛猛進，信息化領域的新技術、新詞語層出不窮，諸如IT技術、互聯網技術、大數據技術、區塊鏈技術、人工智能等。并且對人們的生產、生活方式產生了深刻的影響，認為現在進入了大數據時代、萬物互聯時代、智能化時代等。筆者認為，一直以來，其中除了硬件的發展，還有兩個關鍵因素同樣值得關注，一是數據，其是基礎和目的；二是軟件，其是方法和工具。唯如此，才能實現在軟件生命周期即設計、開發、運行、優化，實現與大數據生命周期即獲取、清洗、集成、分析、呈現等的互動。[1]換言之，現在來說，就是大數據和軟件工程，二者助推了信息技術的發展，同時也是信息化的產物，在大數據時代背景下，研究軟件工程技術的應用，對于經濟社會的發展有著十分重要的意義。

1大數據和軟件工程簡述

1.1大數據簡述

沃爾瑪的“啤酒與尿布”是眾所周知的大數據經典案例，大數據已經是當今信息社會炙手可熱、耳熟能詳的詞匯，而且已形成共識，即人類已經進入大數據時代。上個世紀80年代初，《第三次浪潮》一書風行全世界。該書作者美國社會思想家阿爾文托夫勒就在文中將人類社會發展劃分為三次浪潮，即以“農業文明”為主導的第一次浪潮，以“工業文明”為主導的第二次浪潮，以“信息化”為主導第三次浪潮。[2]其中首次提出了“大數據”（BigData）一詞，并且，以“第三次浪潮的華彩樂章”這樣的用詞對其進行熱情的謳歌。[3]全球著名咨詢公司麥肯錫于2011年5月了《大數據：創新、競爭和生產力的下一個前沿》報告，公認此報告宣告了大數據時代的到來。由于大數據概念的提出源于不斷的發展實踐，其本身并沒有嚴格、權威的定義。通常認為，大數據的大即大數據集的規模一般應達到10TB左右，現在已經達到了PB級的數據量。維基百科稱“大數據”是這樣一個術語，即其是用以描述用傳統的數據處理應用軟件無法完好處理的龐大的或者復雜的數據集。但“大數據”這一概念并不僅僅指數據規模的龐大，還包括對這些數據對象的處理以及應用活動。IBM提出大數據通常具有“5V”特征：Volume（數據體量大）、Variety（數據類別多樣）、Velocity（處理速度快）、Veracity（數據真實性高）、Volume（數據價值高）。[4]大數據技術分類并分平行關系，而是呈縱向、層級狀結構，詳見圖1所示。

1.2軟件工程簡述

軟件工程本身并沒有嚴格、權威的定義。并且，也是直到20世紀60年代初才出現了“軟件”一詞，于此之前，更多的是程序的概念，后來人們認識到與程序相關的文檔也有著相當重要的作用，才有了“軟件”一詞的出現。軟件發展至今天，已經遠遠不是程序個體或者程序員合作的方式能夠完成的，即使能夠完成，也會是效率低下、程序運行可靠性差，或者說根本就無法完成。于是，在1968年召開的大西洋公約學術會議上提出了軟件工程的概念,簡單理解，就是以工程的方法來進行軟件系統設計、開發、運行、維護、優化等技術的總和，進一步言之，就是用“計算機科學、數學管理科學等原理，以工程化方法制作軟件的工程”，屬于一門交叉學科。[5]通常認為其包含有四個要素：（1）軟件工程目標；（2）軟件工程范型；（3）軟件工程過程；（4）軟件工程原則。

2大數據與軟件工程的結合方式

宏觀上講，軟件工程是比大數據更為寬泛的概念，大數據的技術與應用被軟件工程所涵攝。如圖1所示意，雖然大數據的各項技術與應用屬于垂直領域，而軟件工程牽涉的是橫向領域，更加關注軟件產品及軟件系統工程上的實現及其管理。但是，大數據無論是其產品還是其系統的完成與落地，都離不開軟件工程方法論的支持。換言之，軟件工程的方法與技術貫穿于大數據的開發與應用，大數據也只是在軟件工程發展過程中出現的概念。軟件工程開發具有綜合性，其應用滲透于各個學科和領域，大數據的技術與應用當然是軟件工程所關注和研究的對象，或者說大數據技術的每一環節都離不開軟件工程的支持。大數據應用的基礎是要依賴數據鏈條的完整性，采用相應的算法于海量的數據中進行規律分析，算法要依據相應的實際環境進行相應的升級，遵循開發的基本原理，充分調整數據分布，從而在研究過程中將大數據技術與軟件工程方法結合起來。并在開放的環境中通過網絡與通信技術實現數據的共享，在此過程中，軟件技術和水平亦能得到進一步的提高。在二者相互作用滲透的過程，軟件效率得到提高，軟件效益得以提升，從而實現客戶需求的最大化。在軟件開發過程中，還需要有必備的硬件和軟件的支撐，來支持相應的數據流，隨著數據流的增長，對于硬件和軟件就會有更高的要求。工程技術人員在對數據流進行分析研究的同時，專家學者還會對在線服務進行研究。但是，數據流是重點，包括對數據流的使用方法的研究，對支撐數據流的軟件和硬件的研究。另外，從軟件工程開發角度看，無論是在服務端還是在用戶端，軟件的運行當然會產生大量的數據流，都將產生大量的數據信息，這些數據流對于軟硬件的使用壽命有著決定性的影響。因此，在軟件工程的開發中，對于海量數據產生的環境下，更有必要做好數據流的管理，要高度重視數據流的分析研究，并且對于原始數據進行深入的研究也應該引起重視，以期延長軟件的使用周期。[6]

3大數據時代的軟件服務工程

軟件服務工程即所謂的面向服務的軟件工程，強調的是其相對于傳統軟件工程的擴展。近些年來得到了很快的發展，已經成為當今時代的主流社會需求之一，服務功能已經是軟件開發的基本原則。另一方面，也可以將其直觀理解為“軟件（Software）+服務（Service）+工程（Engineering）”三個方面的交叉融合，或者軟件工程與服務工程兩者的融合等。其內涵可以理解為研究面向服務的軟件工程原則、軟件工程方法以及軟件工程技術，同時利用相應的軟件服務設施和平臺，開發較高水平的軟件服務系統。[7]軟件開發者根據需求變化，在社會實際實用中，以面向服務作為主要建設目標。在開發的初期就要首先搭建好軟件的框架，充分利用編程語言、構思好編程思路，確保開發軟件能夠提供可靠的服務應用，保障軟件運行時的穩定與可靠。在實際的服務過程中，要求開發者運用分布式應用程序，以虛擬操作的方式提供用戶相應的服務。在應用中，融合大數據技術，能夠實現對數據進行編程，達到軟件互操作的效果，并提高對數據的主動協調。軟件工程開發工程師可以對數據信息共享，實現各種學習交流，對軟件進行協同開發，并結合用戶的反饋，對軟件系統進行優化處理，提高軟件的性價比。近年來，開源軟件是較為成功的軟件習作模式，但是，其采用常規的研究方法，應用價值還不是很高。與開源軟件相比，群體軟件工程屬于一種分布式軟件開發模型，能夠依靠網絡進行任務分配，并能實現創造性的查詢，通過眾包形式的開發，解決開發過程中的難題。并且，在整個開發過程中，眾包開發可以貫穿其全過程。所謂眾包，一如其字面含義，是一種分布式的生產開發模式和問題解決方案。通過該種方式，開源軟件和商業軟件均可通過網絡進行任務和責任分配。[8]隨著我國計算機科學技術的不斷發展進步，軟件工程技術也取得了長足發展，軟件服務工程也支持得到拓展和延伸。在大數據時代背景下，我們應當加快大數據技術和軟件工程技術的融合與創新，提升對海量網絡數據進行編程處理的能力，提高軟件的安全和效能，增強其穩定性和可操作性，進一步整合軟件工程系統的集成度。

4數據密集型科研第四范式

篇（2）

1大數據技術和軟件工程技術

大數據技術事實上是將人類日常生活中產生的各種數字信息，將這些信息收集起來之后分類處理，設定不同類別的存儲空間，按照類別存儲。大數據技術從功能的角度出發可以劃分為多個類別，諸如分析技術、機器學習技術、遺傳算法技術、自然語音處理技術等。應用大數據技術分析，就是基于當前的科學技術發展起來的一種分析技術。它主要依靠現代科技手段發揮技術的作用，特別網絡技術發揮著基礎性的作用。整理基礎數據，對數據信息進行分類整理，應用相應的計算機算法，將相似特性的數據劃分為一類，最終得到大量的數據，應用大數據技術對這些數據進行分析。大數據分析應用于互聯網行業中，所發揮的優勢是有目共睹的，而且還不斷地引入新技術，在軟件工程技術中應用，對該技術的發展起到了促進作用[1]。大數據時代，社會各個領域都已經實現了信息化發展，人們對軟件工程的概念越來越熟悉。事實上，軟件工程的歷史始于20世紀的中期，其研究重點是軟件技術和工程管理。將相關工程內容引入其中，使得工程系統化運行，其中所涵蓋的研究內容包括軟件的生命周期、軟件工程設計、軟件的技術維護等方面。因此，在軟件設計的過程中，要控制好技術開發成本，保證工程質量，使其生命周期不斷延長，不同項目的技術需求和用戶的各種技術需求都能夠得到滿足。

2大數據背景下的軟件工程基礎

處于大數據時代環境中，軟件工程的發展中關乎到不同的領域，需要高度重視。大數據技術具有專業性的特點，還具有很強的實用性價值。在軟件工程技術的研究中，要從應用需求出發不斷創新軟件技術，對于傳統的技術要不斷摒棄，對軟件工程的發展創造良好的客觀條件。大數據技術環境下，軟件工程基礎是基于互聯網技術建立起來的，對各種數據信息系統化管理，根據需要進行處理，對工業的發展非常有利[2]。在軟件工程技術中，大數據的安全性問題是需要高度重視的，否則，就會對軟件工程技術造成不良影響，引起嚴重的后果。

2．1軟件服務工程

在軟件工程的研究范疇中，軟件服務工程的數量不斷增多。軟件工程服務化方向發展，就是發揮服務的作用，使其成為軟件開發的基本原則，按照服務項目內容為用戶展開服務。由于軟件工程發展的主題有所，服務內容也要做出相應的調整，同城是對軟件工程的進行技術維護。在具體的服務工作中，需要軟件開發人員使用分布式應用程序，在管理工作中采用虛擬操作的方法為用戶2019.08提供服務[3]。軟件工程技術應用中，結合使用大數據技術，可以對網絡數據進行編程，使得軟件具有互操作性，對于數據主動協調，使其符合動態場景的變化節奏，軟件系統的集成度有所提高。

2．2軟件開源

軟件開源更為注重用戶對軟件技術的體驗。在對軟件開源進行研究的過程中，采用常規的方法，雖然獲得一定的成果，但是應用價值不是很高。一些研究人員在研究軟件工程技術的時候，就是將軟件開源作為突破口，將開發項目劃分為多個模塊，將每個模塊分給指定的研究人員進行開發。

2．3群體軟件工程

群體軟件工程是通過網絡的方式進行軟件開發，具體的實施中采用工程眾包的形式，使得軟件開發技術發揮作用。群體軟件工程是一個分布式軟件開發模型，這個工程項目的運行中，可以通過網絡實現，對各項任務進行分配，也可以進行創造性的查詢，通過眾包解決軟件開發過程中遇到的一些困難和重要問題。同時，在軟件工程開發過程中，軟件工程可以在任何階段通過眾包進行開發[4]。

3大數據與軟件工程技術的未來發展方向

3．1大數據與軟件工程技術開放式的發展

大數據技術的主要前提是大量的數據流，需要技術不斷地升級和創新，尋求開發的研究途徑是非常必要的。計算機網絡的發展意味著計算機可以在開放的環境中相互通信，共享數據資源，軟件等信息的有效利用能力也會有所提升。通過網絡運行可以增加利潤，使得用戶的各種需求得到滿足，提高資源的利用率。

3．2大數據與軟件工程技術融合到其他領域

軟件工程技術在當今許多科學領域有著廣泛的應用。由于軟件工程技術給予各個領域非常大的幫助，從航空到生活中都發揮著軟件工程技術的作用[5]。應用程序的運行，可以使用數據平臺對信息進行收集并分析。比如，用戶在進行股票交易的過程中應用大數據技術，可以使用軟件工程技術構建數據模型，通過對數據模型的分析，預測股票的變化趨勢。

4眾包軟件服務工程中的大數據技術

在軟件開發過程中，必須有足夠的硬件和軟件基礎來支持數據流，隨著數據流的量逐漸增多，對硬件和軟件就有了新的要求。專家學者在分析數據流的時候，還對在線服務進行了研究。數據流是重點內容，主要是對數據流的使用方法進行研究，對支撐數據流的軟件和硬件進行研究[6]。從軟件工程開發的角度而言，軟件運行中都會產生大量的數據流，包括服務端、用戶端等，都會有很多的數據信息產生，這些數據流對軟件和硬件的使用壽命起到了決定性的作用。軟件工程的開發中，要做好數據流的管理工作。有必要對原始數據進行深入的研究，為提高軟件的使用壽命創造條件，對數據流的分析要高度重視[7]。

5密集型數據科研第四范式

第四種科學研究范式是指根據實際情況建立獨立的科學研究方法，探索第四種范式的理論基礎，以及大型數據存儲設備在發展中的重要性。軟件工程中，采用傳統的大數據研究方法，大數據的有效分析是不可能的，大數據的研究還沒有取得突破性的成果。因此，目前大多數軟件不能在短時間內同時實現數據信息的存儲、數據信息的傳輸和有效識別。在探索第四范式理論和研究方法的過程中，首先需要對集成大數據的軟件服務價值進行估計，拋棄傳統的大數據統計方法，建立新的大數據信息統計方法和分析方法[8]。此外，有必要從多個方面研究大數據的處理，對大數據信息進行管理并深入分析，討論大數據的價值以及存在的可變性，這對軟件工程的發展起著重要的作用。在研究軟件工程技術的時候，必須更新傳統的軟件開發理念，重視軟件處理和分析大數據能力的發展，使得軟件產業呈現出新的發展面貌。

6結語

篇（3）

二、大數據對高等教育的重要性

1.大數據便于分析學習行為

在教育活動中，教育數據是對教育成效、創新思維、創新能力、科研活動、學習主動性、學習積極性和教學活動進行分析的重要依據，它為教育教學和科研活動提供重要的科學依據和可行性論證的材料。教育數據可以通過面授的方法即面對面的教育互動獲取，如一問一答、講座交流、分組討論、課題合作、興趣小組等，教育數據也可以通過網絡課程平臺或慕課等多媒體課程獲取，以這種方式獲取的數據樣本大、效率高、存儲方便。教育大數據可以呈現學生學習的即時效果以及學生參與課堂教學和科研活動的情況，這是智慧教育的客觀分析的依據和比較研究的素材。教育大數據以其便利性和可操作性為學生學習行為的研究和分析提供了便利條件。首先，教育大數據便于對學生學習行為進行分析。教育大數據便于留存，方便調閱，有助于評價和分析學生的學習行為，進而有針對性地解決問題。其次，教育大數據便于教師從全局把控學生的學習情況。利用數據的關聯性和演繹規律，可以從中獲取課堂上學生互動、課堂接受程度和專注度等教學反饋信息，有利于挖掘個體學生的學習特點，推進個性化教學，或從整體上評估學習行為，對學生進行科學指導。最后，便于教育管理者更好地組織教育資源。教育管理者可以從教育大數據中挖掘有價值的信息，制定教育改革的方向和措施，并采取和風細雨、滋潤心田的管理方式。

2.大數據促進教育科學化發展

首先，大數據提供智能學習平臺。將眾多的高校信息收集起來，資源共享，信息互通，讓世界高校變成地球村，這給教育智能化發展創造了極好的條件。芝加哥大學等多所世界名校達成共識，聯合建設在線教育公共課程，通過網絡平臺免費開放課程，供全球幾十萬人同時收聽或觀看同一知名教授的課程，共享學術精髓。這是教育資源的高效利用，也是高教發展的必然。同時，還可以在網絡平臺上通過MOOC等多種形式進行學術討論和交流。智能化學習平臺讓學習和交流變得更便捷。其次，大數據構建全新教學模式。大數據的應用給高等教育帶來了革命性變革，面對面的課堂講授形式面臨建立在教育大數據基礎上的在線、視頻、多維度、全視角的立體化教育模式的挑戰。教育大數據時代的教學模式，其知識傳授途徑已從課堂走向網絡，從線下走到線上;其知識傳授不受時空限制，可以隨時隨地上網學習在線課程，接受世界名師的網絡課程教育;其教學方式也更靈活。通過觀察或記錄鼠標對某一知識點的點擊量、在一張幻燈片上停留的時間的長短、回答問題后有針對性的關注的有無等情況，可以判斷不同的人對不同知識點的關注和接受程度，從而使得視情況而定的詳解或弱講，或個性化、差異化教學得以實現。教育大數據時代的教學模式還有效地延伸了教學資源和師資。在線上接受世界名師授課，這是高等教育全方位、全時空的重大突破。最后，大數據促進教育科技創新。高等教育大數據通過提供科技創新所需要的信息資源、科研知識和科技問題交流的平臺以及科技信息的實時交流，促進了產學研協同創新，促進了成果的轉化和創新。高等教育大數據之所以能夠發揮這樣的作用，是因為它積聚了科研、教學、工程信息、管理科學、音樂藝術等海量信息，而且這些集音頻、視頻、文字、圖形于一體的立體化信息是可以即時查詢或交流的。高等教育大數據的雙向性和交互性，對于提高科研效率、促成科研成果轉化有很大幫助，間接地促進了高校的進一步發展。

三、高等教育大數據的建設途徑

1.搭建數據平臺，開發大數據處理技術

建立高校大數據應用平臺，在整合原有信息系統的基礎上，升級、建設數據釆集設備、數據傳輸網絡、數據儲存和分析系統，并通過對數據和應用的高度集成將復雜的大數據處理程序交給專業人員處理，為一線教師減輕負擔。高校大數據應用平臺擁有強大的數據收集和分析能力，可以有效地提高數據管理質量和效率，促進資源共享，為高校管理決策提供支撐，推動高校資源配置的優化。大數據應用可以在人才培養、科學研究、社會服務和文化傳承創新等多個方面全面推動高等教育的發展。

海量數據包含了許多冗余和雜質，這樣的數據不便使用，甚至不能使用。要發揮大數據的功用，提高其價值密度，就必須開發大數據的相關技術。首先，開發大數據集成技術。對數據進行有效的集成和整合，以剔除無關信息而不使有用的信息流失。完成這種除冗降噪過程的，是大數據技術中的數據采集和算法技術。不同來源的數據存在結構化、半結構化和非結構化三種結構形式，數據之間的差異給數據的集成帶來了巨大的困難。這需要開發比Hadoop分布式處理軟件更先進的系統進行集成。其次，改進大數據存儲技術。存儲設備容量不可能跟上數據規模的擴張，而大數據存儲技術又與數據成本、計算和分析速度直接相關，這就要求開發一種既能夠存貯多元異構數據又滿足數據格式統一、標準統一要求的存儲技術。再次，開發高效的實時分析技術。傳統的分析技術可以對大數據中結構化靜態數據進行分析，但數據的一致性、可用性和容錯性不可兼得。大數據的可擴展性和可用性不能得到滿足，影響它的使用。只有開發一種橫向擴展能力強、能大規模處理非結構性數據的分析技術，才能滿足高效地進行動態分析的要求。最后，開發可移植處理模型。目前的大數據處理框架大多是針對各行業、各領域的情況開發的，不具有廣適性和可移植性，限制了大數據的應用。在高等教育領域，大數據專業人員應同各領域專家合作，開發可移植處理模型。

篇（4）

中圖分類號：TP393 文章編號：1009-2374（2016）34-0093-02 DOI：10.13535/ki.11-4406/n.2016.34.046

1 概述

隨著互聯網技術的快速發展，網絡上產生海量大規模的數據，這些海量數據在金融、農業、醫療、商業等領域都有極其重要的應用。因此，通過對大數據研究從互聯網的海量數據中挖掘出有價值的信息資源。雖然大數據有極其重要的研究價值，但是海量數據處理給軟件設計帶來了巨大挑戰。大數據時代的到來，使傳統的軟件工程面臨新的機遇與挑戰。眾所周知，傳統的軟件生產模式一般以正向工程開始，然后進行軟件維護、逆向工程與再工程等，而大數據時代的軟件生產模式則以逆向工程開始。由于軟件資源的大量積累以及大規模軟件重用技術的發展與應用，軟件數據挖掘與軟件集約化生產會變得越來越重要，傳統意義下一切從頭開始的軟件項目會變得越來越少。

互聯網的數據正以指數級速度增長，2010年，全球產生的數據超過1ZB；截至2015年，平均每年產生9ZB的數據；數據的產生主要來源于傳感器、移動終端和電腦終端；所有這些數據在涉及人類基因組學、醫療保健、石油和天然氣、搜索、監控、金融等諸多領域提供了大量潛在的研究價值。IDC認為能夠使用大數據解決方案將蓬勃發展實時業務決策，而那些無法接受和利用這種轉變的，在市場競爭中處于劣勢，且將越來越多地發現自己面對潛在的故障組織。大數據技術描述新一代的技術和架構，通過對大數據進行科學組織、分析其中的數據價值。

大數據是涉及數據存儲、可變復雜的大型數據及數據的進一步可視化處理過程；大數據架構需要具備同時處理數據存儲要求和分析海量數據的大型服務器的處理能力。其中挖掘潛在模式和隱秘關系的過程稱之為大數據分析。挖掘的潛在信息對公司來說能夠幫助獲得更豐富、更深刻的見解，并能夠幫助公司在競爭中占有絕對的優勢。這也是大數據的價值所在，更加精確地執行和分析數據中的潛在價值。本文將討論大數據時代軟件生產模式的變化、特征及其發展趨勢。除新的概念外，還將重點介紹一些軟件管理方法以及工業實踐經驗。我們正處于一個軟件工業大變革的前夜。隨著軟件資源的大量積累與有效利用，軟件生產的集約化與自動化程度都將迅速提高，軟件生產質量與效率的大幅度改進將成為可能。

2 軟件服務產生的大數據

互聯網應用在各行業的廣泛推廣和使用，使得互聯網應用服務產生海量的數據，主要包括流式密集數據和歷史密集數據。比如，國內最大的電子商務阿里巴巴數據中心目前已經積累超過100PB的數據；中國移動通信公司目前建立包含辦公自動化、企業標準化等超過1萬業務流程。傳統的軟件工程中程序設計思想是“程序=數據結構+算法”，主要考慮程序的效率和正確性，忽視了程序中產生的數據，這將大大縮短程序的生命周期。在軟件理論漫長的發展過程中，眾多學者一致認為軟件就是健壯的程序和詳細的文檔，其中核心部分就是完備的文檔，包括需求文檔、工程數據、通用規范等，整個軟件設計過程更加關注文檔質量和標準化開發模式。因此，在這一共同協議下，促使軟件設計更加規范和標志，進而從整體上提升軟件質量。

隨著系統業務的擴容和用戶的使用，要求軟件能夠處理大規模數據的能力。許多大型互聯網企業越來越重視軟件服務中流式數據和密集型數據，數據主要來源于用戶體驗。如圖1所示，行業對數據的處理要求越來精細，技術很具有挑戰性，其中如何將大數據基礎設施作為服務、大數據平臺作為服務、數據價值作為服務以及大數據分析作為服務，已經是大數據環境軟件工程的研究主要難題。

從軟件發展創新模式來分析，服務消費者、服務提供方及PaaS平臺三方產生海量線上流式數據和離線密集型數據。比如，TB級的用戶交流數據和PB級的用戶行為操作數據、TB級的系統日志數據等，這些海量數據對軟件開發、維護、管理有著至關重要的作用，同時這些數據對軟件服務周期也有決定性的作用。本實質上來說，這些數據只是在規模和量上來衡量，對其的研究缺乏標識，尤其缺少語義化的處理。因此，對如此海量數據的處理，需要從不同的研究方式和創新思維對數據進行組織和處理，形成面向領域內的智能知識主體。以知識為中心，數據為驅動，提供一系列數據服務平臺，從而體現出現代軟件工程是以大數據為中心開展的。

3 大數據時代軟件工程管理模式

根據大數據時代背景下，軟件工程的發展從經典的CS模式發展到BS模式以及現在的以面向服務的軟件工程，簡稱為軟件服務工程。該設計模式中以服務為基礎的單位，能夠快速構建應用和共享服務，能夠按需分配，同時也能很好地適應分布式程序開發。這種模式特點是將資源虛擬化、應用服務化，向外提供統一服務接口，能夠很好地解決大數據環境下動態、分布變化的情況和異構系統數據以及系統整合問題。這種面向服務的軟件設計模式在大數據、移動互聯網等新興領域得到廣泛的使用。

項目管理是在一定的費用、品質及進度約束下，為達到客戶和其他利益相關者的需求、目的和目標所要進行的大量活動的規劃、監督和指導。項目管理有兩個重要的研究領域：系統工程與項目控制。從圖1中看出，兩個領域有重疊部分，系統工程為重疊部分提供技術層面的輸入，項目控制主要提供規劃、費用及進度方面的輸入。工程的管理主要是通過文檔來體現的，其中主要包括系統文檔樹和系統工程管理計劃（SEMP）。

系統文檔樹就是以一種樹形結構化形式描述項目所需的，面向系統工程的一系列文檔以及在自定向下的結構化形式中各個系統工程文件之間的相互關系。系統文檔樹是由系統工程師在提案階段基于工作說明書（SOW）和合同數據需求清單（CDRL）準備，以便后續的成本和進度確定所需的文本化的任務。系統文檔樹由項目經理批準并在項目生命周期內維護更新。系統工程管理計劃（SEMP）是描述項目在系統工程方面的任務與進度需求以及這些系統工程任務如何被管理與實現的文檔。項目管理計劃（SEMP）是由系統工程師基于工作說明書（SOW）和合同數據需求清單（CDRL）在提案過程中描述系統工程過程以及系統工程需求如何被計劃、組織、集成、監測、控制和測量。SEMP應該由項目經理批準并在項目生命周期內維護更新。系統工程管理計劃基于SOW及合同數據編制，包括三類關鍵要素：開發項目規劃與控制、系統工程過程以及工程專業集成。

第一，開發項目規劃與控制。開發項目規劃與控制描述在管理開發項目中必須實現的系統工程任務，包括：SOW（工作說明書）；組織；進度計劃；程序、設計和測試準備評審；技術性能測量；風險管理。

第二，軟件系統工程過程。系統工程過程描述用于系統開發的系統工程過程，包括：運行需求；功能分析；系統分析與權衡策略；系統測試與評估策略。

第三，軟件工程專業集成：工程專業集成描述多個專業工程領域如何被繼承到主系統設計與開發中，包括：可靠性工程、可維護性工程、可用性（RMA）工程；可生產性工程；安全性工程；人因工程。

4 結語

互聯網的快速發展使得軟件的更新迭代更加頻繁，大數據時代的到來更是對軟件的性能和安全的重要考驗。如何在大數據環境下，構建一個高效、安全、健壯的軟件，除了需要技術的支持，更多地需要一套科學工程理論、技術標準、軟件管理方法的融合。由于軟件資源的大量積累以及大規模軟件重用技術的發展與應用，軟件數據挖掘與軟件集約化生產會變得越來越重要，傳統軟件無法滿足當前的需求，大數據環境下提出一般軟件工程的管理模式對時下的軟件工程開發是非常有幫

助的。

參考文獻

[1] 王符偉.大數據時代下軟件工程關鍵技術分析[J].電子技術與軟件工程，2015，（23）.

[2] 朱懷英，展之桂.大數據應用的現狀與展望[J].工業c，2016，（17）.

[3] 孟雪井，李宏飛，楊亞飛.大數據背景下統計軟件在數據分析中的應用[J].現代經濟信息，2016，（8）.

[4] 于興文.基于大數據的創新型“歸一”軟件設計思路[J].科教導刊（旬刊），2015，（11）.

篇（5）

隨著互聯網運用的逐漸廣泛化，社會中的各個行業都具有了自己的數據種類，這就致使大量的數據在互聯網的服務中產生。軟件服務工程會產生密集型數據，其中包括流式密集型的數據以及歷史密集型的數據。如世界最大的電信數據倉庫中心目前已經建立超過1200TB的數據；中國移動通信的業務流程超過8190個，實現了辦公自動化和標準化的業務流程。“程序=數據結構+算法”的程序設計思想為傳統軟件工程的管理思想模式，集程序的運行過程就是數據結構的組織與算法的問題，這種模式將程序運行過程中的數據忽視，而將重點放在了程序的正確性和效率性，在很大程度上把程序的生命周期縮短。縱觀軟件理論的漫長發展史，諸多學者一致認為詳細的文檔和完整的程序構成了軟件，其中完善的文檔信息為軟件的核心部分，包括工程數據、文檔以及通用規范等等，把整個軟件的設計重點放在了文檔是否質量合格以及開發模式是否具備標準化上面。由此，推動了軟件設計的標準化，從整體上把軟件的質量有效提升[1]。

隨著系統業務的擴容和用戶的使用，對軟件進行大規模的數據處理提出了更為嚴格的要求。越來越多的大型互聯網企業更加重視軟件服務中的歷史密集型數據和流式密集型數據，將大數據分析作為服務，更加注重從用戶的體驗上進行數據的收集。大數據背景下，行業逐漸加大了數據的處理難度，使得處理數據更具精細化，對技術的標準要求也更為嚴格。當前大數據時代下軟件工程的研究課題為，如何更好的把大數據平臺作為服務，把大數據的分析作為服務、把數據的價值作為服務[2]。要從軟件發展創新模式來進行海量數據的處理，PaaS服務平臺、服務提供方以及服務消費者三方，會產生海量離線密集型數據和線上流式數據。各項級別的用戶在進行交流或者進行操作以及各項系統日志數據等，其通常對軟件的有效開發、運行、管理等各方面都有著重要影響，另外，大數據還對軟件服務的具體周期具有決定性作用。

從根本上講，只是在規模和量上來進行數據的衡量，對其的研究沒有標識，尤其是比較缺乏語義化的處理。因此，要對研究思維及方法進行不斷創新，以此對相關數據實施組織與處理，并形成具有領域性的智能主體。通過對大數據的有效創新，將知識作為載體，可以提供相應的數據平臺，從而確保以大數據為中心來進行現代軟件工程管理的創新[3]。

2、大數據時代背景下軟件工程管理模式

軟件工程的發展經歷了三個階段，經典的CS模式-BS模式-軟件服務工程。其中產生于大數據背景下的面向服務的軟件工程，以服務為基礎，能夠以較快的速度進行應用和共享服務的構建，對于分布式程序的開發具有很好的適應性。這種模式的不同之處在于能夠把應用服務化，資源虛擬化，將外界服務接口統一化，有效解決大數據環境背景下的一系列問題。這種軟件服務工程設計模式廣泛應用于移動互聯網、大數據等新興領域。項目管理是受到進度、費用以及品質的影響，滿足客戶的需求而進行的活動規劃、指導和監督。其中項目控制與系統工程為項目管理兩個至關重要的研究領域，二者有交叉重疊部分，項目控制主要負責輸入進度、規劃和費用，而系統工程蛀牙負責技術層面的輸入。通過文檔的形式來體現工程的管理，其中包括系統工程管理計劃和系統文檔樹[4]。

系統文檔樹通過樹形結構來描述項目所需要的，以系統工程為對象的各個系統工程文件之間的相互關系。在提案階段，由系統工程師根據合同數據需求清單和工作說明書來進行系統文檔樹的準備，從而為根據后續的進度和成本來進行文本化任務的確定提供便利的條件。由項目經理進行系統文檔樹的批準，并更新維護項目管理的全生命周期。而系統工程管理計劃主要用于描述系統工程的進度與任務的，在提案過程中，由系統工程師根據合同數據需求清單和工作說明書來進行系統工程過程的描述，以及如何有效計劃、組織、集成、測量系統工程需求。項目管理計劃同樣由項目經理進行批準，并更新維護項目管理的全生命周期。系統工程管理計劃主要由軟件系統工程過程、開發項目規劃與控制，以及軟件工程專業集成三類關鍵要素構成，其中開發項目規劃與控制為必須要實現的系統工程任務[5]。

3、總結

綜上所述，面臨著互聯網的進一步發展，其促使軟件的更新速度相應加快，大數據背景下通常對軟件的自身安全及性能具有更高的要求。因此，要想打造一個健壯、高效且安全的軟件工程，不僅僅要加大技術的支持力度，還需要不斷創新軟件工程管理辦法，形成一套科學的配套理論以及技術標準。當前規模較大的軟件重用技術不斷發展，并實現了應用，再加上大量積累的軟件資源，未來軟件的集約化生產以及軟件數據的挖掘將會變的至關重要。傳統化的軟件工程的管理方式已無法滿足當前生活的相關需要，大數據環境背景下探究新型的軟件工程管理方法具有十分重要的現實意義。

【軟件工程碩士論文參考文獻】

[1]張宇航.大數據系統中的軟件工程管理方法探究[J].中國高新技術企業，2016，(23):93-94.

[2]楊淼.面向商業模式的大數據信息管理方法研究[D].天津大學，2014.

[3]梁峰.基于數據倉庫技術的電力公司營銷數據分析梳理平臺的設計與實現[D].電子科技大學，2015.

篇（6）

全國乃至全球范圍內，政府部門將大數據運用作為順應經濟發展規律、提升政府治理能力、增強地區競爭優勢的新動力、新機遇、新途徑。加強對數據的分析和應用，有助于政府部門通過數據來合理制定產業政策、引導企業投資經營、培育新模式和新業態，推動實體經濟與虛擬經濟的融合發展；有助于政府部門提升經濟數據分析的能力，推動社會事業數據的共享，創新行業管理服務的模式，加快建設法治服務型政府；有助于儲備基礎戰略資源，帶動科技創新，釋放經濟潛能，創造區域經濟發展的潛在空間。

大數據在政府行業統計監測中應用的基本情況

目前，大數據在政府行業統計監測中的應用主要包括兩個方面，一是成為政府統計數據來源的補充渠道，實現原有的統計直報方式和大數據方式相結合，尤其是網絡交易數據的重要獲取來源，如利用信息技術手段整理第三方電子商務平臺交易數據以測算地區網絡零售額；二是成為政府統計數據質量的評估依據，將獲取的大數據作為傳統統計方式獲得數據的質量評估參考，如國家統計局利用中國銀聯跨行銀行卡消費數據評估社會消費品零售總額數據質量等。

大數據對政府行業統計監測帶來的機遇和挑戰

大數據在政府行業統計監測中機遇與挑戰并存，機遇大于挑戰。其中，機遇主要表現在數據獲取方式更加便利，先進技術逐步取代人工勞動使得統計效率更高、成本更低；數據獲取頻率更加密集，可以實現全天候實時監測，逐日更新更替數據信息；獲取數據數量更加豐富，可以實現多維度、多區域的數據開發和整理；獲取數據質量更加精準，尤其針對小而散的網絡零售企業，信息技術獲取的數據更加全面和準確；挑戰主要表現在對政府統計能力和統計理論帶來的挑戰，一方面政府統計對大數據運用的需要一個漫長的周期，原有統計制度和現行統計方法雙軌運行的模式需要磨合，另一方面政府統計人員對大數據的理解和認識需要一個較長的周期，缺少具備大數據理論和技能的專業統計人才。

大數據環境下政府行業統計監測的發展原則、內容和方向

電子商務行業統計監測是新形勢下政府行業管理的一項基礎性、開創性的工作，應在摸索中不斷創新突破，使得電子商務行業統計監測能夠滿足政府行業管理的需要。

（一）主要原則

電子商務領域應用大數據開展統計監測具有涉及面廣、技術要求高、公益性明顯、變化性大、安全性要求高等特點，因此在應用過程中應堅持以下原則：一是合法性原則，應用大數據技術進行數據采集和整理過程中，要遵守現行的法律法規，在合法的范圍內安全使用；二是科學性原則，對數據進行過濾和加工時，數據模式和方法要科學合理，確保數據的權威性；三是開放性原則，數據不僅作為政府決策依據，還應將大部分作為公共資源向全社會共享；四是穩定性原則，數據來源實現多渠道，技術手段、數據模型等要及時更新，以保證數據根據實際需要實時；五是標準化原則，加快數據采集、指標口徑、分類目錄、數據交易、安全保密等關鍵共性標準的制定和實施，充分發揮標準在數據開發應用中的保障和支撐作用；六是市場性原則，數據開發要與市場需求結合，以保證數據開發應用的具有持久生命力。

（二）建設內容

作為一項系統性的工作，電子商務領域應用大數據開展統計監測工作過程中要著力構建三大系統：一是技術系統。要把先進技術放在基礎性的地位，包括信息技術、數據模型、智能設備等，采用的技術要與行業最新發展的趨勢相匹配，同時還要著力打造具有自主知識產權的技術和平臺。二是應用系統，針對不同市場主體和需求，開發標準化和個性化的產品和服務，并打造方便用的可視化界面和系統，實現需求方和服務方的有效溝通，推動技術研發與市場應用的融合互補。三是制度系統，建立一套從數據采集、存儲、整理、分析、、保密等管理制度，建立相應的數據管理組織構架和績效評價機制，以保障電子商務大數據開發應用工作的有序進行。

（三）發展方向

未來政府在電子商務領域開展大數據應用與開發，個人認為既要遵循電子商務發展的規律，也要立足現行的政策條件、技術條件，并根據各地實際情況和需求，按照“統計規劃與行業管理相結合、統計成果與產業應用相結合、統計手段與先進技術相結合、統計水平與國際水準相結合”等“四個相結合”的方向，建立健全應用大數據開展電子商務統計監測工作的體系，為經濟社會發展提供有力的大數據支撐。

統計規劃與行業管理相結合。電子商務大數據的開發應用首先要以服務政府行業管理工作為出發點和落腳點，確保大數據的開發應用與行業管理的熱點、難點、重點領域相吻合，做好以電子商務交易額、網絡零售額、居民網絡消費等為代表的政府考核數據的開發，同時不局限于電子商務領域，逐步向旅游、票務、交通、餐飲、住宿、中介、醫療、文化等經濟領域延伸，確保統計工作服務于各領域行業管理部門的需要。

統計成果與產業應用相結合。數據是基礎，應用是關鍵。電子商務大數據統計的成果要與政府部門在電子商務領域具體的工程、項目相吻合，使得統計的成果能夠直接應用和服務于電子商務促消費、穩增長、調結構、惠民生等方面的具體工程，為電子商務領域各項重點工程和項目的設計、監測和評估提供數據參考，同時也為企業經營決策、個人創業創新提供數據參考，提高數據成果落地的實施速度和社會經濟效益。

統計手段與發展前沿相結合。在電子商務大數據開發過程中，一方面，創新統計方法， 逐步擴寬通過技術手段獲取數據的范圍，探索建立符合電子商務發展特點的測算和分析方法，同時與原有的統計方法做好銜接，實現兩條腿走路；另一方面，提升統計技術，充分利用先進智能設備和前沿獲取技術，使得統計技術能夠適應電子商務快速發展和變化莫測的特點，及時、全面的獲取行業最新業態和模式的相關數據。

統計水平與國際水準相結合。政府部門在電子商務大數據開發的過程中，一是要加強與阿里巴巴、京東、亞馬遜等第三方電子商務平臺企業的數據共享和交換，二是要加強與高等院校和科研機構的理論探討，提升數據分析和研究的水平，推動電子商務理論的發展，三是加強艾瑞咨詢、尼爾森等國內國際知名第三方大數據公司的合作交流，確保數據來源、獲取方法、分析水平等全面科學、引領行業、接軌國際，提升政府電子商務行業統計分析的國際水準。

篇（7）

大數據環境下政府審計存在的問題

缺乏完善的大數據信息平臺

隨著科學技術的發展，社會已經進入大數據時代，在這種環境下，組織開展政府審計工作，需要依賴大數據，全國各地都在積極建設大數據信息平臺，但是受自身財力、技術等因素的影響，在大數據信息平臺建設方面存在不平衡問題。個別地區甚至還未建立大數據信息系統，進而在一定程度上使得審計數據依然分布在部門、個人手中。

缺乏大數據應用人才。對于政府審計人員來說，在信息化時代，一方面需要精通審計知識。另一方面需要熟悉計算機領域的一些知識。但是，從實際情況來看，在審計隊伍中，具備儲存、分析大數據能力的人才非常少。在業務人才培養方面，盡管政府審計機關做出了巨大的努力，但是由于利用信息化組織開展政府審計工作處于起步階段，并且培養具有中級職稱的計算機審計人才需要一個過程。

審計模式與大數據審計不適應。受計劃經濟體制的影響和制約，審計機關在組織開展審計工作時，一般由相關科室根據審計類別開展相應的審計工作，在小數據環境下，這種審計方式有著自身的合理性。但是，進入大數據時代，在面對大型復雜的審計項目時，對于政府審計機關來說，由于數據規模大，程序復雜，在這種情況下，各科室之間需要互相配合，通過優化配置資源，進一步提高審計效率。

數據規模小。在我國，受計劃經濟體制的影響，政府審計數據信息一直沒有得到到很好的整合，在這種情況下，進一步影響了數據規模，導致數據規模普遍偏小，主要表現為，一方面政府審計缺乏規范的運行機制，各部門之間各自為政，各自存儲本部門的數據信息，同時數據傳輸局限于部門內部，數據信息很難在部門之間進行交流，進而在一定程度上導致政府審計機關很難對各部門的數據進行整合，制約了審計業務的正常進行。另一方面在數據存儲軟件方面，由于各審計機構之間存在差異性，并且各存儲軟件之間不能兼容，導致數據信息無法進行有效的采集，使得數據信息只能儲存在相應的單位，進而難以形成大規模的數據庫。

大數據視角下政府開展審計的具體措施

隨著經濟的不斷發展，大數據成為時代的熱點，對于政府審計機關來說，需要利用大數據開展審計工作。

搭建政府審計大數據信息平臺。隨著信息技術不斷發展，云技術趨于成熟，基于此，可以依托云技術搭建政府審計大數據信息平臺，按照統一的標準，連接審計機關、被審計對象的數據庫，對數據信息進行實時采集，進一步儲存、共享數據信息。積極開發大數據技術，對現有的數據信息分析軟件進行充分利用，對于審計人員來說，通過建立公用數據分析系統，對數據信息進行共享和共用，在一定程度上打破審計系統審計數據不能共享的局限性，進而推動審計工作的順利進行。在組織開展政府審計工作的過程中，審計機關需要與財稅、金融等部門加強合作，對有關數據信息進行共享。因此，建立一種政府引導，審計機關等各部門相互配合的審計模式，搭建政府審計云平臺，各部門之間真正共享審計數據信息。

培養基于大數據的政府審計人員。在大數據環境下，為了做好政府審計工作，需要培養基于大數據的政府審計人員，首先，對政府審計人員加大教育培訓力度，幫助政府審計人員掌握計算機領域的知識，尤其是涉及審計與大數據交叉的知識；其次，在審計數據采集、整理、分析等方面，幫助政府審計人員提升綜合能力，特別結合審計情況，建立數學模型對審計數據進行分析；最后，對被審計對象信息系統內控情況進行客觀公正的評價，結合存在的具體問題，為被審計單位管理層提出切實可行的方案。

篇（8）

中圖分類號：G642.0；TP393 文獻標識碼：A 文章編號：2095-1302（2016）12-0-02

0 引 言

隨著云計算、物聯網以及“互聯網+”技術的興起，數據正以前所未有的速度在不斷增長和累積，互聯網大數據正在實時影響人們的工作、生活乃至社會發展。2012年 3月，美國奧巴馬政府公布“大數據研發計劃”，旨在提高和改進人們從海量、復雜的數據中獲取知識的能力，發展收集、儲存、保留、管理、分析和共享海量數據所需要的核心技術。2014年大數據高速發展，中國互聯網三巨頭BAT（百度、阿里、騰訊）紛紛建立大數據研究院、大數據實驗室等，提供大數據專業服務，一批大數據專業分析公司應運而生。我國的開放、共享和智能的大數據時代已經來臨，同時對專業人才的需求也日益增長。

大數據的發展與計算機網絡密切相關，因此適時調整高職計算機網絡專業方向的培養目標，可以更好的適應大數據發展要求。大數據背景下計算機網絡專業學生的目標是培養具有計算機網絡、大數據及云計算的專業知識，實踐能力強、職業道德素養高，具備云平臺的管理能力和網絡軟件開發能力，能夠從事網絡工程設計實施、網絡高級管理維護、網絡開發、云平臺組建及管理以及大數據存儲、計算及分析等崗位的高級技能型人才[1]。

1 大數據與云計算

根據維基百科的定義，大數據[2，3]是指無法在可承受的時間范圍內用常規軟件工具進行捕捉、管理和處理的數據集合。大數據主要具有4V特征[2]，即數據體量巨大（Volume）、數據種類繁多（Variety）、流動速度快（Velocity）、價值密度低（Value）。

從技術角度上看，大數據必然無法用單臺計算機處理，必須依托云計算的分布式處理、分布式數據庫和云存儲、虛擬化技術。目前應用最為廣泛的大數據分布式處理平臺就是Hadoop，Hadoop是由Apache基金會所開發的分布式系統基礎架構，能夠對大量數據進行分布式存儲、分析和處理的云計算平臺，已經在網絡大數據領域得到了廣泛運用。例如Yahoo使用4 000個節點的Hadoop集群來支持廣告系統和Web搜索的研究；Facebook使用1 000個節點的集群運行Hadoop，存儲日志數據，支持其上的數據分析和機器學習；百度用Hadoop處理每周200 TB的數據，進行搜索日志分析和網頁數據挖掘工作；淘寶的Hadoop系統用于存儲并處理電子商務交易的相關數據。

2 課程體系改革研究

2.1 課程體系現狀

目前，高職院校計算機網絡專業類課程大多圍繞計算機網絡工程和計算機網絡開發兩條主線，主要課程包括網絡基礎、路由器及交換機配置與管理、Windows網絡服務器配置與管理以及動態網站開發相關技術等。這些課程內容傳統，課程內容嚴重同質化，教學內容已不能滿足大數據時代人才培養的要求，這些將直接影響學生的理論實踐能力和就業機會。

大數據、互聯網+、物聯網及云計算技術的發展和應用給高職計算機網絡專業人才培養帶來了新的要求與挑戰，與市場需求存在脫節現象。計算機網絡專業應緊跟大數據、云計算等先進技術的步伐，不斷進行專業課程的創新性研究，重視實踐類課程和教材的研發，適時調整人才培養目標和專業教學計劃，以期滿足工作崗位的實際要求。

2.2 研究思路

計算機網絡專業經過多年的發展，其課程體系比較成熟，形成了各自的特色教學。因此，本文的研究內容是對原有課程體系的補充和完善。

2.2.1 有針對性的進一步優化傳統的專業職業技能課程

傳統的專業職業技能課程已經比較成熟，經過了實踐的考驗，也已得到了學生的認可。盡管如此，還要有針對性的進一步優化，使得課程體系的理實比達到更優，提升課程教學實施的效果。

2.2.2 采用增加模式，補充完善課程體系

基于大數據和云計算技術研發新的職業技能課程，充實現有的課程體系。大數據和云計算緊密相聯，因此要增加云計算和大數據的理論和實踐課程。在研發課程的過程中，以崗位需求為導向，以培養技能型人才為目標，合理安排理論教學內容和課時，著重開發實踐教學案例和內容，明顯區別于本科課程教學設置。

2.2.3 課程體系相互作用，相互促進

網絡技術是大數據、云計算技術的基礎。因此計算機網絡傳統課程也是新研發課程的基礎。新研發課程既是傳統課程的有效實踐，又是對傳統課程的有效擴展和提升。

2.3 具體內容

由于大數據、云計算技術是基于網絡的技術，因此，計算機網絡專業人才培養具有先決條件。根據以上研究思路，具體方案主要包括強化現有課程體系，增加基礎理論課程、完善知識體系，增加實踐課程、鍛煉崗位能力三個部分。

2.3.1 強化現有課程體系

針對現階段存在的問題，學校應強化現有課程體系，使學生具有扎實的網絡管理能力和一定的網絡開發能力。現有的課程體系使學生具備了相關能力。熟悉ISO/OSI互聯網模型，并掌握常見的互聯網協議如TCP/IP、ARP、OSPF、SSL、DNS、DHCP及HTTP等。能夠配置管理Windows和Linux服務器，熟悉使用常見的網絡命令，具備遠程網絡控制學習能力。掌握程序設計語言Java，具備Windows和Linux下的程序開發能力，包括編寫shell程序。能夠配置交換機和路由器，具備組建局域網的能力。熟悉信息安全、系統安全及網絡安全攻防技術。

2.3.2 增加基礎理論課程，完善知識體系

針對人才需求，增加大數據、云計算等基礎理論課程，完善知識體系。雖然大數據、云計算等課程教學的最終目的是培養實踐技能，但基礎理論仍非常重要，主要包括熟悉大數據的基礎概念和常見技術架構；熟悉云計算原理和架構，并了解虛擬化技術如KVM；熟悉分布式系統和分布式計算原理；了解大數據、云計算的最新應用。

2.3.3 增加實踐課程，鍛煉崗位能力

在課程體系設置中，實踐課程比例應超過理論課程。增加大數據、云計算等實踐課程，鍛煉學生的崗位能力。主要包括主流云平臺管理軟件的使用，如華為FusionSphere、VMWARE等；分布式系統管理、分布式并行計算以及Map/Reduce編程；Hadoop集群、HBase分布式數據庫的構建與管理；Hadoop、HBase等案例實踐與應用。

通過以上方法，使得計算機網絡專業學生在原有專業基礎上，掌握大數據和云計算的原理，具備云平臺的管理能力，并能基于Hadoop等云計算平臺實現大數據程序，對大數據進行計算分析。

2.4 Hadoop課程實施

通過以上分析可知，增加的課程內容主要是大數據、云計算相關課程，最終采用Hadoop云計算平臺相關技術實現大數據的存儲、計算與分析。通過理論教學，使得學生深入了解掌握大數據技術、云計算原理及Hadoop架構。通過實踐教學，使得學生能夠掌握Hadoop集群的配置與管理，并且能夠基于Hadoop實現大數據程序設計，使得學生具備基本的大數據處理能力。因此Hadoop課程是核心課程。

2.4.1 Hadoop原理

Hadoop是把大數據集分發到計算集群中各個節點上共同處理以實現大數據的快速處理。用戶無需了解分布式底層細節就可開發分布式程序，充分利用集群的威力進行高速運算和存儲。Hadoop最核心的設計是HDFS文件系統和MapReduce編程模型。HDFS為海量數據提供存儲，而MapReduce則為海量數據提供了計算。如圖1所示，Hadoop運行的基本過程如下[4，5]：

（1）客戶端可以將文件上傳至HDFS文件系統，NameNode則會根據文件大小和Block大小配置將文件的物理屬性分成若干個Block文件塊，并分布式存儲至DataNode數據節點，同時將塊存儲信息保存至NameNode節點，以方便文件進行資源管理。

（2）文件上傳完成后，客戶端提交具體Job任務至Hadoop集群，各DataNode節點根據任務要求可以讀取相應的文件Split，并完成Map和Reduce計算任務，將結果作為輸出文件傳輸至HDFS文件系統。

（3）在任務執行過程中，可以通過JobTracker、TaskTracker及ResourceManager監控任務的執行情況和資源消耗信息等。

2.4.2 Hadoop教學平臺配置與部署

Hadoop教學平臺需配置、部署一些部件。基于現有實驗室的計算機和網絡環境，網絡服務器系統采用Linux Ubuntu，構建Hadoop集群網絡。基于Cloudera Hadoop開源框架實現Hadoop教學平臺。

2.4.3 Hadoop分布式文件存儲及大數據處理實現

Hadoop分布式文件存儲及大數據處理實現包括：HDFS文件系統的使用；HBase的使用；MapReducer程序實現；大數據案例分析與實現。

3 結 語

本文分析了大數據背景下高職計算機網絡專業的培養目標和課程體系的改革思路，在優化計算機網絡專業傳統課程的基礎上，增加大數據、云計算等相關課程，并以Hadoop課程的具體教學實施來培養學生的實踐能力，使得學生能夠緊跟大數據、云計算的技術步伐，滿足工作崗位的要求。

參考文獻

[1]趙偉艇，夏棟梁.基于崗位能力培養的云計算課程群知識體系構建研究[J].電腦知識與技術，2016，12（2）：167-169.

[2]陶雪嬌，胡曉峰，劉洋.大數據研究綜述[J].系統仿真學報，2013（S1）：142-146.

[3]孟小峰，慈祥.大數據管理概念技術與挑戰[J].計算機研究與發展，2013，50（1）：146-169.

[4]王錚.基于Hadoop的分布式系統研究與應用[D].長春：吉林大學，2014.

[5]陳吉榮，樂嘉錦.基于Hadoop生態系統的大數據解決方案綜述[J].計算機工程與科學，2013，35（10）：25-35.

[6]曾文英，吳積軍，曾文權，等.基于云計算的IT課程體系改革[J].計算機教育，2014（17）：40-44.

篇（9）

二、大數據管理工程檔案與工程管理模型

大數據管理工程檔案也是一個信息的整理的過程，本文在整合管理工程檔案現有模型研究的基礎上，結合大數據時代的來臨給管理工程檔案的實施帶來的挑戰和機遇，通過大數據管理工程檔案來促進工程的發展，分析了的大數據時代來臨下針對管理工程檔案的雙向決策模型，分別從工程評估與預測及工程監測與預警兩個維度構建了針對大數據管理工程檔案的方案[6]。因此，在本文中，針對大數據管理工程檔案構建了兩種工程檔案管理的模型，第一個模型是數據驅動下的的工程監測和預警的模型，采用的技術是跟蹤以及聚類；第二個模型是目標驅動的工程評估與預警模型采用的技術是推送以及表征，如下圖1所示。1.工程內部集成檔案數據目標驅動管理的工程評估與預測模型。工程評估與預測模型的是目標驅動的一個模型，也即在工程內部的目標驅動下的模型，也就是說在這一模型中，工程的決策者需求清楚的界定自己目標需求，根據自己的目標尋求實現目標的路徑。可以使用普通的數據挖掘和收集的方法，利用工程信息系統中關于工程檔案數據收集、整理以及分析計算等方法來達到，通過收集的數據表征、檢索、可視化以及推送等技術實現工程檔案大數據開展有針對性目標的挖掘，從而把這些收集整理的數據轉化為可以為工程決策目標所利用的信息及建議。此外，工程評估與預測模型是于傳統的數據挖掘和收集的方法上發展的，結合計量學學科中的相關技術方法應用于工程檔案管理工作中，在目標驅動下對大數據時代來臨時工程的策劃、工程的實施以及工程的評估等工程檔案數據中的海量信息進行有效整理和探析，以達致管理工程檔案的效用，從而有效評估工程的發展情況，有效及時的對工程發展的最終目的進行預測。2.工程外部網絡信息建檔數據驅動管理的工程監測與預警模型。大數據時代來臨時工程外部網絡中有著海量的有用信息，這些信息對于工程建設中的新思維、新想法能起著啟發或促進作用，大數據管理工程檔案可以通過實時建檔對這些有效核心數據加以收集和利用，在工程實施過程中，可以通過大數據收集對工程發展有積極作用的新信息和新技術，同時對于工程的不利影響因素和工程競爭對手的一些相關技術進行監測，在監測后針對所有會發生的情況進行分析，最終建立起工程的預警和監測檔案數據庫，從另一個角度說，這也是建立工程監測與預警模型的最終目標。與工程評估與預測模型的目標驅動不同的是，工程評估與預測模型通過預先定下的目標，來根據目標收集和整理相關數據，而工程監測與預警模型則不同，其更為重視通過數據系統自主分析來對網絡輿情進行研究，大數據時代來臨時的輿情分析系統有聚類、熱點主題檢測等相關的計算機文本信息的內容識別技術。3.工程管理檔案大數據安全戰略體系構建。以檔案大數據的方式來對工程的實施進行管理有著安全的風險，這也是大數據管理工程檔案的存儲存在的新安全問題，一般來說，工程檔案數據的數量以及質量會對安全存儲系統的運行狀況帶來影響，大數據管理工程檔案中的安全存儲技術的升級速度較之數據增長的速度慢，因此，相應的面臨的大數據安全防護預警風險也大。

篇（10）

中圖分類號：TE969 文獻標識碼：A

在現在科技信息不斷發展的過程中，對大多數事物處理的方式都依靠科技信息化，這是因為在進行各項事物的過程中結合相應的科技手段不僅僅能夠使得操作人員的工作更加便利，而且對于事項的準確進行也起到非常重要的作用。這一點對我國目前進行油氣資源提煉上也能夠得到表達。在我國對油氣資源的提煉主要采用催化裂化的裝置，但是這種裝置在運行的過程中還存在著一些問題，這就需要采用大數據技術手段對其中可能出現的問題進行有效地控制，這一技術手段在國外大多數國家都得到廣泛地應用。但是由于我國自身的科技發展水平還有很大的缺失，導致大數據技術手段在我國石化行業還沒有得到良好的使用。

一、在催化裂化裝置上應用大數據技術的思路

由于催化裂化裝置在進行石化工作的時候經常會出現一些問題，這些問題的出現就會導致整個裝置不能得到合理的使用。需要對這些問題進行有效地分析和控制，從根本的角度上保證催化裂化裝置在進行石化工作時候發生問題的概率有一定的降低。而在社會上得到廣泛應用的大數據技術對催化裂化裝置使用過程中能夠進行遠程監控和診斷，這就大大地減少了裝置在使用過程中發生問題的可能性。

總的來說要想保證催化裂化裝置能夠得到良好的開展，就需要對裝置上的大數據平臺進行全面地建設。在對這項技術手段研究中發現對大數據平臺的建立可以采用分布式技術架構進行，這樣對催化裂化裝置的監督和控制能夠更加順利地進行。對平臺的建設在社會時間研究中主要可以分成3個部分。以下筆者就對這3個部分進行詳細地研究。

二、具體的研究內容

1.數據整定及樣本數據模式開發

在催化裂化裝置運行過程中發生的各項問題主要是通過數據整定進行分析的，其根本原理在于通過大數據技術對政治進行有效地觀察，將運行過程中的相應數據進行合理地整定。一般來說問題的最后表現形式應該是以樣本的形式存在。而對樣本收集形成的一個集合體中還存在著基礎樣品庫和專題樣品庫，這兩個層面對催化裂化裝置進行分析都起到非常重要的作用。而且在對催化裂化裝置進行控制和監督的過程對其中發生的問題也會進行詳細地分類，這樣做能夠減少對問題解決的時間，對提升催化裂化裝置的運行效率起到不可忽視的作用。

2.大數據分析算法庫開發

在社會實踐研究中清楚地發現，大數據對催化裂化裝置進行監督和控制的根本原理在于通過分析算法庫進行的。這也從根本的角度上說明分析算法庫在大數據分析中的作用。這項技術手段對整個裝置引擎能夠進行有效地計算，而且分析算法庫內部包含的種類也非常廣泛，每一種算法針對不同的裝置問題，這就說明了開發大數據分析算法庫對解決裝置中出現的問題起到非常重要的作用。

3.分析模式應用

大數據內部的分析模式對整個催化裂化裝置中出現的問題在進行有效地監督之后，還可以實現問題的可視。這樣對施工操作人員在對問題進行處理和解決的過程中發揮非常重要的作用。而且在裝置發生問題的時候通過可視性操作可以有針對性地對問題進行解決，對大數據技術在催化裂化裝置中的合理應用奠定堅實基礎。

三、應用模型開發

（一）報警分析模型

利用工廠生產的歷史數據進行數據挖掘，生成各個位點之間的相關性與因果鏈路，并以因果鏈路圖為指導完成工廠生產異常工況的預警。此外，對中國石化各套催化裂化裝置的報警數據進行篩選，利用報警管理算法降低報警數量。生成各個位點間的相關性與因果鏈路主要通過傳遞熵算法，需要選取歷史數據中各個位點平穩的一段數據作為算法輸入，計算后得到位點兩兩之間的相關性大小（以傳遞熵值大小表示）。根據對相關性的顯著性水平檢驗判斷篩選出各位點之間的因果關系，并以此為依據做出因果鏈路。

（二）結焦診斷模型

模型收集催化裝置結焦前后歷史數據，利用非線性主成分分析方法，結合實驗室的結焦機理研究，確定結焦關鍵性參數，綜合利用神經網絡算法等預測方法對結焦趨勢進行長周期預測及優化，并通過聚類算法及互相關函數等時滯分析算法建立關鍵性參數與大量操作數據、原料性質數據、裝置數據等工業數據之間的關聯關系網，并提出具體可執行的減緩結焦的方案。

四、信息可視化

信息可視化旨在進行大規模信息資源的視覺呈現，利用圖形圖像方面的技術與方法，幫助操作人員理解和分析數據，囊括了數據可視化、信息圖形、知識可視化、科學可視化以及視覺設計等方面。可視化提供了深入洞察大數據的手段，將擬采用Processing語言，引入電子藝術的概念，輔助進行系統開發的可視化設計。

結語

綜上所述可以清楚地看出在石化工程中最常用的裝置就是催化裂化裝置，但是這項裝置在使用過程中經常會出現一些問題，這就需要應用大數據技術。大數據技術在工業化生產中進行全面研究，在大數據工業化應用中可以發現這項技術對社會經濟的提高起到非常重要的作用，也說明大數據技術在石化行業中的使用值得推廣。

參考文獻