云計算技術在計算機數據處理的應用
時間：2022-11-30 09:36:53
導語：云計算技術在計算機數據處理的應用一文來源于網友上傳，不代表本站觀點，若需要原創(chuàng)文章可咨詢客服老師，歡迎參考。
摘要：大數據及云計算信息技術的不斷發(fā)展，使得不同行業(yè)都開始借助于云服務器、后臺數據庫，進行網絡海量數據資源的虛擬化處理、分布式計算、并行計算處理，以實現對多源數據的高效搜集、統計處理與存儲。該文從云計算的Hadoop架構、SOA服務體系、數據挖掘、分布式計算和HDFS存儲等技術著手，探討將多種云計算技術，應用到海量數據信息處理中的實施策略，來為網絡大數據服務系統的正常運轉提供保障。
移動互聯時代下的數據處理，面臨著數據信息的海量化、實時化、低質化，如何對多種網絡數據資源進行快速篩選、及時處理與分類存儲，成為各企業(yè)網絡數據信息傳輸、業(yè)務處理的主要困境。因而引入大數據及云計算技術，依托云服務器、數據中心交換機、后臺數據庫等硬件設備，對廣域網或局域網內的數據資源，進行采集、處理、分析與存儲，將數據處理結果發(fā)送至客戶終端設備進行顯示，實現對計算機數據的實時掌控與應用。
1云計算技術的主要內容及其與計算機數據處理的關聯性
1.1大數據及云計算技術的內容概述
“云計算”是美國國家標準與技術研究院提出的概念，其作為一種分布式計算技術，主要根據不同客戶的數據資源處理需求，通過網絡“云”將巨大的數據計算處理任務，分解為一個個小的數據計算任務，在多個后臺服務器上進行數據處理、分析的工作執(zhí)行。特別隨著虛擬化技術、并行計算技術的快速發(fā)展，網絡云計算平臺也開始將多種軟硬件虛擬化，包括網絡通信接口、服務器、存儲模塊等的虛擬化。之后利用虛擬化計算機，進行虛擬系統多個主節(jié)點、從節(jié)點的任務分配，來完成數據資源的配置、處理與存儲工作。因而現階段云計算技術基礎架構，通常由SOA服務體系、物理資源層、資源虛擬化層、用戶與映像管理層等層級組成，具體如圖1所示。圖1云計算技術基礎架構1）SOA服務體系層。SOA服務架構主要為不同應用程序的功能服務，提供相應的網絡通信協議、服務接口，通常包含服務接口、服務注冊、服務查找、服務訪問、服務工作流等組件。根據網絡應用組件的粗粒度、調用需求，對多個分布式的服務模塊進行封裝，再通過相應面向對象的定義接口，提供客戶需要的Web服務。2）映像管理層。映像管理層是對不同客戶權限請求、虛擬資源管理的層級，包含用戶管理、映像管理、資源管理等安全管理等內置組件。其中用戶管理負責對用戶訪問權限、數據處理請求等進行管理，映像管理層則用于任務映像建立、映像排布與映像庫管理，控制后臺服務器端、客戶終端之間的映像周期。而虛擬資源管理，主要是對虛擬計算機負載狀況的監(jiān)測、統計，以保障數據資源處理過程中的虛擬機負載均衡。3）資源虛擬化層。資源虛擬化層是在物理資源層的基礎上，依托網絡計算機、存儲器和數據庫等硬件，構建起存儲資源池、計算資源池、數據資源池等虛擬模塊，為后臺服務器中硬件資源的虛擬化提供支持。而硬件資源虛擬化層，在收到客戶端數據處理的任務請求后，會向其分配相對應的數據在云計算基礎架構中間的任務管理層，會在收到用戶相應的任務請求后，將與之匹配的虛擬資源。
1.2云計算技術與計算機數據處理的關聯性
網絡大數據信息傳輸環(huán)境下，不同企業(yè)局域網內的海量計算機數據處理，通常具有數據資源海量化、多元化與低質化的特征，且各種數據之間存在著緊密的關聯性。因而如何對不同網絡平臺的計算機數據、業(yè)務服務等，進行更為實時高效的采集、分類、預處理、處理分析與存儲，成為計算機數據處理系統面臨的主要難題。而云計算作為一種分布式計算、數據分類管理技術，其通常可以借助于云計算管理平臺、Hadoop分布式架構、后臺服務器等軟硬件，在計算機任務請求訪問控制、數據資源共享，以及數據信息搜集、分析、處理與存儲過程中，負責多種虛擬化資源的配置、數據任務分配、信息處理工作。通常云計算數據信息處理平臺，包括平臺即服務、軟件即服務、基礎架構即服務等服務類型，其中基礎架構層為云計算平臺的最底層，包含大量的云服務器、存儲器、后臺數據庫等硬件。而Hadoop分布式數據處理架構，存在于平臺即服務層級，主要負責明細數據的匯總(Collect)、(Map)、歸約(Reduce)，對某一類型某一數據進行規(guī)則映射、歸約服務，并動態(tài)分配虛擬主機主節(jié)點、從節(jié)點的處理任務。最后，軟件即服務層級，則為面向軟件開發(fā)的服務類型，通過不同主節(jié)點中虛擬化運算模塊的分配，對相關的計算機數據處理任務，做出按需匹配。來為客戶終端的Web遠程訪問、數據資源處理與控制管理的工作提供支持。
2計算機數據處理中的云計算關鍵技術
2.1數據挖掘技術
數據挖掘技術是從大量網絡數據資源中，快速找到自身需要的有效數據信息的技術，這一技術是對網絡原有數據資源的深度加工與開發(fā)。當下對于局域網中計算機數據信息處理，通常圍繞海量化、復雜程度高、關聯性差的數據資源，對其中存在的有價值、關聯性數據內容進行挖掘，包括數據收集、數據預處理、數據清洗、數據變換、數據挖掘等執(zhí)行流程，通過數據挖掘技術強大的運算、篩選、整合能力，才能從龐大的數據庫中尋找到有用數據資源，將其提取至相應的數據倉庫庫來完成存儲管理。這里數據挖掘的預處理技術，主要采取均值法、平滑法和預測法等方式，對網絡中錯誤率、冗余度、重復率高的數據信息，進行空值、噪聲等的主動過濾處理。如采用均值法的數據挖掘預處理技術，其計算公式為Ci＝(i-1)∑(i-k)Cj|K，是對數據所有已知屬性的均值作出處理，然后按照既定規(guī)律進行數據排布，，整理出的數據處理結果最接近于真實情況。
2.2分布式計算技術
分布式計算包括Agent技術、Webservice技術和中間件技術等，主要將步驟復雜的數據處理問題，分解為若干個并行處理應用服務，在計算機虛擬化硬件資源中，完成多種數據資源處理任務的執(zhí)行工作。這一虛擬化系統的聯合信息處理過程中，通常存在多個節(jié)點，不同節(jié)點負責不同分布式任務分配、資源調度活動，可以將單個任務的數據處理分配給多個虛擬機，對于數據批量處理的效率較高，往往被用于多線程的數據信息處理執(zhí)行中。
2.3HDFS存儲技術
HDFS云計算數據存儲文件系統，是以分布式形式對數據進行存儲，該系統囊括多種數據管理節(jié)點、存儲節(jié)點。其中HDFS框架的中心服務器為Namenode，在客戶端的數據文件訪問過程中，主要通過Namenode管理系統對數據信息做出訪問控制。而且HDFS云計算存儲系統底層，會自動分割已創(chuàng)建的目錄文件，生成便于存儲的Block數據文件，來完成對不同數據資源的處理與存儲。
3云計算技術在計算機數據處理中的應用流程研究
3.1數據采集
基于云計算技術的海量數據處理系統，通常包含數據采集、數據判比、數據讀取、數據分析、信息互通等模塊，具體組成架構如圖2所示。其中數據信息采集模塊，主要用于局域網內海量的計算機數據信息、文檔信息采集。當前在不同企業(yè)數據資源采集方面，通常涉及財務數據、產品數據、經營數據、商貿數據、銷售數據等，對于大量臨時文件信息、文檔信息或日志信息的采集，要保證信息來源的準確性。
3.2數據處理
在完成數據信息采集后，對網絡計算機一周內存在的數據資源進行處理，設置時間系數為Q、負荷系數為W、緩存系數為E。以企業(yè)財務數據信息的搜集與處理為例，當海量數據資源上傳至云服務平臺后，其在虛擬化資源池中的處理時長，分別設定為一、二、三的時間等級，依次對應時間系數Q的A1、A2和A3預設值。而虛擬化硬件設施在不同工作時長下，分別對應的負載系數W，依次為B1、B2和B3；云計算平臺的數據資源緩存量，也分為高量級、中量級和低量級，分別對應著緩存系數E的C1、C2和C3預設值。之后根據不同等級，依次設置不同數據處理過程中，虛擬化資源池使用程度的權重，分配預設值q、w和e，且q﹤w﹤e。則利用云計算服務平臺的數據處理公式為：R=Q·q+W·w+E·e再將以上數據處理后的結果，傳輸至數據判比模塊。判定云計算數據處理的系數R，與預設值r之間比較情況。在滿足R≧r情況下，生成云計算任務處理的過度使用信號，否則生成正常使用信號，并將最終信號傳輸至數據分析模塊。
3.3虛擬化資源任務調度
整個云計算任務調度的流程，需要將m個任務Task，調度到n個Resources進行任務執(zhí)行。由于云計算數據處理的動態(tài)異構性，在NP-hard目標函數下的虛擬化資源任務調度。只能得到約束條件內的最優(yōu)解。設置任務執(zhí)行時間為TET(TaskExecutionTime)，則第i個任務在第j個資源中的執(zhí)行時間為：ETC(i,j)=starttime(j)+TET(i,j)。所有數據處理任務在虛擬化資源集合Resources中的完成總時間為：T=Min{C1，C2，C3...Ci}。
3.4數據分析
當控制器接收到數據分析模塊的傳輸信號后，控制器與指示燈之間形成通信，控制指示燈開始閃爍。從控制讀取模塊中，提取出一周內數據信息處理，存在的云服務器、存儲器、后臺數據庫等硬件占用率，依次標定為Ti、Yi和Ui。最后，將不同硬件占用率的平均變化量值，與虛擬化資源分配的預設值t、y和u進行比較，得出數據處理過程中，非常客觀準確的云計算平臺使用程度結果。
參考文獻：
[1]陳棟棟.云計算技術在計算機數據處理中的應用與發(fā)展對策探究[J].現代信息科技,,3(18):-.
[2]楊洋.云計算技術在計算機數據處理中的應用[J].數字通信世界,():.
[3]崔瑤.云計算技術在計算機數據處理中的應用——評《云計算：概念、技術與架構》[J].中國科技論文,,14(7):2.
[4]楊秋紅.云計算在計算機數據處理中的有效性研究[J].信息與電腦(理論版),0,(24):1-157.
[5]鄭洋.云計算技術在計算機網絡安全存儲中的應用[J].無線互聯科技,,16():24-25.
作者：廖宇翔 單位：山西萬合佳宜科技有限公司