氣象網格數據研究論文

導語：氣象網格數據研究論文一文來源于網友上傳，不代表本站觀點，若需要原創文章可咨詢客服老師，歡迎參考。

摘要本文首先介紹了氣象應用網格的基本框架，然后介紹了開放網格服務構架-數據訪問與集成（OpenGridServicesArchitecture-DataAccessandIntegration，OGSA-DAI）以及Agent技術在網格計算中的應用，最后討論了氣象網格中氣象數據的按需獲取方法。

關鍵詞氣象應用網格，開放網格服務構架-數據訪問與集成，，按需獲取

網格(Grid)計算源于元計算（Metacomputing），其初衷是將分布的多臺超級計算機連接成為一個可遠程控制和訪問的元計算系統，逐步發展為遵循開放標準、聚集網絡上廣泛分布的計算、存儲、數據、軟件、儀器設備和傳感器等各種資源的分布合作計算平臺，以服務的方式支撐大規模計算和數據處理等各種應用，將Internet變為一個功能強大、無處不在的計算設施。開放網格服務構架-數據訪問與集成（OGSA-DAI）是一種中間件，其設計目標是提供一種簡便的方法，在網格環境中實現數據的訪問和集成。而將Agent技術應用在網格計算中可以有有效地節約網絡帶寬，提供實時的遠程交互，支持離線計算等諸多優點。

氣象網格則是網格技術的一個具體應用，它的作用是實現網絡環境下的按需預報，有效提升科研業務體系、聚合高性能計算資源，提高資源的利用率、建立異地協同攻關的網絡環境，加快重點攻關項目的研究進度、實現氣象信息的共享、增加信息反饋的渠道。

目前的氣象數據獲取方式主要是各個臺站被動的接受來自主站的氣象數據進行篩選、分析，預報。這無疑產生處理效率低、實時性較差、網絡帶寬資源嚴重浪費等缺點，且人力物力花費大。本文在以下的章節里，介紹氣象應用網格框架，引入Agent技術和OGSA-DAI，在此基礎上提出一種新型、高效的氣象數據獲取方法。

1氣象應用網格

1.1網格技術概述

網格(Grid)的概念誕生于20世紀90年代中期,它借鑒了電力網的思想,希望利用互聯網或專用網絡,把地理上廣泛分布的各種計算資源互連在一起,使得分布在各地的計算資源相互連接,組成充分共享的資源集成(即虛擬組織)。高度的資源共享是網格計算技術追求的目標。目前已出現的解決資源共享的方案和技術,如:因特網,企業計算,對等計算,分布計算等,均難以滿足直接對計算機、軟件、數據和其他資源的靈活訪問以及可控的高度共享。網格技術致力于達到這個目標,提供建立虛擬組織所需要的資源共享的靈活性和可控性。

1.2氣象應用網格簡介

以中國氣象應用網格為例，它是由中國氣象科學研究院發起，許多相關單位參加的科研應用網格。主要研制基于網格技術的數值天氣預報軟件及其支持軟件，研究觀測資料和數值預報氣象數據的海量處理技術，實現應用網格對海量氣象數據集的遠程訪問和智能請求管理等。利用中國氣象局已有的衛星氣象通訊網絡和高性能計算資源，在2005年，建立包括國家氣象中心、氣象科學研究院、廣州區域氣象中心、北京區域氣象中心和上海區域氣象中心的中國氣象網格平臺，為行業內部的研究人員提供一個資源共享、遠程高性能科學計算的數值預報技術研究和模擬環境，實現數值預報應用層的互聯互通、資源共享和協同工作。提供網格中尺度氣象數值天氣預報模式系統、海量氣象數據處理系統、網格氣象可視化系統、氣象軟件開發協同工作環境。逐步形成氣象網格的技術標準，指導中國氣象局的業務系統現代化建設，提升我國的氣象應用水平，促進全國氣象數值預報的整體可持續性發展。

它的結構如圖1所示：

圖1氣象應用網格系統框架

各系統的作用和特點：

代碼共享和協同開發系統：1.為不同的用戶設置新一代數值預報系統的使用、源代碼瀏覽和修改等共享權限，實現網上的代碼版本控制；2.提供遠程應用的協同工作環境，提供遠程氣象數據的訪問與服務能力。

網格數值預報系統：1.良好的可移植性：模式時間、空間分辨率可隨意調節；2.程序執行時的可定制性：因不同需求而定制程序運行方式、預報區域大小及動力框架主干及物理過程；3.良好的可維護性及可擴充性：模式動力框架及物理過程可任意插拔；4.單一原碼程序保正能夠在多種機型上有效運行。

海量氣象數據處理系統：1.數據存儲設計：采取online和offline方式，根據用戶對數據的訪問頻率和訪問響應時間要求的不同分別在一級磁盤陣列、二級磁帶庫、三級脫機磁帶等設備上進行存儲；2.數據遷移；3.數據采集；4.數據檢索服務

網格氣象可視化系統：用戶可以在客戶端通過菜單方式選擇顯示的數據源和顯示方式。數據源包括數據庫系統和網格數值預報的輸出，以及一些常用的文件類型；顯示方式包括不同類型數據的顯示，如向量場和標量場，不同的地圖投影方式，時間演變曲線，直方圖，剖面圖，探空圖，時間動畫等。

2.開放網格服務構架-數據訪問與集成

OGSA-DAI即開放網格服務架構數據訪問和集成(OpenGridServicesArchitecture-DataAccessandIntegration),它符合基于OGSA的網格標準,并在GlobusToolkit3.0上進行開發。支持DB2、Oracle、Xindice、MySql等數據庫管理系統。

網格數據庫是對現有數據庫的網格化,基于開放網格服務體系結構OGSA提供網格數據庫服務,使網格用戶或其他網格服務可通過網格數據庫服務訪問網格中的各種異構數據庫,從而達到數據資源的高度共享和協同處理,對數據資源的訪問更加透明、高效、可靠,網格數據處理的能力更強,滿足虛擬組織的數據處理需求。

OGSA-DAI的體系結構如圖2所示，可以看出,其體系結構與WebService很相似,都是Discover、Bind、Publish機制。

圖2OGSA-DAI體系結構

網格數據服務(GirdDataService,GDS):：為訪問某個數據資源(關系數據庫或XML數據庫,甚至是存儲在普通文件中的數據)提供服務。

網格數據服務工廠(GridDataServiceFactory，GDSF)：用于創建一個GDS實例,以訪問特定的數據資源。

服務組注冊器(ServiceGroupRegistry，DAISGR)：用于找到所需要的GDS,也可以通過它找到用于創建所需GDS的工廠。

執行文檔(PerformDocument)：一種XML格式的文檔,用于定義要在GDS上執行的活動,如一條SQL查詢,然后再定義如何將查詢的結果傳送給第三方。

響應文檔(ResponseDocument)：一種XML格式的文檔,是GDS處理執行文檔后返回的結果。

活動(Activity或Activities)：實現程序功能的核心功能模塊。

它們之間的交互關系如圖3所示，整個交互戶過程如下：

(1)運行OGSIContainer為永久性服務；

(2)此時GDSF代表database：FrogsDatabase；

(3)GDSF在DAISGR上注冊；

(4)如果用戶想了解數據庫,可以直接查詢GDSF,也可以通過DAISGR定位合乎需要的GDSF；

(5)用戶請求創建一個GDS；

(6)用戶發送PerformDocument和GDS通信進行交互；

(7)

GDS返回一個ResponseDocument；

(8)用戶銷毀GDS或者讓其自動消亡。

圖3元素間交互關系在執行的策略,F中狀態的轉移反映了策略的執行順序。

圖4所表達的含義是:網格服務(GridServices)通過一系列事件(Event)反映到agent的ModelofGridServices中,agent根據要達到的目標(Agenda)和當前ModelofGridServices中的信息決定執行狀態機(FiniteStateMachine)中的哪個策略,策略的執行結果可以影響ModelofGridServices,也可以作用于外部世界。

3.2Agent在OGSA結構下的應用方向

·網格服務助理：agent的一個重要的特點在于它的可移動及恢復執行的特性。所以它可以代表網格服務在網絡中完成一定的任務,成為網格服務的助手。它可以在遠程主機上獨自運行,不論網絡是否連通,而發送者可以關掉自己的計算機,免除線路持續的連接。在agent運行完畢之后用戶再建立網絡連接進行回收。這不但避免了由于網絡帶寬低、費用高、不可靠帶來的一系列問題,而且節省了資源。例如為了指定一個需要多個網格服務協同完成的計算操作,發起者(一個網格服務)只要發送一個agent與代表其它網格服務的agent交互,這些agent經過協商后制定一個時間表,最后返回給各個網格服務。

·分布信息查詢：在網絡中,當信息資源分布于不同的計算機上時,查詢信息的一般做法是將各個信息源的信息數據通過網絡傳遞到本地機上,再在本地機上建立應用進行查詢。這樣網絡信息的傳遞量將是巨大的,而且用戶在進行查詢時并不能關閉計算機。目前的網格中的信息查詢主要是通過查詢注冊服務中的信息,而如果采用了agent技術,可以創建一個這樣的agent任務,把它派遣到遠程主機上,這樣它就可以自動尋找信息資源進行訪問,在用戶想要接收信息時,將查詢結果返回給用戶。這一點體現了agent目標驅動和行為預知的特點。

·監視和通知：當需要對網格中的特定資源進行控制時,獲得其當前的狀態是十分必要的。作為被控制方,由于狀態的多樣,是沒有義務隨時向控制方報告其狀態的。作為控制方,可以派遣專門的agent到被監視機上負責這項工作,再也不必采取一些被動的措施,例如隔一段時間進行一次查詢,或者被動地等待被監視方返回一些無用的信息。比如agent可以脫離自身的出生地,及時地監視某一信息源,等待該信息源上可用信息的出現。這樣的agent也可以以網格服務的形式存在于網格環境中,各個控制方只要調用這一類網格服務就可以輕松地對相關資源進行控制。

當然，agent在OGSA結構下的應用遠不止以上三點，比如，還有并行處理、實時控制、信息等等，限于篇幅和本文章討論的內容，在這里就不一一敘述了。

4氣象數據獲取方法

目前，基層氣象臺站的預報方式主要是通過自身被動的接受來自主站的氣象數據來進行分析、預報。由于每天有大量的氣象數據通過主站發送到各個臺站，而每個臺站所需要的氣象信息可能只是其中的一小部分，這無疑對資源和網絡都造成了很大的浪費。預報員還要整理這些數據，從大量數據中篩選出自己所需要的部分來進行分析預報，這也浪費了大量的人力、物力，效率也不高。再次，如果臺站的接收機出現斷電，死機等問題使得暫時無法接收來自網絡的數據，可能就會耽誤預報的時間。因此，我們提出了一種基于Agent和OGSA-DAI的全新的氣象數據獲取方法，來解決這一問題。

4.1agent結構設計

該氣象數據獲取方案突出了一個“按需獲取”的概念，即主動的通過網絡中主站或者其他存有氣象數據的節點獲取與本臺站預報所相關的氣象數據。

具體結構如圖5所示，主要分為3個部分：

臺站：即臺站的主機，用來訂制Agent并接受Agent返回的最后結果

AgentHome:臺站向網絡節點發送Agent的中轉站，其本身也是一個Agent，屬于臺站訂制的Agent的上層，用來協調轉發Agent和Agent的處理數據，是臺站和Agent之間的接口，一個區域的幾個臺站共用一個AgentHome。為了節約網絡資源，AgentHome還要負責最短路徑的查找，以便使存有所需數據的最近的服務器上的Agent工作。

Agent：臺站具體訂制的，用來完成氣象數據的按需獲取和分析工作，通過AgentHome統一協調工作。

圖5氣象數據按需獲取方案結構

利用Agent作為氣象數據獲取的工具，臺站負責訂制一個Agent，由AgentHome負責分析存在臺站所需數據的節點（包括主站和其他一些存有氣象數據的服務器）的最短路徑，使工作在最短路徑上而且可用的Agent工作。這樣Agent就作為一個監視者不斷的監視節點信息，一旦信息源上的可用數據出現，Agent就立刻做出響應,提取所需數據并進行分析處理，并將所需結果返回給AgentHome。如果臺站主機定制完Agent以后就處于離線狀態，這些Agent照樣自主運行而不受任何限制，然后將計算結果返回給AgentHome，AgentHome檢測到臺站主機在線時就立即將結果轉發給臺站，由臺站技術人員完成進一步的處理工作。而Agent和節點之間具體的數據訪問操作，則是通過OGSA-CAI結構框架來實現的。

4.2OGSA-DAI組件的應用

在圖6的操作中包括一個Agent，一系列的OGSA-DAI組件和網格數據傳輸服務，這些GDS中均存在Agent所需的數據。圖中橢圓OGSA-CAI組件，矩形表示Agent，綠色箭頭表示控制信息，紅色粗箭頭表示GDTS(GridDataTransferServices)。現在要做的工作是（1）獲得從數據源1和數據源3中合成的數據；（2）將數據源1、2、3中所獲得的合成數據傳給第三方（AgentHome）。

圖6工作流程

Agent使用OGSA-DAI的步驟如下：

(1)找到DAISGR的位置并發送一個它要請求的服務的描述給那個DAISGR。描述大概是3個可訪問的數據源和請求的操作。

(2)DAISGR用一個表明所請求的GDS不存在的指示作為應答，但同時提供了一個的GDSF列表，GDSFs可能產生請求的GDS。

(3)在進行一番對話后，客戶選擇其中的一個GDSF。3個請求對應選中的GDSF上的CreateService操作，GDSF請求所需的GDS的創建。

(4)選中的GDSF負責3個GDS的創建和初始化，并且為3個請求源逐個創建OGSA-DAI適應性，而且為對應客戶的每個GDS返回一個GSR(包括一個GSH（GridServicesHandle）)。

(5)在每個GDS被查詢后，即用FindServiceData操作確定它的能力的詳細細節(不顯示)后，客戶發信息給每一個GDS表示操作(如，查詢、更新、巨量裝載)被請求執行。在本例中：

·GDS1應該傳送一批數據(從一個查詢操作)到GDS2并發送一個數據流到GDS3，這些數據流和批數據被GDSs上操作利用。

·GDS2接受一批GDS1操作的數據和從GDS3來的數據流。GDS2應該建立流向第三方的數據流。

·GDS3應該執行一個操作發送一個數據流(從一個關于來自GDS3的數據的操作和一個數據源3的查詢)到GDS2。

對每一個數據傳送者都有一個它怎樣被執行的描述。

(6)GDS1用一個GDTS傳送指定的批數據到GDS2,用另一個GDTS傳送一個數據流到GDS3。如果由GDS1執行的操作被說明是并行的，這可以持續并發發生。

(7)GDS2使用進來的數據流、它自己的數據和一個發送一批數據到Agent的GDTS，

(8)并且GDS2初始化針對第三方的數據流。

5結論

本文根據Agent在網格計算中的應用和OGSA-DAI進行了氣象網格中的氣象數據獲取方法的研究，主要為了解決基層氣象臺站每天都要接受冗長的氣象數據來進行預報的問題，有效地節約了網絡帶寬，提高了接收和分析氣象數據的效率。使用該方法通過對Agent進行相應的設置，減輕臺站的負擔，有效的節約了帶寬，提高了系統的可靠性和實時性。隨著網格技術的發展，這一方法一定能夠發揮其自身的優點，擴展新的氣象數據處理應用和服務。

參考文獻：

[1]FosterandC.Kesselman.TheGrid:BlueprintforaNewComputingInfrastructure,MorganKaufmann,SanFransisco,CA,1999

[2]都志輝,陳渝,劉鵬.網格計算[M].北京:清華大學出版社，2002

[3]NeilHardman，AndrewBorleyandJamesMagowan.OGSA-DAI:Alookunderthehood.

www-/developerworks/library/gr-ogsadai/index.html，

[4]FosterandC.Kesselman,et.ThePhysioligyoftheGrid.

/research/papers/ogsa.pdf,2002

[5]/grid/paperppt/bigfile/Conference/ISIT/gyd-SSC_Grid.ppt

[6]高敬瑜，趙岳松.基于OGSA的網格數據訪問與服務.計算機工程.2004-5

agent技術集軟件、通信、分布系統的技術于一體,agent具有封裝私有特征的能力、靈活的協調能力和更好的網絡適應性,具有比對象粒度更粗、抽象級別更高的特征,更符合人的認知過程。技術是適應網絡平臺的一種新型軟件技術,為分布開放系統的分析、設計和實現提供了一個嶄新的途徑,為網格計算思想的實現提供了一種有力的手段。其優點可概括為：(1)節約網絡帶寬、(2)提供實時的遠程交互、(3)支持離線計算、(4)實現負荷卸載、(5)易于服務、(6)增加應用的強壯性、(7)提供平臺無關性。

3.1Agent在網格計算中的應用模型

Agent的優點使得它有重大的應用價值,在網格計算中可以應用在很廣泛的范圍。目前網格計算技術中,開放網格服務體系結構OGSA成為研究和討論的熱點。在OGSA下,應用Agent技術可以采用基于BDI的Agent模型,由四元組(M,Ag,S,F)組成,見圖4。

圖4基于BDI的Agent模型

其中：

M是ModelofGridServices,表示agent對網格服務和自身狀態的認識；

Ag是Agenda,即BDI中的Desire,表示agent期望達到的結果狀態；

S是Strategy即BDI中的Intention,是agent根據M和Ag所采取的策略；

F是FiniteStateMachine,一個State對應一個Strategy,F的當前狀態對應于agent正