網格技術的發展與數字圖書館建設

導語：網格技術的發展與數字圖書館建設一文來源于網友上傳，不代表本站觀點，若需要原創文章可咨詢客服老師，歡迎參考。

【內容提要】網格是近年來興起的一種前沿信息技術。本文分析了網格技術的有關內容和特點，介紹了網格技術研究的進展，論述了網格技術在數字圖書館建設中的應用以及一些相關的問題。

【摘要題】數字圖書館論壇

【關鍵詞】網格技術/因特網/數字圖書館

1網格技術的特點及其意義

網格(Grid)是近年來興起的一種前沿信息技術，是互聯網信息技術發展的新趨勢。它的思想來源于電力網格，目的是將計算能力和信息資源象電力網一樣通過網絡形式方便地傳送到用戶中。網格是高性能計算機、數據資源、因特網三種技術的有機組合和發展，它把分布在各地的各種計算機連接起來，進行資源共享。美國網格項目的負責人之一伊安·福斯特在他所主編的題為《網格：21世紀信息技術基礎設施的藍圖》一書認為：“網格就是構筑在互聯網上的一組新興技術。它將高速互聯網、高性能計算機、大型數據庫、傳感器、遠程設備等融為一體，為科技人員和普通用戶提供更多的資源、功能和交互性。互聯網主要為人們提供電子郵件、網頁瀏覽等通信功能，而網格的功能則更多和更強，能讓人們透明地使用計算、存儲等其他資源。”因此，網格是一個一致、開放、標準的計算環境的信息基礎設施，支持聚合地理上廣泛分布的高性能計算資源、大容量數據和信息存儲資源、軟件和應用系統、高速測試和獲取系統、以及人力等各種資源的合作問題求解系統的構造。

網格的根本特征是資源共享。它把整個網絡整合成一臺巨大的超級虛擬計算機，實現各種資源的全面共享。目前因特網上各種信息資源由于分散在不同的地方，要進行資源共享十分困難，并且利用效率比較低。網格則可以實現互聯網上所有資源包括硬軟件資源、計算資源、存儲資源、通信資源、信息資源、知識資源等的全面連通，通過網格系統進行利用，使網絡信息資源能充分利用，從而發揮網絡信息資源的價值。

網格是因特網應用的新發展。有人把網格看成是未來的互聯網技術，是繼因特網之后的第三次互聯網浪潮，是“下一代因特網”、“新一代Web”等。因特網實現了計算機硬件、網頁等的聯想，而網格的性能比因特網具有更強的功能：首先，網格比因特網具有更大的帶寬，歐美的網格計劃都使用更高速度的主干網。第二，網格上將有更多高性能計算機，它的計算速度、數據處理速度可以大幅度提高。第三，網格的體系結構將比因特網更能有效地利用網絡信息資源。網格采用廣域緩存技術，能夠自動把用戶最需要的信息放在離用戶最近的服務器上。第四，網格將促進更多、更大規模的網絡社區的出現，這些相互聯結的社區最終構成一個龐大的網格社區。

網格將帶來一場互聯網的革命。互聯網的作用是將各種計算機連結起來，而網格是將各種信息資源連結起來。互聯網實現了計算機硬件的連通，Web實現了網頁的連通，而網格試圖實現互聯網上所有資源的全面連通，包括計算資源、存儲資源、通信資源、軟件資源、信息資源、知識資源等。網格的應用將會遍及各個領域，從而給各行各業帶來巨大的效益。正如IBM深度計算研究所所長比爾·普里布蘭所說，網格和高性能計算機等信息技術的根本目的就是輔佐人類實現人與機器共生，從而解放人的大腦，提高社會的生產力。有人認為，美國70年代對因特網的研究導致了今天網絡經濟的繁榮，而現在對網格的研究可與當年的因特網研究相提并論，可以預料10年后的網格將如同今天的因特網一樣，普及到國民經濟和社會的各個領域，從而起到重大的作用。

網格將成為信息產業的新熱點，從而帶來許多機會和巨大的經濟效益。據美國《福布斯》雜志的預測，網格技術將在2005年達到高峰。如果網格技術能按預期的17%年增長率持續發展的話，那么，在2020年將會形成一個年產值20萬億美元的大產業，將對世界社會經濟產生巨大的影響。

2網格技術的興起和發展

網格技術是現代信息技術發展的必然產物。現代社會產生大量的數據和信息，而利用這些數據需要更大的計算能力，許多領域的計算和資源共享問題促使要利用分布在各地的計算機和信息資源，只有通過高速網絡連接起來，才能共同完成有關的任務。網格可以連接廣域范圍內不同標準的異構“孤島”，形成龐大的計算和信息共享體系。由于網格是因特網進一步的發展，因此它一經提出就受到世界各國的高度重視。

美國、歐洲、日本等國家都啟動了大型網格研究計劃。美國政府用于網格技術的基礎研究經費則高達5億美元。目前美國正規劃實施一個宏大的網格計劃“全球信息網格(GlobalInformationGrid)”，預計在2020年完成。美國國防部和歐洲能源機構等在三年前先后采用了網格技術，并得到了產業界的大力支持。英國政府已投資1億英鎊用來研制“英國國家網格(UKNationalGrid)”，將英國主要大學的超級計算機利用網格技術和高速寬帶連接起來，并計劃將這一系統面向企業用戶開放。日本的NTTData計劃進行一項網格計算試驗，將有包括家庭、企業和學術機構的100萬臺計算機相聯，其總處理能力將比現有的最快的超級計算機還要快5倍。許多信息產業界的企業也相繼實施網格研究開發計劃，如IBM公司正在研究一種能被多家科研單位和眾多用戶同時使用的超級計算機網格。2002年5月，IBM與一家名為的公司合作開發網絡視頻游戲平臺——“蝴蝶網格(ButterflyGrid)”，使用了多臺通過光纖連接的Linux服務器，采用分布式人工智能技術，支持無限用戶數量以及數以百萬用戶同時在線的視頻游戲。另外，還計劃推出相應的開發工具，供網格計算技術的開發商使用。蝴蝶網格的技術核心是網格計算，是真正意義上的第一個商用網格系統。2002年6月，Sun公司推出網格引擎企業版軟件，該軟件提供了更高水平的控制能力和靈活性能擁有策略管理功能，允許多個小組根據公司確定的目標共享可用的計算資源，通過該軟件Sun擴展了它對開放企業網格架構的理念，有關網格計算的開放方法排除了在異種環境中利用網格技術的障礙，繼續強化了它在網格計算領域的領導地位，從而把網格計算技術推向了一個新的發展階段。Microsoft也決定支持網格組織Globus企業建造和管理網格的計劃。Microsoft的研究部門還參與了各項分布式計算研究項目，包括容錯遠程文件系統，以及建設分布式系統等。Compaq與加拿大PlatformComputing結盟，為用戶提供完整的、集成的、開放的網絡解決方案。Oracle在其最新版本的應用服務器中推出了全新的OraclePortal技術，是面向信息網格的新一代技術和解決方案。

網格技術在我國也開始引起重視，863計劃已經啟動了中國網格技術的研究，著手建立我國的國家高性能計算環境和國家信息網格，目前正在開發網格計算協議(GridComputingProtocol)，將應用于網絡資源的連接中。中科院計算所正在進行“織女星網格”研究項目，目標是達到大規模的數據處理能力、高性能計算能力以及具備資源共享和提高資源利用率的能力。織女星網格支持多種應用類型、多種應用模式、多種服務器和客戶端設備，并兼容多種現有技術。中科院計算所目前正聯合國內重點高校開發網格操作系統，將分布在全國的國家高性能計算中心的超級計算機已經初步實現統一的資源目錄管理。預料不久的將來，我國的信息網格將會初步建成并發揮巨大的作用。

3網格技術在數字圖書館建設中的應用

數字圖書館是綜合運用多方面高新技術支持的數字信息資源系統，將分散于不同載體、不同地域的數字化信息資源以網絡化方式互相聯結起來，實現資源共享。數字圖書館是計算機可處理的、有序組織的信息集合，是存儲數字信息的倉儲。數字圖書館通過數字技術進行信息資源的組織和管理，能夠儲存海量信息，用戶可以通過互聯網絡高效方便地進行查詢、檢索服務。數字圖書館具有信息資源數字化、信息組織非線性化、結構復雜化、信息傳遞網絡化、服務方式多樣化等特點。而網格是高性能計算機、數據源、因特網三種技術的有機組合，它具有高性能、一體化、知識生產、資源共享、異地協同工作、支持開放標準、功能動態變化等優點，為數字圖書館建設提供了有利的條件。

(1)網格為數字圖書館構造統一的平臺。網格技術的巨大優勢是比較明顯地降低建立網站和提供網絡服務的成本。網格的許多平臺和資源都是共享的，它將分布在各地的計算機、數據、信息、知識等組織成一個邏輯整體，此基礎上運行各自的應用網格，為數字圖書館提供各種一體化信息服務的信息基礎設施。在信息網格中，資源被統一管理和使用，用戶可以通過網格操作系統透明地使用整個網絡資源。網格利用現有的網絡基礎設施為用戶提供一體化的智能信息平臺，創建一種基于因特網的新一代信息平臺和軟件基礎設施。在這個平臺上，信息處理是分布式、協作和智能化的，用戶可以通過單一入口訪問所有信息，而不是像目前的因特網那樣，用戶需要自己在成千上萬的網站中去尋找合適的信息。

(2)網格有利于數字圖書館的信息集成。數字圖書館建設是一個龐大的信息工程，涉及到許多方面，只有協同工作，才能保證正常地運轉。網格將分布在不同地理位置的資源通過高速的互聯網進行資源集成，從而提供一種高性能計算、管理及服務的資源能力。在分布式的異構環境中，網格技術能夠精確定位所需的數據集，并為后續處理提供支持。人們利用這些資源就像用電源一樣，不必計較這些資源的來源和負載情況。網格計算可以合理而有效地將遠程資源高效地組織起來，形成網絡虛擬計算機，形成超強的能力。網格已經發展成為連接和統一各類遠程異構資源的一種重要的途徑。

(3)網格有利于實現數字圖書館的資源共享。網格把整個因特網整合為一個巨大的超級計算機，實現網上所有資源的全面連通，能消除信息孤島，實現計算機資源、存儲資源、數據資源、信息資源、知識資源等多種資源的全面共享。網格提供單一的系統映像，具有透明性、可靠性、負載平衡等功能。網格支持對異構數據資源的訪問，為用戶提供統一的訪問接口，選擇適當的訪問協議來實現用戶提出的數據訪問請求。網格與目前的計算機網絡不同，網格能實現應用層面的連通，它主要關注的是如何消除信息孤島，實現信息資源的智能共享。網格技術的進一步充分應用，能夠極大地提高數字圖書館資源的利用效率。

(4)網格有利于數字圖書館的海量數據處理。數據圖書館所要處理的數據通常比較大，網格則能夠很好地解決海量數據的計算處理和分析問題。它能將分布在不同地方的計算機連接在一起，用戶只需通過客戶端發出要求計算的指令，網格就把這些任務調配給各個計算機執行，然后將各個計算機計算出來的結果匯總反饋給用戶，連接的計算機規模越大，計算能力就越高。此外，通過網格用戶還可以在較短時間內把需要的數據從不同的數據庫中找出來綜合在一起，省去了多次訪問不同數據庫的麻煩，并能直接調用網格中的算法和程序等資源，避免許多重復性的工作。網格計算可以智能地分配計算資源，能夠優化現有的計算資源，更快地解決數字圖書館的設計和利用問題；能夠將應用程序的每個部分調整到最適合它的系統中去，從而以更短的時間、更低的成本解決有關應用問題。網格與數字圖書館技術有機結合起來，從而為在分布式異構環境中實施信息資源發現和知識發現提供支持。具體而言，數據網格通過提供一組服務來支持資源和信息發現，通過存儲資源使計算可以在異構的存儲資源上進行。

(5)網格有利于數字圖書館進行知識管理。網格的知識生產特性是網格與因特網兩者之間質的區別，因特網本身不生產知識，人們都是先把信息知識用其他方式生產出來以后再放到網上，供用戶查找利用。而網格則能根據用戶的要求自動地生產知識。在知識生產的過程中，高性能計算機將起到關鍵的作用，它把從數據源得到的各種原始數據，運行特定的程序加工成信息和知識。網格可以自動地找有關的數據源進行綜合分析和知識的發現，形成新的認識。可見，網格有利于數字圖書館進行知識管理。隨著網格技術的不斷發展，數字圖書館的功能和作用都會得到全面提高，在客戶提出請求或查詢時，網絡將會自動處理分析，并把有關的結果傳送到客戶登錄的節點上，從而使得數字圖書館的服務更加完善。

4網格對數字圖書館的挑戰

網格技術的應用對數字圖書館建設提出新的要求，其中比較突出的問題是：

(1)安全性問題。網格環境下數字圖書館的數據安全保障尤為重要。網格應用的最大難題是系統的安全性。由于網格的節點位于不同地域，節點的數字圖書館間如何安全地共享數據資源，如何保證共享數據的完整性是要著重解決的問題。網格安全主要包括網格系統安全、數據傳輸安全、信息存儲安全等。在構建完善的安全機制的同時，還要避免安全驗證耗費過多的系統資源。

(2)標準化問題。標準是網格應用的成功關鍵，構建網格需要對標準協議和服務進行定義。目前全球網格論壇、W3C以及Globus等標準化團體都開始了籌劃工作，加快全球大網格(GGG)標準的制定。開放源代碼網格標準組織——Globus正致力于開發標準的網格架構。在核心技術上，相關機構已達成共識。由美國有關機構開發的GlobusToolkit已成為網格計算事實上的標準。作為一種開放架構和開放標準基礎設施，GlobusToolkit提供了構建網格應用所需的很多基本服務，如安全、資源發現、資源管理、數據訪問等，許多計算機和軟件廠商已宣布將采用GlobusToolkit，目前許多重大的網格項目都是基于GlobusToolkit提供的協議與服務建設的。如何把數字圖書館的標準和網格標準更好地結合起來，從而使數字圖書館在網格環境下發揮更好的作用是值得我們研究的問題。

(3)數字版權問題。由于在網格環境下信息資源的共享程度極大提高，知識產權問題相當突出。數字版權管理是數字圖書館產生和快速增長的需要，是數字化內容傳播發展的一個關鍵問題。它需要利用法律、經濟、技術等手段對數字化的內容信息給予一定的權益保護，從而維護作者和出版商的權益，鼓勵數字化作品創新，促進信息的傳播與交流。數字版權管理的技術手段是通過對數字化內容的控制，使數字作品的所有權人能夠掌握其作品被使用情況，并且獲得相應的報酬。數字版權管理系統通過建立有關的權利轉讓模型，利用技術手段對不同性質的作品給予不同的權利限制，由于數字化作品的內容信息通過加密控制，用戶必須要通過注冊、獲得許可和使用權才能使用。只有解決數字版權管理才能為網格環境下信息資源的共享打下基礎。

(4)基礎設施問題。網格的應用對網絡帶寬的要求是非常高的，而目前我們擁有的網絡帶寬還不能達到應用網格的要求，此外網格對系統的自管理能力要求也非常高，因此，需要對現有的信息基礎設施進一步改造。

(5)系統改造問題。網絡系統平臺建好后的應用移植是網格技術走向應用的最大障礙。網格技術要求用戶將原有的系統應用標準化，并平移到新的系統之中。實際上很多現有的數字圖書館應用系統如果將其推向網格環境，將面臨重新編寫應用代碼的問題，雖然目前已經有一些相關的工具已經開發出來，但有許多技術問題仍需解決，還需要進一步支持和相互之間合作。

面對網絡技術的進一步發展，數字圖書館建設的指導思想應該具有前瞻性，要適應將來網格環境的發展需要。首先，在資源建設方面要特色化。在網格環境下，由于信息的高度綜合和集成，任何重復建設都是毫無意義的，只能造成巨大的浪費。故數字圖書館的資源建設要進行合理的配置和相互的協調。其次是要增強數字圖書館系統的相互可操作性，以便更好通過網格系統共享資源。再次是進一步完善數字圖書館協同服務，系統模式要走向集成的、多層次的分布系統，實現各類服務組件集成化。第四是不斷豐富服務中的交互模型。通過提供各種交互模型使數字圖書館服務能夠不斷地適應發展變化的要求，更加具有針對性和個性化。

【參考文獻】

1陳穎健.下一代網絡技術：網格計算.國外科技動態，2002,(7):13-14

2郝巧紅.Internet第三次浪潮——網格.山西統計，2002,(7):36-38

3李偉.淺談網格計算基礎.計算機世界報，2002,(43):B4

4李曉林.信息網格——下一代信息服務平臺.計算機世界報，2002,(43):B9

5黃曉斌，邱明輝.數字圖書館的可用性研究.圖書館學研究，2002,(4):11-13

6王意潔等.數據網格及其關鍵技術研究.計算機研究與發展，2002,39(8):943-947

7GlobalGridForum.

8IanFosteretc.theanatomyofgrid./research/papers/

9SunGridEngine./presskits/sgeee