高性能計算范文
時間:2023-03-26 08:19:31
導語:如何才能寫好一篇高性能計算,這就需要搜集整理更多的資料和文獻,歡迎閱讀由公務員之家整理的十篇范文,供你借鑒。
篇1
“當今全球高性能計算系統的計算能力正在飛速發展,這與處理器、編譯器和軟件等多方面綜合因素是密不可分的。英特爾在光互連方面以及硅光學方面都走在世界前沿,今后,英特爾會在南能計算市場有更多動作。”英特爾公司高級副總裁兼數字企業事業部總經理帕特基辛格博士在今年4月上海IDF上曾經明確了英特爾在高性能計算方面的方向。
時隔半年,當11月1日,中國軟件行業協會數學軟件分會、國家863高性能計算機評測中心和中國計算機學會高性能計算專業委員會三家聯合正式對外《2008年中國高性能計算機性能TOP100排行榜》時,帕特基辛格的“預言”實現了。
報告顯示,英特爾仍然是TOP100的最大家,基于英特爾處理器的系統數量占到了71%,這與英特爾在TOP500中的份額非常相似、在6月份的TOP500中,英特爾占據了73.5%的絕對優勢。
與此同時,“在高性能計算領域,英特爾的軟件同樣發揮著很重要的作用”。英特爾公司全球副總裁王文漢對軟件在高性能計算領域中的價值表示充分肯定。
背后的力量
與以往不同,在《2008年中國高性能計算機性能TOP100排行榜》中我們看到了聯想、浪潮、曙光、寶德等更多國產廠商的身影,而在這些廠商的背后有著一只強而有力的軟、硬件推手。
在四年前,當時的聯想正欲在高性能計算領域有所突破,“當時聯想要做一個非常大的打印機,這部打印機需要一個很重要的測試程序叫linpack,這一程序將決定整部機器的效率。于是英特爾從美國調來了這一方面的專家。”王文漢講道。
鑒于在以往其他地區的經驗,這樣的項目以這位博士的水平僅僅需要三天的時間,但是,當他來到中國后才發現由于當時中國的網格計算水平發展與國際還有一定的差距,在很多技術細節方面缺乏一定的環境支撐,他必須從每個細節開始工作,于是他被“擱淺”在了中國。
有意思的是,這位博士很老實,他出門的時候只向他妻子“請了三天的假”,可是過了三天,又過了幾個三天他還是回不去,由于“初來乍到”博士并不清楚如何在國內給他的妻子掛電話“請假”,無奈之余只能求助。
電話通了,假也請了,博士塌實了,聯想的高性能計算機也完成了自己的關鍵測試。
“在高性能計算領域,我們與國內的多家廠商都有合作,且合作的時間很久。”王文漢介紹到。“也許正是有了類似英特爾這樣國際企業的幫助與支持,國內的高性能計算領域才有了長足的進步。”
在《2008年中國高性能計算機性能TOP100排行榜》公布的同時,TOP100排行榜創始人之一、中科院軟件所研究員張云泉博士這樣感嘆:“盡管在核心部件上,我們對國外廠商的依賴性很強,但在此次榜單中,國產機入圍數明顯增多。”積極與政府和教育合作
如同與聯想、曙光、浪潮等國內的企業合作,英特爾在國內的政府、教育等領域也從未停止過自己的腳步。
2002年,教育部發起建設“中國教育科研網格”(ChinaGrid)的工作,該項目在十五“211”二期支持下啟動、得到國家科技部863南性能計算重大專項支持的公共服務體系。
2003年9月,英特爾(中國)有限公司與中國教育部簽署了一份合作諒解備忘錄。雙方決定攜手構建國家高等教育網格計算平臺和網格的研究和應用。
隨后,ChinaGrid在公共中間件平臺(CGSP ChinaGrid suppoftPlatform)上取得突破性進展,Intel在CGSP與GPE的互聯互通研究等方面與國內的各高校展開了更為廣泛的合作。
在中國,短短的三年,從06年當初五個大學參與,到今年08年8月份為止達到102個大學參與進來。多核大學計劃的內容,包括了英特爾給這些學校建立多核的實驗室,包括教師培訓。
在清華,在武漢大學還有在浙江大學,英特爾分別舉辦了三期,這樣把今年60多個新學校教師培訓都開展了,在這個基礎上,英特爾將會繼續跟蹤學校課程的開展情況。
8月份,在廈門,英特爾首次把這102所大學高校教師,大概132組的教師匯集在一起,讓這些優秀的大學,能把他們開課的經驗和大家分享,也請英特爾工程師把最新的技術給教師做一些培訓。這也是我們多核計劃的一個內容。
8月20日,由中國教育科研網格ChinaGrid工作組主辦,蘭州大學信息學院承辦的“中國教育科研網格ChinaGrid第三屆學術年會(ChinaGrid 2008)”,在甘肅省敦煌市舉行,王文漢博士再次闡述了英特爾推動我國高性能計算發展的決心,“除在系統優化方面,英特爾還將為ChinaGrid提供更多的軟件工具以及更好的技術支持。”
硬件其實是軟件
“目前,國際上,英特爾、AMD已經在多核、異構方面進行不斷的創新!”張云泉認為,國內目前的主要研發方向應該向國際靠攏,與此同時,硬件環境的不斷變遷為軟件的發展帶來了挑戰,同樣也提供了不斷向前邁進的動力。
在提及高性能計算的多核架構對軟件發展的影響時,王文漢講起了自己的親身感受。1991年,王文漢到英特爾接到的第一個項目就是設計芯片,當時叫超能奔騰。此時的王文漢已經擁有了兩年的工作經驗,這兩年中,王文漢始終認為硬件就是硬件。
但經過了這個項目后,他卻得到了一個很難理解的道理――硬件其實是軟件。在設計硬件的過程中,要用高級語言來編。
在編過之后,多大需要緩存,多長CPU線程,作為研發人員要將這些一一匯總。“但實際上是我們可能幾百個工程師,每個人負責一塊一塊的弄,編程序一樣的編芯片,”王文漢認為,硬件本身其實就是軟件,軟件可以輔助設計人員研發不一款硬件產品,同時這一硬件產品又為其上的軟件提供一個更好的開發平臺。
篇2
走產業化道路
曙光創業初期,有哪些事情令你印象深刻?
當年我們去美國“洋插隊”、學習超算技術時,條件很艱苦,就是租了當地老百姓的一間普通住房,利用客廳當工作間擺機器,大家每天工作十五六個小時。因為我們都沒有做過機器,只是會使用計算機,卻沒有制造過計算機,很多東西都需要靠自己摸索。我們曾把機器上Unix操作系統的數百萬行的語言程序分給每人解讀,一人大概分幾十萬行,要把算法和結構圖都畫出來,搞清楚超級計算機到底是怎么運作的。這種從無到有的學習過程是非常大的挑戰,還好我們不辱使命,完成了任務。
高性能計算機在今天的應用情況如何?
和10年前相比,超算應用已經發生了天翻地覆的變化。10年前,只有專業人士才會用到高性能計算,但在今天,各行各業都會用到。比如飛機制造中要通過空氣動力學測算來制作飛機外形,這就需要超算的幫助;電影《阿凡達》的制作,就是借助超級計算機來做虛擬與現實設計;在醫藥領域和生物、基因研究方面,高性能計算也都起到十分重要的作用。據我了解,最近北京氣象局就新買了一套曙光機,目的是去做PM2.5的預測,這就說明高性能計算其實和大眾生活息息相關。
在行業應用方面,曙光超算做得很出色的領域是石油勘探。如果在勘探范圍內找不到油田,就可以用曙光高性能計算做一遍測算,把油田“算”出來。現在我們國家在非洲、南美洲等很多地方去打油田,很多時候都用曙光的機器幫忙。雖然曙光機器在國外市場銷售得并不多,但被我們自己的企業帶出去了很多,這從一個側面反映出了曙光超算的實力。
曙光的超算之路有怎樣的特點?
曙光是以產品化為目標,追求讓更多的人用上高性能計算機,讓它真正在經濟活動、社會發展中發揮作用。所以,產業化是曙光選擇的道路。
逐步增加發言權
互聯網公司現在是高性能計算的重要客戶,曙光如何把握這個行業?
現在淘寶網在光棍節促銷那天要處理1.5億筆交易、350億元的交易額,達到了世界第一的水平,它的后臺則是按600億元的交易額在做準備,這就需要強大的超算能力的支持。而我們這些國產廠商的高性能計算機在其中起到了重要的運營支撐作用,所以說我們自己的超算能力已經達到了國際領先水平。在節能、能耗方面也跟國外品牌沒有太多的差別,我們會繼續把技術和服務做好,為互聯網以及其他行業服務。
網絡大提速、移動智能終端的普及,帶來海量數據、多樣化的信息服務,以及復雜的數據聚合與交互等未來信息服務的巨大壓力,勢必會落在以高性能計算為基礎的互聯網、云數據中心和大數據上,這為高性能計算機發展帶來了新契機。但同時我想呼吁一下,互聯網公司要改變他們的一些思路和行為方式。現在國內的幾個大互聯網公司其實不缺錢,因為他們每天的廣告費都會達到上億元,他們也有責任和義務來帶動中國信息產業的發展,促進信息消費。然而我覺得他們這方面做得不太夠。在與互聯網公司客戶談生意時,他們往往習慣性地拿出壓價做法,讓所有廠商展開價格競爭,導致銷售價格比成本還要低10%、20%。這種做法如果成為普遍現象,將導致廠商沒有任何積極性去做創新,對產業的發展很有傷害,最終也將不利于互聯網公司本身的發展。
“棱鏡門”事件對曙光這樣的中國本土高科技企業而言是否是個好消息?
這是一個利好消息,但是要想贏得市場,不能指望行政命令來要求用戶都使用國產機器,而是依靠市場競爭來爭取自己的空間。比如在金融行業,如果銀行說,出于國家信息安全的考慮不用外國的機器,這就很難辦到。因為很多銀行用國外著名品牌的機器已經用了很多年,上面那些軟件跑了幾十年,當時寫的語言改都沒法改,想把它們一下子全部換成國產設備顯然是不現實的,肯定需要一個過程。所以,當我們說自主可控,說技術不能掌握在別人手里,是一個需要時間去實現的長遠目標,需要我們自己長期的努力去不斷積累自己的知識產權和自身實力,來逐步增加自己的發言權和競爭能力,而不是一蹴而就的事情。曙光就是靠一步步地往前走,逐步地去替代國外品牌,而只要我們不斷前行,目標終有一天會實現。
篇3
高性能計算集群逐漸替代專用、昂貴的超級計算機對大規模并行應用構建原型、調試和運行。
基于PCs或工作站的高性能計算快速部署及其可靠性和可管理性研究,對高性能計算集群在科學研究和工程計算等領域的應用,促進高性能計算技術的應用方面具有深遠的意義。
本文以OSCAR集群為實例,部署一個五結點的集群環境并運行簡單的并行測試例子。
關鍵詞:高性能計算;集群;OSCAR;MPI;并行計算
中圖分類號:TP312文獻標識碼:A文章編號:1009-3044(2008)14-20971-03
1 引言
自20世紀90年代早期以來,昂貴而特制的并行超級計算機逐漸向由單個或多個處理器的PCs或工作站[1]組成的價廉、通用、松耦合的系統轉換,而促成該轉換的主要驅動力是高性能工作站和網絡部件的快速商品化。這些技術的發展使網絡化計算機(PCs或工作站)成為并行處理的理想工具,從而導致了普通商品化超級計算機的出現。
自1994年美國航空航天局(NASA)的Goddard航天中心采用16個66MHz 處理器的PCs和10Mbit/s 以太網組成了第一個計算機集群系統(Beowulf Cluster)[2]以來,隨著計算機制造技術的飛速發展,硬件設備逐步實現商品化和標準化,PC機的性能越來越高而價格越來越低;同時開源的Linux操作系統內核及集群工具套件(Cluster Toolkit)也日趨成熟穩定,高性能計算集群逐漸發展起來,成為主流的高性能計算平臺,在2007年11月Top500的分析報告中,采用集群架構的超級計算機系統已占81.2%[3]。
使用高性能計算集群對并行應用構建原型、調試、運行逐漸替代使用專用,特別是昂貴的并行計算平臺。一些集群軟件工具套件已經具有很多的整合性、可管理性、易配置,例如OSCAR[4, 6]等工具套件。研究基于PCs或工作站的高性能計算集群快速部署及其可管理性和可靠性研究,對高性能計算集群在科學研究和工程計算等領域的應用,促進高性能計算技術的應用方面具有深遠的意義。
2 集群系統架構
高性能計算集群是一種并行處理系統,由多個連接在一起的獨立計算機組成,像一個單獨集成的計算資源一樣協同工作[5],用來解決具有重大挑戰的問題。集群是全體計算機(結點)的集合,這些計算機由高性能網絡或局域網物理互連。一般情況下,每個計算機結點是一臺PC機、工作站或SMP服務器。重要的是,所有集群結點能一起協同工作,如同一個單一集成的計算資源提供服務。集群概念帶來了許多好處,其中重要的是能用性、可用性、可擴展性和性能價格比。
從硬件架構看,集群結點可以是PCs、工作站、SMP服務器,甚至子集群。但集群各結點在保持本身計算機系統完備性的同時,能夠相互協作,形成單一、集成的計算資源。典型集群系統包括下列結構組件[5],如圖1所示。
多個高性能計算機(PCs、工作站或SMP);
分層或微內核結構的操作系統;
高性能互連網絡;
網絡接口卡;
快速通信協議與服務;
含單一系統映像(SSI)、高可用性(HA)工具和資源管理與調度的集群中間件;
諸如消息傳遞接口(MPI)[8]等并行編程環境與工具;
串行、并行或分布式等應用。
3 集群系統構建
2001年,Open Cluster Group開源集群應用資源(Open Source Cluster Application Resources,OSCAR)。該集群工具套件具有以下特點:統一框架中安裝、配置和管理集群;基于向導(Wizard)的集群組件安裝;統一的結點映像。OSCAR集群工具套件提供了構建和運行一個高性能計算集群所需要的工具。在安裝OSCAR的同時也默認安裝了并行編程環境MPI、PVM及作業調度系統PBS等軟件包。其中系統安裝套件 (SIS),集群控制工具套件(C3),環境切換器(switcher)和OSCAR向導用于集群系統的安裝和配置。SIS是一個基于映像的安裝包,可通過使用SIS來引導節點的安裝:內核引導,磁盤分區,和操作系統的安裝等。C3方便并行命令的執行,使用戶輸入的命令可同時在所有的節點上運行。用戶可以用環境切換器來定制環境變量。OSCAR向導提供了一個圖形化界面來幫助用戶完成集群系統的安裝和配置。
本研究課題以5臺PCs結點,100Mbit/s以太網互連網絡搭建一個OSCAR集群環境。
(1)硬件環境
管理結點:一臺Intel Pentium3 2.0GHz處理器,256MB內存,20GB硬盤存儲。
計算節點:四臺Intel Pentium3 2.0GHz處理器,256MB內存,20GB硬盤存儲。
互連網絡:100Mbit/s 以太網交換機。
(2)軟件環境
操作系統:Red Hat Enterprise Linux 4。
OSCAR版本:5.0,已集成以下軟件工具包:
Open MPI 1.1.1:并行編程環境;
Maui 3.2.6p14 + Torque 2.0.0p8:作業調度系統;
SGE 6.0u8:作業調度系統:
LAM/MPI 7.1.2:并行編程環境;
MPICH 1.2.7:并行編程環境;
Ganglia 3.0.3:集群狀態監控系統;
SC3:擴展的C3集群管理工具;
Netbootmgr:管理結點PXE啟動;
sync_files 2.4:控制異構集群中用戶的數據庫;
packman 2.8:包抽象管理器;
systeminstaller-oscar 2.3.1:應用packman創建映像image;
Systemconfigurator 2.2.7-12ef:安裝配置框架。
OSCAR安裝向導[7]提供了一個圖形化界面來幫助用戶完成集群系統的安裝和配置。如圖2所示。該向導將引導用戶方便快捷地進行集群的安裝和配置,用只需要按步驟點擊向導按鈕,每一個步驟都會有按鈕,點擊顯示該步驟的目的。
按照此向導逐步執行,最后配置結點從網絡啟動,等待所有的結點從網絡啟動并成功加載映像重啟之后,安裝向導執行完畢,OSCAR集群系統的安裝完成。
4 簡單并行例子
執行下面一段并行C語言程序hello world,測試OSCAR集群環境。該程序打印參與運算的結點主機名及進程ID,存儲為hello.c,運用mpi命令進行編譯、運行:
#mpicc Co hello hello.c
#mpirun Cnp 4 hello
Hello World! Process 1 of 4 on oscarnode1
Hello World! Process 3 of 4 on oscarnode2
Hello World! Process 2 of 4 on oscarnode3
Hello World! Process 0 of 4 on oscarnode4
#include "mpi.h"
#include
#include
int main(int argc,char *argv[])
{int myid, numprocs;
int namelen;
char processor_name[MPI_MAX_PROCESSOR_NAME];
MPI_Init(&argc,&argv);
MPI_Comm_rank(MPI_COMM_WORLD,&myid);
MPI_Comm_size(MPI_COMM_WORLD,&numprocs);
MPI_Get_processor_name(processor_name,&namelen);
fprintf(stderr,"Hello World! Process %d of %d on %s\n",
myid, numprocs, processor_name);
MPI_Finalize();
}
5 結論
本文在研究高性能計算集群的發展技術及體系結構的基礎上,以OSCAR集群為實例,快速部署一個五結點的集群環境并運行簡單的并行測試例子。高性能計算集群將逐漸替代專用、特別是昂貴的超級計算機對大規模并行應用構建原型、調試和運行。基于PCs或工作站的高性能計算快速部署及其可靠性和可管理性研究,對高性能計算集群在科學研究和工程計算等領域的應用,促進高性能計算技術的應用方面具有深遠的意義。接下來的工作將集中在集群環境的可靠性及可管理性研究,是高性能計算集群更好地為科學、工程計算服務。
參考文獻:
[1] Thomas E. Anderson, David E.Culler, David A. Patterson et al., "A Case for NOW (Networks of Workstations),"IEEE Micro, February 1995,pp.54-64.
[2] Beowulf Project, /.
[3] TOP500 Report,available from/.
[4] OSCAR Project, /.
[5] 鄭緯民,等,譯.[美]Rajkumar Buyya,編.高性能集群計算:結構與系統(第1卷),電子工業出版社,2001.
[6] Timothy G. Mattson,"High Performance Computing at Intel: The OSCAR software solution stack for cluster computing", IEEE Proceedings of the 1st International Symposium on Cluster Computing and the Grid (CCGRID’01).
[7] OSCAR Administrator’s Guide, /.
篇4
去年年會上公布的國內高性能計算百強中,國產系統已經雄踞前三名,而且第一名的天河一號系統位列當年的全球高性能計算500強的第5位。在今年10月28日~29日舉辦的年會上,國產系統已經囊括了前7名,而經過優化升級后的天河一號奪得將于今年11月的全球500強桂冠幾無懸念。
年會也給我們帶來一些思考。作為國家競爭力組成部分,高性能計算不僅面臨著在性能上不斷突破的挑戰,還面臨著把這種超級計算的能量在更多的應用領域釋放出來,以滿足各行各業用戶需求的壓力。
超級摩爾定律
在過去的30多年里,高性能計算的每秒浮點運算性能以每10年提高1000倍的速度,幾近線性地完成了從百萬億次(106)、10億次(109)、萬億次(1012)到千萬億次(1015)的跨越,預計在2020年之前,高性能計算將會再提高1000倍,從而突破百萬萬億次(1018)大關。
在高速發展中,高性能計算完成了從專用CPU到以x86通用CPU為主、從單核到多核、從向量機到集群、從由CPU組成的同構系統到以CPU和GPU共同組成的異構系統的提升。如今,系統中各節點間的通信網絡也正在完成從局域網向InfiniBand的過渡。
功耗問題在性能不斷提高過程中變得日益突出,令普通的PC用戶難以想象。以天河一號為例,如果采用CPU的同構架構,每天僅電費開支就會超過15萬元,而如果采用CPU+GPU的混合架構,在同樣性能指標下可以節省2/3的功耗。
作為混合架構的新貴,GPU無疑成為本次年會報告中涉及范圍最廣的熱門技術。雖然GPU的浮點運算能力是CPU的數十倍,但功耗相當,因此同樣存在因為發熱而引發的“0”“1”翻轉問題。這在GPU圖形應用中只是暫時影響一個像素,而在高性能計算中意味著整個計算的失敗,甚至用戶無法確認每次運算結果是否正確。記者注意到天河一號、星云等國產高端系統都采用了具有糾錯功能(ECC)的GPU,從而確保了計算結果的可靠性。
高性能計算高速發展的背后是美、日、中三個高性能計算機強國之間的激烈競爭。
“我國在高性能計算機研制方面取得了長足進展,在性能指標上達到世界領先,但競爭還是非常激烈。今后兩年,美國和日本將會有若干萬萬億次高性能計算系統投入使用,這將拉開美日與我國的距離。”北京航空航天大學教授錢德沛在談到我國高性能計算面臨的挑戰時表示:“我國在CPU、互連、I/O、系統軟件、算法等核心關鍵技術上還有很大差距,缺少跨學科的人才,多學科協作研發尚未形成風氣,應用與世界先進水平差距較大,在可持續發展上需要政府持續投入和科技界與工業界的持續努力。”
應用應該無處不有
“高效能仿真技術可以研究已發生、尚未發生或設想的現象,可以研究難以達到的微觀、中觀或宏觀的世界,具有綜合、協同、繼承和互操作的特性,因而成為現代科學研究中求解高度復雜問題的重要科學手段,并與理論研究、實驗研究并列為認識與改造世界的三種重要的科學研究手段。”中國工程院院士李伯虎表示。
高性能計算不僅在像宇宙起源這樣超長超大時空環境下的模擬、深空探測這樣在地面無法進行的模擬中發揮著獨到的作用,而且能用更少的時間與金錢代價和更高的效率來替代或者驗證現實過程中的模擬和實驗。
我國西部不僅蘊藏著全國約80%的水力資源,同時,近代82%的強震也集中在該地區。中國水利水電科學研究院不僅成功地將高性能計算用于高壩地震相應分析,而且有的計算結果還修正了以往小尺度實物模擬時出現的較大偏差。
化工、制藥、冶金乃至沙塵暴這些風馬牛不相及的領域,在中科院過程工程研究所研究員葛蔚看來,在算法上同屬于多尺度數值模擬問題,即在仿真模擬中既要研究可能小至分子原子個體的微小顆粒的運動規律,又要在數米乃至數千米尺度上研究微小顆粒個體之間的相互作用。這種多尺度的問題沒有高性能計算是不可想象的,而高性能計算在過程工程上的應用卻給人留下充分的想象空間:不必一爐接一爐地冶煉來獲取新的合金配方,也不必像神農嘗百草那樣去尋找新的藥品,化學家也會用計算機取代實驗室的瓶瓶罐罐和各色試劑。
美國應用數學家Phillip Colell曾將涵蓋工程模擬問題的算法歸納為7種。如今這些算法都可以移植到GPU上,區別只是移植難度和程度。換言之,高性能計算應該或者說未來應該無處不在。
“1998年,美國一個化學家因計算化學的研究而獲得諾貝爾獎。我國的化學界還比較扭捏,到現在還稱之為理論化學,而不叫計算化學,”中科院軟件所首席研究員孫家昶說,“我們與物理學家已經很好地合作了,但與化學家的合作才剛剛開始。”
只有相關行業的專家參與,高性能計算的應用才能推廣,高性能計算自身進而才能得到持續發展。
百萬萬億次的挑戰
按照高性能計算過去30多年的發展規律,每秒浮點運算性能將在未來十年內迎來百萬萬億次。這1000倍性能的提升帶來的挑戰是空前的。
聯想集團首席科學家祝明發認為,功耗將成為最大的挑戰,假設按照現有的雙核CPU搭建,僅CPU的總運行功率就高達500千千瓦,電費即便按0.5元/千瓦時計算,也高達600萬元/天。如何將系統總功率限制在20千千瓦將會是一個巨大的挑戰。此外,來自系統方面的主要挑戰有:10~100PB(1015字節)內存和EB(1018字節)外部存儲帶來的帶寬與延時以及功耗限制的挑戰,并發性和局部性的挑戰,來自系統恢復的挑戰等。
祝明發認為,應對百萬萬億次的挑戰必須要全方位地創新,包括硬件與體系結構,體系結構與編程方法,算法、工具、應用和運行系統的協同優化設計以及低功耗高可靠、可恢復的體系結構設計等方面。“1000倍的跨越,是靠兩倍、3倍的跳躍積累而成”。
美國航天航空局(NASA)Langley研究中心Singleterry博士則提到了另一個問題:“NASA高性能系統的內核數每4年翻5倍,從2004年的10240個內核、2008年的51200個,到2012年預計將達256000個,而到2016年將達到1280000個。而算法是否也能每4年翻5倍,從2008年的2000個增加到2016年的50000個?“未來是把錢花在更大和更好的硬件上,還是花在擴展性更強的算法上?”
篇5
技術的進步正在帶來資源的解放。在石油勘探領域,這絕不是一句空話。在高性能計算逐漸成為石油勘探海量數據分析的基礎保障后,每一次技術的演進都會帶來勘探效率的提升及勘探技術革新的可能。所以,對于更強大的高性能計算技術的出現,石油勘探行業甚至已經從“需求”變成了“渴求”。業內眾多研究機構一直在期盼數年后才會成熟的、比目前全球最先進高性能計算技術強大數百倍的百億億級(即每秒能實現百億億次浮點計算)高性能計算技術能夠更快到來,為其所用。但在今年召開的以石油行業應用為核心的第七屆高性能計算(HPC)及企業解決方案研討會上,記者發現,隨著國內石油勘探難度的加大,用戶對更強、更先進的高性能計算平臺和相關技術的需求也出現了新的變化。
開源+節流 化解“找油難”
在今年的研討會上,東方地球物理公司研究院處理中心總工程師賴能和特別強調了石油勘探行業目前面臨的三大“計算”挑戰:可控震源高效采集技術的快速發展和廣泛應用,使日產數據采集量直線上升,計算壓力進一步加大;高密度高覆蓋采集提高了勘探的精度,使精細化的數據分析成為可能,對計算能力的提升產生了更強烈的需求;高密度采集成為一種新趨勢,數據體越來越大,導致了計算效能的降低。
和去年相比,東方地球物理公司研究院處理中心今年承接的高密度海量數據3D項目更多、數據體也更大。賴能和告訴記者,處理中心目前承載的薩科桑3D、塔里木哈7、新疆瑪湖、新疆大慶3D、博孜3D等30個寬方位資料和科研攻關項目共涉及19029平方公里、384.8TB的數據量,均是采用高密度海量數據處理。這對處理中心的軟硬件處理能力、技術和資源配置都帶來了巨大壓力。
事實上,東方地球物理公司研究院處理中心的壓力恰恰來自“找油難”。石油是不可再生資源,當大區塊開發告一段落后,石油勘探業一方面要用更精細化的手段在原有開采區塊發掘新機會,一方面則要積極向海洋拓展或到過去“看不上”的區域去找油。這種轉變帶來的直接影響正是賴能和所說的因數據體量飛速增長而產生的計算壓力。“地質結構越來越復雜,對計算的需求也會越來越大。以海洋石油的開采為例,其計算量往往要比陸地石油開采大好幾倍。近年來主流軟件的演變從時間偏移到深度偏移再到逆時偏移,計算量越來越大。盡管集群單個節點的計算性能在提升,但集群節點量的增速也并沒有降低。”英特爾(中國)企業解決方案部能源行業資深企業客戶經理杭曉東認為石油勘探行業產生的“開源”需求,僅依靠提升CPU的計算能力已無法滿足,這也是讓英特爾改變產品發展方向,從異構向微異構調整的原因。今年,英特爾推出的Xeon Phi協處理器就是這樣的產品,在提升單點性能
得到大幅提升,從而讓高性能計算的效能提升。
在英特爾數據中心及互聯系統事業部技術計算和平臺應用支持團隊平臺架構師何萬青看來,高性能計算技術不僅能幫用戶“開源”,還能幫用戶“節流”,以提高產量。他說:“Xeon Phi的出現提供了一種可能性——用比較少的節點提供更高密度的計算能力。如野外的數據采集工作,就可以因為顯卡被集成到處理器中的特性而實現現場粗粒度的計算處理工作,減輕數據總量負擔。”云與大數據應用的可能
高性能計算與可視化應用難以落實到云計算系統的現實,曾一度讓業界認為“云”將與石油勘探行業無緣。目前,對非結構化數據的分析更有價值的Hadoop,對于幾乎沒有非結構化數據的石油勘探行業似乎也是無用之物。云計算與大數據真的不適合石油勘探行業嗎?這個問題已經出現了新的答案。
在石油行業,斯倫貝謝、蘭德馬克、Nice等服務公司正在提供功能較為完整的石油軟件云服務解決方案,并已被多家國際知名石油公司所采用。中石油也已經啟動了云技術平臺建設項目。
“三年前我們開始探討虛擬化機制,嘗試勘探開發上的一些應用。去年正式立項做云計算的技術測試、跟蹤并組織隊伍,主要進行四點應用的實驗,今年爭取搭一個實用的環境。”中國石油大慶油田公司勘探開發研究院總工程師張鐵剛如是介紹了中石油云計算平臺項目的進展情況。他說,目前中石油總部的云計算平臺主要在考慮如何實現數據中心的整合、資源優化、高效利用,結合能源應用的特點,讓云平臺在地學綜合研究、辦公經營管理業務以及生產管理方面發揮價值。
對于高密度采集這類應用,中石油已經完成了基于虛擬化技術的實驗,實驗證明云平臺確實可以大幅降低地學應用研究的成本。張鐵剛很看好云平臺在中石油生產管理效率提升和辦公運維管理簡化方面的前景。據他介紹,初期測試結果顯示,通過資源整合,中石油可以將各單位門戶服務器的利用率從20%提高到70%,將專業應用服務器的利用率從20%提高到40%。他直言,在中石油云技術平臺建設項目中,英特爾提供了很多重要的技術支持,特別是將其為互聯網公司構建云計算系統的經驗,傳遞到了高性能計算領域。
在石油勘探業,高性能計算集群規模越來越大,卻未必能帶給用戶最佳的投資回報。計算的高峰期資源不足,低谷期資源卻被閑置。特別是,在集群空載狀態下同樣要支付巨額電費。與互聯網企業的需求一樣,不少高性能計算用戶也希望能彈性調配計算資源,分享低谷期的計算平臺,用于日常生產、辦公。今天,中石油的嘗試已經把云的設想變為現實。
石油勘探行業是個典型的海量數據行業,但它對數據處理的需求與大數據目前的定義還存在很大差距。雖然目前石油勘探行業的典型應用還沒有必須依賴Hadoop的需要,但賴能和認為,這項新技術依舊值得他們長期跟蹤。因為如果Hadoop發展到了適合其應用模型時,就會成為大幅降低硬件采購成本的一個選擇。
相關鏈接
跳出“石油”看高性能計算
篇6
近日,全球最快計算機性能排行榜――TOP500最新排名新鮮出爐。TOP500每年上下半年會分別推出兩次,已經成為全球最快計算機的大檢閱,許多國家公司都以上榜為榮;另一方面,TOP500已經成為業界觀察IT技術與產業發展的一個風向標。
2007年上半年公布的第29屆TOP500,重新排定了世界各國在高性能計算機方面的座次。實際上,各個國家所占的比例,與其國家的經濟與科技發展水平基本相當,同時也預示著在未來發展中的潛力。業內人士歷來把高性能計算機的應用程度視為國家綜合實力的體現。
透過第29屆TOP500,我們依然可以看出IT技術與產業發展的幾大趨勢。
雙核處理器占據統治地位
自從多核技術出現以來,對多核處理器的追求就成為業界一大看點。從單核到雙核,從雙核到4核,從4核到8核,甚至從8核到16核,多核處理器不斷推陳出新。從第29屆TOP500我們可以看出,雙核處理器占據絕對領先的地位。Intel公司的酷睿雙核處理器增長最快,被205個系統所采用,而6個月前推出的第28屆TOP500中,采用酷睿雙核處理器的系統僅有31個。此外,有90個系統采用了AMD公司的雙核Opteron處理器,而6個月前采用該處理器的系統僅為75個。
采用四核處理器的系統并不如人們想像得那么多,這與雙核處理器日益成熟、用戶易于接受直接相關。現在看來,雙核處理器已經成功入主主流市場,而四核處理器則會在AMD四核處理器推出之后才會有上佳的表現。
x86服務器發展迅猛
在高性能計算中應用的處理器多種多樣,其中包括Intel的Xeon、酷睿Dual Core、安騰,AMD的單核與多核Opteron,IBM的PowerPC、Power,HP的PA-RISC、Alpha,Sun與富士通的SPARC64等。在TOP500中,采用最多的還是x86架構的處理器,Intel與AMD公司提供的x86處理成為采用最多的兩種處理器。TOP500中,采用Intel公司處理器的系統達到289個,占所有系統的57.8%,而6個月前的數字分別為261個和52.5%; 采用AMD公司處理器的系統達到105個,占所有系統的21%,而6個月前的數字分別為113個和22.6%; 采用IBM公司Power處理器的系統則降低到85個,占所有系統的17%,6個月前的數字分別為93個和18.6%。
高性能計算采用的處理器的變化可以折射出服務器發展的一個方向:x86服務器發展迅猛,并且勢不可擋;非x86服務器發展勢頭減緩,成本增高。
巨頭對產業影響日漸突出
最新的TOP500,使入圍系統總數的廠商名次重新排定。在6個月前,入圍系統總數排名TOP500第一的公司是IBM,而現在列頭名的卻是HP。不過,最新排名主要反映的趨勢是: 業界領頭企業HP和IBM占據絕對領先的地位,HP系統占所有系統的比列由6個月前的31.6%提高到了41.9%,而IBM所占的比例則由47.2%降到了38.4%。兩家企業的系統所占的比列超過了90%,其他任何一家企業所占的比列都不超過5%,這一變化是任何業內專家都無法預料的。
在TOP500中,排名前10名的公司依次為HP、IBM、Dell、SGI、Cray、Linux Networx、Sun、日立、NEC與Atipa Technology。另外,在TOP500中,曙光公司制造的系統名列其中,是惟一一家中國公司。
資料顯示,在性能排行的前50位(TOP50)里,IBM系統占有率為46%,性能占前50位系統性能的49%,而HP則缺席TOP50。這從另一個側面反映出IBM在構造頂級高性能計算機系統方面占據優勢,而HP則在利用工業標準技術構建成本更低的系統方面具有優勢。其實,這一結果正是兩家公司發展策略的一個體現。
技術格局表現穩定
在高性能計算發展中,集群結構、千兆以太網互聯技術和InfiniBand技術占據主流地位,從最新的TOP500可以看出,這一格局沒有發生大的變化。
篇7
瞻博網絡在不久前正式了一項針對新一代數據中心的開發計劃:“層云計劃”。此計劃的目標是建立新一代的單一數據中心網絡構架,不但能大幅提升數據中心的網絡擴展能力、性能及簡易度,同時也能靈活地支持未來整合式的、虛擬化的數據中心環境。
革新數據中心架構
瞻博網絡希望通過云計算基礎設施的應用來促進云計算應用的創新,這也可以說是替未來的超級數據中心鋪路,超級數據中心可以利用其擴展能力,在不影響任何性能的情況下,動態地配置所有資源,包括路由服務、安全服務、存儲應用及服務器等。舊有的網絡基礎設施架構,它們難以處理爆炸式增長的應用需求,限制了現代數據中心的運作與管理。瞻博網絡本次所提出的層云網絡設計構架除了具備支持超級數據中心所需的靈活性和性能以外,還能持續降低數據中心基礎設施的管理成本和復雜性。
據記者了解,瞻博網絡的層云計劃將由新成立的數據中心業務部門負責,該部門執行副總裁顏維倫博士表示:“瞻博網絡公司的層云計劃解決了現代化大型數據中心所面臨的問題,使云計算能發揮最大潛力。瞻博網絡致力于開發更具靈活性、效率更高的網絡基礎設施,讓客戶能夠以前所未有的擴展性與靈活性來提供各項服務,與此同時大幅降低總體擁有成本。”
瞻博網絡其實在2008年11月就推出數據中心基礎設施解決方案,促進數據中心整合、服務器虛擬化以及可持續性信息技術這些IT創新的發展。瞻博網絡數據中心基礎設施解決方案,包括最新的EX8200系列以太網交換機、MX系列以太網服務路由器、SRX系列服務網關以及配備單一強大的網絡操作系統JUNOS。
完善的云計算策略
透過數據中心和全球網絡幫助客戶實現云計算無疑是一個很美好的愿望。但云計劃并非一蹴而就,對此,瞻博網絡提出,用戶應該根據自身的實際,從以下三個方面按步驟建構自己的云端基礎架構。
數據中心網絡化:今天的網絡技術發展讓用戶必須重新思考過去 20 多年來所建立的基本數據中心架構。瞻博網絡的愿景是為數據中心發展單一的“邏輯交換機”。 瞻博網絡在幫助客戶從傳統三個層級以上的模式,簡化成二個層級的模式。這樣,用戶將能夠實現一個簡化的交換環境,在這個環境中包括了虛擬化安全服務,用以連接跨云端和云端之間的強大路由功能以及用以管理網絡的控制中心。未來,瞻博網絡的層云計劃將提供扁平化、單層、無阻塞、整合的數據中心構架。這個構架的設計,是為了在提供單一交換機既有的簡單特性外,同時兼具擴展性,能夠擴展至更大規模的云數據中心中應用。
啟動更穩定網絡:連續運作的基礎架構是云計算的基本條件。此外,系統要具備靈活性,能根據流量、重要性、用戶和應用程序動態調整網絡資源。同時,系統還應當能夠提供控制和管理能力。為此,在瞻博網絡最新推出的路由產品中,已經有效擴展了設備的連接能力,滿足更大規模網絡的應用需求,此外,產品還提供了先進的網絡虛擬化模塊、智慧型服務模塊以及應用層與用戶層的智能感知功能。
篇8
【關鍵詞】高性能計算;應用;需求;發展
中圖分類號: G623.58 文獻標識碼: A 文章編號:
一、前言
高性能計算的應用為國內的科技發展做出了諸多的貢獻,因此,國內也在致力于拓展高性能計算的應用范圍,從而希望進一步的促進高性能計算的發展,為我國的科學技術的不斷發展提供技術支持。
二、高性能計算概述
高性能計算(HPC) 指通常使用很多處理器(作為單個機器的一部分)或者某一集群中組織的幾臺計算機(作為單個計 算資源操作)的計算系統和環境。有許多類型的HPC 系統,其范圍從標準計算機的大型集群,到高度專用的硬件。大多數基于集群的HPC系統使用高性能網絡互連,比如那些來自 InfiniBand 或 Myrinet 的網絡互連。基本的網絡拓撲和組織可以使用一個簡單的總線拓撲,在性能很高的環境中,網狀網絡系統在主機之間提供較短的潛伏期,所以可改善總體網絡性能和傳輸速率。
三、中國高性能計算的現狀與發展
20 世紀 90 年代以來,隨著"神威"、"銀河"、"曙光"、"深騰"等一批知名產品的出現,我國成為繼美國、日本之后的第三個具備高性能計算機系統研制能力的國家,被譽為世界未來高性能計算市場的"第三股力量"。我國在高性能計算機研制方面取得了較好的成績,掌握了研制高性能計算機的一些關鍵技術,參與研制的單位也由科研院發展到企業界,有力地推動了高性能計算的發展。目前,我國的高性能計算環境已得到重大改善,總計算能力與發達國家的差距逐步縮小。我國的高性能計算技術拓寬了我國科學技術研究的深度和廣度,提高了我國工業的生產效率,同時也節約了很多生產成本。我國的高性能計算技術目前主要在石油行業、天氣預報、核能模擬、生物工程等領域得到了廣泛的應用。
但是中國高性能計算的應用還不夠廣、不夠深入,應用水平和應用效率都比較低下。我國對高性能計算應用的投入還遠遠不夠,應用研發力量薄弱且分散,缺乏跨學科的綜合型人才,從事高端應用軟件研發的單位很少,企業界基本未介入,沒有良好的相互交流的組織渠道等。高性能應用軟件的開發和高效并行算法研究尚不能與高端計算機發展同步,在一定程度上存在為計算機"配"軟件的思想。我國高性能計算應用的研究與發明明顯滯后于高性能計算機的發展。國外品牌還占領著很多關乎國計民生的關鍵領域和行業,國產高性能服務器的市場份額仍然偏低。
四、高性能計算應用需求
為滿足國民經濟發展的需求,高性能計算的需求正在迅速增長。尤其是在基礎科學領域,對計算的需求永無止境,而且性能越高的計算機越能產生高精度高時效的成果。目前,深騰6800一直處于滿負荷運行狀態,折射出下一步高性能計算環境建設的更大需求和更高目標。2004年開始,超級計算中心結合中科院“1+10”創新基地和重點學科的部署,重點對過程工程、空間科學、計算化學、藥物設計、材料科學、地球科學、環境科學、生物信息、流體力學、高能物理等11個應用領域開展了多次“十一五”高性能計算應用需求調研,下面分別從研究方向需求、計算需求、應用軟件需求和可視化需求方面對調研結果進行具體分析。
1研究方向需求
“十一五”期間各領域用戶都對高性能計算提出了需求,例如化學工程中復雜系統的結構研究、空間環境災害性天氣變化規律的研究、有機發光材料的研究、禽流感、艾滋病等重要病毒及重要疾病的藥物篩選、納米電子器件的研究、地幔對流的數值模擬、大規模地震波的數值模擬、癌癥樣品相關基因的測序及突變分析等。這些項目的主要來源為國家自然科學基金、“八六三”計劃、“九七三”計劃及科學院項目。
2計算需求
計算需求調研包括用戶對內存大小、存儲大小和CPU機時的需求。為統一表述用戶的計算需求,我們以深騰6800為參照對每個用戶的計算需求換算為每年所需CPU機時數,并進一步轉換為計算性能(Tflops)來表示。此外,還對用戶單個大作業對高性能計算機計算能力的需求進行了調研。
根據目前的數據統計,所有應用領域計算機時需求每年約為3.3億CPU小時,換算成計算性能約為198。6Tflops,用戶單次計算對計算能力的最大需求為67。6Tflops。目前,用戶的計算需求已遠遠超過現在超級計算中心能提供的計算能力,很多大型應用都要求超級計算中心提供服務。
3應用軟件需求
科學計算方面的軟件很多,超算中心在深騰6800上購置和配備了大量的應用軟件。如Intel的C、Fortran編譯器、Totalview,VTUNE調試工具、LAPACK,MKL等各種數學函數庫,還有化學計算軟件Gaussian03、密度泛函計算軟件ADF2004及非線性動力分析有限元程序ANSYS LS-DYNA等。“十一五”期間各領域用戶除了對計算提出需求外,對計算過程中所需要的應用軟件也提出了各自的需求,超級計算中心將根據用戶的具體需求,挑選、購買并安裝用戶需求多的商用和開源應用軟件。
五、高性能計算應用發展展望
高性能計算的最終目標是應用。為了更好地完成預定的大規模科學計算任務,不僅要有好的高性能計算機,還要有與之相匹配的高質量的高性能應用。但是,目前我國高性能計算機的實用效率還停留在較低的水平,應用水平低成為高性能計算的薄弱環節。我國的高性能計算事業要走可持續均衡發展的道路,如何使當前的建設成果充分發揮其效益并可持續發展,改善應用水平較低的現狀,是我們必須思考的問題。我國對加強高性能計算環境和超級計算中心建設一直給予高度重視和大量投入,但是高性能計算環境建設不能盲目地以追求計算機峰值為目的,而是以應用需求為向導,以應用水平為依據,針對不同應用的計算特點,引進不同體系結構的計算機系統。
高性能計算機的問世給科學研究及工農業生產等帶來了前所未有的發展,同時對用戶使用計算機也提出了更高的要求。高性能計算機規模的不斷擴大、多核處理器的出現都加大了用戶使用計算機的難度。針對擁有多處理器(核)的高性能計算機系統,開展操作系統多核版本的研究、多級并行編程模型、軟件工具和編譯器的開發、現有MPI,OpenMP編程模型的優化,并行算法的改進等工作,對提高應用軟件在多核(≥16核/節點)、流計算(IBM Cell,GPU)等下一代計算機系統上的運行效率至關重要。并行應用的可擴展性也是百萬億次、千萬億次大規模計算機系統面臨的一個很大的挑戰。
六、高性能計算的作用和地位
高性能計算已被公認為繼理論科學和實驗科學之后,人類認識世界改造世界的第三大科學研究方法,是科技創新的重要手段。高性能計算相對于理論科學和實驗科學,有其獨特的優越性。首先,高性能計算既免除了真實實驗的昂貴代價,而且不會對環境產生任何影響,即所謂無損傷研究。第二,高性能計算可以實現全過程全時空的研究,獲取研究對象發展變化的全部信息。第三,高性能計算可以低成本地反復進行,獲得各種條件下全面系統的數據。
事實證明,有了高性能計算不再需要進行核試驗,有了高性能計算可以預測海嘯和地震的危害,有了高性能計算可以通曉人類大腦的奧秘和生命的密碼。在我國為滿足國民經濟發展的需要,高性能計算的需求正在迅速增長。無論是國家安全、石油氣象等主要領域,還是以生物醫藥、微觀結構研究為代表的新一代科技,都高度依賴高性能計算。
七、結束語
高性能計算的出現極大的提高了科技的創新能力,不論是在工業還是農業領域,高性能計算都可以發揮其科學計算的優勢,很好的完成各項復雜的計算任務,從而為工農業的快速發展提供了技術保障。但是,對于高性能計算運用,我們還需要進一步的開拓。
參考文獻
[1]戴建光,許軍才.高性能計算在水工上的應用[J].科技廣場. 2008(12)
[2]石云,陳蜀宇.論高性能計算與普適計算[J].六盤水師范高等專科學校學報. 2008(03)
篇9
通過湖南省招標有限責任公司嚴格的招投標程序,評標專家就投標方解決方案的性能、價格和服務等方面進行綜合評估,最終,以AMD四核皓龍處理器為計算核心的曙光5000高性能網格計算平臺系統解決方案勝出。該方案的服務器硬件平臺為曙光5000,體系結構為混合式的集群(Cluster)架構。平臺由78個4路4核刀片計算節點、3個8路4核SMP(Symmetrical Multi-Processing)胖節點、2個管理節點、2個I/O節點、1個Web 節點、存儲容量為20TB的存儲陣列組成,計算網絡采用Infiniband高速交換機,管理網絡采用千兆以太網交換機。
目前,中南大學高性能網格計算平臺已經建設完成,并投入試運行。在2009年10月29日HPC China2009會議上公布的“2009年中國高性能計算機性能TOP100”中,中南大學這套高性能網格計算平臺憑借10214.40 Gflops的雙精度浮點運算理論峰值,8273.68 Gflops的Linpack測試值和0.81的效率,國內高校排名名列前茅。
中南大學10萬億次高性能網格計算平臺自面向全校提供試運行服務以來,已有注冊用戶170余人,涉及國家重點基礎研究發展計劃(973)、國家高技術研究發展計劃(863)和國家自然科學基金等項目數十個,計算平臺日常平均CPU使用率達到60%~90%,內存利用率40%以上,刀片服務器節點使用率高,運行狀況良好,完全達到了預期的建設目標。
篇10
關鍵詞:計算資源管理 遠程虛擬化 協同應用 OSGI
中圖分類號:TP311.1 文獻標識碼:A 文章編號:1007-9416(2015)05-0000-00
1系統設計
通過對“集群、工作站、存儲、網絡、應用許可證”等計算機資源進行統一管理和統計分析,實現計算機資源的監控、應用、管理、協同一體化。
(1)系統主體功能。集成開發系統監控、系統告警工具,實現軟件、硬件資源運行狀態實時監控,提高系統運行維護效率和問題發現處理及時性;建立計算資源管理數據庫,實現計算機資源靜態資產信息和動態分配信息的分析管理;建立了軟硬件資源的分配模型,實現了計算資源的按需動態分配引進虛擬化技術,探索地震處理解釋專業軟件Web應用模式,實現了石油勘探、開發和設計等專業軟件的遠程應用與協同作業。(2)功能模型劃分。①計算資源信息管理,實現對所有軟硬件資源基礎信息的管理,主要包括硬件資源管理、軟件資源管理、網絡運行管理、設備檔案、資料管理。通過對這些信息的收集、存儲為資源調度提供依據。②計算資源實時監控,計算資源監控模塊部署在各個集群節點及專業應用服務器上,主要實現對計算機資源實時動態監控。③資源運行與使用統計分析,以可視化方式展現計算機資源負載和運行狀況,主要包括:負載分析:分析 CPU、內存、交換區利用率和內存換頁率。④遠程應用共享,遠程應用集成是采用web遠程桌面技術對現有遠程應用接入的擴展和功能增強,通過部署遠程Web桌面,為勘探開發、數據管理等各種應用提供基于Web的遠程訪問能力和用戶應用定制能力。⑤統一用戶管理,通過部署目錄服務、身份管理,在用戶管理子系統中,對地震資料處理中心、一體化解釋決策中心、數據中心的各系統的用戶進行統一管理,集中實現訪問控制。(3)系統框架結構。基于J2EE開放的技術和平臺,采用LDAP技術,實現了用戶統一管理和認證;采用OSGI規范,構建了支持業務模塊的集成架構,降低了各業務模塊的耦合,實現了業務模塊的熱插拔。采用虛擬化技術,實現了石油勘探、開發和設計等專業軟件的遠程應用與協同作業。通過Agent、SNMP和SSH等技術,實現了對集群節點、服務器、網絡等計算資源狀態的實時采集,建立了軟硬件資源的分配模型,實現了計算資源的按需動態分配。
2系統實現
(1)身份認證與單點登錄。目錄服務在網絡資源查找、用戶訪問控制與認證等方面得到廣泛應用。目錄服務就是按照樹狀信息組織模式,實現信息管理和服務接口的一種方法。目錄服務系統一般由兩部分組成:第一部分是數據庫,一種分布式的數據庫,且擁有一個描述數據的規劃;第二部分則是訪問和處理數據庫有關的詳細的訪問協議。本平臺中采用目錄服務技術實現用戶統一管理,采用LDAP目錄服務。(2)遠程接入。基于WEB遠程桌面,能快速訪問所有基于服務器的應用,對每個用戶、部門、訪問地點或工作職能來說,訪問都是安全的、個性化的。集中化管理用戶訪問的權限、控制速度和性能,不改變客戶端、網絡、應用或服務器。不改變現有應用部署下,用戶可通過一個統一、熟悉的web化界面簡單的訪問他們所有的應用。(3)數據采集技術。包括動態采集和靜態采集兩部分,靜態采集主要是一些硬件信息,如節點的名稱、CPU的標志符、CPU的型號、CPU的頻率、CPU的頻率的單位、CPU個數、單個CPU核數、內存大小、磁盤大小、SCSI控制器的型號、本地文件系統名。動態采集包括CPU的負載(系統占用、用戶占用、空閑)、內存使用(實際內存大小、占用多少、空閑多少)、I/O(磁盤的I/O速度、網絡的I/O速度)信息。適用操作系統為Redhat Linux 內核2.4和2.6,系統版本是4.3、4.4、4.6。
3運行環境
(1)硬件環境:服務器端配置:WEB應用服務器(CPU-雙CPU\4G以上,E-cache-2M以上,內存-16G以上,硬盤-500G以上,光驅-普通光驅);數據庫服務器(CPU-雙CPU\4G以上,E-cache-2M以上,內存-16G以上,硬盤-1T以上,光驅-可刻錄DVD光驅);客戶端,CPU: PIII733或celeron1G以上。內存:512M。硬盤空間:30 G以上可用硬盤空間。(2)軟件環境。服務器端配置:WEB應用服務器(操作系統- Redhat Enterprise Linux5,數據庫-,其他- Tomcat 6 及備份策略);數據庫服務器(操作系統- Redhat Enterprise Linux5,數據庫- ORACLE 11g數據庫,其他-);客戶端,通訊環境:能夠登錄Internet,帶寬:1M以上。操作系統:windows2000、windows2003、windowsXP等。瀏覽器:Internet Explorer8.0以上版本。
4結語
系統研究實現了計算資源的“用、看、管”,滿足了專業軟件應用、系統維護管理、計算資源管理三方面的需求,取得了以下幾個方面的應用效果:1)建立了軟硬件資源分配模型,改進計算資源分配模式,提高資源應用效率;2)實現實時監控,系統運行安全性、時效性得到提升;3)提供資源統計分析數據,為投資決策提供依據;4)成功應用軟件虛擬化應用技術,初步實踐云計算理念。
參考文獻
[1] 陳麗華,郭彤.Windows 2000/2003組策略在圖書館OPAC檢索機管理中的應用[J].計算機與網絡,2006年20期.