大數據時代數據的特征范文
時間:2023-12-28 17:49:29
導語:如何才能寫好一篇大數據時代數據的特征,這就需要搜集整理更多的資料和文獻,歡迎閱讀由公務員之家整理的十篇范文,供你借鑒。
篇1
中圖分類號:TP391 文獻標識碼:A 文章編號:1009-3044(2016)27-0003-02
正是互聯網技術的應用,為整個社會發展轉型奠定了重要基礎。尤其是在大數據應用日益成熟的今天,完善構建大數據分析平臺,結合大數據分析的具體功能屬性和應用價值,從而實現企業經營發展與大數據應用的體系性融入。當然,想要用好大數據平臺,就必須了解大數據平臺有哪些應用特征,同時也要了解其具體應用要求和內涵,從而適應大數據時代特征,為企業發展提供科學決策。
1 大數據時代特征分析
大數據時代的到來,標志著人類對計算機互聯網技術的應用實現了實質性進步,與以往時代所不同的是,大數據時代具有自身特征,其主要表現為:首先,其整體數據量極大,與以往信息時代不同的是,大數據應用的前提就是收集龐大的數據信息,因此,其存儲數據的計算量遠超過了當前的計量,其基本上使用的都是P/E/Z做計量單位,起碼存儲在1000T以上,甚至高達10億T。
其次,其特征主要表現為種類繁多、內容多樣。尤其是整個大數據體系中不僅包含了各個行業的信息,同時其收集形式也極為多樣,從文字、圖片到音頻、視頻等等,基本上囊括了整個時代的各個信息鏈條和內涵。正是數據信息的多樣化和多元化決定了我們可以通過使用大數據實現對整個數據資源的體系化認知,同時這也從根本上提升了我們對數據的處理和應用能力,使得整個數據分析更有參考價值和意義。
此外,隨著當前大數據應用不斷成熟,如今數據價值密度相對較低,尤其是在物聯網廣泛應用影響下,信息感知應用極為廣泛。雖然當前大數據時代,整個數據量大,但是有價值的數據較少,其整體價值密度不大,因此如何才能有效完善數據篩選,優化其價值應用,就是當前利用大數據平臺過程中所不可忽視的內容。
最后,我們應該認識到大數據時代的重要特征還表現為數據處理深度快,且對數據處理有較高的時效性要求。正是高速的數據處理速度和處理時間要求,決定了當前大數據開發應用不同于傳統數據篩選應用。但是我們應該辯證看待大數據平臺的優缺點,尤其是當前我們所具備的技術和設施已經無法滿足海量信息數據的處理,可以說正是快速發展的時代要求決定了我們必須優化信息數據利用方式,構建完善的數據應用平臺和機制。
2 當前大數據分析平臺應用內涵及具體狀況分析
想要對大數據分析平臺應用要求進行體系化認知,就必須清楚大數據分析的定義內涵、應用過程中存在的問題和不足以及其具體的解決對策。只有對其形成體系化了解,才能從根本上服務大數據分析平臺建設、應用。
2.1 大數據分析的定義
結合大數據結構復雜,數據更新速度快、價值密度低、整體數據量大等一系列特點,當前我們在應用大數據時,存在較大難度,而全面應用大數據的關鍵就是實施大數據分析,通過完善大數據分析的具體定義認知,從而構建合理的大數據分析平臺。實際上,大數據分析指的是在數據密集的環境下,通過使用科學分析的方法,對數據應用進行重新思考,并完善構建全新數據分析應用模式。大數據分析認為其分析應用過程并非技術上的應用,而是一種具體的使用策略,其核心內涵指的是通過使用一種相對以往更有效分析方式來管理、獲取海量數據的方式,并且在這一過程中獲取有價值的信息。結合當前大數據應用實際狀況,我們可以認為,大數據分析指的是:依據數據生成理論,通過構建大數據分析模型,從而結合集成化大數據分析平臺,使用云計算技術完善分析數據資源,并且最終探究出大數據模式背后規律的過程。
2.2 大數據分析方法闡述
目前大數據分析的重要內容是可視化分析,通過集成交互可視化和自動化分析,從而提升大數據分析方法的應用效果。從大數據分析系統架構層面看,整個大數據分析具有9層架構體系,尤其是其中的復雜結構處理技術、平臺應用標準規范和虛擬化接入技術以及其知識服務交易模型和大數據知識服務質量評價體系等共同組成了大數據分析服務的關鍵技術應用機制。在傳統數據分析過程中,其更多針對的是原始數據進行抽樣、過濾,并結合數據樣本分析,從而探究其中存在的具體規律和特點。因此,其中最重要的特點在于通過使用復雜算法能夠從體系化的數據中尋找到更多有價值的數據信息。在當前計算水平和存儲能力大大提升過程中,大數據分析所面臨的對象是整個動態變化的數據群體,而不是客觀不變的數據樣本,因此其大數據分析的應用重點從高效解決收集到的信息入手,只有提升數據運算的準確性,才能夠沒滿足大數據分析的應用要求。
2.3 大數據分析過程中存在的問題闡述
正是因為當前大數據時代的迅猛發展,整個大數據分析過程中存在著一系列問題和不足,其大大制約了大數據分析的應用效果,其問題集中反映為:首先,想要實現精準的大數據分析,需要解決其大數據存儲問題,與以往相比,大數據時代,其整體數據存儲遠遠超過了傳統數據時代,而想要實現其數據分析目的,就必須完善數據存儲。而目前在大數據時代,整個數據存儲并不是靜態的,而是動態發展的,因此只有探索完善適應大數據存儲的具體機制,才能實現其最終目的。其次,大數據質量不高,分析利用難度大。因此,需要探究增強數據可用性的方法。此外,大數據分析的核心在與數據建模。但是當前由于建模水平較差,暫時很難結合大數據時代特征,完善建模應用。最后,缺乏專業的大數據分析工具。在傳統數據分析過程中,經常使用SPSS等軟件進行數據分析,但是在大數據時代,缺乏能夠完善有效的數據分析工具。因此,結合大數據時代特征,構建大數據分析平臺,對于整個大數據時代應用發展來說,極為必要。
3 構建研發大數據分析平臺的具體策略
在大數據分析過程中,最需要探究的就是其分析方法。分析方法的好壞直接關系到大數據分析應用的具體結果是否合理有效,同時也關系到其數據分析結果是否切實有用。而不同類型的大數據則需要截然不同的分析方法。而在構建大數據分析平臺過程中,需要從以下方面入手:
首先,要結合大數據分析應用的具體要求,完善數據存儲技術。當前增速驚人的大數據決定了我們想要實現大數據分析目的,就必須探索完善的數據存儲方式。通過應用云存儲技術,能夠確保其存儲容量以及數據整體的可用性和安全性等等,從而解決大數據分析平臺的數據存儲問題。而通過提升大數據分析存儲技術,必然也能夠有效提升其具體應用技術。同時優化數據存儲,能夠有效提升大數據的應用效果,實現大數據分析的良好效果。
其次,大數據分析是大數據應用的核心,而實施大數據分析模式則需要針對當前類型多樣、迅速增長的信息數據進行分析,并且通過合理分析,從龐大的數據體系中尋找到有價值的信息內涵,進而為整個決策活動提供相關依據的模式。在大數據分析過程中,數據庫、知識庫和模擬庫是整個數據分析模型構建的主要要素,通過在構建現有知識庫和數據庫模型基礎上,進行數據分析,其得到相應結果,一方面優化模型構造,另一方面也實現對數據的具體應用。通過優化數據模型應用,能夠有效提升大數據分析能力和應用實效。
最后,大數據分析系統作為當前數據平臺應用的核心,其主要應用功能在于為數據挖掘應用提供完善基礎,同時使用分布式存儲法和并行計算體系,通過使用多重分布計算,從而實現對各類信息資源進行有效計算和分析,通過提供關聯、分類、預算等一系列方法,結合各種數據挖掘分析機制的應用,從而實現整個大數據平臺價值效用的體系化發揮。
4 結語
在當前互聯網技術對各行各業發展的具體影響推動下,通過使用大數據技術,能夠為各行業發展奠定重要基礎,尤其是大數據分析的科學性,能夠為企業發展提供重要決策依據。而對各企業來說,尋找大數據應用與企業自身經營的結合點,則能夠從根本上提升大數據應用效率。而想要構建符合實際經營需要的大數據分析平臺,就必須從大數據時代特征分析入手,通過具體了解和體系化融入,從而實現大數據分析平臺的具體研發。而構建大數據分析平臺將從根本上發揮大數據技術優勢。
參考文獻:
[1] 馬新莉.面向服務的大數據分析平臺解決方案[J].科技創業,2013(10):72-74.
[2] 韓晶晶.大數據時代下數據分析理念的辨析[J].管理信息,2014(5):33-35.
篇2
關鍵詞:大數據;統計學;教學改革
中圖分類號:C829.29 文獻識別碼:A 文章編號:1001-828X(2015)024-000-01
一、引言
最早提出“大數據”時代到來的是全球知名咨詢公司麥肯錫,現在的社會是一個高速發展的社會,科技發達,信息流通,人們之間的交流越來越密切,生活也越來越方便,大數據就是這個高科技時代的產物。大數據具有以下的鮮明特點:第一個特征是數據量大。第二個特征是數據類型繁多,多類型的數據對數據的處理能力提出了更高的要求。第三個特征是數據價值密度相對較低,如何通過強大的機器算法更迅速地完成數據的價值“提純”,是大數據時代亟待解決的難題。第四個特征是處理速度快,時效性要求高,這是大數據區分于傳統數據挖掘最顯著的特征。
統計學專業是與數據分析處理聯系最為緊密的學科之一。大數據時代的到來不僅為統計學專業的發展帶來的前所未有的機遇,同時也帶來了巨大挑戰。傳統的統計學專業已不再適應大數據時代的信息爆發式增長的要求,這就要求我們應該對統計學專業進行重新定位,并在此基礎上調整相關課程,改革傳統的教學手段以及完善教學評價體系,以適應大數據時代的到來。
二、統計學專業改革的建議
(一)人才培養目標的重新定位
如果說以往的統計學專業是以培養簡單的“應用型”人才為目標,那么隨著大數據時代的到來,社會不僅僅需要會應用基礎統計知識處理相關領域的問題的單一的應用型人才,而是對人才提出了更高的要求:大數據時代下的統計學專業的人才除了應該具備基礎的數據收集,處理和分析的能力之外,還應該了解相關應用領域的背景知識,而且應具備很強的自我學習能力,以適應大數據時代數據量大,總類繁多,時效性高等發展特點。因此,統計學人才培養目標應該重新作出調整,應該以培養全新的“復合型”統計人才為新的目標。
(二)課程設置的調整
隨著人才培養目標的重新定位,隨之而來的就是應該對不再適應時展要求的課程進行必要的調整。
首先,大數據的分析和處理與以往的經典分析方法有很大不同,以往的統計分析方法主要是建立在抽樣基礎之上,而大數據時代信息處理迅速,信息獲得途徑廣泛,而且信息價值密度低,這就要求數據處理時,可以以全體作為樣本,而不是進行抽樣;分析時必須考慮所有數據而不是剔除所謂的異常數據。因此,以往的經典統計分析方法已不再適應大數據的處理和分析,必須適當的調整經典分析方法的課程設置,增加新的適用于大數據分析的課程。
其次,隨著數據量的爆發式增長,所有的統計工作對計算機的依賴程度越來越高,這就要求統計學專業的學生不僅掌握統計學專業的基礎知識,同時應該熟練掌握計算機專業知識相關知識,因此,在課程安排時,應注意計算機相關課程的適當增加。
基于上述原因,可以考慮增加如下課程:機器學習,模擬算法,數據挖掘,R語言軟件分析等課程,同時適當降低傳統分析方法課程的學時比重。此外,為了使學生能夠對相關應用領域的背景知識有所了解,可適當增設與應用領域相關的通識課程。
(三)教學模式與手段的創新
以往的教學模式,通常是以課堂教學,掌握書本經典理論為主。雖然,傳統教學手段有著學生理論基礎扎實等諸多優點,但是同時也存才學生過于偏重理論知識的掌握,動手能力不足,理論與實踐脫節等缺點。隨著社會的發展,尤其統計學專業自身具有鮮明的應用專業特點。只采用傳統的教學模式和手段顯然不再適合大數據時代的需要;同時,隨著大數據時代的到來,多媒體手段日益豐富多彩,為傳統教學的創新提供了必要的支持。因此,為了適應大數據時代人才的要求,必須改革傳統的教學手段和模式,在傳統教學基礎上,加大實驗教學的比重,在傳統教學外,增加社會實踐環節,引入微課慕課,翻轉課堂等全新教學模式,以提高學生的學習興趣,鍛煉學生理論應用于實踐的能力,從而為以后使用大數據時代的工作打下堅實的基礎。
(四)教學評價體系的完善
傳統的教學評價體系,通常是采用書面考核的方式對學生的學習進行評價,隨著時代的發著,單純的筆試評價不足以衡量學生的全面能力,最后導致出現高分低能的情況的出現。
為了適應大數據時代對人才多方面能力的需求,必須對傳統的考核評價體系做出適當的調整,以評價學生的多方面能力,尤其是動手能力,學習能力和應用相關理論處理實際問題的能力。具體可以采用多種考核方法相結合的方式。如:增加平時的考核力度,增加實踐項目的考核,通過布置適當的項目論文,采用答辯的形式,以鍛煉學生適應以后工作,獨立分析解決問題的能力。
此外,傳統教學評價體系通常是單方面的,只有對學生成績的評價,為了適應大數據時代的到來,全面提高教學質量,可采取雙向教學評價體系,如:增加學生對教學環節的評價體系。以及教師間同行間的評價體系等。
篇3
“用手機上網,搜索簡單的四個漢字,可能就需要消耗60個15瓦燈泡的能量。數據的產生是需要用電的。在云時代,一個數據中心所要耗費的能量是驚人的?!边@是記者在在日前召開的2013施耐德電氣云計算數據中心創新峰會上聽到的一個觀點,由此產生的一個問題擺在我們面前:云時代數據中心應該如何進行能效管理?
能量的邏輯
施耐德電氣全球高級副總裁、APC大中華區總裁黃陳宏指出:“我們正處在一個‘大數據’引領的智慧科技時代?!焖倩ⅰ罅炕汀鄻踊鳛椤髷祿娘@著特征,從部署速度的實時性,部署量級的規模化和全方位的智能化管理方面對數據中心提出了新的要求。在如今這個以“澤”(Zettabytes)為衡量數據量的時代,隨著數據量的爆發式增長,大型、超大型數據中心的可擴展性也越來越受到關注。”
有數據顯示,在2013年,全球有50%的數據中心邁向云計算。云時代大數據的特征,也使得未來數據中心的規模過去不可同日而語。施耐德電氣IT事業部大中華區副總裁、數據中心業務總經理曲穎告訴我們,過去一個銀行的數據中心約在500到幾千平方米左右,但是現在,“我們接觸到的越來越多的銀行,都在規劃建設5000到20000平方米的數據中心。據統計,一個20000平方米的數據中心,一年需要耗費20兆瓦的電量。現在有越來越多的萬米數據中心建設在中國的北方地區,比如,這是一個應時而生的變化?!?/p>
對于整個行業而言,如何在云時代數據中心的規劃設計、建設運行中更多地節約能效,積極地面對能源的消耗和碳排放的控制,對于這些數據中心的所有者而言,既是一個未來發展的趨勢,也會是要面對的一個巨大挑戰。
一個大型數據中心在規劃建設之始,居然也要“看風水”。在北京建數據中心,東北風和西北風吹來的方向,決定了數據中心窗戶的朝向。因為要對一個數據中心進行能效管理的話,首先就要盡可能地利用自然冷卻,以減少空調所帶來的耗電量。所謂“風水”,就是在規劃數據中心之初,把是否能夠最大程度利用地理條件帶來的便利放在首要位置上考慮。
曲穎說:“在數據中心里,我們不講節能,而講能效。因為能量是有邏輯的,當我們把能源的邏輯理順,能源效率得到提高后,不僅達到了節能的目的,還使數據中心變得更可靠、更優化了?!?/p>
數據中心基因的作用
大數據時代,數據庫的內容不僅海量,而且結構也發生了極大變化。大量非結構化數據的涌入,不僅對數據中心基礎設施帶來壓力,也使數據中心管理平臺從“設備級監控”、“被動級管理”、“主動級管理”、“自動化管理”逐步向“智能化管理”邁進。同時,數據中心的規模也在不斷地擴大,可能是幾千平米。但是現在,越來越多的數據中心已經突破了一萬,甚至幾萬平方米。這在能效管理與建設規劃方面都提出了更高的要求。
黃陳宏進一步提出數據中心的“基因”一說,他認為數據中心擁有業務基因和技術基因,“要讓我們的數據中心能夠跟上云時代的發展,我們必需依靠數據中心的‘基因’?!?/p>
國內的通信運營商在全國有幾萬,甚至幾十萬個規模不一的基站,如果要把這些基站進行智能化整合,應該怎么做?
曲穎說:“這就要求我們對數據中心的‘基因’有著更深入的認識。如果將企業、或是一個智能機構比作成是一個生命體,那么它的特點由其基因來決定。不同的基因有不同的特征使得數據中心有著不同的特質。舉個例子,如何滿足客戶在兩周之內要完成移入一萬片刀片服務器的要求,這就需要你能夠掌握數據中心的基因密碼,然后在此基礎上實現快速重組。通信企業在并購后,存在不同組織結構下的IT設施如何進行更有效整合的問題。這對于數據中心的建設與運行,也是一個很大的課題。這個時候,只有充分了解掌握了這些IT設施的“基因”,并進行重組,才有可能達成目的,組合成一個全新模式?!?/p>
事實上,在數據中心的規劃、建設過程中,也無時不刻需要考慮到“基因”問題。在能效管理環節,“基因”更是關鍵點。據了解,在北京上地的IBM數據中心項目中,施耐德通過重組基因的方式,復制優質基因,幫IBM實現了PUE從1.77下降到1.5以下,每年節約運行成本約100萬人民幣;位于北京經濟技術開發區(BDA)的Telehouse北京數據中心,施耐德電氣可幫助其實現高達25%的節能目標,并達到Telehouse在中國大陸地區的最低PUE值,實現最高能效水平。
“經過這樣優化之后的數據中心,才有可能是最優質的、最賺錢的數據中心。”曲穎說。
軟件定義數據中心
在云時代,對數據中心的設計師建設、基礎設施的管理控制也有新要求,黃陳宏進一步提出:“由軟件來定義數據中心會是將來的一個必然趨勢?!?/p>
篇4
隨著我國互聯網的發展,云計算、物聯網已成為耳熟能詳的詞匯;但是對大多數人只是聽過這些詞匯但是卻不能理解他們的含義。大數據時代已成為一個不可阻擋的趨勢,對于圖書館服務行業來說是一種機遇也是一種挑戰,圖書館行業的發展應該主動面對這一現狀,應該主動面對大數據時代所帶來的挑戰,積極應對。我們都知道現階段數據的發展以冪指數方程的趨勢發展,大數據時代將成為圖書館行業發展的核心,因為它支撐著圖書館在新時期下的發展。但是面對這一大數字時代帶來挑戰,應如何積極的面對,成為圖書館發展行業首要考慮的問題。本文主要針對這一問題進行討論,望能夠找到有效的解決方案,促進圖書館行業的發展。
1 什么是大數據時代
1.1 大數據時代的概念
對于很多人來說,大數據時代這一詞匯是很熟悉的,但是對于它的含義確是很陌生的。大數據時代其實很難用一個完整的定義,我們通??山忉尀椋捍髷祿˙ig data)通常用來形容一個公司創造的大量非結構化和半結構化數據,這些數據在下載到關系型數據庫用于分析時會花費過多時間和金錢。大數據分析常和云計算聯系到一起,因為實時的大型數據集分析需要像MapReduce一樣的框架來向數十、數百或甚至數千的電腦分配工作。從這大數據時代的解析我們能夠看到,大數據時代不是單單的一種技術,但是各種信息的綜合體,是一個巨型的資料庫。
最早提出“大數據”這一詞匯的是一個全球知名咨詢公司麥肯錫,他表示到:數據已滲透到各個領域,成為促進社會發展的重要因素。面對這樣的形式,人們加以合理的利用海量的數據資源,將會把世界的發展推向一個新紀元。
1.2 大數據時代的特點
我們由大數據的概念很容易的了解到,它是一個多種數據庫的聚合體。有些人就根據大數據的概念將其特點歸結為一下三點:量大、多樣、實時,有人直接將這三點簡單的成為3V特征(三個特征的首字母都是V開頭,簡稱為3V)。但是我認為大數據時代的特點除了這三點外還其他的,諸如數據價值密度高、處理數據快的特點。因此大數據時代特點我們可以總結為:①數據量大,也就是說數據的體量大,對于體量的衡量我們已經不能用傳統的衡量方式了。②種類的多樣性,大數據庫的種類包含眾多的行業,多個領域,而且具有文本、圖像、影視等多種樣式,這一特點尤其適用于圖書館的發展;③更新速度快,也就是我們說的實時性,大數據的更新每時每刻都在發生,保證了數據的實時性。④數據的價值密度高,涉及到傳輸、決策、感知、控制開放式循環的大數據,大量的不相關信息對未來發展模式和趨勢的可預測性分析起著至關重要的作用。⑤處理速度快,數據持續到達,數據分析要求實時處理而非批量式分析。
2 大數據時代下圖書館面臨的機遇與挑戰
我們由大數據時代的特點可知,隨著大數據時代的發展,處理速度和更新速度使得其利用價值在不斷地上升,在大時代數據對圖書館行業的發展有著很大的影響。
2.1 大數據時代下圖書館面臨著挑戰
在新的時代下要求圖書館服務行業要對其圖書館內部資料有一個充分的了解,而且這種了解要緊緊跟隨著圖書館內部資料的更新不斷改變。傳統的圖書館服務行業的特點就是人工管理占很大一部分,數據更新速度差,管理效率低下,比較浪費時間;由于人們對知識的渴望,圖書館的作用越來越大;圖書館場地的局限也是一個重要的問題;大數據時代的高效性、實時性是傳統的圖書館服務行業所不能比擬的,如何在大數據時代下更好的發展圖書館服務行業成為一個重要的問題。
2.2 大數據時代下圖書館面臨著機遇
其實在大數據時代下圖書館的發展,機遇與挑戰而言,機遇所占的比例不少于挑戰的比例。大數據時代下數據形式有多樣化、信息更新的實時性、快速的處理速度,大數據這些特點都將會促進者圖書館服務行業的發展,未來會成為圖書館服務行業發展的核心部分。
3 圖書館行業應該如何應對大數據時代下的影響
面對大數據時代下的機遇與挑戰,圖書館服務不能坐以待斃,應該積極的面對挑戰,勇于創先,實現機遇利用率的最大化。
3.1 創新圖書館管理方式,提高圖書館的智能化管理水平
傳統圖書館管理模式已不能適應快速發展的社會,對于圖書館的管理,我們應該做到與時俱進。創新圖書館的管理方式是適應社會發展的必然趨勢。我們可以充分利用大數據時代量大、快速、實時的特點,提高圖書館的智能化管理水平。數字化時代,文獻資源等進行數字化、語義化處理是圖書館進行數據處理的主要模式,在此基礎上借助網絡服務,實現數據共享,從而最大程度滿足用戶需要。
大數據時代的到來可以快速的提升圖書館的服務水平,大數據可以以最快的速度更新圖書館的資源,并對資源進行分類,讓人們根據自己的喜好可以快速的篩選出所需要的種類,節約借書人時間的同時也減少了圖書館行業的壓力。
3.2 高度關注圖書館用戶數據和信息
為了迎接大數據時代下挑戰,要提升圖書館服務質量;我們首先要注重的就是用戶的需求。我們都知道大數據內的資料很多,但不一定都是客戶們需要的資源。因此我們要做到盡可能的滿足用戶們的需求。
做好用戶們的需求我們就要做好以下幾點:①根據用戶們的網頁訪問數量,統計、整理出哪些資源是比較受歡迎的,對其M行大量的收集。②了解用戶的愛好和價值取向,根據其不同的喜好可以向不同的人群進行資料的推薦。
4 總結
在大數據時代下,雖然圖書館服務行業受到了很多的挑戰,但是同時也遇到了很多的機遇,我們要相信,隨著圖書館服務行業的不斷發展和創新,一定能跟隨時代的潮流,為我們提供更優質的服務。
參考文獻
[1]韓翠峰.大數據時代圖書館的服務創新與發展[J].圖書館.2013(01)
篇5
關鍵詞: 數字音樂;傳播模型;大數據;云存儲
0 引言
大數據時代的來臨極大地改變了整個人類社會,為我們的生活帶來了全方位的革新,包括傳播技術和模式。作為對傳播技術高度依賴的音樂產業,是率先深受大數據時代傳播技術革命影響的領域之一。
音樂不僅是藝術品,也是在個層次受眾中廣泛傳播和消費的文化消費品。因此,音樂作為一種特殊形式的商品,有著巨大的市場需求空間。在社會發展的的不同歷史時期,隨著技術的發展,音樂承載形式一直在進化。事實上數字音樂并不是一個新興產物,其存在和發展已經有幾十年了。但是,在大數據和云計算成為主流信息處理技術的新時代,數字音樂的傳播亟待新的傳播模型。
1 大數據的特征
大數據首先意味著數據量極為龐大。2011年5月麥肯錫全球研究中心將“大數據”定義為“數據的量超過典型數據庫軟件工具擷取、存儲、管理和分析能力的數據”。這個定義還不夠全面。更準確的說,大數據意味著從各個方面全方位盡可能多的收集不同的變量,用以描述人、事、物以及現象的各種特征。面對不斷增長的記錄這些變量的需要,擷取數據的數量也相應的快速增長,因此數據庫容量越來越大,最終接近無限大。處理如此海量的數據需要新技術和模型進行存儲、計算和傳輸,從而帶給我們很多意想不到的應用。大數據的主要特征可概括為:①海量與數字化:所有的數據均以數字化的形式存在。(姚遠,2013)。②云存儲:通俗地說,云存儲是指通過網絡技術將數據存放在遠端虛擬空間中。③基于數據總體的計算:傳統統計學通常采用抽樣統計的方法。而在大數據時代,我們是通過分析與話題相關的全部已有數據來分析事物之間的聯系。④智能應用:當數據總量大到一定程度時,隱藏在數據背后的事物的其他特征就會顯現出來,就可以發現事物之間更多的聯系。這些發現可以衍生許多智能應用。
2 數字音樂的數據化與云存儲
數字化并不意味著數據化。將一個對象數據化就是將其置身于量化形式,可以制成表格并加以分析。這與數字化大相徑庭,數字化僅僅是將相似信息進行二進制編碼處理供計算機處理。
從二十世紀九十年代起,人們就開始用數字化的形式記錄和傳播音樂作品(馮毅,2008)。但在大數據時代,僅靠對音樂內容的數字化處理方式遠遠不能滿足有效的傳播音樂需求,還需要更加便于管理和計算的傳播方式,即數據化。
采用知識本體論方法將音樂作品數據化不失為一種行之有效的方法。我們在之前的研究中已經構建了音樂領域知識本體,其中定義了5個子本體描述上級概念結構,分別是音樂事件、音樂作品、音樂人物、音樂地點、音樂技術。在這些子知識本體中,通過定義子類的概念、特征以及各類別和實例之間的關系,我們建立了一個完整的系統描述音樂的各項特征。(楊立,2011)
作為新型的網絡個人應用,一些數據服務供應商開始提供音樂云服務。數據服務提供商提供設備和服務,允許用戶建立個人音樂庫,在設備間同步更新音樂和向臺式電腦、筆記本、平板、智能手機和其他的數碼播放器等傳遞音樂。
這些音樂云偏向于私有云,主要針對個人客戶。這種云存儲模式對于數字音樂傳播的有效性還遠遠不夠。我們需要一個更加開放的平臺和機制,允許所有在傳播鏈上的參與者都能在版權法的保護下合法地分享他們的作品、產品和服務。
3 數字音樂傳播鏈上的參與者
這里所說的參與者指的是在數字音樂傳播鏈涉及的所有的個人或組織。他們共同組成了如下傳播鏈:音樂制作者指音樂作品內容最初的創作者,包括作曲家、歌詞作者和表演者。音樂要想突破時間和空間的限制進行傳播,首先就需要將音樂記錄下來進行處理,因此我們需要音樂內容處理者,包括:錄音棚、演出機構和數據處理商。數字音樂內容供應商擁有自己特殊的傳播渠道或者營銷網絡,通常和網絡運營商或云服務提供商關系密切。他們提供在線數字音樂交易平臺,在數字音樂的傳播發揮著重要作用。此外,還需要云服務提供商提供包括存儲、搜索、上傳、分享,甚至是交易的公有或者私有數字音樂云服務。除此之外,還需要網絡運營商為傳播鏈上所有參與者提供網絡連接服務。數字音樂可預裝載諸如MP3播放器、手機等設備中捆綁式銷售,因此這些相關硬件生產商也與數字音樂傳播直接相關。傳播鏈的終端端是數字音樂消費者,包括個人消費者、公眾媒體和娛樂行業。
4 數字音樂傳播模型
數字音樂傳播涉及三個層次,分別是制作層、存儲層和交易服務層。如圖2所示。
①制作層:制作層描述數字音樂作品由最初創作到最終數據化的過程。②存儲層:為了更為便利和有效的傳播,數字音樂作品基本儲存在云端。經過第一層次的數據化過程,數字音樂實現轉化,儲存在不同的云端中。③交易服務層,即為用戶服務層,數字音樂交易發生在該層次。該層次可為電子商務平臺,在符合版權保護的前提下,允許混合電子商務模型B2C,C2C,B2B和O2O等。
5 結語
數字音樂作為一種特殊的信息產品,消費十分廣泛。不同與實物產品和虛擬產品,數字音樂介于兩者之間。音樂創作過程是物理過程,但是最終制作和傳播可以徹底數字化。一個適合的傳播模型對整個產業的發展是大有裨益的,值得深入研究。限于篇幅,本文呈現的模型僅僅是一個框架,更多細節問題,比如技術、運作策略以及產業鏈等有待將進一步深入研究。
參考文獻:
[1]馮毅.音樂的革命:從電子音樂到數字音樂[J].藝術評論,2008,10:59,70-74.
篇6
關鍵詞:大數據時代;大學英語聽力教學;教學改革
一、引言
當前,在全球信息化快速發展的大背景下,信息技術對教育的革命性影響日趨顯著,教育大數據的研究和應用已經引起我國政府的高度重視。國務院2015年8月印發《促進大數據發展行動綱要》(國發〔2015〕50號),指出:“探索發揮大數據對變革教育方式、促進教育公平、提升教育質量的支撐作用。”[1]教育部2016年6月印發《教育信息化“十三五”規劃》(教技[2016]2號),強調:“積極發揮教育大數據在教育管理平臺建設和學習空間應用等方面的重要作用。”[2]這表明推動大數據在教育中的改革,已經納入國家的發展戰略,對大學英語聽力教學的改革具有重大的影響。
二、大數據時代的背景
“大數據時代”概念由一家咨詢公司麥肯錫提出,“大數據”主要體現在數據已經滲透到當今每一個業務,每一個行業,數據已經成為一個行業甚至一個國家的重要因素。隨著互聯網和信息產業的不斷發展進步,海量的數據被挖掘和運用,它們構成了“大數據時代”的要素,推動著人們的生活節奏和思維方式。大數據時代的特征可以用五個V來概括:更大的數據容量(Volume)、種類的多樣性(Variety)、更快的生成速度(Velocity)、更加分散的價值密度(Value)、可視化的呈現(Visualization)。[3]這些特征將給我們的社會生活及思維方式帶來重大的轉變,主要體現在三個方面:一是整體大于離散。海量數據總體的特性大于離散的特性;第二,混雜大于精確。大數據時代數據繁多,不能一味追求精確,要接受混雜,掌握事物總體的發展趨勢;最后的特性是,關聯大于因果。在大數據時代,事物之間的因果關系已不能再成為我們關注的唯一,而事物之間的相關關系才是我們最需要注重的方面。[4]在大數據時代海量數據流通且容易獲取的背景下,大學英語聽力教學有了一個新的平臺,如何正確地使用這個大平臺,促進教學改革?本文將從大數據的本質和特點,結合大學英語聽力教學的現狀和不足,研究在這大數據時代,大學英語聽力教學應該做出怎樣的變革。
三、大數據時代對傳統大學英語聽力教學的沖擊
(一)大學英語聽力教學的現狀
傳統的聽力教學模式是訓練學生對一段英語反復、機械地訓練,這種訓練容易造成課程乏味,學習效率極低的情況。許多教師意識到這種不足,開始嘗試新的以學生為主體的教學模式。但這種模式對自制力差,不自信的學生存在不確定性,也不能保證每位學生都能在“聽”和“說”這兩項技能上得到有效的訓練。同時這種模式也無法提供給學生課本以外的聽力資源和實踐機會,和隨時對學生的學習特征、學習時長及頻率、交互行為和作業情況等做出數據記錄、分析和反饋。而這些難以滿足的方面,正需要大數據時代的優越性來補充。
(二)大學英語聽力教學資源的立體多元化轉變
傳統的大學英語聽力教學,多傾向機械訓練,不注重聽力資源的輸入多樣化。這種教學方式往往是事倍功半,學生的學習主動性和聽力理解應用能力未得到顯著提高。大數據時代為英語聽力教學提供了豐富的學習資源,拓展學生們的視野,提高學生們對聽英語的積極性和對英語的興趣。[5]擁有一個海量數據的大數據庫能把數據、影音、圖像等資源巧妙地與英語聽力教學融合在一起,提高學生聽英語的積極性。大數據時代,大學英語聽力教學資源在不斷豐富,從只能從書本課堂學習固定資源到收聽國外紀錄片,人物訪談等英語國家本土聽力視頻。大數據把英語聽力教學與社會相結合,豐富拓展了學習手段和聽力材料。大數據時代里豐富有效的學習資源極大地沖擊變革著傳統英語聽力教學。
(三)慕課、微課、翻轉課堂對傳統課堂的沖擊
MOOC、微課、翻轉課堂是大數據變革教育的體現,這些教學平臺利用海量數據將學生集合于一個課堂,其中師生間的互動,學生間的互動,學生與機器人的互動能更加頻繁、有效和高效。大數據時代高效技術手段支持下的多種教學平臺已經有明顯的成效,且在大數據的教學平臺下,學生不但是這海量數據的使用者,還是這些數據的提供者。[6]筆者2017年對本校藝術加林學學院、公管學院、食品學院和人文學院的大一和大二學生共900人,分別進行了兩項問卷調查:1.教學者(你老師)是否經常還是非⁄很少使用大數據支持多媒體教學?2.學習者(你自己)對大數據支持多媒體教學十分積極還是無所謂?共獲得852份有效數據。其中分析到兩組數據:教學者使用兩種教學模式的人數比例;以及英語學習者對兩種教學模式的學習積極性比較,如表一和表二所示。表一:共852份有效數據中,反映教學者經常使用大數據支持多媒體教學的學習者為604人,約占70.90%,反映教學者非或很少使用大數據支持多媒體教學的學習者為248人,約占29.10%。問卷表明:當前英語教學中,非或較少使用大數據支持多媒體教學的教學者還占有一定比例。表二:學習者在兩種教學模式下的積極性明顯不同。針對經常使用大數據支持多媒體教學,十分積極的學習態度人數明顯高于無所謂的學習態度人數;針對非或很少使用大數據支持多媒體教學,除去不接受的學習者750人,102名學習者中十分積極的學習態度人數明顯低于無所謂的學習態度人數??梢钥闯觯簩W生們對于更新鮮、更具活力的大數據支持教學模式具有更大的興趣與學習動力。以上數據表明:大數據支持下,融合數據、影音圖像等資源的線上立體化,多媒體教學無疑能為老師和學生帶來更多的幫助與新鮮感。因此,推動大數據支持下的先進有活力的教學方式是大學英語教學改革所要注重的部分。
(四)英語聽力教學手段的多元化轉變
傳統聽力教學中,兩周一次的聽力短時訓練遠不能提高學生的聽說應用能力。隨著大數據時代的推進,學生學習英語的手段和工具日益多元化。除了登陸英語聽力學習平臺和網站外,各種智能手機、平板電腦等移動設備的普及,實現了學生們能在移動終端上,結合老師指導,在各種學習軟件上隨時隨地進行英語聽力訓練,這種多元化的聽力教學手段也成為大數據時代下的一大特色。比較常見的聽力學習軟件有“可可英語”“VOA每日英語”“每日英語聽力”等。大數據時代,老師可以借助這些大數據平臺進行網上教學,使英語聽力學習不再局限于課堂,學習的時間和空間更加靈活多變。
四、大數據時代下大學英語聽力教學改革的幾點對策
(一)構建英語聽力訓練平臺和英語聽力評估系統
大數據時代海量數據的記錄及分析能將大學英語聽力教學與各方數據信息相互結合起來。為提高學生們的學習效率和積極性,需要構建一個隨時隨地訓練學生聽說的平臺,和一個能夠為之提供評估測定的系統。一個完善的英語聽力訓練平臺,不但要有大量的英語聽力素材,更需要提供學生模擬場景訓練,比如開發學生與英語國家朋友進行網上口語聊天的軟件平臺,讓學生們能更切實地運用所學知識,從實踐中獲得聽說交際能力的提高。還需構建一個完善的評估系統,對學生的不足之處及時反饋建議。
(二)提高教師信息技術能力
在信息不斷更新,不斷填充的大數據時代,世界的變化速度之快超乎想象。這一大背景下,更需要教師們提高自身的信息技術能力,學習掌握基本的數據分析和統計軟件,如Excel、SPSS、Clementine、Visio和SwiffChart軟件等,以更好地記錄分析學生學習行為和特征,適時進行學生英語聽力能力評估和反饋。教師在教學過程中也應充分挖掘大數據平臺上學生感興趣的題材和內容數據,及時提供給學生融合社會熱點的學習資源,掃清聽力材料中的背景知識障礙。教師們還可以利用這些軟件對學生學習過程的記錄進行分析,及時調整教學模式,進一步完善大學英語聽力教學系統。
五、結束語
綜上所述,大數據時代的豐富資源和海量學習平臺全面地改變著大學英語聽力教學的學習手段和教學方式。大數據時代要求聽力教學改革應該是數據驅動教學,促進大學英語聽力教學手段平臺多樣化,教學資源多元信息化,提高教師信息技術能力。正因如此,我們需要利用好大數據時代的特點,利用這些海量的數據,完善大學英語聽力教學的改革。
參考文獻:
[1]國務院關于印發《促進大數據發展行動綱要》的通知.
[2]教育部關于印發《教育信息化“十三五”規劃》的通知.
[3]維克托•邁爾——舍恩伯格,肯尼思•庫克耶.大數據時代——生活、工作與思維的大變革[M].周濤,譯.杭州:浙江人民出版社,2013:27-96.
[4]麥紅宇.大學英語聽力教學改革與定位[J].廣西民族大學學報:哲學社會科學版,2009,(11):189-192.
篇7
關鍵詞:陳四樓煤礦;大數據;安全管理
1大數據的概述
大數據是信息化建設發展到新高度的產物,是指無法在一定時間范圍內用常規軟件工具進行捕捉、管理和處理的數據集合,是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。大數據具有海量的數據規模、快速的數據流轉、多樣的數據類型和價值密度低的特征。
2大數據在陳四樓煤礦應用于安全管理中的策略研究
煤礦安全管理作為長期以來困擾煤炭行業安全高效發展的嚴峻課題,改革開放以來,雖然我國煤炭百萬噸死亡率已經下降到0.083,但對比國外先進國家煤礦安全管理水平仍有不小差距。煤礦大數據技術的引入為持續推動礦井安全管理注入了強大動力,并且煤礦安全生產和安全管理過程中所積累的海量數據也與大數據特性有所交集。相比傳統的信息處理技術而言,大數據更符合當前信息時代數據爆炸的現狀。同時大數據強調數據的快速流轉與價值,提高對數據的“加工能力”,并在最短的時間內通過“加工”實現海量數據的分析處理和增值,其客觀存在的依據是洞察力。隨著綜合信息化的高速發展,大數據勢必成為礦井豐富安全管理的重要手段,是推動煤炭行業安全發展的必然之舉。
3陳四樓煤礦安全管理現狀、信息數據特征
3.1礦井安全管理現狀
(1)近年來,礦井雖然加大了改革創新、先進生產力和自動化、智能化設備的引進力度,采掘工作面現場機械化、自動化和智能化生產水平不斷提升,且技術改造持續完善,但受開采深度不斷增加的影響,礦井重大致災因素逐步凸顯且種類逐漸增多,同時作為煤與瓦斯突出礦井,受其生產本質的制約,井下現場生產作業期間仍不能完全擺脫人工勞動強度大、作業環節較多、作業流程較復雜等不利因素。(2)對于煤礦安全生產事故,尤其是重特大傷亡事故是各煤礦企業談聲色變和不愿談及的家丑,其事故相關的寶貴經驗和數據也是不愿自行共享的,且就目前煤礦安全事故分析仍偏向于事后分析,未能真正有效地實現超前預警、事前防控的最佳效果,導致安全管理效能未能完全得到釋放,與此同時全面有效且有深度的事故分析工具在煤礦中應用較少。(3)陳四樓煤礦作為井工煤礦,開采深度較深,且作為煤與瓦斯突出礦井,采掘工作面受瓦斯賦存異常、地質構造條件、重大災害和開采條件復雜等多方面不利因素的影響,同時現場安全生產較難控制。
3.2陳四樓煤礦信息數據特征
(1)信息數據體量大。礦井井下現場生產是動態變化、瞬息萬變的過程,期間所積累的大量數據體量是龐大而繁雜的,并且這些數據也都將作為礦井現場安全生產和日常安全動態管理重要數據。(2)信息數據多樣化。礦井生產過程是實時變化的,其現場各類傳感器及相關安全監測監控設備所采集和監測到的數據也同步實時更新和變化,且圖像數據等半結構化和非結構化數據所占數據密度呈逐步增大趨勢。(3)信息數據價值密度低。礦井在用各類安全監測監控設備及傳感器在生產過程中能夠實現實時同步運行,實時變化的過程中,持續不斷地傳輸和生成大量信息數據,但所產生的這些數據和信息較從中獲取的知識成反比。(4)信息數據生成和增長速度快。礦井信息綜合化和自動化的聯合應用,在安全生產過程中起到了至關重要的作用,也覆蓋了礦井瓦斯監測等系統,通過設備實時監測產生的大量數據,并能夠保持快速增長。
4大數據在陳四樓煤礦安全管理中的實施與研究
4.1大數據改變思路,全面提升安全理念
要有效解決礦井生產過程中繁雜生產系統所帶來的問題和出現的異常信息,就必須轉變思路,降低數據精確性需求,接受大數據時代下混雜而體量龐大的數據,獲得更全面的信息數據,降低人為主觀意識失誤,從而指導礦井重大安全決策。
4.2大數據超前監視設備運行,提高設備運行可靠性
以往煤礦設備管理理念大都是“事后管理”,即在設備出現故障后進行應急性搶修,這種應急狀態下的設備搶修既影響正規作業循環也給設備搶修過程中人的不安全行為、物的不安全狀態等方面帶來安全風險,埋下安全隱患。大數據為消除此風險隱患提供了堅實的基礎和保障。通過大量數據的收集,并進行合理化分析、對比,并結合現場生產實際情況,實現超前預判生產過程中存在的風險和即將產生隱患問題和異常信息,確保安排檢修人員在設備發生故障前進行調整和檢修維護,降低設備損耗、生產影響和風險隱患,提升設備安全管理水平。
4.3大數據技術建立事故分析新方向,實現“雙重預防”超前防范
運用大數據技術分析則更全面,通過收集國內外煤礦提升運輸事故現場數據,包括提升機與作業現場匹配、斜巷坡擋設施設計參數、現場作業環境等數據。運用大數據分析可以深度挖掘以上3個主要因素外的相關要素,設置提升運輸教學模型,指導礦井提升運輸安全生產。大數據分析技術能夠從更多方面考慮事故的預防舉措,真正實現“雙重預防”在安全管理中“防火墻”作用,具有深遠的意義。
4.4大數據強化技術認知,轉變管理思維
機械化、自動化、信息化和智能化建設是煤礦企業順應時展的重要舉措,陳四樓煤礦經過多年孜孜不倦的努力,礦井已與華為公司合作打造了F5G工業光環網技術,并實施取得初步成效,使礦井實現了對環境、設備和人員狀態的實時感知;萬兆工業環網和F5G通信技術的應用,讓礦井開通了信息傳輸的高速公路。同時基于大數據的智能應用,積累了大量的結構化與非結構化數據,而這其中又以非結構數據占主導地位。礦井安全生產管理人員必須轉變以往傳統和落后的管理思維,將抽樣分析向全樣本數據分析蛻變,相比抽樣分析而言,盡管在數據精確性上有所缺陷,但就數據分析情況而言卻全面增強,并且大數據能進一步發掘不同數據之間的關聯性,有效地捕捉傳統分析工具所被疏漏的細枝末節,逐步降低煤礦安全管理過程中人為意識失誤。
5結束語
篇8
隨著科學技術的不斷發展,全世界已經進入大數據時代,大數據的應用給電力系統的運營帶來了極大的便利和優勢,但是隨之而來的就是信息安全問題。本文主要介紹了電力大數據的應用特征,電力大數據給企業帶來的好處以及存在的問題,同時詳細闡述了安全防護技術與管理方法,如何加強信息安全管理,加強安全防護工作,這樣才可以從根本上解決電力企業的信息安全問題。
【關鍵詞】
電力大數據;信息安全;技術
1引言
大數據技術是未來信息社會發展的一個大方向,它為人類全面、深刻地認識世界、認識自身提供了新的方式、新視角,這在此前的時代是無法辦到的,大數據是未來技術發展的一片藍海。大量的數據處理無疑給現在的信息技術提出了新的挑戰,而這一問題在信息化程度不斷提高的電力企業中同樣正在凸顯出來。隨著信息技術的推進和發展,電力企業的數據也會成爆炸式增長。大數據不是洪水猛獸,而是可供利用的信息資產。如何使用好大數據,充分活化企業數據資產,更好地服務電力事業發展和廣大電力客戶將成為擺在電力企業面前值得思考的課題。電力行業應當在大力推廣信息化建設的同時,認識到數據背后的價值,搞好數據治理,并積極投入到數據挖掘與分析運用工作中,實踐大數據戰略,挖掘數據價值,為電力行業發、輸、配、變、用電各環節建設,以及電力營銷等業務發展提供科學指導,及有效解決方案,重視提升電力行業信息化系統輔助決策能力。
2電力大數據的應用特征
大數據本身具有4個典型特征:容量巨大;數據類型多樣;價值密度低;處理速度快,對此業界已基本達成共識,但還沒有統一的定義。電力大數據的應用主要是以業務應用為主,實現面向典型業務場景的模式創新及應用提升。電力大數據應用于大規劃,主要是針對電網趨勢進行預測,通過用電量預測、空間負荷預測以及多項指標關聯分析,進行綜合分析,從而支持規劃設計;電力大數據應用于大檢修,通過視頻監測變電站,準確識別多種表計、刀閘、開關與隔離開關的位置、狀態或讀數,利用大數據技術,智能分析視頻數據,從而代替傳統的傳感器;電力大數據應用于大運行,通過對電網調度的電網設備臺賬信息、設備拓撲信息、設備遙信遙測的相關信息的歷史時刻查詢,預測分析未來狀態,為設備狀態管理提供完善建議,為電網調度提供輔助決策;電力大數據應用于大營銷,拓展面向智能化、互動化的服務能力,面向用電信息采集、計量、收費和服務資源,開展用電互動服務,實時反饋用電、購電信息,例如營銷微信平臺、營銷手機、營銷支付寶等。隨著居民用電信息采集的表記終端數量達到上億只,供電電壓自動采集接入電壓監測點達到上萬個,輸變電狀態監測裝置接入上萬個,監測數據達到上千萬條,電力大數據的應用也具有數據量大、數據類型多、實時性強等大數據的典型應用特征。
3電力大數據給企業帶來的好處
電力大數據屬于一項綜合型數據信息,涵蓋了企業的生產、運營、銷售與服務等多個方面。大數據在電力企業的應用,有效提高了企業工作效率,并科學判斷企業運營狀況和未來發展方向,從而制定并調整科學的營銷政策與方針,促進電力企業朝著正確的軌道運營與發展。正是因為高效率的決策、運營與服務,降低了企業經營成本。通過大數據的分析、監測功能,企業建立起同客戶間的緊密聯系,實現了對客戶的在線服務,全面提升了客戶服務水平,從而贏得了更廣闊的市場空間,為企業發展創造了預期的經濟效益。
4電力大數據給信息安全帶來的風險
大數據背景下,信息數據的運行主要依賴于計算機網絡系統,多方數據參與各方共享統一的互聯網,勢必會帶來信息安全問題,這主要體現在:
4.1數據運行風險
大數據系統時刻需要承擔數據存儲、分析與處理等工作,需要管理者適時更新技術,緩解數據處理的負擔。若技術更新不及時,就可能導致數據運行風險,如:數據丟失、信息失真等。其他的運行故障,如:軟硬件兼容性差、系統異常及管理人員操作失誤、設備更新不及時等也可能引發數據失真。
4.2黑客攻擊風險
黑客攻擊問題成為大數據時代信息安全的大問題,黑客攻擊通常是專業性較強、有組織、有預謀的攻擊,通過竊取大數據、非法獲得信息等來進行非法交易,其破壞性較大,甚至可能造成整個大數據系統的癱瘓,為電力企業帶來不可估量的經濟損失。
4.3電力企業隱私的泄露
電力企業引入大數據系統的同時,需要將企業信息、員工信息以及其他方面的相關信息到網絡數據平臺中,信息一旦進入互聯網就可能面臨著泄密的危險,這些數據若得不到有效管控,很容易造成信息的泄露,從而引發多方面的風險,如:非法分子利用電力企業信息、個人隱私信息等從事非法交易、謀取暴利等,無疑會為企業的發展與運營帶來風險。
5信息安全防護技術措施與管理方法
5.1信息安全防護技術措施
面對大數據給電力信息安全帶來的風險,電力部門必須加大風險管控力度,采用先進的技術積極規避信息安全問題,其中隱私保護技術成為一項關鍵技術,它包括:加密與密鑰管理技術、數字簽名技術、身份認證技術等,不同的隱私保護技術發揮著不同的安全保護功能,并形成了一個有機的架構系統。
5.1.1數據擾亂技術
數據擾亂技術是一項重要的隱私保護技術,它主要是通過擾亂、替換、添加隨機變量等來混淆視線,替代重要的數據信息,并對應生成不確定的信息數據,再開展相關的計算操作。
5.1.2加密與密匙技術
眾多的數據信息安全保護技術中,加密與密匙技術成為被認可的標準數據保護技術,此技術依托于科學的加密算法與密鑰安全,能夠有效確保電力數據信息的安全。
5.1.3安全多方計算技術
該技術的運行原理為:在各個參與方之間進行協作計算函數,參與方的輸入信息保密,不向彼此公開。遇到需要解決的問題時,設計一個函數,相互配合計算此函數,再引入安全多方計算模塊來解決問題。此技術能夠發揮對數據信息的安全保護功能,防止信息泄露,其隱私保護也有級別劃分。
5.1.4數字簽名技術
數字簽名技術,就是只有信息的發送者才能產生的別人無法偽造的一段數字串,這段數字串同時也是對信息的發送者發送信息真實性的一個有效證明,該技術可以確保信息傳輸的完整性。
5.1.5秘密共享技術
秘密共享,是將秘密分割存儲的密碼技術,目的是阻止秘密過于集中,以達到分散風險和容忍入侵的目的,該技術是信息安全和數據保密中的重要手段。
5.1.6身份認證與訪問控制技術
所謂身份認證技術,就是對用戶的身份信息進行驗證與識別的過程,以防范非法用戶的非法登錄行為。最常見的身份認證技術主要包括:口令核對、識別用戶生理特征等。認證成功后,再參照用戶具體的身份信息、職能信息等來限制數據的訪問范圍。通過對各類訪問的控制,最終實現對信息的安全保護目標.
5.2信息安全防護管理方法
大數據時代數據的安全防護不僅要依賴于技術,更重要的是要加強管理,具體應從風險管理系統建設、防護技術的運用和監管等做起。①創建并完善大數據信息安全管理系統。電力企業應認識到大數據安全管理工作的重要性,創建安全管理系統,培養信息技術人才,打造一支先進的信息安全管理工作隊伍,及時更新大數據技術,加大平臺建設力度,做好風險評估等多方面工作,打造一個標準的安全防護管理系統,發揮對信息數據的保護功能。②重視安全防護技術的研發。電力企業為了維護自身的信息安全,必須與時俱進,積極研發信息安全防護技術,加大在信息安全防護方面的投入,鼓勵信息技術人員深入研究新技術,時刻保持自身信息防護技術的先進性,發揮技術措施的保護作用。③健全完善信息安全法律法規。解決數據安全的問題,需要政府加大對信息安全的重視程度,制定并實施信息安全方面的法律法規,利用法律法規來約束、控制一些不法行為,從而達到對信息安全的保護作用。
6結束語
大數據技術的深入發展與廣泛運用,極大地推動著時代的發展與進步,各行各業進入信息數據新時代,大數據系統的運用有利有弊。電力行業作為關系國計民生的重要行業,需要信任并利用大數據技術,然而,信息安全問題成為時代關注的問題,應該加強數據信息安全管理,掌握先進的數據安全防護技術,提高信息防護水平,進而從整體上支持并促進電力企業的發展與進步。
作者: 單位:四川省電力公司運營監控中心
參考文獻
[1]王倩,朱宏峰,劉天華.大數據安全的現狀與發展[J].計算機與網絡,2013(16):67~69.
篇9
早在2012年,GE就已將目光瞄準工業互聯網和大數據,率先提出要依靠機器與設備間的互聯互通及分析軟件,打造智能機器,實現人、機器和數據的無縫協作。
同年,麥肯錫報告也揭示了一個相關事實,即在虛擬經濟占據主導地位的美國,其工業界蘊含的數據總量卻是最大,也最具價值。
那么如何解讀工業大數據,可從產生背景、價值創造和工程實踐三方面考量。
“跨界”整合數據
工業大數據已成為新一輪產業革命的重要動力。
為什么提出工業大數據,源于四個方面:一是數字化裝備和產品的普及,二是裝備和產品網絡化聯接的普及,三是企業向服務型制造的轉型,四是“從搖籃到搖籃”再制造的必然要求。
無論是德國提出的“工業4.0”,還是美國定義的“工業互聯網”,大數據在其中都發揮著重要作用。IBM認為,工業4.0是大數據驅動的智能制造,無數據不智能。GE表示,工業互聯網最重要的就是數據分析,未來每一家工業企業也必須是一家軟件企業,有了軟件必然會有數據。
工業大數據是以工業、工業產品為主體,這些數據源于產品生命周期的各個環節,涵蓋三個重要階段――開發制造階段(即 Beginning of Life )、使用維護階段(即 Middle of Life )及回收利用階段(即 End of Life )。其中,第一階段和第二階段的分離點是產品交付用戶的時刻,第二階段和第三階段的分離點則是產品退役時刻。
在產品生命周期中,包括市場、設計、制造、服務、再利用等各個環節都會產生數據,“全”生命周期匯合起來的數據更大。當然,企業外、產業鏈外的“跨界”數據也是工業大數據不可忽視的重要來源。
認識工業大數據必須從信息時展變遷的視角去權衡。從傳統工業IT到GE強調的OT(Operation Technology)概念,再到DT(Data Technology)時代,工業大數據實際是三流合一,整合的是IT時代信息系統中的數據、OT時代以機器為主體的數據,及DT時代網絡環境下的互聯網數據。
數據驅動價值創造
拉力戰神――Rally Fighter這款車的誕生就是工業大數據應用的一個典型實例。這款車的制造商Local Motors是一家規模不大的網站,之所以能夠生產出這樣一款跑車與越野車完美融合的產品,依靠的是來自全球約三萬多個研發人員提供的一萬多個設計方案,從中尋找最優方案,繼而生產制造。這種模式正是馬云當年稱之為C2B的制造模式。
這個案例可以窺得互聯網時代數據的力量。
制造業采購環節的大數據應用也能夠幫忙企業提升其供應鏈體系競爭力。以長安汽車為例,其對生產供應鏈的高標準建設、格把控,使其在2015年躍居中國品牌價值評價汽車行業第一名。
長安汽車總裁朱華榮在多個場合多次強調,采購工作要嚴格成本管控,做好資源儲備,杜絕零部件保供風險。而在采購環節真正的貨比三家,依靠的是數據,是來自網絡渠道更廣泛的數據,基于長安汽車強大的云計算平臺操作控件。
運行大數據的應用也已有了成功實例。澳大利亞力拓集團通過持續監測位于澳大利亞、蒙古和美國礦井,集成20個系統進行專業分析,同時通過管理實驗數據、操作日志、控制系統、視頻數據以及維護日志,獲得大量數據。這些運行數據可用于優化礦石篩分過程,提高銅礦和金礦產量;識別異常情況,輔助現場決策;加快物流效率,減少成本損失。每年可為一個礦井帶來一百萬美元以上的年收益。
工況大數據實踐
目前,我國在裝備工況大數據平臺應用方面已經初有成效?!笆濉逼陂g,國內裝備龍頭企業已經開始建設裝備工況大數據平臺。隨著應用的深入,需將工況數據的處理分析結果,向企業服務、制造甚至設計系統進行反饋,因此需要替換部分原有的關系數據管理系統。
與遺留系統進行集成,甚至替換“舊”系統,是工業大數據項目區別于互聯網大數據項目的重要內容,因為互聯網業務往往是“全新的”。在具體實踐中,我們形成了 “ 四階段 ” 切換方案――即切入準備、寫入接口切換、查詢接口切換、原數據庫切出。
以三一工業大數據平臺為例,我們現已真正解決了生產系統與其他業務系統的關聯和切換問題。目前,有將近二十萬臺設備(六萬臺活躍設備)已實現接入,其監控數據都可傳到我們的工況大數據平臺上來。
在得到工況數據以后,首先我們可對裝備運營進行監管,不同于傳統的運營監管,在大數據技術支持下,運營是成套設備互相協同的運營,例如:以攪拌站為例,通過收集位置數據、油位數據可以對攪拌車運輸的過程進行優化調度,從而避免擁堵、減少等待、降低能耗。
再舉個例子,我們知道液壓系統是工程機械的核心系統之一,導致故障的原因很多,如密封套腐蝕、內壁刮花、密封環損壞,閥塊受損等。有了工況大數據就可以尋找更深層次的原因。
我們可以通過大規模比對開工指標,從典型取值、波動幅度、回傳密度多個維度進行分析,自動搜索推薦與故障車輛關系密切的特征工況,發現這些故障車輛的每分鐘換向次數在變化幅度上高度相關。
再通過引入互聯網上的行政區劃數據和歷年高鐵建設數據(企業外部數據),可以得出這樣一個結論:這些典型故障均發生在2012年~2013年期間在建重大工程“杭深高鐵”沿線,這為我們尋找更深層次的原因提供了重要線索。此外,通過大規模工況數據我們還可透視宏觀裝備應用情況,根據這些信息進行易損配件需求的預測,優化調配我們的服務資源。當然,裝備開工情況,也反映了各地區宏觀經濟情況。
總之,工業大數據是推動工業產品創新的重要途徑,在我國工業大數據剛剛起步階段,需冷靜思考,堅持應用驅動,邁向中國制造強國之路。
相關鏈接
工業大數據不是“交鑰匙”工程
王建民指出,目前工業大數據不存在“交鑰匙”工程,原因如下所述。
篇10
2015年9月5日,《國務院關于印發促進大數據發展行動綱要的通知》正式,在全社會引起廣泛影響。在此前后,社會上的大數據浪潮洶涌澎湃,推動和裹挾著每一個行業、部門和企業。一些單位和部門急于“搶占大數據制高點”,紛紛出臺了一系列政策、措施、機構和項目;氣象部門也未能例外,以氣象大數據為名上項目、搞工程的苗頭已經出現。如何認識大數據,大數據是否適用于氣象部門,以及適用于哪些領域,是氣象部門決策機構需要思考、分析和綜合歸納的問題,因為這些問題的厘清有助于盡可能避免工作中的盲目性并減少失誤。
(一) 大數據時代的背景
所謂“大數據時代”的到來,是水到渠成的必然結果,歸納起來有以下幾個方面:
1. 數據源泛在化
移動智能設備、可穿戴設備、互聯網應用等設備和系統應用的普及,使得數據的采集不再停留在專業部門的業務系統范疇:手機、身份證、交通卡、銀行卡、門禁卡、網上查詢、網上聊天、網購、網游、GPS定位、視頻監控、ETC等一切智能設備都是數據設備,只要人跡所至,就有數據產生。較之上世紀,數據源已極大地泛在化了。
2. 網絡廣泛連接
在數據源極大泛在化的同時,互聯網、移動互聯網及物聯網將所有數據源連接在一起,人類歷史上首次實現了人與人、人與物、物與物之間廣泛的連接和自由交換數據。從而將單臺設備的數據能力升級到全球網的層次上,極大地提升了系統的智能潛力。梅特卡夫定律指出:“網絡的價值與參與者的平方成正比”,網絡的廣泛連接極大增加了互聯網的應用價值,其中包括全社會數據利用能力的增加,以及提高生產力機會的增加。
3. 軟件的普及和智能化
軟件是人類知識和智慧的外在形態和應用載體,軟件將硬件設備、網絡資源、傳感器、控制器與數據組織成為能夠實現目標的智能系統,軟件是智能系統的靈魂,也是大數據應用的核心。數據只有在被處理和應用之時,方才成其為資源,否則只能是垃圾;所擁有數據是廢是寶,最終由軟件的能力決定。
4. 生態環境的形成
“四個無處不在”以及數據源的泛在化,體現了包括傳感器、智能終端、高速網絡、移動互聯網、云平臺、大數據處理技術、地理系統技術等多種信息技術共生的新生態環境,所有這一切構成了大數據生長的肥沃土壤。這些基礎技術的出現和普及應用為新技術、新應用的集成創新提供了良好的機會。大數據時代是數據大爆發的時代,也是智能系統大爆發的時代。
5. 互聯網巨頭的推動
互聯網將所有數據源連接在一起,網上業務量的激增導致互聯網企業的業務數據呈指數倍激增,使得那些成功的互聯網企業在迅速成為互聯網巨頭(如:谷歌、亞馬遜、百度、阿里、騰訊等)的同時,其原有的數據存儲系統也被一一撐爆,以至于這些互聯網巨頭們始終在馬不停蹄地瘋狂擴充自身的存儲和處理能力。面對這些每天都在剜心割肉地消耗著不菲的維護資金的龐大業務數據,如何將其進一步變現,以變廢為寶、變閑為寶,發掘這些業務數據在業務應用之外的新的價值,便成為這些互聯網巨頭們迫切需要解決的新課題――此即為何大數據概念的出現以及大數據技術的發展均來自互聯網巨頭及業務的推動的主要原因。拋開商業目的,互聯網巨頭們對大數據技術及應用的推動,客觀上改變了人們從數據中獲取信息的理念,促成了大數據應用理念的革命。
(二) 觀察大數據的視角
大數據時代是信息技術發展的必然結果,它的到來不可抗拒。現象的出現和應用的需要,必然導致理論的產生。而大數據理論的主要基礎,是考察該事物的視角。
1. 提取和應用信息的視角(關注于數據處理理念和方法的改變)
從數據本身的角度出發考察大數據,是大數據浪潮發端時最初的公認視角。其最具代表性的理念更新當屬《大數據時代》一書的作者邁爾.舍恩伯格,該作者將大數據理念的精髓概括為三點:不是隨機樣本,而是全體數據;不是精確性,而是混雜性;不是因果關系,而是相關關系。作者在書中雄辯滔滔地論述此三味真火的背后,有其內心深處對世界本質的認識做支撐。但無論如何,作者對大數據應用歸納的新理念,對于利用大數據資源獲取信息的應用提供了一種新思路,其新穎的大數據思維也為科技探索提供了一種新的模式。
《大數據時代》作者在書中關注的是如何從大數據中挖掘出更加準確和豐富的信息,以便指導和改進人們的工作、提高決策水平等等,其視角是大數據的信息提取和應用。氣象部門的大數據應用既屬此范圍,即:從數據中提取信息供決策使用。
2. 信息和內容價值的視角(關注連接范圍的是否全面)
大數據產生信息的價值并不取決于其所產自的數據集的規模大小,而在于該數據集內容的豐富與否。用一架高分辨率攝像機對準一面空白墻面連續拍攝數周,也能產生PB級的數據,但其應用價值卻極低,原因很簡單:雖然其體量甚大,但其中所含信息內容卻極度貧乏。無人駕駛汽車的研制之所以難度甚高,除需要處理的周邊環境的信息量巨大外,還在于無法全部獲取周圍其它行駛車輛駕駛人員當前及將要采取措施的信息。
此外,大數據的應用價值除了其內容的是否豐富以外,還取決于對本應用是否適用。阿里電商大數據可以用來分析宏觀經濟形勢,卻無法用來分析火星地表是否存在液態水,因為這些大數據內容雖然豐富,但卻不包含任何有關火星方面的信息內容。
因此,一個應用廣泛的大數據,一定是一個內容十分豐富――換句話說,就是連接面十分廣泛、全面――的數據集,與體量沒有必然關系。就價值而言,連接比規模更重要。
3. 行政決策和國家治理的視角(關注社會治理能力的提升)
國家宏觀經濟形勢、百姓的消費熱點、民眾對某一重大事件的反應、流行疾病的爆發預警乃至反恐維穩的目標鎖定等等,這些涉及政府行政決策的信息,以及這些信息的全面、準確和及時,都是政府在國家治理層面迫切需要的。雖然這些信息大多也有一定的正規獲取渠道(甚至設有專業部門負責),但種種原因導致了這些渠道所采集和匯集的信息往往或不精細、或不準確、或不完整、或不及時,使得國家行政決策因之而難以達到預期效果。改造完善這些渠道需要耗費大量成本和時間,于是在現有的、沉睡在各部門和企業系統中的業務數據中提取相關信息,以彌補現有信息渠道的各種不足,便成為信息獲取的新途徑和新思路。從目前業界所熱傳的所有大數據應用成功案例看,絕大部分屬于人文社會領域,從一個側面印證了大數據對于改善國家宏觀治理的重要意義。有效開發互聯網大數據應用,可以顯著提升政府的國家治理能力和決策的科學性,這是許多國家政府和智庫的共識。因此,不少發達國家紛紛制訂本國的國家大數據戰略,我國也不例外。
4. 簡單的事實:所有大數據應用成果都是業務數據的副產品
分析目前已有的大數據應用成功案例,可以發現一個事實:所有大數據應用的數據源,都來自于非專屬于本應用目標的業務數據。換言之,所有大數據應用的數據來源,都不是專為本應用而特設的:啤酒和嬰兒尿布的關聯關系產自于對沃爾瑪超市結算柜臺的貨品銷售日志分析;阿里巴巴對2008年全球宏觀經濟形勢的準確預測來源于對淘寶網采購單數量、規模和內容的變化、以及變化的地理分布特征分析;美國國家安全部門對的鎖定,相當部分來自于對互聯網巨頭所掌握的電郵的內容分析,等等。原因很簡單,由于成本或難度太高,人們不可能為了某項大數據應用而專門去采集原始數據。大數據應用大多只能使用那些已經存在的、非為本應用所特設的業務系統所積累的數據資源,且收集和維護這些數據的成本是由這些業務系統所屬單位承擔的。因此,大數據應用是業務數據的副產品。
蓋緣于此,大數據應用的數據源(即:合適的業務數據)的尋找,本身就是一個難題。
(三) 大數據的辨識
1. 從應用的視角觀察大數據
數據是服務于應用的,大數據也不例外。
當一個新的應用出現,現有業務數據無法滿足其數據需求時,必須尋找新的數據源。在尋找過程中,如果自行采集數據能夠滿足需求,且成本能夠接受,則采取該方式是最好的選擇,因為采集的過程和方法受需求者控制,所采集的數據最接近需求(如:十一五、十二五氣象部門建設的全國天氣雷達站網及遍布全國所有鄉鎮的地面自動氣象站等)。而當自行采集的成本過于昂貴、以致無法承受時,選用替代數據便是將工作繼續進行下去的唯一選擇了。以往信息相對貧乏的年代,可供選擇的合適的替代數據不多,許多工作因之而無法開展?;ヂ摼W時代信息量暴增,替代數據的選擇范圍有了很大改善,使得許多過去無法開展的工作,現在有可能開展起來了。然而,由于這些替代數據自身不是因本需求而產生的,故不可避免地存在諸如:體量雖大但針對本需求所需的信息稀薄,信息質量不高、故難以得到確切結論,許多現象和結論難以解釋等痼疾。于是,“是全體數據而不是樣本數據、是模糊結論而不是精確結論、是相關關系而不是因果關系”的大數據的理念和方法由此產生。
從應用的角度評價大數據,可以得出以下結論:
雖然就數據血統而言,大數據在實際應用中往往不屬于專為本應用采集的血統純正的數據,但它的存在和被使用卻是使得眾多創新應用得以實現。因此大數據是資源。
當今新的時代已經進入信息經濟和知識經濟的新時代,這是一個以信息和知識為基礎的經濟,是一個在更大程度上依賴于在生產、分配和使用等各個環節中知識和信息所作貢獻的新的經濟。因此大數據是新的生產力要素。
2. 大數據的可能與不能
大數據可能提供有價值的參考信息,包括:
大數據可能為政府的科學決策提供有價值的參考信息。
大數據可能對企業的業務改進提供數據支持和信息支持。
大數據可能為一些社會科學領域的學科研究提供有價值的信息。
大數據甚至有可能對自然科學研究中的一些新的科學機理的發現提供參考信息。
與此同時,不能指望單靠大數據就能全面提高政府決策水平。因為決策依賴于多方面信息的綜合,大數據只是提供信息的途徑之一,僅靠它是無法解決政府決策的諸多問題的。高層決策主要面對的是諸多不確定性環境,需要廣闊的視野與豐富的經驗。深厚的歷史背景、細微的地緣差異、復雜的宗教派系之爭以及民族間的矛盾等等,這些因素交織在一起,關系復雜而頭緒繁多,遠非數據統計分析那樣簡單。大數據能夠為行政決策提供一項或多項較為準確的參考信息,改善影響決策的信息的質量,但信息的綜合和最終的決策必須依靠人。
其次,大數據不可能直接解決科學機理問題。從大數據“模糊而非精確”、“只求相關而非探究因果”的理念可以看出,大數據只關注于現象之間的關聯性,但不探究這些關聯背后的因果關系,但求知其然,而不愿(甚至不屑)探究其所以然。之所以如此,是與大數據的理論構建者所固有的對世界的認知:“混亂構成了世界的本質,也構成了人腦的本質”的哲學觀所決定的。本文無意探討哲學問題,但由此可以推斷:就認識論而言,大數據屬于經驗主義范疇,它無法直接解決科學問題,尤其是以科學機理(即所謂因果關系)為核心的氣象預報科學問題。在氣象理論研究領域,大數據可能的貢獻在于提供參考信息(如:具有一定關聯度的氣象要素組合等),以供氣象科學家們分析研究。
二、氣象大數據辨析
(一) 氣象大數據的內涵
就數據本身而言,氣象大數據是指所有與氣象工作相關的數據總和;從來源渠道劃分,氣象大數據可分為“行業大數據”和“互聯網大數據”兩類。其中:
“氣象行業大數據”由與氣象部門各項工作相關、且產生自氣象部門內部的所有數據組成,包括:由氣象部門建設的、具有國內最高專業水準的氣象探測體系所產生的氣象專業探測數據,其它部門自行采集、通過數據共享/交換等方式匯聚到氣象部門、且經過氣象部門嚴格質量控制的氣象要素探測數據,由氣象業務部門和業務系統產生的各類氣象服務產品數據、派生數據及中間產品數據,職能部門各管理系統(如:財務系統、人力資源系統、項目管理系統等)所產生和管理的數據,各業務和管理系統的狀態數據和日志數據,等等。
“氣象互聯網大數據”由互聯網上與氣象相關的所有數據所組成,包括:移動終端搭載的氣象要素傳感設備的探測數據,網友隨手拍并上傳的天氣狀態照片,搜索引擎對氣象相關敏感詞的統計分析數據,其它所有可供氣象部門業務和服務應用的互聯網數據等等。
“氣象行業大數據”與“氣象互聯網大數據”間存在很大差異,限于篇幅,難以在此做詳細分析。簡言之,“氣象行業大數據”屬于氣象業務數據,其生成的直接目標是服務于氣象業務和工作的,故其氣象信息濃度高、各種技術指標亦最為符合氣象業務和工作的各項要求?!皻庀蠡ヂ摼W大數據”則不然,它不是專為氣象工作而生成的,它產自于其它非氣象部門的行業、企業,是為滿足這些行業和企業自身業務目標而生成的。這些數據之所以被納入“氣象互聯網大數據”的范圍,是因為這些數據包含有與特定氣象應用相關的信息內容,而這些內容是氣象行業大數據所缺乏的;亦即,這些數據是為彌補氣象行業大數據在內容和時空密度等方面的不足而從互聯網上收集來的;故其氣象信息的濃度、數據質量等參差不齊,各項技術指標也往往差強人意。即便就氣象要素而言,兩者之間存在的差異也是很明顯的,見表1:
表1、氣象行業/互聯網大數據中氣象要素之間的差異
從內容上劃分,氣象行業大數據大致有:氣象觀測原始數據、氣象觀測產品數據、氣象業務產品數據、氣象服務產品數據、業務日志數據、設備及系統狀態數據、氣象管理數據等等。需要說明的是,目前對氣象數據范疇的界定,只包含前四項,即:氣象觀測原始數據、氣象觀測產品數據、氣象業務產品數據、氣象服務產品數據。其后的業務日志數據、設備及系統狀態數據、氣象管理數據等尚未正式納入氣象數據的定義范圍。
從性質上考察,氣象行業大數據屬于“氣象業務數據”范疇,即:每類數據都有其特定的使用目的、使用對象及數據形態,且所有數據的初始目的都是圍繞滿足氣象部門自身運轉所特有的數據需求的。
從體量上衡量,“氣象行業大數據”雖可勉強躋身大數據行列(PB級),但較之互聯網公司而言,仍有至少2~4個數量級之間的差距。以目前業界現有處理技術,完全可以滿足“氣象行業大數據”在分析處理方面的時效要求(數值預報除外)。因此對于“氣象行業大數據”而言,單純的管理和處理技術不是問題所在。
(二) 氣象大數據與預報準確率
將大數據理念和方法全面應用到氣象部門,在部門內開展氣象大數據工作,能否有效提高預報準確率,這是本文首先必須正面回答的問題。
1. 大數據理念和方法探究
《大數據時代》一書的作者將大數據理念的精髓概括為三點:“不是隨機樣本,而是全體數據;不是精確性,而是混雜性;不是因果關系,而是相關關系”。深究下去,不免使人產生質疑:首先,如果通過分析少量的樣本數據就可以得到事物的準確本質(如:適用于數學歸納法的數據集),是否還有必要花費巨大成本去收集和處理全體數據?其次,如果能夠得到準確數據或結論(如:臺風路徑和登陸地點、暴雨的落區),是否還有必要刻意去追求混雜不準確的數據或結論;第三,如果能夠了解并掌握因果關系(如:人類活動與氣候變暖之間的關系),是否還要放棄對因果關系的探尋,而只去分析相關關系?
答案顯然都是否定的。
所以,不能生搬硬套大數據的理念和方法,否則可能會出現有違基本常識的舉措和結果。對于大數據理念和方法,其合理的解釋應該是:如果通過分析少量的樣本數據無法得到事物的本質,則人們將不得不花費更多成本去搜集和處理全體數據,以求得到事物的真實本質。如果得不到準確的數據或結論,則人們將不得不接受那些差強人意的不十分準確的數據或結論。如果無法了解到事物之間的因果關系,則人們將退而求其次,通過分析相關關系來了解事物。
因此,由《大數據時代》作者所定義的大數據方法,不應該是刻意為之的,而應該是不得已而為之的:當現有的觀測數據無法滿足業務需求、且布設新的探測設備代價太高或無法布設時,只能尋找其它代用數據,以彌補現有觀測數據的某些不足。當無法做出準確預報時,概率預報是退而求其次的預報方法。當氣候變化規律目前無法完全掌握時,氣候統計預測方法便是填補氣候預測方法空白的可接受的選擇之一了,如此等等。
2. 觀測數據和科學研究是氣象學科的主要支撐
上世紀二、三十年代,無線電通信技術引入到氣象地面和高空觀測信息通信,人們能夠獲得大范圍的大氣立體觀測資料,在此背景下,科學家們通過對觀測資料的深入分析,并根據流體力學、動力學/熱力學定律等物理學原理,構建起了氣象學科的基本框架,并在日后的歲月里不斷豐富完善。因此,氣象學科是建立在觀測資料基礎之上,并由氣象學家們通過深入的科學分析研究,發現其中的內在機理,進而形成相應的理論體系而最終構建的。隨著資料的不斷豐富,科學家們不斷發現著新的天氣/氣候變化內在科學機理,氣象學科因此得以成長發展。如果沒有氣象科學家天才卓越的分析研究成果,氣象觀測資料便僅僅是一堆天氣現象的記錄數據。因此對于氣象學科而言,觀測數據/產品和科學分析研究,二者缺一不可。而在人工智能達到能夠具有科學家們深厚的知識背景、敏銳的捕捉現象的本能、嚴謹的推演技巧和天才的綜合分析判斷能力之前,這些科學分析研究工作就只能由科學家們承擔并完成。
氣象業務的現代化水平最終體現在氣象預報的準確率,所追求的恰恰就是精確和及時。如果不掌握天氣變化的內在規律(即所謂因果關系),單憑現象要素之間相關性的強弱,是很難達到及時精確預報的要求的。地震前許多動物的行為舉止往往異常,但動物舉止異常卻不見得預示著地震的即將發生。止步于天氣現象與氣象要素之間相關性的統計分析,不對其做進一步的機理分析研究,對氣象學科而言,不是科學的態度。
3. 統計分析是氣象部門常用的方法
探究科學機理是十分艱難的。在尚未掌握科學機理的情況下,統計分析是常用的預報方法,如氣候領域里的氣候統計預測。這種通過對長時間序列氣象觀測資料進行統計分析,以歷史上相似天氣現象所發生的天氣(或氣候)變化的概率為依據,進行氣候預測的方法,自氣候學科發端之日起,便一直在采用,已達數十年之久。因此“大數據”所推崇的統計分析方法,氣象部門早在數十年前便已悉數使用,并不陌生。
但這并不意味著氣象部門在該領域的科學研究止步于此。事實上,目前基于動力框架的氣候數值預報模式(尤其是集合預報模式等)等方法一直在積極地試驗和嘗試使用之中,目的就在于探索能夠有效發現氣候變化規律(即所謂因果關系)的路徑和方法――雖然氣候統計預測方法仍在使用之中。目前數值天氣預報和數值氣候預測中所大量采用的集合預報方法,就是“因果”與“相關”、機理與統計之間有機結合的一種嘗試。
4. 氣象觀測數據是所有數據中最重要的貢獻者
從上文“氣象大數據的內涵”中的分析可得知,與一般大數據所使用的數據源不同,氣象行業大數據中的氣象觀測數據及產品是專門為氣象預報業務工作而采集的,其時空分布、數據質量及其它各種技術指標最符合氣象業務的各項要求,氣象業務所需信息的濃度也最高。比較而言,氣象互聯網大數據的氣象信息密度不高,數據質量也難以保證,其它技術指標更是難以保證滿足氣象應用的需求。因此,從氣象行業大數據中的氣象觀測數據和產品產生出來的統計分析結論以及學科科學機理的發現是具有權威性的。就預報準確率而言,氣象觀測數據/產品是所有數據中最重要的貢獻者,氣象互聯網大數據是它的補充而絕非替代者。
5. 大數據并非提高預報準確率的終南捷徑
綜上所述,氣象預報對準確率永遠的追求決定了,氣象學科必須以探究并最終掌握大氣運動的內在機理為工作目標。而大數據方法是在特定的、理想狀態無法滿足情況下的退而求其次的方法,即:在尚未完全掌握大氣運動規律、無法通過理論推演和方程計算準確預報天氣或氣候的情況下,統計分析方法也許是一種補充完善的途徑。在無法斷定抽樣分析所得結論的正確性時,分析全體數據也許是一種最終解決方案。在無法提供準確預報時,概率預報也是一種不錯的選擇。但是,如果通過努力有可能達到理想狀態,人們便不應該盲目的生搬硬套大數據方法;因為對氣象預報而言,因果關系的掌握遠比相關關系的發現更為重要,后者是為前者提供線索而非取代前者的。同樣,精確的分析和預報結論永遠比模糊的分析和預報結論更加滿足預報需求,收集和處理樣本數據永遠比收集和處理全體數據更為高效和節省資源。
所以,大數據理念和方法并非提高預報準確率的終南捷徑。
當然,筆者并不否認大數據方法在客觀預報產品解釋應用方面對預報效果的改善有所幫助等正面作用,但這終究是輔、修飾性的,不是提高預報準確率的根本途徑,且效果難以具體量化。
尤其需要強調的是,以在預報準確率方面趕上世界先進水平為目標的氣象工作者,絕不能因擁有了大數據這種退而求其次的方法而放棄對掌握氣象規律這一理想事業的追求。而且,這一追求的最終實現,只能靠觀測數據和產品在時空密度和質量上的不斷提高,以及科學家們辛勤的分析研究。由于就數據而言,對提高預報準確率貢獻價值最高的仍然是氣象觀測數據及產品,因此研制出高質量、高時空密度的氣象觀測產品數據,便仍將是提高預報準確率以及氣象科學研究最重要的基礎性工作。至于科學研究工作,沒有捷徑可走,在這里“工匠精神”永遠不會過時。
(三) 氣象大數據的價值分析
上文“氣象大數據與預報準確率”的分析并非意味著大數據在氣象部門無所作為,而只是想說明,大數據并非包治百病的靈丹妙藥,而是一個宏觀上可在全社會產生巨大正面效益、但也存在一些效益不甚顯著區域的、實實在在的思維理念和工作方法。說到底,氣象部門之所以引進大數據理念和方法,并非為了大數據而大數據,而是為了解決實際工作中存在的問題。因此,氣象大數據必須以業務和工作需求為引領。當業務或工作中出現的問題沒有合適的數據信息,或者雖有數據但常規處理方法無助于問題的解決時,氣象大數據也許是一種可以嘗試的解決途徑。通過“氣象行業大數據”中的各類數據,在履行其各自的直接業務目標之外,使各類數據間彼此有機融合并協同分析,是能夠發掘出新的數據價值、信息價值和知識價值,從而推動業務的發展和管理的進步,不斷提高氣象部門的工作品質的。氣象部門內層級堆疊、工作效率不高的問題長期以來有目共睹,“智慧氣象”中“精細的科學管理”,即可從打通部門藩籬、消除管理信息孤島開始。通過管理信息的整合,優化管理流程,增強職能部門間的工作協同,提高管理效率。通過充分挖掘和發揮出管理信息應用的價值來提高管理工作效率,進而提高氣象部門整體的工作效率,通過大幅提高工作效率來創造價值,等等。
“氣象行業大數據”產生自氣象部門,是氣象部門賴以運轉的最主要資源,同時也是氣象部門各項工作的記錄載體,在所有數據資源中,它所含有的氣象信息最濃;故其應用領域首先應在于氣象部門業務工作的有效運轉,其次才是社會服務?!皻庀笮袠I大數據”潛在價值的挖掘和發揮,也應當以提高氣象部門工作能力為首要目標。用好“氣象行業大數據”,是開展氣象大數據工作的重要內容和檢驗指標。
與此同時,“氣象行業大數據”與“氣象互聯網大數據”之間的有效融合,有可能大幅提高氣象觀探測的時空密度。物聯網技術的有效應用,可以使“氣象行業大數據”中專業氣象探測的時空分辨率變得富有彈性,以更加有效地應對各種業務需求和社會服務需求。此外,高時空分辨率的探測數據也可為氣象科學家發現新的大氣運動機理和客觀規律提供前所未有的數據資源。
就應用對象及范圍而言,“氣象互聯網大數據”中氣象要素數據的產生是與搭載傳感儀器的擁有者――人――密切相關的,其所沉積下來的信息中包含有珍貴的人類活動痕跡。凡人跡所至且移動通信可覆蓋之地,均有可能成為“氣象互聯網大數據”的數據源。雖然其傳感器搭載體的形式各異,探測環境也很不規范,但也正因為其搭載體擁有者是人,可放置或出入于各種人類活動場所,從餐廳到曠野、從巷道到影院、從居所到河畔,皆可隨時對各種場所進行氣象基本要素探測,這為氣象服務的精細化、專業化和個性化提供了“氣象行業大數據”所難以甚至無法提供的現場氣象要素數據。此外,利用已廣泛布設的非氣象監測設備所采集的信息,通過分析得出所需要的氣象要素,以彌補專業氣象探測設備無法獲得的探測信息,是一條值得深入探索的途徑,GPS/MET的發掘和廣泛應用就是一個典型的成功事例??梢灶A期,“氣象互聯網大數據”與“氣象行業大數據”以及其它行業大數據之間的有效融合,可在氣象社會服務領域開辟出空前繁榮的氣象服務新局面。
總之,數據是為應用服務的,氣象大數據必須將業務和工作做為最主要的引領。氣象大數據戰略的首要內容,不是數據的收集、數據源的拓展以及海量數據的管理技術,而是氣象工作的持續創新。在技術創新、原理創新、概念創新和思想創新的氛圍中,不斷涌現出新的應用,根據新應用在信息和數據需求方面的特點,充分發掘現有數據資源的價值,同時有針對性地尋找并拓展新的數據資源,合理運用大數據有關技術,處理并提煉出新的有價值的信息,以推進創新的不斷實現。與此同時,由于創新本身是不同概念之間的有機連接和融合,多角度的觀察會增加概念連接的機會,大數據所固有的關聯分析以及由此產生的相關事物的現象信息,對開拓概念連接的范圍會有所幫助,對氣象部門在新形勢下的創新當有所裨益。于是,初始創新啟動大數據應用,大數據應用促進新的創新――這應該是氣象大數據戰略的基本輪廓。
三、開展氣象大數據工作的前提條件
(一) 現有氣象數據的梳理
長期以來,人們普遍將氣象觀測數據及產品、以及少量的氣象服務產品做為氣象數據的全部,以現代信息化理論和實踐來考量,這無疑是片面的。氣象部門是一個整體,其有效運轉除需要觀測數據外,財務、人事、績效、資產甚至設備狀態信息等數據,都是不可或缺的重要信息資源,應當無一遺漏地納入氣象數據的范疇。事實上,由于長期以來對氣象數據內涵理解的局限性,使得部門內對氣象數據的關注點長期聚焦在氣象觀測數據,相應的規范標準亦多以觀測數據為對象,其它類別的數據則所涉甚少,甚至沒有涉及。這種不平衡導致了這些其它類別數據在管理上的各自為政、規格上的無章可循、信息間的彼此隔離、質量上的參差不齊、以及使用上的困難無序和低效。即便是長期受到關注的氣象觀測數據,存在問題亦不可忽視,以數據質量為例,眾所周知,在周邊環境未發生非氣象因素改變的情況下,探測數據的質量直接取決于傳感設備自身狀態的正常與否。然而到目前為止,除氣象衛星和天氣雷達等高端探測儀器外,其它如地面自動氣象站等,沒有探測設備自身狀態信息的獲取途徑,探測設備狀態的判定需要依靠其所采集的氣象要素是否合理、是否超出理論極限范疇等被動式手段來完成,于是出現兩個問題:其一,對于真實的極端天氣事件(如局地特大暴雨)數據,有可能因其數值超出氣候極值而導致數據正確性的誤判;其二,故障設備從開始發生故障到被檢測出來的這段時間難以確定,從而導致這段時間內觀測數據的質量無法保證。由此亦可推論,探測設備狀態信息是相當重要的業務數據,但遺憾的是,該類數據至今既無相關標準,也未正式納入氣象數據的管理范疇。
需要指出的是,不少技術人士將所有氣象數據納入統一管理平臺(如:Cimiss)視為氣象數據治理的完成,這無疑也是片面的。事實上,如果上述諸如數據定義、數據分類/分級、數據分布、數據操作等諸多問題沒有解決,氣象數據沒有經過科學的梳理和配置,所有氣象數據在形式上的匯聚便起不到高效管理、有效應用和長期支持業務發展(包括業務變更)的作用。
(二) 氣象數據的規劃和治理
要搞好氣象大數據,首先要管理好做為氣象部門核心資源的“氣象行業大數據”(亦即所謂“氣象數據”)。在此,一個極為重要的基礎性工作――對氣象數據的全面規劃和治理――是無法跨越的。
氣象部門的所有各項工作中,無時無刻不充滿著信息的產生、流動和使用。要使每個單位內部、單位之間、單位與外部門單位的頻繁、復雜的信息流暢通,充分發揮信息資源的作用,不進行統一的、全面的規劃是不可能的。氣象數據規劃,實質上就是氣象部門的信息資源規劃,是對氣象部門日常運轉所需要的各種信息,從采集、處理、傳輸到使用等生命周期各個環節的全面規劃。其目的,是通過有效管理氣象數據,實現氣象部門內外數據流的暢通以及數據資源的有效利用,進而達到工作的流暢、業務的融合和整體的協同,從而提高氣象部門的工作效率和效益。通過氣象數據規劃,可以梳理業務流程和管理流程,厘清信息需求、建立部門行業的信息標準和信息系統模型,并據此來繼承、整合、優化、改進乃至再造業務流程及業務系統,從而積極穩步地推進氣象大數據戰略。該項工作的長時期缺位,已經給氣象部門各項工作造成了十分被動的局面。
在這里,氣象數據規劃是整體梳理、謀劃和設計,氣象數據治理則是具體實施執行。
所謂數據治理,就是使氣象數據自產生的那一刻開始,經歷的采集、傳輸、處理、存儲、操作以及質量和安全保障等生命周期諸多環節中的每一個環節,都處在一個統一、自洽、協同的規則之中,以使得氣象數據這一部門和全社會寶貴資產始終處于正確有效的管理之下。換句話說,氣象數據的治理就是治理氣象數據的政策、方法、措施和具體落實。
貫徹氣象數據治理,除先進的理念外,還需要有配套的組織架構、原則、過程和規則,以確保數據管理的各項職能得到正確的履行。
氣象大數據的工作形態就是數據資源的開發利用,做為良好的數據資源開發利用的基礎,數據規劃是綱領,而數據治理則是貫徹數據規劃的具體進程。
(三) 數據意識的逐步培育
提高全部門的數據意識,是開展氣象大數據的基礎。
數據是精準文化的核心,精準靠數據來表述。對創新而言,所有的成功都是小概率事件,唯有每一步都追求精確方才可能達到。同時,科學和精準使得思維邏輯得以嚴謹,以嚴謹邏輯表述的思維成果,確保了推理的可靠性,使后人可在前人思想成果的基礎上進一步思考和拓展;嚴謹的思維成果成為可組織、可利用的資源,科學成果因之而得以積累,并最終發展成長。技術的精準和步驟的嚴謹使得成熟技術的品質更高,也使得這些技術得以方便地利用和重組,而成熟技術的再重組是科技創新的重要形態之一。此外,思維的嚴謹性還決定了人們科學研究的深度。在信息時代,鮮見有采用粗放、籠統、馬虎和粗枝大葉方式能夠持久成功的事例。沒有數據意識就沒有現代科技,在全氣象部門培養數據與精準意識已是當務之急,科學與精確應當成為氣象部門的工作信條和文化素養,是實現氣象現代化最根本的基礎條件。
(四) 必要的人才基礎條件
所有的工作,都是以人的思維成果而指導的。大數據技術只是眾多工具中的一類,工具沒有自行主動解決問題的能力,工具不可能解決連人都沒有想清楚的問題,解決問題的辦法必須靠人的思維;人想清楚了,則相應的處理流程可由信息系統重復運作,以提高工作效率。如果一項工作,連人自己都還沒有想清楚,則此時的大數據非但不能幫忙,反而可能會把事情搞得一團糟。因此,氣象大數據應用的開展,人才條件是決定其成敗的要素之一。
具體地說,實施氣象大數據應用,除上述幾項基礎工作外,在人才隊伍方面還需具備以下2個基礎條件:
1. 建立起對應于大數據管理運營的數據管理中心的組織架構。沒有一個相對完整和專業的數據管理團隊,是難以發揮出大數據分析的功效的。
2. 建立起一支精干的數據分析團隊,并擁有一個靈活適用的數據分析技術平臺。
此外,開展氣象大數據工作,可能會遇到許多意想不到的困難,如:算法和數據來源問題。如前所述,所有大數據應用的數據來源都是來自于互聯網的替代數據,而由于數據源非針對該應用所采集,該應用所需要的內容可能同時存在于不同的數據源之中,且存在的形態和格式各異:同樣是分析輿情,騰訊微信大數據和百度大數據的分析方法可能完全不同。面對不同的數據源,需要不同的信息提取算法。因此,合適的數據源和合適的分析算法,是開展氣象大數據應用首先需要解決的問題。而氣象部門在這方面,目前尚缺乏相應的專業人才和團隊。因此,對于氣象部門而言,利用他人的數據開展大數據應用,對可能面臨的困難,需要做好一定的心理準備。
四、氣象大數據中心建設問題
(一) 應當是氣象行業大數據中心
開展氣象大數據工作,基礎設施環境(即:氣象大數據中心)的建設問題,是本文必須正面回答的另一個問題,因為海量數據的處理需要相當規模的存儲和計算資源予以支持。
上文已述,氣象大數據由“行業”和“互聯網”兩部分來源構成。筆者認為,氣象大數據中心應當是以存儲管理行業大數據為主要目標,即:氣象大數據中心應當是氣象行業大數據中心。理由如下:
氣象行業大數據中的各類數據,都是由氣象部門業務或管理系統產生,以服務于氣象業務或工作為首要目標的。根據屬地化管理原則,規范管理這些數據,并負責這些數據的社會化共享服務,是氣象部門的職責。因此氣象大數據中心所管轄的數據中,必須包含氣象行業大數據。同理,由于氣象互聯網大數據中的所有數據皆非產自氣象部門,同樣根據屬地化管理原則,氣象部門沒有職責和義務存儲管理這些非氣象部門產生的數據。
在目前數據量急劇爆發的背景下,輕率地將體量碩大的互聯網大數據整體搬移到自己的屬地后再進行處理,不是明智的舉動。按照業界“算法找數據”的原則,應盡可能采用諸如與數據源擁有方建立協作聯盟、租用對方一定規?;A資源等方法,達到在數據源近旁完成處理工作的目的,以減少海量數據整體搬遷所造成的高昂代價,并提高工作時效。即:對于互聯網大數據的應用而言,應盡可能采取“就近處理”的方法;在無法就近完成所有處理的情況下,也應盡量設法采用“提取”的方法,將有用的信息從數據源中提取回自己的屬地分析處理,切不可輕易采用“數據找算法”的陳規陋習,將數據源整體復制到自己的屬地,除非萬不得已。這方面的工作需要慎重籌劃,以免被昂貴的數據搬遷和數據更新成本所壓垮。
總之,由于氣象互聯網大數據與氣象行業大數據相比,無論在規模上,還是在管理時段上都難以較為準確地預估,將其納入氣象大數據中心的管理內容之一,會對大數據中心的設計和管理帶來一系列極其復雜的不確定因素。因此,氣象大數據中心在建設和使用初期,應以氣象行業大數據為主要管理對象,并在氣象互聯網大數據的應用中盡可能避免海量數據的搬遷。與此同時,大數據中心在設計和實際操作過程中可以預留一定規模的基礎資源,為在極端情況下互聯網大數據的載入和處理預留一定的管理空間和能力。
綜上所述,第一,管理氣象行業大數據是氣象大數據中心的職責。第二,對于互聯網大數據而言,大數據中心既沒有義務、也應盡可能避免對其進行長時間管理。所以,氣象大數據中心應當是氣象行業大數據中心。
(二) 氣象大數據中心的形態和分布
1. 氣象行業大數據中心同時應當是氣象云中心
就應用效果而言,在資源充沛且數據處于規范管理的前提下,數據的集約化程度越高,應用的效果越理想。因此,氣象大數據中心應當是氣象數據匯聚、規范化管理且資源十分充沛的數據中心。云計算中心是大數據中心最好的物理形態,大數據中心應以云計算中心為基礎平臺,這在業界已形成共識,氣象大數據中心也不例外。所以,氣象大數據中心應當是一個組織機構概念,邏輯上相對獨立,而其實際的物理基礎設施應當是氣象云中心,是氣象云中心上的一個具體業務應用。
需要進一步說明的是,對氣象大數據中心的規模而言,其中的行業數據的增長規模處在氣象部門掌控之中,基本上可以預估。但如果將互聯網大數據的應用場景也考慮在內,預留可充分應對極端情況下互聯網數據源大舉載入時的支撐資源,由于數據源對象的未知性,其相應的規模是難以預先測算的,偏大則可能導致資源的長時間閑置,偏小則可能屆時無法發揮支撐作用。較為可行的解決方案之一是采用專有云形式,即:選擇資源規模大、公共安全措施完備、專業水平高、服務信譽好且價格相對合理的云計算中心,在其上長期租賃相應規模的基礎設施資源作為氣象云的基礎設施,其中氣象大數據中心的資源需求規模可基本參照氣象行業大數據的存儲管理規模來進行預估。與此同時,與該云計算中心簽訂相應的服務合同,承諾在氣象大數據中心遇到特殊情況(如極端情況下海量互聯網數據的大批載入)時,該云中心可及時擴充氣象大數據中心的基礎資源租賃規模,并在應用結束后收回這些臨時租賃的基礎資源。
2. 大數據中心的分布
筆者于前文已討論過,未來的氣象云中心最終將以1+2或1+3等數量有限、地理分布相對合理的形式長期存在。且專有云較之私有云而言,是更為合理的氣象云形態。限于篇幅,其理由不再重復闡述。
(三) 盡早開展應用研究工作
應及早開展針對互聯網大數據在氣象部門各領域創新應用的研究工作。目前這項工作在氣象部門除個別先行單位(如公共氣象服務中心)外,基本處于空白狀態,是一片未開墾的處女地。盡早進行大數據基礎知識和技能的儲備,對工作的順利開展有益無損。同時,應積極籌備組建相關的專業化團隊,以期盡早具備如下能力:
數據資源發現能力:熟悉互聯網上各種數據資源以及數據交易市場的業務動態,熟悉數據資產的價值評估,可在部門用戶提出數據資源需求時,及時提供互聯網數據資源的咨詢服務,推薦合適的數據資源,以及資源的基本情況。
數據獲取能力:具備在正常情況下,通過正規途徑,以技術手段及時獲取指定數據源中所有數據的能力。
數據分析能力:具備在收集互聯網數據的基礎上,針對應用目標以及數據源的特點,提出相應的分析模型,指導并最終完成對互聯網數據的整理和分析,以完成應用目標中各項研究、評估和預測的能力。
數據算法實現:根據分析模型及數據源特點,形成數據分析處理軟件,并完成數據處理。
分析平臺:擁有分析模型建立、處理軟件生成以及分析結果可視化展現的技術平臺。
應適時成立相應機構(如:氣象互聯網大數據應用研究中心等),專門從事這方面的研究和應用工作。
五、穩步推進氣象大數據戰略
(一) 全面認識氣象大數據
在積極探索創新應用的同時,應冷靜分析氣象大數據的特點和可能的適用范圍,基本明了其能力邊界,做到心中有數。既不被外界過度宣傳所裹挾,也不被內部守舊力量所羈絆。積極而穩妥,慎重而不裹足不前。應當明白,目前國家所倡導的大數據戰略,與其說是為了推行充分挖掘數據資源價值的工作方法,不如說是一種工作思維和工作方式的改進和補充,是一場全社會文化素養的改良和變革。通過對大數據不斷深入的應用,持續改進全社會的生產質量、產品質量、服務質量和生活質量。
因此,不必過度介意氣象大數據在某些特定領域內(如提高預報準確率等)作用的有限。大數據不是萬能的,正如信息化不是萬能的一樣,不可能指望單憑推行大數據就能解決所有問題。充分利用一切可以利用的數據資源,不斷創新、不斷改進氣象部門各項工作,倡導和發揚工匠精神,使各項工作更加科學化和精細化,就已達到了氣象大數據戰略的基本目標。
此外,氣象大數據應當以應用為主導,以業務為主導,以改善各項工作為主導,更應該以技術、業務、服務和管理創新為主導。應當使全部門明了:開展氣象大數據工作不等于在各地開展數據中心基礎建設,更不等于在各地開展數據庫建設。此外,開展氣象大數據工作,應力求基礎工作先行、專業團隊建設先行和應用研究先行。
(二) 保持清醒、力戒浮躁
我國政府多年前便已開始倡導科學發展的理念,但目前全社會急于求成的心理依然非常普遍,似是而非且激動人心的宣傳口號此起彼伏,反映出一些人的浮躁心態。氣象大數據工作的開展,不宜采用運動的方式,而應該在充分營造創新氛圍的前提下,由創新引導氣象大數據的具體應用,循序漸進,待深入到一定程度后,再由大數據應用逐步推動創新,從而形成創新引導大數據應用,大數據應用進一步推動創新的彼此互動的良性循環局面。從過程上看,氣象大數據的開展應當水到渠成,過度的宣傳、強力的行政推動和盲目魯莽的基礎建設無異于揠苗助長,對大數據的應用發展有損無益。切勿被“搶占制高點”等宣傳口號所蠱惑,在被某些善良單純的記者以及別有用心的企業家鼓動得顯然有些過熱的大數據風潮中,保持頭腦的冷靜,力戒內心的浮躁,顯得尤為可貴。
六、結語