船舶大數(shù)據(jù)物聯(lián)網(wǎng)數(shù)據(jù)挖掘研究

導(dǎo)語(yǔ)：船舶大數(shù)據(jù)物聯(lián)網(wǎng)數(shù)據(jù)挖掘研究一文來(lái)源于網(wǎng)友上傳，不代表本站觀點(diǎn)，若需要原創(chuàng)文章可咨詢客服老師，歡迎參考。

摘要:海上監(jiān)測(cè)平臺(tái)通過(guò)傳感器網(wǎng)絡(luò)獲取大量的海洋環(huán)境數(shù)據(jù)和船舶航行數(shù)據(jù)，由于作業(yè)平臺(tái)的網(wǎng)絡(luò)不穩(wěn)定，數(shù)據(jù)來(lái)源廣、類型多，不便于管理，因此，設(shè)計(jì)合理的船舶數(shù)據(jù)平臺(tái)管理系統(tǒng)有重要意義。本研究充分結(jié)合物聯(lián)網(wǎng)技術(shù)和傳感器融合技術(shù)，對(duì)船舶大數(shù)據(jù)平臺(tái)的數(shù)據(jù)管理和數(shù)據(jù)挖掘進(jìn)行了系統(tǒng)的研究，并設(shè)計(jì)了一種聚類數(shù)據(jù)挖掘算法和數(shù)據(jù)挖掘引擎。

關(guān)鍵詞：大數(shù)據(jù)臺(tái)；物聯(lián)網(wǎng)；傳感器融合；數(shù)據(jù)挖掘

海上船舶監(jiān)測(cè)平臺(tái)通過(guò)采集海域內(nèi)船舶航行信息和海上氣象信息，為海上交通管理和船舶導(dǎo)航提供關(guān)鍵信息。由于海上監(jiān)測(cè)平臺(tái)的工作環(huán)境惡劣，易受到臺(tái)風(fēng)、海浪等氣象環(huán)境的影響，且監(jiān)測(cè)平臺(tái)的數(shù)據(jù)采集量大，網(wǎng)絡(luò)傳輸不穩(wěn)定。因此，海上船舶監(jiān)測(cè)平臺(tái)的數(shù)據(jù)管理系統(tǒng)必須具有穩(wěn)定的網(wǎng)絡(luò)傳輸性能和數(shù)據(jù)存儲(chǔ)能力[1]。本文詳細(xì)介紹了海上船舶監(jiān)測(cè)平臺(tái)的數(shù)據(jù)采集網(wǎng)絡(luò)和數(shù)據(jù)管理系統(tǒng)，并基于物聯(lián)網(wǎng)技術(shù)設(shè)計(jì)了一種數(shù)據(jù)挖掘算法和數(shù)據(jù)挖掘引擎。

1船舶大數(shù)據(jù)平臺(tái)的數(shù)據(jù)采集網(wǎng)絡(luò)研究

近年來(lái)，隨著計(jì)算機(jī)技術(shù)和信息技術(shù)的高速發(fā)展，智能化設(shè)備、物聯(lián)網(wǎng)等技術(shù)在船舶工業(yè)的應(yīng)用越來(lái)越廣泛，船舶監(jiān)測(cè)平臺(tái)采集、分析和處理數(shù)據(jù)的能力越來(lái)越強(qiáng)，數(shù)據(jù)的規(guī)模和類型也呈指數(shù)式增長(zhǎng)。在海上船舶監(jiān)測(cè)平臺(tái)上，為了獲得全面的海域內(nèi)船舶和航線信息，必須建立覆蓋范圍大的數(shù)據(jù)采集網(wǎng)絡(luò)，如圖1所示。數(shù)據(jù)采集網(wǎng)絡(luò)的節(jié)點(diǎn)分為傳感器節(jié)點(diǎn)、匯聚節(jié)點(diǎn)、管理節(jié)點(diǎn)等不同類型，信息的傳輸基于IEEE802.11協(xié)議。該數(shù)據(jù)采集網(wǎng)絡(luò)具有組網(wǎng)方便、功率損耗小、成本低等優(yōu)點(diǎn)，在該網(wǎng)絡(luò)的覆蓋范圍內(nèi)可以實(shí)現(xiàn)船舶航行速度、位置、氣象條件等信息的準(zhǔn)確采集。

2基于船舶大數(shù)據(jù)平臺(tái)的物聯(lián)網(wǎng)數(shù)據(jù)挖掘研究

2.1船舶大數(shù)據(jù)平臺(tái)的數(shù)據(jù)管理系統(tǒng)。海上船舶監(jiān)測(cè)平臺(tái)的數(shù)據(jù)管理方案為：基于IEEE802.11協(xié)議建立數(shù)據(jù)傳輸通道，使多個(gè)船舶監(jiān)測(cè)平臺(tái)與數(shù)據(jù)服務(wù)器之間實(shí)現(xiàn)數(shù)據(jù)的快速傳輸，并將監(jiān)測(cè)平臺(tái)的多元異構(gòu)數(shù)據(jù)流[2]自動(dòng)處理和保存。此外，船舶大數(shù)據(jù)平臺(tái)充分結(jié)合云計(jì)算和物聯(lián)網(wǎng)技術(shù)，設(shè)計(jì)了數(shù)據(jù)平臺(tái)監(jiān)測(cè)系統(tǒng)，提高了數(shù)據(jù)傳輸和數(shù)據(jù)處理的效率。圖2為船舶大數(shù)據(jù)平臺(tái)的數(shù)據(jù)管理系統(tǒng)結(jié)構(gòu)與組成。船舶大數(shù)據(jù)平臺(tái)的數(shù)據(jù)管理系統(tǒng)包括以下幾個(gè)單元：1）硬件管理單元數(shù)據(jù)管理系統(tǒng)的硬件管理單元主要功能為采集和分析海洋平臺(tái)的相關(guān)運(yùn)行參數(shù)、傳感器網(wǎng)絡(luò)的類別與型號(hào)、數(shù)據(jù)傳輸網(wǎng)絡(luò)的協(xié)議管理等，保障船舶大數(shù)據(jù)平臺(tái)的硬件正常運(yùn)行。2）用戶管理單元用戶管理單元主要負(fù)責(zé)對(duì)大數(shù)據(jù)平臺(tái)終端的用戶進(jìn)行管理與協(xié)調(diào)，并根據(jù)不同用戶的分類級(jí)別授予不同的數(shù)據(jù)庫(kù)訪問(wèn)權(quán)限，同時(shí)，用戶管理單元還可以針對(duì)某些特定用戶組進(jìn)行數(shù)據(jù)庫(kù)的訪問(wèn)限制，提高數(shù)據(jù)庫(kù)系統(tǒng)的安全性。3）監(jiān)測(cè)與維護(hù)單元數(shù)據(jù)庫(kù)管理系統(tǒng)的監(jiān)測(cè)與維護(hù)模塊可以調(diào)整平臺(tái)的監(jiān)測(cè)方案和內(nèi)容，審查和修改用戶訪問(wèn)數(shù)據(jù)庫(kù)的權(quán)限。4）數(shù)據(jù)傳輸管理單元數(shù)據(jù)傳輸管理單元主要負(fù)責(zé)管理數(shù)據(jù)平臺(tái)的信號(hào)傳輸過(guò)程，對(duì)數(shù)據(jù)采集網(wǎng)絡(luò)中的傳感器節(jié)點(diǎn)進(jìn)行數(shù)據(jù)格式的升級(jí)。此外，傳輸管理單元還可以通過(guò)壓縮數(shù)據(jù)，提高數(shù)據(jù)傳輸?shù)男省?）輸入、輸出管理單元該單元的功能包括輸入數(shù)據(jù)的格式解析、關(guān)鍵信息提取、數(shù)據(jù)儲(chǔ)存路徑選擇等，對(duì)傳感器網(wǎng)絡(luò)的數(shù)據(jù)融合有重要意義。2.2數(shù)據(jù)挖掘算法。數(shù)據(jù)挖掘是發(fā)現(xiàn)新知識(shí)的重要環(huán)節(jié)，通過(guò)建立合理的挖掘模型和算法，數(shù)據(jù)挖掘技術(shù)可以進(jìn)一步提取數(shù)據(jù)庫(kù)中的有用信息。常見(jiàn)的數(shù)據(jù)挖掘模型包括分類挖掘、聚類挖掘、決策樹(shù)挖掘等，不同的數(shù)據(jù)挖掘算法側(cè)重的數(shù)據(jù)挖掘類型各不相同。本文針對(duì)船舶大數(shù)據(jù)平臺(tái)的特點(diǎn)，采用了經(jīng)典的EM算法進(jìn)行數(shù)據(jù)挖掘[3]，具體如下：首先，假定EM算法含有m條d維的數(shù)據(jù)集合，數(shù)據(jù)挖掘的終止閾值為ε。第1步，對(duì)于每條數(shù)據(jù)記錄x，計(jì)算x從屬于h聚類概率如下式：p(x)=p′(x)fv(xγ•∑x=Dh)n∑i=1p′(x)•fv(x)。第2步，根據(jù)聚類概率更新混合模型如下式：P(x)=∑x=Dp(x)•x∑x=Dp′(x)，∑h=∑x=Dp(x)•(x−h)∑x=Dp′(x)，h=1，2，..n。|L(p)−L(p′第3步，計(jì)算終止條件)|⩽ε，（L（t）為閾值函數(shù)）如果符合，則算法結(jié)束。EM數(shù)據(jù)挖掘算法的迭代過(guò)程可用圖3表示。2.3船舶大數(shù)據(jù)平臺(tái)的數(shù)據(jù)挖掘系統(tǒng)引擎設(shè)計(jì)。為了提高船舶大數(shù)據(jù)平臺(tái)的數(shù)據(jù)挖掘水平，本文一方面改進(jìn)了基于物聯(lián)網(wǎng)的數(shù)據(jù)管理系統(tǒng)，另一方面設(shè)計(jì)了新型的數(shù)據(jù)挖掘引擎。引擎是數(shù)據(jù)挖掘技術(shù)的核心，良好的數(shù)據(jù)挖掘引擎有助于改善數(shù)據(jù)挖掘的效率，快速完成數(shù)據(jù)的集群配置、分析等工作。本文在設(shè)計(jì)數(shù)據(jù)挖掘引擎時(shí)，主要考慮兩部分設(shè)計(jì)要求：其一，數(shù)據(jù)挖掘引擎必須具有優(yōu)異的數(shù)據(jù)處理能力；其二，挖掘引擎具有友好、易用的用戶接口。本文設(shè)計(jì)的數(shù)據(jù)挖掘引擎層次結(jié)構(gòu)主要包括引擎層、用戶層和中間層3部分。1）引擎層本文基于Linux開(kāi)發(fā)環(huán)境下的Spark集群，設(shè)計(jì)了數(shù)據(jù)挖掘的引擎層，并通過(guò)Zookeeper配置集群的項(xiàng)目管理，對(duì)Kalfka、Flume等數(shù)據(jù)格式有良好的輸入輸出接口[4]。2）中間層中間層的功能包括遠(yuǎn)程數(shù)據(jù)調(diào)用管理、RPC管理等。中間層節(jié)省了大數(shù)據(jù)平臺(tái)的數(shù)據(jù)挖掘任務(wù)遠(yuǎn)程提交過(guò)程，可實(shí)現(xiàn)任務(wù)的本地調(diào)用，提高了大數(shù)據(jù)平臺(tái)的工作效率。3）用戶層用戶層位于數(shù)據(jù)挖掘引擎的最上層，直接與用戶進(jìn)行交互。本文在設(shè)計(jì)用戶層時(shí)，采用Python編程語(yǔ)言和HTML插件，設(shè)計(jì)了一種人機(jī)交互性良好的用戶界面。

3結(jié)語(yǔ)

隨著計(jì)算機(jī)技術(shù)和物聯(lián)網(wǎng)技術(shù)的迅速發(fā)展，海上船舶監(jiān)測(cè)平臺(tái)的數(shù)據(jù)管理系統(tǒng)迎來(lái)了重要的技術(shù)革新。本文針對(duì)海上監(jiān)測(cè)平臺(tái)的網(wǎng)絡(luò)不穩(wěn)定、數(shù)據(jù)來(lái)源廣、數(shù)據(jù)類型多等問(wèn)題，設(shè)計(jì)了一種基于物聯(lián)網(wǎng)的數(shù)據(jù)管理系統(tǒng)，并設(shè)計(jì)了EM數(shù)據(jù)挖掘算法和數(shù)據(jù)挖掘引擎，有效的改善了船舶大數(shù)據(jù)平臺(tái)的數(shù)據(jù)分析、處理能力。

作者:高明浩 單位:日照職業(yè)技術(shù)學(xué)院