鐵路基礎設施檢測監測數據管理分析

導語：鐵路基礎設施檢測監測數據管理分析一文來源于網友上傳，不代表本站觀點，若需要原創文章可咨詢客服老師，歡迎參考。

摘要：為實現鐵路基礎設施檢測監測數據資源的全面整合，打破各專業、各應用系統間的數據壁壘，形成檢測監測數據資源的全景視圖，支撐全路檢測監測數據的資產化管理，本文基于大數據技術，圍繞鐵路基礎設施檢測監測數據的接入（傳輸）、存儲、治理、共享等數據管理業務設計并實現了鐵路基礎設施檢測監測數據管理和集成分析服務平臺，在完成檢測監測數據資源全面集成整合的同時提供數據處理分析算法的注冊管理、調度運用等集成分析服務，支持數據資產的精細加工和價值管理，支撐基礎設施故障診斷、故障預測、狀態評價等大數據分析應用。通過實際應用，驗證了平臺的可行性與實用性。

關鍵詞：數據資產管理；檢測監測；集成分析；大數據平臺；鐵路基礎設施

世界各國鐵路系統正積極探索利用大數據、人工智能等新一代信息技術，期望大幅提升鐵路運輸組織效率效益、優化客貨運輸服務品質和提高鐵路運輸安全水平。德國提出鐵路數字化戰略（鐵路4.0），以提升乘客滿意度為目標，通過建設統一的數據服務平臺實現對經營狀況和設備故障的精準分析。瑞士提出SmartRail4.0戰略，意圖進一步提高鐵路系統運輸能力和安全性，有效維護和利用基礎設施，長期保持瑞士鐵路的競爭力［1］。荷蘭利用物聯網技術監測鐵路基礎設施運營狀況，綜合運用大數據和人工智能技術預測基礎設施服役狀態的變化趨勢，提出預防和修理建議［2-3］。提高檢測監測數據的資產管理和深度挖掘能力，持續優化基礎設施運營維護管理體系，實現基礎設施運營安全和維護成本可控，已成為世界各國鐵路基礎設施運營維護可持續發展的共識和必由之路。隨著我國鐵路運營維護技術的快速發展，逐漸構建了移動周期檢測、固定在線監測、現場人工檢查等方式于一體的鐵路基礎設施檢測監測技術體系。近十年積累了海量的基礎設施運營狀態檢測監測數據，涵蓋軌道、鋼軌、橋梁、路基、隧道、接觸網、通信、信號等專業，包括非結構化原始數據和結構化數據。這些數據對于鐵路基礎設施健康管理具有很高的應用價值，但其存儲管理和分析應用的技術不夠完善，導致無法完全發揮出其應用價值［4］。因此，有必要面向鐵路基礎設施綜合一體化檢測監測體系構建統一的檢測監測數據管理分析服務平臺，提供檢測監測數據的統一接入（傳輸）、存儲、治理、共享等數據管理業務，同時基于標準化算法的注冊管理和調度應用支持檢測監測數據的自動化處理和智能化分析，為檢測監測數據分析技術創新提供開放的孵化生態環境。

1技術架構

在數據存儲管理方面，既有業務系統相對獨立，形成了專業范圍的信息孤島，且傳統采用文件傳輸協議（FileTransferProtocol，FTP）的文件管理模式不能適應海量數據高效、安全的共享服務，導致數據資源難以共享，綜合應用難以展開，整體效益難以發揮。在數據分析效率方面，各專業管理信息系統眾多且相互獨立，數據訪問接口、分析算法、結果展示功能重復開發；數據處理分析算法版本管理困難，針對不同系統業務需求的算法接口不一致；非結構化數據缺少批量處理能力，數據分析時效性難以保證；不能有效支持非結構化數據的共享開放，權限及數據安全無法得到保障［5-鑒于以上問題，以模塊化、標準化、服務化、平臺化、架構易擴展為指導方針，以構建共享服務生態為中心思想，采用分層設計，堅持高內聚、低耦合、漸進性原則，設計了鐵路基礎設施檢測監測數據管理分析服務平臺（簡稱平臺）。平臺包括數據層和服務層，技術架構如圖1所示。數據層對接各專業檢測監測數據系統，具備靈活、可伸縮拓展的數據接收能力；將各專業信息系統數據和外部相關數據進行分類存儲和有效組織，完成多渠道數據信息整合；不僅存儲管理時序數據、圖像數據、結構化數據等各類檢測監測數據，還引入基礎臺賬數據、外部數據（維修數據、運輸數據、環境數據等），為數據集成分析提供全業務、全類型的數據信息資源。服務層為各業務應用提供數據批量處理、智能化數據處理、算法模型管理、標準化數據服務接口等能力，全面支撐基礎設施檢測監測數據統計、故障診斷、趨勢預警、狀態評價、維修決策等工作。

2關鍵技術

在數據分類存儲、高效檢索、大數據組件整合、平臺界面優化、資源利用與部署等方面采用高新且成熟穩定的信息技術，構建新一代數據管理平臺，便于日后進行平臺升級改造，保證平臺的長久運轉。平臺關鍵技術如圖2所示。

2.1數據分類存儲技術

平臺支持多源異構的數據存儲。采用關系型數據庫（OracleDB）存儲結構化原始數據；采用分布式文件存儲非結構化原始數據；采用NoSQL數據庫（MongoDB）存儲非結構化分析結果文件；采用基于Hadoop分布式文件系統（HadoopDistributedFileSystem，HDFS）的數據倉庫（Hive）存儲面向主題的結構化分析結果數據；采用關系型數據庫（MySQL）存儲面向分析的結構化分析結果數據；采用時序數據庫（InfluxDB）存儲時間序列的高頻分析結果數據［7-8］。

2.2數據高效檢索技術

通過Elasticsearch解決分布式、高擴展、高實時的搜索與數據分析需求，使大量檢測監測數據具有搜索、分析、探索能力，實現平臺檢測監測數據全生命周期管理及高效全文檢索。充分利用Elasticsearch的水平伸縮性，提高數據的價值。Elasticsearch的實現原理為：首先用戶將數據提交到Elasticsearch數據庫中，再通過分詞控制器將對應的語句分詞，將其權重和分詞結果一并存入數據庫；用戶搜索數據時，再根據權重將結果排名、打分；最后將返回結果呈現給用戶［9］。

2.3大數據組件整合技術

通過SpringCloud對平臺開發過程中使用的大數據相關組件進行有效整合，實現服務的高可用性，提高平臺穩定性。SpringCloud為平臺提供了微服務開發所需的配置管理、服務發現、斷路器、智能路由、微、控制總線、全局鎖、決策競選、分布式會話、集群狀態管理等組件。與SpringBoot框架一同使用可以使開發微服務架構的云服務非常便捷［10］。

2.4平臺界面優化技術

通過Vue構建用戶界面的漸進式框架，優化平臺界面展示效果，提升用戶體驗。與其他重量級框架不同，Vue作為漸進式框架，采用自底向上增量開發的設計。Vue的核心庫只關注視圖層，易學習，易與其他庫或已有項目整合；Vue完全有能力驅動采用單文件組件和Vue生態系統支持的庫開發的復雜單頁應用，通過簡單的API（ApplicationProgrammingInterface）實現響應的數據綁定和組合視圖組件［11］。

2.5平臺資源利用與部署技術

采用K8S+Docker的容器化管理策略和基于YARN（YetAnotherResourceNegotiator）的資源調度管理器實現應用負載及平臺資源調度管理，實現更高效的平臺資源利用、更便捷的可持續部署工作。Docker在容器的基礎上進行了平臺功能組件的進一步封裝，從文件系統、網絡互聯到進程隔離等，極大地簡化了容器的創建和維護［12］。

3主要功能

平臺支持多源異構數據歸集、存儲、治理和共享能力，以及數據處理分析算法的注冊管理和調度應用，為故障診斷、趨勢預測、狀態評價等智能分析業務提供平臺支撐。平臺功能架構如圖3所示。

3.1數據匯聚

平臺支持多源異構數據、多類型的數據接入及多種協議的數據接入；支持數據匯聚過程的日志管理，對日志進行可視化展示，以便監控采集的整個過程。數據歸集涵蓋基礎設施臺賬（主數據）和檢測監測數據，后者按照數據來源可分為移動檢測數據、固定在線監測數據、現場小型儀器檢查或人工觀測數據。

3.2數據存儲

對于結構化數據（結構化檢測監測數據、偏差數據、臺賬數據、元數據等），其中結構化檢測監測數據、偏差數據、元數據等通常會有修改要求，要具備事務處理能力，采用關系型數據庫（如Oracle、MySQL）進行數據存儲。對于半結構化二進制文件，如各類檢測車檢測的原始波形文件，會有高頻處理分析需求，采用時序數據庫（InfluxDB）進行數據存儲。對于圖像、視頻、文檔類非結構化數據，由于數據量較大，采用分布式文件存儲和NoSQL數據庫（MongoDB）進行存儲。

3.3數據治理

通過匯聚各類型檢測監測數據生成元數據信息，形成檢測監測數據資產目錄。根據不同數據源的特點，規范化數據文件格式、編碼規則，配合元數據實現數據標準化治理。以后續自動化分析能夠使用質量良好的數據源為最終目標進行數據治理和質量評價，主要包括完整性、規范性、有效性和可用性等［13］。

3.4數據共享

基于對檢測監測數據的權限控制、設置檢測監測數據的更新策略和頻次，實現信息資源同步。通過數據的訪問、下載和標準化API服務接口等方式為各部門間信息共享交換和業務協同提供數據支撐服務。

3.5算法注冊

提供數據處理分析算法的封裝、配置、的統一管理。封裝帶有業務邏輯的組合算法、獨立算法和數據服務接口；基于算法的最小單位提供注冊、創建、配置算法運行所需資源環境；變更、、監控算法全生命周期管理。保存算法組件的元數據，包括調用方式、請求協議、功能介紹、參數配置、版本、算法倉庫地址等信息。各部門根據不同業務需求在權限范圍內調用平臺上已注冊算法，實現靈活可控的算法共享。

3.6任務調度

對數據采集、數據清洗、數據分析等大量任務單元執行順序進行配置，并完成各任務的調度執行。

3.7資源監控

實現對數據接入、數據存儲和數據服務全面監控，同時對CPU、內存、磁盤、網絡等狀況進行底層服務集群的主機級監控。

3.8安全服務

使用HTTPS（HyperTextTransferProtocoloverSecureSocketLayer）安全協議和SFTP（SecretFileTransferProtocol）進行業務信息的安全傳輸與文件機密性保護；對數據進行完整性驗證，對缺失和異常數據進行記錄跟蹤與恢復，對敏感數據進行加密與脫敏；通過WebService接口和XML文件，與第三方系統進行集成和數據交互，同時保存收發數據的消息日志，禁止第三方系統直接訪問數據庫［14］；采用雙機部署拓撲，確保關鍵節點發生故障時能迅速進行服務節點切換及故障節點恢復；審核并記錄針對平臺數據進行的業務邏輯操作及事件的詳細描述；通過單點登錄、密碼強口令等方式控制用戶登錄，按照業務職能進行角色劃分，對于平臺功能細化至菜單級，控制用戶權限粒度。

3.9應用服務

通過對數據“入-存-管-出”全過程管理和數據處理分析算法管理，為業務應用提供檢測監測數據與數據分析算法方面的支撐，支持各業務應用實現數據展示、故障診斷、趨勢預警、狀態評價和綜合展示，為檢測監測數據分析技術創新提供開放的孵化生態環境。

4結語

本文面向鐵路基礎設施檢測監測數據資產化管理、自動化和智能化分析要求，設計并實現了鐵路基礎設施檢測監測數據管理分析服務平臺。平臺提供檢測監測數據的接入、存儲、治理、共享等專業化管理服務；整合檢測監測數據資源，打破各專業、各應用系統間的數據壁壘，形成檢測監測數據資源的全景視圖；支持數據資產的精細加工和價值管理，為檢測監測數據融合分析、深度挖掘等智能化分析提供平臺支撐和數據服務。平臺在成都鐵路局正式投入使用，已完成2019—2020年度軌道幾何檢測數據的資產化管理和檢測里程校正自動化處理，充分驗證了平臺的可行性與實用性。后續將利用5G無線通信技術，將檢測監測數據自動接入數據管理服務平臺，逐步形成數據驅動的基礎設施故障診斷與健康管理分析能力；同時完善檢測監測數據管理分析服務平臺的兼容性，為算法研發提供開放的測試驗證和應用孵化生態環境。

作者：陶凱 郭奇園 代春平 單位：中國鐵道科學研究院集團有限公司 基礎設施檢測研究所 北京鐵科英邁技術有限公司