高校數據科學與大數據技術研究

時間:2022-09-06 11:30:51

導語:高校數據科學與大數據技術研究一文來源于網友上傳,不代表本站觀點,若需要原創文章可咨詢客服老師,歡迎參考。

高校數據科學與大數據技術研究

摘要:數據科學與大數據技術專業是因互聯網技術的快速發展而產生的新專業,該專業以數學、統計學和計算機科學為三大主要支撐學科。該文首先討論了數據科學與大數據技術專業的人才培養目標,從5個方面討論了人才培養目標,然后以大數據工程師、數據分析師、數據挖掘工程師和大數據開發工程師為例,研究了該專業的崗位任職要求。根據該專業的人才培養目標,結合該專業的崗位任職要求,該文以湖北工程學院為例,從專業基礎課、專業主干課、專業選修課和專業實踐課這四個方面探討了該專業的課程設置,以期為相關院校該專業人才培養方案的制訂和課程設置提供一定的參考。

關鍵詞:數據科學與大數據技術;課程設置;地方高校

隨著互聯網技術的不斷發展,社會媒體以及各種經濟和社會活動產生了海量的數據,數據的類型呈現多樣化的形態,既包括結構化數據,也包括非結構化數據,如音頻、圖像和視頻等。對這些數據進行充分利用,不僅需要數據科學理論上的發展,還需要大量掌握數據科學技術的專業人才。自2016年2月教育部批準北京大學、對外經濟貿易大學和中南大學等高校開設數據科學與大數據技術專業起,許多高校紛紛設立數據科學與大數據技術專業。截至目前,我國共有500多所高校獲批設立該專業。從眾多高校開設的情況來看,數據科學和大數據技術專業的設立主要分布在計算機學院、數學與統計學院、商學院和信息學院,也有的學校開設在理學院。數據科學與大數據技術專業以傳統的數學、統計學和計算機科學為三大支撐學科,并且涉及多學科的特定知識,也出現了許多處理大數據的技術和平臺。由于數據科學與大數據技術專業開設時間較短,很多高校還處在摸索階段,沒有太多可借鑒的經驗。如果只是修改數學專業、統計學專業和計算機專業的培養方案,不從具體實施方面著手操作,很難培養出符合國家和地方經濟發展、符合市場需求的專業人才。一些作者對此進行了有益的探索,2018年朝樂門等[1]研究了數據科學與大數據技術專業的特色課程,2019年孫書韜等[2]分析了北美知名大學數據科學專業課程體系,文獻[3][4][5]探討了計算機學院和信息學院數據科學與大數據技術專業的課程體系,文獻[6]分析了大數據專業課程體系設計中存在的主要問題,提出了“軟”“硬”兩套課程體系路線。湖北工程學院是第三批成功申請數據科學與大數據技術專業的學校之一,該專業由湖北工程學院數學與統計學院負責申報,開設在數學與統計學院。經過這兩三年的探索和實踐,對該專業已積累了一定的經驗。下面就以湖北工程學院為例,從該專業人才培養目標、專業的崗位情況、專業基礎課、專業主干課、專業選修課和專業實踐課這幾方面進行闡述與分享。

1數據科學與大數據技術專業的人才培養目標

本專業培養德智體美勞全面發展,適應環境變化和社會發展的需要,具有良好的政治素質與道德修養,掌握專業相關的學科基礎知識與基本技能,具備從事大數據系統的分析、設計、實現、運行和維護能力的高素質應用型高級工程技術人才,能夠在智慧城市建設和大數據相關領域內進行數據挖掘、大數據分析、大數據開發和數據可視化等工作。本專業學生畢業3~5年后應達到如下預期目標:培養目標1:掌握數學知識、自然科學知識、工程基礎知識和數據科學與大數據技術專業相關知識。培養目標2:具備較強的大數據工程項目的設計、開發、應用及大數據運維部署等實踐應用能力。培養目標3:具有良好的團隊合作、溝通交流和項目管理能力,能夠作為團隊成員或領導團隊完成項目的實施,具備創新精神和創業能力。培養目標4:能跟蹤學習數據科學領域新技術,具有較強的終身學習能力和可持續發展能力。培養目標5:能適應環境變化和社會發展的需要,具有國際視野,把握時代特征與社會需求,具備良好的個人素質、職業道德、人文素養、專業素養和社會責任感。

2數據科學與大數據技術專業的崗位情況

我們從互聯網招聘網站上發布的信息研究該專業的崗位情況和崗位要求得知,該專業主要有以下就業崗位:大數據工程師、數據分析師、數據挖掘工程師、大數據開發工程師、算法工程師、數據運營、數據科學家和大數據運維工程師。下面以大數據工程師、數據分析師、數據挖掘工程師和大數據開發工程師為例,闡述這些崗位的任職要求。

2.1大數據工程師

任職要求:具有1年以上大數據相關工作經驗;精通至少一種編程語言,如Java、Scala、Python;熟悉Hadoop、Hive、Hbase、Zookeeper、Hue等中的多個,或者有相關工作經驗者優先;熟悉Sparkstream?ing、Storm、Flink、Redis、Es中的多個,或者有相關工作經驗者優先;熟悉Sparkmllib/GraphX、圖計算、Mahout中的多個,或者有相關工作經驗者優先;具備數據挖掘、數據分析、機器學習知識背景,擁有反欺詐系統、推薦系統、精準營銷、信息檢索等方面的工作經驗者優先。

2.2數據分析師

任職要求:對數據敏感,有較強的數據分析邏輯,熟練掌握SQL、SPSS等數據分析工具,熟練使用PPT、office、Excel等辦公軟件;有2年相關數據分析工作經驗,具備處理和分析較大量級數據的能力;能夠對平臺各類數據、網站流量數據、用戶數據等各類數據進行統計分析;熟悉數據分析和數據挖掘理論知識、網絡知識和互聯網應用技術知識,了解金融平臺數據分析統計,了解互聯網營銷;具備較強的數據報表、數據報告制作能力;有用戶相關分析經驗及建模經驗者優先。

2.3數據挖掘工程師

任職要求:具有計算機、統計學、數學相關專業背景,具備數據挖掘理論、數據庫和機器學習基礎;掌握如關聯規則、分類算法和聚類算法等常用的機器學習算法;掌握Python、C、C++、Java等編程語言中至少一門編程語言;理解掌握數據庫原理,熟練使用Sql,能夠熟練使用Hadoop系列工具;有較強的數據思維、邏輯思維和結構化思維,具有獨立的分析問題和解決問題的能力;具有推薦系統和用戶畫像建模工作經驗者優先考慮。

2.4大數據開發工程師

任職要求:兩年以上大數據研發、挖掘、分析相關工作經驗;精通Java、Python、SQL等數據處理語言;對數據敏感,對數據相關工作有濃厚興趣;有Hadoop、Hive、Hbase、Presto等實際使用經驗者優先考慮;工作認真、仔細,積極主動,有較好的邏輯思維能力;有數據倉庫設計開發經驗者優先考慮;了解數理統計、數據分析及挖掘,熟知常用算法,有運用機器學習算法建模的理論基礎或實際經驗者優先考慮。從以上該專業的就業崗位的任職要求可以看出,對于數據科學與大數據技術專業的學生來說,要想真正成為一個高素質、復合型的大數據人才,需要具備以下能力:(1)編程能力。掌握至少一門編程語言,如Py?thon、C和Java等。(2)熟練掌握Hadoop和Spark大數據生態圈及相關組件,熟悉Linux系統。教改教法88(3)具備數據存儲能力,熟練掌握數據庫Sql及其他類型數據庫。(4)熟練使用PPT、Office、Excel等辦公軟件,熟練使用SPSS和R等統計軟件。(5)一般該專業的工作崗位需要1年以上的工作經驗。此外,不同的崗位有不同的需求,如大數據工程師、算法工程師和數據科學家需要掌握數據挖掘理論知識以及常見的機器學習算法。而大數據運維工程師需要精通Hadoop大數據生態圈,并有實際部署維護經驗。數據運營和數據分析師需要了解特定領域的知識,才能知道數據背后的含義,從而更好地分析和解決該領域的實際問題。從該專業以上就業崗位的任職要求可以看出,數據科學與大數據技術專業課程開設涉及數學類、統計類、計算機類、數據科學類、大數據技術類相關課程和領域方向類課程。由于湖北工程學院數據科學與大數據技術專業開設在數學與統計學院,數學與統計學師資較強,結合人才畢業要求,開設專業基礎課、專業主干課、專業選修課偏向于數學類、統計類和數據科學類相關課程。

3數據科學與大數據技術專業的專業基礎課的設置

數據科學與大數據技術專業的專業基礎課有高等數學、線性代數、概率論、數理統計、離散數學、C語言程序設計、Linux操作系統基礎、統計學、大數據導論。高等數學、線性代數、概率論、數理統計和統計學課時較為充足,突出基礎性學科的重要性。在這些課程中,數學類課程有高等數學、線性代數和離散數學;統計類相關課程有概率論、數理統計和統計學;計算機類相關課程有C語言程序設計、Linux操作系統基礎。大數據導論開設為通識課,主要是讓學生知道數據科學和大數據技術專業所涉及的各種專業技術以及該專業的應用領域。

4數據科學與大數據技術專業的專業主干課的設置

數據科學與大數據技術專業的專業主干課有數據結構與算法(C語言)、數據庫原理及其應用技術、機器學習、應用回歸分析、Python語言程序設計、數據采集與網絡爬蟲、數據可視化。在這些課程中,統計類相關課程有應用回歸分析;計算機類相關課程有數據結構與算法(C語言)、數據庫原理及其應用技術和Python語言程序設計;數據科學類相關課程有機器學習、數據采集與網絡爬蟲和數據可視化。

5數據科學與大數據技術專業的專業選修課的設置

數據科學與大數據技術專業的專業選修課有數學實驗與數學模型、數據挖掘與分析、應用多元統計分析、應用時間序列分析、推薦系統、數值分析、計算機網絡、深度學習、文本挖掘、大規模分布式系統、大數據處理技術及其應用、數據清洗、算法分析與設計、Java語言程序設計、數字圖像處理、行業大數據案例分析、應用隨機過程、最優化理論。在這些課程中,數學類課程有數學實驗與數學模型、數值分析、最優化理論;統計類相關課程有應用多元統計分析、應用時間序列分析、應用隨機過程;計算機類相關課程有計算機網絡、算法分析與設計、Java語言程序設計;數據科學類相關課程有數據挖掘與分析、推薦系統、數字圖像處理、深度學習、文本挖掘、數據清洗;大數據技術類相關課程有大規模分布式系統、大數據處理技術及其應用,這兩門課涉及Hadoop大數據生態圈和Spark大數據分析技術。領域方向類課程有行業大數據案例分析,這門課程涉及某一領域的知識及相應的大數據分析案例實現。湖北工程學院數學與統計學院的師資力量主要集中在數學、統計學和數據科學方向。在學生選修課程時,我們會推薦選修與大數據工程師、數據分析師、數據挖掘工程師、數據運營等崗位相關的課程,對于有進一步深造意愿的學生,可以選擇與算法工程師和數據科學家崗位相關的選修課程。而對于以后想從事大數據工程師、大數據開發工程師和大數據運維工程師崗位的學生,要重點學習大數據技術類相關課程和編程語言課程。

6數據科學與大數據技術專業的專業實踐課的設置

從數據科學與大數據技術專業崗位情況的任職要求可以看出,一些企業和公司對求職者的實踐能力有一定的要求。因此,結合該專業的人才培養目標,在制訂人才培養方案時,要重視專業實踐課程的設置。數據科學與大數據技術專業的專業實踐課的設置分為專業課程實驗課和專業集中實踐課。在設置專業課程實驗課時,我們將它與對應的專業課程理論課放在一起,在人才培養方案中將其作為一門課程設置,在專業基礎課、專業主干課和專業選修課中都會涉及。專業集中實踐課分為專業實習、專業綜合實踐、畢業論文設計、數據庫課程設計、機器學習課程設計以及數據結構與算法課程設計等,其中專業實習和專業綜合實踐可以去校外的實訓基地進行,采用校企合作的方式,在校外的實訓基地進行的實踐活動可以對校內實踐教學的各個環節起到充實和完善作用。如果受到疫情影響,則可以采用在線實踐實習的方式,由企業的項目工程師在線指導培訓,學生通過操作實訓項目,可以提高實踐動手能力和人才培養質量。專業課程實驗課、數據庫課程設計、數據結構與算法課程設計和機器學習課程設計等都可以在湖北工程學院數學與統計學院的大數據實驗室進行。

7結語

湖北工程學院數據科學與大數據技術專業的專業課程在設置方面,是根據該專業的人才培養目標,并且結合該專業的崗位情況而開設的,也借鑒了其他學校的課程設置和企業工程師的建議。學生畢業之后從事什么樣的崗位和選擇哪個考研方向,需要學生根據自己對相關課程的學習情況以及所選修的專業課程來確定。對于專業課程的設立和課時設定以及具體開設學期的確定,我們遵循“厚基礎、寬口徑、重實踐、促創新”的原則。同時,我們也會考慮并結合地方高校學生的實際情況,在實際操作中進一步優化。

參考文獻

[1]朝樂門,邢春曉,王雨晴.數據科學與大數據技術專業特色課程研究[J].計算機科學,2018,45(3):1-8.

[2]孫書韜,朱立谷,李春芳.北美知名大學數據科學專業課程體系分析[J].中國教育信息化,2019(24):48-50.

[3]劉建華,胡文瑜,唐鄭熠,等.數據科學與大數據技術專業課程體系探索[J].科教文匯,2021(2):115-116.

[4]高艷.應用型高校數據科學與大數據技術專業課程體系探索:以山西農業大學信息學院為例[J].信息系統工程,2019(5):169,171.

[5]李莎莎,周競文,唐晉韜,等.數據科學與大數據人才專業課程體系分析[J].計算機工程與科學,2018,40(S1):109-113.

[6]付長賀,鄧甦.新工科背景下大數據專業課程體系設計[J].沈陽師范大學學報(自然科學版),2020,38(5):468-471.

作者:潘保國 吳舒展 單位:湖北工程學院數學與統計學院