神經(jīng)網(wǎng)絡學習規(guī)則范文

導語：如何才能寫好一篇神經(jīng)網(wǎng)絡學習規(guī)則，這就需要搜集整理更多的資料和文獻，歡迎閱讀由公務員之家整理的十篇范文，供你借鑒。

篇1

【關鍵詞】模糊系統(tǒng)；神經(jīng)網(wǎng)絡；結合；現(xiàn)狀

中圖分類號：Q189文獻標識碼： A 文章編號：

一、前言

隨著我國經(jīng)濟的快速發(fā)展，我國的各項事業(yè)都取得了巨大的成就。其中模糊系統(tǒng)與神經(jīng)網(wǎng)絡的結合就是重要的體現(xiàn)，模糊系統(tǒng)與神經(jīng)網(wǎng)絡的結合在很多方面都得到了應用，同時也引起了更多學者研究其的愿望。相信模糊系統(tǒng)與神經(jīng)網(wǎng)絡的結合在未來會發(fā)展的更好。

二、模糊系統(tǒng)與神經(jīng)網(wǎng)絡概述

1、模糊系統(tǒng)與神經(jīng)網(wǎng)絡的概念

（1）、模糊系統(tǒng)概念

模糊系統(tǒng)(Fuzzy System, 簡稱 FS)是仿效人的模糊邏輯思維方法設計的系統(tǒng), 方法本身明確地說明了系統(tǒng)在工作過程中允許數(shù)值量的不精確性存在。

（2）、神經(jīng)網(wǎng)絡概念

神經(jīng)網(wǎng)絡( Neural Network, 簡稱 NN) 是由眾多簡單的神經(jīng)元連接而成的網(wǎng)絡。盡管每個神經(jīng)元結構、功能都不復雜, 但網(wǎng)絡的整體動態(tài)行為極為復雜, 可組成高度非線性動力學系統(tǒng), 從而可表達許多復雜的物理系統(tǒng)。神經(jīng)網(wǎng)絡的研究從上世紀40年代初開始, 目前, 在世界范圍已形成了研究神經(jīng)網(wǎng)絡前所未有的熱潮。它已在控制、模式識別、圖像和視頻信號處理、金融證券、人工智能、軍事、計算機視覺、優(yōu)化計算、自適應濾波和A/D變換等方面獲得了應用。

2、模糊系統(tǒng)與神經(jīng)網(wǎng)絡的異同

（1）映射集及映度

神經(jīng)網(wǎng)絡是用點到點的映射得到輸入與輸出的關系, 它的訓練是確定量, 因而它的映射關系也是一一對應的; 模糊系統(tǒng)的輸入、輸出都是經(jīng)過模糊化的量, 不是用明確的數(shù)來表示的, 其輸入輸出已模糊為一個隸屬度的值,因此它是區(qū)域與區(qū)域間的映射, 可像神經(jīng)網(wǎng)絡一樣映射一個非線性函數(shù)。

（2）知識存儲方式

神經(jīng)網(wǎng)絡的基本單元是神經(jīng)元, 對映射所用的多層網(wǎng)絡間是用權連接的, 因此學習的知識是分布在存儲的權中間的, 而模糊系統(tǒng)則以規(guī)則的方式來存儲知識, 因此在隸屬函數(shù)形式上, 區(qū)域的劃分大小和規(guī)則的制定上人為因素較多。

（3）聯(lián)結方式

神經(jīng)網(wǎng)絡的聯(lián)結, 以前饋式網(wǎng)絡為例, 一旦輸出的隱層確定了, 則聯(lián)結結構就定了, 通過學習后, 幾乎每一個神經(jīng)元與前一層神經(jīng)元都有聯(lián)系, 因此, 在控制迭代中, 每迭代一次,各權都要學習。而在模糊系統(tǒng)中, 每次輸入可能只與幾條規(guī)則有關, 因此聯(lián)結不固定, 每次輸入輸出聯(lián)系的規(guī)則都在變動, 而每次聯(lián)結的規(guī)則少, 運算簡單方便。

（4）計算量的比較

人工神經(jīng)網(wǎng)絡的計算方法需要乘法、累加和指數(shù)運算, 而模糊系統(tǒng)的計算只需兩個量的比較和累加, 又由于每次迭代的規(guī)則不多, 因此在實時處理時, 模糊系統(tǒng)的速度比神經(jīng)網(wǎng)絡快。但是當模糊輸入與輸出變量很多的時候,模糊規(guī)則僅靠一張表已不能描述多變量間的關系, 且規(guī)則的控制存在一定困難, 此時人為的先驗指數(shù)變得較少, 那么隸屬函數(shù)、規(guī)則本身都要通過學習得到, 因此它的計算量也會增加。

三、模糊和神經(jīng)網(wǎng)絡的結合形式

目前,模糊和神經(jīng)網(wǎng)絡技術從簡單結合到完全融合主要體現(xiàn)在四個方面(見圖1)。由于模糊系統(tǒng)和神經(jīng)網(wǎng)絡的結合方式目前還處于不斷發(fā)展的進程中,所以,還沒有更科學的分類方法,下述結合方式是從不同應用中綜合分析的結果。

1、模糊系統(tǒng)和神經(jīng)網(wǎng)絡系統(tǒng)的簡單結合(見圖1(a))

模糊系統(tǒng)和神經(jīng)網(wǎng)絡系統(tǒng)各自以其獨立的方式存在,并起著一定的作用。¹松散型結合 在一系統(tǒng)中,對于可用“if-then”規(guī)則來表示的部分,用模糊系統(tǒng)描述;而對很難用“if-then”規(guī)則表示的部分,則用神經(jīng)網(wǎng)絡,兩者之間沒有直接聯(lián)系。

（1）并聯(lián)型結合 模糊系統(tǒng)和神經(jīng)網(wǎng)絡在系統(tǒng)中按并聯(lián)方式連接,即享用共同的輸入。按照兩系統(tǒng)所起作用的輕重程度,還可分為等同型和補助型。

（2）串聯(lián)型結合 模糊系統(tǒng)和神經(jīng)網(wǎng)絡在系統(tǒng)中按串聯(lián)方式連接,即一方的輸出成為另一方的輸入。

圖表 1模糊系統(tǒng)與神經(jīng)網(wǎng)絡結合形式分類

2、用模糊邏輯增強的神經(jīng)網(wǎng)絡。這種結合的主要目的是用模糊神經(jīng)系統(tǒng)作為輔助工具,增強神經(jīng)網(wǎng)絡的學習能力,克服傳統(tǒng)神經(jīng)網(wǎng)絡容易陷入局部極小值的弱點。

3、用神經(jīng)網(wǎng)絡增強的模糊邏輯

這種類型的模糊神經(jīng)網(wǎng)絡是用神經(jīng)網(wǎng)絡作為輔助工具,更好地設計模糊系統(tǒng)。

（1）網(wǎng)絡學習型的結合 模糊系統(tǒng)設計的關鍵是知識的獲取,傳統(tǒng)方法難于有效地獲取規(guī)則和調整隸屬度函數(shù),而神經(jīng)網(wǎng)絡的學習能力能夠克服這些問題,故用神經(jīng)網(wǎng)絡增強的模糊系統(tǒng)。

（2）基于知識擴展型的結合 神經(jīng)網(wǎng)絡和模糊系統(tǒng)的結合是為了擴展知識庫和不費時地對知識庫進行修正,增強系統(tǒng)的自學習能力,這種自學習能力是靠神經(jīng)網(wǎng)絡和模糊系統(tǒng)之間進行雙向。

4、模糊系統(tǒng)與神經(jīng)網(wǎng)絡的等價

（1）函數(shù)通近

模糊系統(tǒng)與神經(jīng)網(wǎng)絡除了都是無模型系統(tǒng)外,它們都是函數(shù)的全局逼近器.模糊系統(tǒng)以其插值機理來逼近任意的連續(xù)函數(shù)。不但傳統(tǒng)的模糊系統(tǒng)模型是任意連續(xù)函數(shù)的全局逼近器,而且神經(jīng)網(wǎng)絡與模糊系統(tǒng)的不同結合能逼近不同的函數(shù),如模糊神經(jīng)網(wǎng)絡可以逼近模糊函數(shù)，神經(jīng)網(wǎng)絡也是任意連續(xù)函數(shù)的全局逼近器。設任意連續(xù)函數(shù)h(x),對于緊空間X和任意小的正數(shù),總能找到一個三層的前向神經(jīng)網(wǎng)絡N(x)滿足:

在前向神經(jīng)網(wǎng)絡家族中,RBF神經(jīng)網(wǎng)絡是最優(yōu)的函數(shù)逼近器,即對于任意的神經(jīng)網(wǎng)絡N(x)總存在一個RBF神經(jīng)網(wǎng)絡N‘(x),滿足:

（2）神經(jīng)網(wǎng)絡與模糊系統(tǒng)的等價性

模糊系統(tǒng)和神經(jīng)網(wǎng)絡的等價性主要有兩個方面:模型的等價性和Madani模型的等價性。對于TS模型.首先Jang〔,5〕給出了標準的Gauss,anRBF神經(jīng)網(wǎng)絡等價于限制的Ts一型模糊系統(tǒng)。Hunt指出推廣的GaussianRBF神經(jīng)網(wǎng)絡等價于TS一型模糊系統(tǒng)。Benitez證明了若一個三層的神經(jīng)網(wǎng)絡,隱含單元的激發(fā)函數(shù)為對數(shù)函數(shù)(loglst1C),輸出層的激發(fā)函數(shù)為單元函數(shù).設N(x),則存在一個模糊系統(tǒng)的輸出也為N(x)。

四、模糊系統(tǒng)與神經(jīng)網(wǎng)絡結合的現(xiàn)狀

目前, FS和NN的結合主要有模糊神經(jīng)網(wǎng)絡和神經(jīng)模糊系統(tǒng)。神經(jīng)模糊系統(tǒng)是以NN為主, 結合模糊集理論。它將NN作為實現(xiàn)FS 模型的工具, 即在NN的框架下實現(xiàn)FS或其一部分功能。神經(jīng)模糊系統(tǒng)雖具有一些自己所具有而NN不具備的特性, 但它沒有跳出NN 的框架。神經(jīng)模糊系統(tǒng)從結構上來看, 一般是四層或五層的前向神經(jīng)網(wǎng)絡。模糊神經(jīng)網(wǎng)絡是神經(jīng)網(wǎng)絡的模糊化。即以模糊集、模糊邏輯為主, 結合 NN 方法, 利用NN的自組織性, 達到柔性信息處理的目的。目前,FS理論和NN結合主要應用于商業(yè)及經(jīng)濟估算、自動檢測和監(jiān)視、機器人及自動控制、計算機視覺、專家系統(tǒng)、語音處理、優(yōu)化問題、醫(yī)療應用等方面, 并可推廣到工程、科技、信息技術和經(jīng)濟等領域。

五、模糊神經(jīng)網(wǎng)絡的發(fā)展方向及存在問題

然模糊神經(jīng)網(wǎng)絡得到了突飛猛進的發(fā)展,但目前還存在很多問題:（1）多變量、復雜控制系統(tǒng)中,很難確定網(wǎng)絡的結構和規(guī)則點的組合“爆炸”問題；（2）傳統(tǒng)的Bp學習方法昜陷入局部極小值,并切學習速度較慢。

發(fā)展方向主要集中于:（1）模糊邏輯和神經(jīng)網(wǎng)絡的對應關系,將模糊控制器的調整轉化為等價的神經(jīng)元網(wǎng)絡學習,利用等價的模糊邏輯來初始化神經(jīng)元網(wǎng)絡；（2）尋找一般模糊集的模糊神經(jīng)網(wǎng)絡的學習算法

七、結束語

近年來隨著信息技術的發(fā)展，模糊理論和人工神經(jīng)網(wǎng)絡近年來取得了引人注目的進展, 模糊理論和人工神經(jīng)網(wǎng)絡的各個方面都取得了越來越多的成果。 通過不斷的努力，我們一定可以進一步的推進模糊理論和神經(jīng)網(wǎng)絡將會在發(fā)展新理論, 完善各自體系。相信在未來的研究中，模糊和神經(jīng)網(wǎng)絡的結合

將會為研究更高智能系統(tǒng)開創(chuàng)一條成功之路，造福人類。

參考文獻

[1]劉增良.模糊技術與應用選篇[J].京航空航天大學出版社,1997.

[2]莊鎮(zhèn)泉,章勁松.神經(jīng)網(wǎng)絡與智能信息處理[J].中國科學技術大學,2000.

篇2

關鍵詞：自主導航；人工智能；模糊神經(jīng)網(wǎng)絡；避障；BP神經(jīng)網(wǎng)絡

中圖分類號：TP79文獻標識碼：A文章編號：1005-3824（2014）03-0083-03

0引言

2013年12月14日21時11分，嫦娥三號探測器在月球表面預選著陸區(qū)域成功著陸，裝著紅外成像光譜儀、避障相機、機械臂和激光點陣器等設備的月球車“玉兔”驅動著6個輪子在月球表面留下了歷史的痕跡。這標志著我國已成為世界上第3個實現(xiàn)地外天體軟著陸的國家，也展現(xiàn)出了智能控制系統(tǒng)[1]在航天事業(yè)上的卓越應用。在如今的社會生活中，隨處體現(xiàn)著智能技術的存在，人們已經(jīng)離不開智能技術，智能機器人的發(fā)展也飛速前進，從兒童的玩具機器人到太空探索的機器人，可以預見智能機器人的應用將更加廣泛。近年來，非線性動態(tài)系統(tǒng)的自適應控制在我國引起了廣泛的研究，模糊神經(jīng)網(wǎng)絡控制是一個重要的自適應方法，因此得到了很多專家學者的青睞。

模糊邏輯控制在宏觀上模仿人的思維，處理語言和思維中的模糊性概念，它是以模糊集合論、模糊語言變量和模糊邏輯推理為基礎的一種計算機數(shù)字控制技術；神經(jīng)網(wǎng)絡是從微觀上模仿人的智能行為，進行分布式并行信息處理算法的數(shù)學模型，它是根據(jù)人腦的生理結構和信息處理過程創(chuàng)造的[2]。模糊控制與神經(jīng)網(wǎng)絡各自都有一定的應用局限，因此，人們早在20世紀80―90年代就把它們相結合，組成更為完善的控制方法。模糊控制與神經(jīng)網(wǎng)絡的結合有多種方式，根據(jù)研究角度和應用領域的變化而不同。1模糊控制與神經(jīng)網(wǎng)絡的介紹

1.1模糊邏輯控制系統(tǒng)

模糊邏輯控制系統(tǒng)主要包含輸入變量、模糊控制器、被控對象和偏差。模糊邏輯控制系統(tǒng)結構如圖1所示。

知識庫：是模糊控制器的核心。由數(shù)據(jù)庫和規(guī)則庫組成，數(shù)據(jù)庫中存著有關模糊化、模糊推理、解模糊的一切知識，規(guī)則庫是由若干模糊規(guī)則組成的。

模糊推理機：根據(jù)模糊邏輯法則把邏輯規(guī)則庫中的模糊“if-then”轉換成某種映射。

反模糊化：反模糊化的方法一般有最大隸屬度平均法、最大中點法、面積等分法、重心法和加權平均法等。

模糊控制的優(yōu)點：可以在預先不知道被控對象的精確數(shù)學模型；規(guī)則一般是由有經(jīng)驗的操作人員或者專家的經(jīng)驗總結出來并且以條件語句表示的，便于學習和理解；控制是由人的語言形式表示，有利于人機對話和系統(tǒng)知識的處理等。不足之處：精度不夠高；自適應能力有限；模糊規(guī)則庫非常龐大，難以進行更改優(yōu)化[3]。

1.2人工神經(jīng)網(wǎng)絡

人工神經(jīng)網(wǎng)絡（ANN）是一種模擬人腦神經(jīng)系統(tǒng)的結構和功能的運算模型，由大量的節(jié)點，即神經(jīng)元及相互之間連接構成的，它是人工方式構造的一種網(wǎng)絡系統(tǒng)。神經(jīng)元結構模型如圖3所示。

傳遞函數(shù)f又稱轉移函數(shù)或激活函數(shù)，是單調上升的有界函數(shù)，常用的轉移函數(shù)有線性函數(shù)、斜坡函數(shù)、階躍函數(shù)及單雙極S型函數(shù)等。但是最常用的還是單極S型函數(shù)：

神經(jīng)網(wǎng)絡的結構形式也有幾種，例如，全互連型結構、層次型結構和網(wǎng)孔型結構等[4]。前饋型網(wǎng)絡是一類單方向層次型網(wǎng)絡模塊，其最基本的單層神經(jīng)元網(wǎng)絡如圖4所示。

圖4單層神經(jīng)元網(wǎng)絡3層BP神經(jīng)網(wǎng)絡是比較常用的結構，圖5是它的基本結構。

圖5BP神經(jīng)網(wǎng)絡的基本結構BP神經(jīng)網(wǎng)絡至少有3層，圖5中，第Ⅰ層是輸入層，第Ⅱ層為隱藏層，第Ⅲ層為輸出層。由于3層的BP神經(jīng)網(wǎng)絡就具有了模糊系統(tǒng)中萬能逼近的能力[5]，為了不使系統(tǒng)變得更復雜，本文就只用了3層的BP神經(jīng)網(wǎng)絡，當然，也可以根據(jù)自身的實際應用情況增加隱層的層數(shù)，但并不是層數(shù)越多，精度就越高，相對的系統(tǒng)的反應時間就會增加，時延也會增長。

神經(jīng)網(wǎng)絡的優(yōu)點：能夠通過學習和訓練獲取用數(shù)據(jù)表達的知識，不僅可以記憶一直獲得的信息，還具有較強的概括及聯(lián)想記憶能力，它的應用已經(jīng)延伸到各個領域，在各方面取得很好的進展等。不足之處：缺乏統(tǒng)一的方法處理非線性系統(tǒng)；網(wǎng)絡的權值是隨機選取的；學習的時間長；無法利用系統(tǒng)信息和專家經(jīng)驗等語言信息；難以理解建立的模型等[6]。

所以，綜合以上模糊邏輯系統(tǒng)與神經(jīng)網(wǎng)絡各自的優(yōu)缺點，就提出了一種它們的結合方法，即模糊神經(jīng)網(wǎng)絡控制方法。

2模糊神經(jīng)網(wǎng)絡的結合方式

模糊神經(jīng)網(wǎng)絡大致分為3種形式：邏輯模糊神經(jīng)網(wǎng)絡、算術模糊神經(jīng)網(wǎng)絡和混合模糊神經(jīng)網(wǎng)絡。

在這3種形式的系統(tǒng)中，模糊神經(jīng)混合系統(tǒng)是根據(jù)模糊控制系統(tǒng)和神經(jīng)網(wǎng)絡各自不同的功能、用途集成在一個系統(tǒng)里面的[7]。在這類系統(tǒng)中，我們可以將神經(jīng)網(wǎng)絡用于輸入信號處理，模糊邏輯系統(tǒng)用于行為決策[8]（如圖6），或者把模糊邏輯系統(tǒng)作為輸入信號處理，神經(jīng)網(wǎng)絡系統(tǒng)作為輸出行為決策，再或者是將神經(jīng)網(wǎng)絡去代替模糊控制器的一部分，還可以將基于神經(jīng)元網(wǎng)絡的模糊系統(tǒng)或者神經(jīng)元網(wǎng)絡用在模糊神經(jīng)混合系統(tǒng)中。

在本文的應用中，使用的是輪式智能小車，它一共安裝了3個超聲波傳感器、3個紅外傳感器和1個角度傳感器，紅外傳感器除了應用在小車循跡外，還用來增加控制系統(tǒng)測量的精確性和彌補超聲波測距的盲區(qū)。例如，在某一路或者幾路超聲波受到了外界的干擾時，紅外線就可以測量出系統(tǒng)所需要的數(shù)量值。超聲波與紅外線用來測量小車到左、前、右障礙物的距離Ll，Lf，Lr；模糊神經(jīng)系統(tǒng)中控制器的輸入包括： Ll，Lf，Lr，小車與障礙物的夾角tg；輸出為小車的轉角sa和小車的加速度va。將Ll，Lf，Lr的模糊變量設為{near ，far}，論域為（0―2 m）；tg的模糊變量為{LB，LM，ZO，RM，RB}表示{左大，左小，零，右小，右大}，論域為（-1800，1800）；距離和夾角的隸屬度函數(shù)如圖7和圖8所示。輸出變量的隸屬度函數(shù)在這里就不再贅述了。

在系統(tǒng)解模糊化時，是將一個模糊量轉換成確定量，常用的解模糊化的方法有最大隸屬度函數(shù)法、重心法、加權平均法。在本文中用的是重心法。

智能小車避障的控制系統(tǒng)如圖9所示。

篇3

關鍵詞：人工神經(jīng)網(wǎng)絡；Hopfield神經(jīng)網(wǎng)絡；聯(lián)想記憶

DOIDOI：10.11907/rjdk.161853

中圖分類號：TP391

文獻標識碼：A文章編號文章編號：16727800（2016）009014603

基金項目基金項目：

作者簡介作者簡介：余洋（1994-），男，湖北隨州人，四川理工學院自動化電子信息學院碩士研究生，研究方向為智能控制；傅成華（1958-），男，四川富順人，四川理工學院自動化與電子信息學院教授、碩士生導師，研究方向為先進控制與系統(tǒng)優(yōu)化、神經(jīng)網(wǎng)絡與非線性信息處理。

0引言

Hopfield于1982年提出了一種新型的神經(jīng)網(wǎng)絡――Hopfield網(wǎng)絡模型。它采用了與層次型人工神經(jīng)網(wǎng)絡完全不一樣的結構特征和學習方法來模擬生物神經(jīng)網(wǎng)絡的記憶機理，首次使用“能量函數(shù)”的概念，并且說明了此神經(jīng)網(wǎng)絡與動力學之間的關系，使得判斷神經(jīng)網(wǎng)絡在工作過程中的穩(wěn)定性有了非常簡便和可靠的依據(jù)。該神經(jīng)網(wǎng)絡非常利于人們理解學習，也可以比較方便地在集成電路中實現(xiàn)。Hopfield神經(jīng)網(wǎng)絡根據(jù)網(wǎng)絡輸入輸出的不同分為兩種形式：離散型Hopfield神經(jīng)網(wǎng)絡和連續(xù)型Hopfield神經(jīng)網(wǎng)絡，兩種形式的神經(jīng)網(wǎng)絡應用領域也各不相同。本文使用離散型Hopfield神經(jīng)網(wǎng)絡實現(xiàn)聯(lián)想存儲器設計。

1離散型Hopfield神經(jīng)網(wǎng)絡

離散型Hopfield神經(jīng)網(wǎng)絡是由n個神經(jīng)元相互連接而成的二值神經(jīng)網(wǎng)絡[12]，并且各神經(jīng)元之間的連接是雙向的，連接強度用權值表示。網(wǎng)絡的全互聯(lián)結構如圖1所示。神經(jīng)元的輸出為離散值0（或-1）和1，分別代表神經(jīng)元的抑制和激活狀態(tài)。由于神經(jīng)網(wǎng)絡的時間離散特性，因而其被稱為離散型Hopfield神經(jīng)網(wǎng)絡[3]。

這種連接方式使得離散型Hopfield神經(jīng)網(wǎng)絡中每個神經(jīng)元的輸出均通過神經(jīng)元之間的連接權值反饋到同一層次的其它神經(jīng)元，并作為該神經(jīng)元的輸入，從而使各神經(jīng)元之間相互制約，保證離散型Hopfield神經(jīng)網(wǎng)絡在沒有外部輸入的情況下也能進入穩(wěn)定狀態(tài)。

兩個互聯(lián)神經(jīng)元之間的連接權值相同（wij=wji），每個神經(jīng)元到其自身的連接權值為0，即wii =0。

1.1處理單元模型

離散型Hopfield神經(jīng)網(wǎng)絡的單個神經(jīng)元結構如圖2所示，單個神經(jīng)元采用M-P模型進行信息處理，假設神經(jīng)網(wǎng)絡有n個神經(jīng)元，以xj表示神經(jīng)元j的輸出（也稱為神經(jīng)元的狀態(tài)），wij表示神經(jīng)元i與神經(jīng)元j之間的連接權值，θj表示神經(jīng)元j的閾值。

神經(jīng)元j的凈輸入sj=∑ni=1xiwij-θj（1）

神經(jīng)元j的輸出 xj=f（sj）=sgn（sj）=1sj>0-1sj≤0（2）

1.2網(wǎng)絡狀態(tài)及運行規(guī)則

離散型Hopfield神經(jīng)網(wǎng)絡的狀態(tài)由網(wǎng)絡所有（n個）神經(jīng)元的狀態(tài)集合構成，在任意一個給定的時刻t，離散型Hopfield神經(jīng)網(wǎng)絡的狀態(tài)表示為：

X（t）=（x1 ，x2 ，…，xn ）（3）

離散型Hopfield神經(jīng)網(wǎng)絡是全互聯(lián)反饋式的連接結構，每個神經(jīng)元都會接收到全部神經(jīng)元的反饋信息，故當網(wǎng)絡中的各神經(jīng)元狀態(tài)改變時，整個網(wǎng)絡狀態(tài)也隨之變化。當網(wǎng)絡中各神經(jīng)元的輸出狀態(tài)都不再改變時就表示網(wǎng)絡達到穩(wěn)定狀態(tài)（即xj （t+1）=xj （t）=f（sj （t）））。神經(jīng)網(wǎng)絡要達到穩(wěn)定狀態(tài)需要經(jīng)過反復更新，學習訓練。

離散型Hopfield神經(jīng)網(wǎng)絡的工作過程就是網(wǎng)絡狀態(tài)的動態(tài)演化過程，即從網(wǎng)絡初始狀態(tài)沿能量遞減的方向不斷演化的過程，直到達到網(wǎng)絡的穩(wěn)定狀態(tài)，這時網(wǎng)絡的穩(wěn)定狀態(tài)就是網(wǎng)絡的輸出。離散型Hopfield神經(jīng)網(wǎng)絡工作時有以下運行步驟：①對網(wǎng)絡進行初始化；②從網(wǎng)絡中隨機選取一個神經(jīng)元i；③按照式（1）計算神經(jīng)元i在t時刻的凈輸入si （t）；④按照式（2）計算神經(jīng)元i在t+1時刻的輸入xi（t+1），此時網(wǎng)絡中除i以外的其它神經(jīng)元j的輸出保持不變，即xj（t+1）=xj（t）其中i ≠j；⑤按照式xj（t+1）=xj（t）=f（sj（t））判斷網(wǎng)絡是否達到了穩(wěn)定狀態(tài)，如果未達到穩(wěn)定狀態(tài)就轉到②繼續(xù)進行，如果網(wǎng)絡達到穩(wěn)定狀態(tài)則網(wǎng)絡的工作過程終止。

1.3離散型Hopfield神經(jīng)網(wǎng)絡的能量函數(shù)

Hopfield神經(jīng)網(wǎng)絡的一大特點就是引入了“能量函數(shù)”，它表明了神經(jīng)網(wǎng)絡與動力學之間的關系。上文也提到，網(wǎng)絡運行時在網(wǎng)絡狀態(tài)不斷變化過程中，網(wǎng)絡的能量值不斷遞減，直到達到穩(wěn)定狀態(tài)。這說明網(wǎng)絡的能量值與網(wǎng)絡的穩(wěn)定狀態(tài)有著十分密切的關系。能量函數(shù)定義為：

E=-12∑ni=1∑nj=1wijxixj+∑ni=1θixi（4）

Hopfield神經(jīng)網(wǎng)絡實際上是一個非線性動力系統(tǒng)，網(wǎng)絡按動力學方式運行，網(wǎng)絡狀態(tài)的變化過程實際上是使能量極小化的過程：每次神經(jīng)元狀態(tài)改變時，整個網(wǎng)絡的能量應單調遞減，即能量與以前相同或下降。證明如下：

設任一神經(jīng)元j由式（4）得神經(jīng)元j的能量為：

Ej=-12∑ni=1wijxixj+θjxj（5）

該式可變換為：

Ej=-12xj∑ni=1wijxi+θjxj（6）

由t時刻到t+1時刻神經(jīng)元j的能量變化為：ΔEj=Ej（t+1）-Ej（t）= -Δxj（∑ni=1wijxi-θj）+12Δxj∑ni=1wijxi（7）

由于在t+1時刻只有神經(jīng)元j調整狀態(tài)，并且各神經(jīng)元不存在自反饋，式（7）可簡化為：

ΔEj= -Δxj（∑ni=1wijxi-θj）（8）

在t+1時刻共有以下3種可能情況來分析ΔEj的大小從而論證網(wǎng)絡能量值的改變方向：①如果神經(jīng)元j的狀態(tài)不發(fā)生變化，即xj （t+1）=xj （t），則Δxj=0，由式（8）可知ΔEj=0；②如果神經(jīng)元j的狀態(tài)發(fā)生變化，是從-1變?yōu)?，則Δxj=2，此時由式（1）和式（2）可知∑ni=1wijxi-θj>0，再由式（8）得ΔEj

綜上可知，從t時刻到t+1時刻，無論神經(jīng)元j的狀態(tài)如何變化，其能量的改變量均為ΔEj≤0。由于神經(jīng)元j是網(wǎng)絡中任意一個神經(jīng)元，而網(wǎng)絡中的神經(jīng)元又都是按照同一規(guī)則來更新狀態(tài)的，因而整個網(wǎng)絡的能量一直向減少的方向進行。網(wǎng)絡變化的過程就是網(wǎng)絡能量的極小化過程，因為能量函數(shù)是有界的，故網(wǎng)絡一定會趨于穩(wěn)定狀態(tài)，該穩(wěn)定狀態(tài)就是網(wǎng)絡的輸出。離散型Hopfield神經(jīng)網(wǎng)絡能量函數(shù)的變化曲線如圖3所示，能量函數(shù)的變化過程可以看作是下坡的過程，當網(wǎng)絡的狀態(tài)隨時間改變時，整個網(wǎng)絡的能量沿著下降最快的方向改變，最終停在整個網(wǎng)絡能量的極小點[4]。這些極小點有全局極小點c，也有局部極小點a、b，最終落入哪種極小點取決于網(wǎng)絡的初始狀態(tài)。網(wǎng)絡能量函數(shù)變化曲線如圖3所示。

1.4關于離散型Hopfield神經(jīng)網(wǎng)絡聯(lián)想記憶的連接權值設計

離散型Hopfield神經(jīng)網(wǎng)絡可以應用于聯(lián)想記憶[5]，其聯(lián)想記憶的基本原理是利用能量函數(shù)的極值點，網(wǎng)絡將記憶的樣本信息存儲在不同的能量極值點上，當網(wǎng)絡輸入某一種模式時，網(wǎng)絡工作到穩(wěn)定狀態(tài)后能夠“聯(lián)想記憶”出與其相關的其它存儲樣本，從而實現(xiàn)聯(lián)想記憶。并且神經(jīng)網(wǎng)絡都有很好的容錯性能，即使是對一些不全的、破損的、變形的輸入信息，網(wǎng)絡也能夠很好地將其恢復成比較完整的原型信息。記憶是聯(lián)想的前提，必須先將信息存儲起來，才能按照某種方式或規(guī)則再取出相關信息，能量極值點存儲記憶模式，而網(wǎng)絡的連接權值和閾值決定這些極值點的分布，因此網(wǎng)絡聯(lián)想記憶的關鍵就是根據(jù)能量極值點和需要被記憶的模式設計一組恰當?shù)木W(wǎng)絡連接權值和閾值。

網(wǎng)絡在沒有記憶之前是空白狀態(tài)，只有設計了恰當?shù)倪B接權值和閾值才會使網(wǎng)絡具有知識，連接權值的設計調整過程就是網(wǎng)絡的學習過程。離散型Hopfield神經(jīng)網(wǎng)絡一般用Hebb規(guī)則的外積和法來設計權值。方法具體如下：

假設網(wǎng)絡共有n個節(jié)點，W是網(wǎng)絡的連接權矩陣，如果網(wǎng)絡一共處理m個兩兩正交的模式樣本，則網(wǎng)絡的學習記憶集合為xk=（xk1，xk2，…，xkn）（k=1，2，…，m）。

（1）若m=1只有一個學習模式，學習記憶集合為X1，對于輸入模式X1，如果網(wǎng)絡達到穩(wěn)定狀態(tài)，有：

X1=sgn（XW），即x1j=sgn（∑ni=1wijx1i）j=1，2， …，n（9）

由sgn函數(shù)的特點可知，若滿足x1j（∑ni=1wijx1i）>0，即若連接權值wij正比于x1jx1i，則式（9）成立。綜合可得，網(wǎng)絡的連接權值與輸入模式向量的每個分量之間滿足關系：

wij=αx1jx1iα為常數(shù)而且大于零（10）

（2）如果有多個學習模式，則可將式（10）進行推廣有：

wij=α∑mk=1xkjxkiα為常數(shù)而且大于零（11）

由wii=0可將式（11）改寫為：

W=α∑mk=1[（Xk）TXk-I]α為常數(shù)而且大于零，I為nxn的單位矩陣（12）

在設計好網(wǎng)絡連接權矩陣后，網(wǎng)絡就處于正常工作狀態(tài)，加載輸入模式向量時，網(wǎng)絡可以進行模式的記憶及聯(lián)想。

2聯(lián)想記憶功能實現(xiàn)證明

聯(lián)想記憶的過程分為兩個階段：第一階段是記憶階段（也稱存儲階段、學習階段），它是聯(lián)想記憶的關鍵，其處理過程是將記憶模式作為網(wǎng)絡的穩(wěn)定狀態(tài)，并通過設計或學習獲得需要的網(wǎng)絡連接權值；第二階段是聯(lián)想階段（也稱回憶階段），此階段是利用網(wǎng)絡進行回憶，將給定的輸入模式作為網(wǎng)絡的初始狀態(tài)，網(wǎng)絡按照既定的運行規(guī)則不斷演化，一直演化到網(wǎng)絡的穩(wěn)定狀態(tài)，此時網(wǎng)絡的穩(wěn)定狀態(tài)就是回憶出的記憶模式。下面舉例證明離散型Hopfield神經(jīng)網(wǎng)絡是如何實現(xiàn)聯(lián)想記憶功能。設有一個4神經(jīng)元的離散型Hopfield神經(jīng)網(wǎng)絡，各神經(jīng)元的閾值為0，其中存儲了兩個模式，模式一X1為（1，1，1，1），模式二X2為（-1，-1，-1，-1），每個存儲模式由兩部分組成：名稱和顏色。前兩神經(jīng)元存儲的是名稱，后兩個神經(jīng)元存儲的是對應的顏色。模式一表示“藍色的天空”，前兩個1表示天空，后兩個1表示藍色的；模式二表示“綠色的樹”，前兩個-1表示樹，后兩個-1表示綠色的，當網(wǎng)絡上加載信息不全或錯誤地輸入模式三X3=（1，1，-1，1）時，讓網(wǎng)絡聯(lián)想記憶輸出模式X1。若想讓網(wǎng)絡聯(lián)想輸出模式X1，必須首先設計網(wǎng)絡的連接權值，讓網(wǎng)絡記憶模式一和模式二，然后讓網(wǎng)絡加載輸入模式三運行到穩(wěn)定狀態(tài)。將網(wǎng)絡要存儲的模式一和模式二設計為網(wǎng)絡的兩個穩(wěn)定狀態(tài)，由此設計網(wǎng)絡的連接權值。根據(jù)式（12），設α=1得網(wǎng)絡的連接權矩陣為；

W=（X1）TX1+（X2）TX2-2I=0222202222022220

設計好連接權值后，將模式三加載至網(wǎng)絡，然后按照網(wǎng)絡運行規(guī)則讓網(wǎng)絡運行：

t=0：網(wǎng)絡的初始狀態(tài)X（0）=（1，1，-1，1）；

t=1：選取節(jié)點1，節(jié)點1的狀態(tài)為x1（1）=sgn[1×0+1×2+（-1）×2+1×2]=sgn[2]=1

網(wǎng)絡狀態(tài)X（1）=（1，1，-1，1）；

t=2：選取節(jié)點2，節(jié)點2的狀態(tài)為x2（2）=sgn[1×2+1×0+（-1）×2+1×2]=sgn[2]=1

網(wǎng)絡狀態(tài)X（2）=（1，1，-1，1）；

t=3：選取節(jié)點3，節(jié)點3的狀態(tài)為x3（3）=sgn[1×2+1×2+（-1）×0+1×2]=sgn[6]=1

網(wǎng)絡狀態(tài)X（3）=（1，1，1，1）；

t=4：選取節(jié)點4，節(jié)點4的狀態(tài)x4（4）=sgn[1×2+1×2+1×2+1×0]=sgn[6]=1

網(wǎng)絡狀態(tài)X（4）=（1，1，1，1）；………

按此規(guī)則循環(huán)運行下去直到網(wǎng)絡狀態(tài)不再改變，網(wǎng)絡處于穩(wěn)定狀態(tài)，網(wǎng)絡的輸出就是（1，1，1，1），也即網(wǎng)絡存儲的記憶模式一X1=（1，1，1，1）。同理，當網(wǎng)絡加載模式四X4=（-1，-1，1，-1）時，網(wǎng)絡也可聯(lián)想記憶輸出模式二。從而證明了離散型Hopfield神經(jīng)網(wǎng)絡具有聯(lián)想記憶功能。

3結語

神經(jīng)網(wǎng)絡的聯(lián)想記憶功能雖然很強，但是也存在一些缺陷。由于聯(lián)想記憶能力受到了記憶容量和樣本差異的制約，當記憶的模式較多且容易混淆時，網(wǎng)絡不能夠很好地辨別出正確模式，而且達到的穩(wěn)定狀態(tài)也往往不是記憶住的模式。并且，所有記憶模式不是以同樣的記憶強度回想出來的。

參考文獻參考文獻：

[1]周非.基于RBF網(wǎng)絡和逆模型的汽油機瞬態(tài)空燃比控制[D].成都：西華大學，2006.

[2]于樂斐.兩類時滯細胞神經(jīng)網(wǎng)絡的穩(wěn)定性分析[D].青島：中國海洋大學，2008.

[3]夏松.Hopfield神經(jīng)網(wǎng)絡構造的聯(lián)想記憶存儲器實現(xiàn)與研究[D].合肥：安徽大學，2010.

篇4

關鍵詞：神經(jīng)網(wǎng)絡;模糊邏輯;模式識別;具體應用

現(xiàn)階段人工智能領域正在開展關于多種智能識別方法的融合應用來改善識別效果，基于模糊邏輯與神經(jīng)網(wǎng)絡而成的模糊神經(jīng)網(wǎng)絡對于真正智能模擬的實現(xiàn)有著極為重要的作用。

1.模式識別概述

模式在本質上是一個內涵十分豐富的概念，其主要是指人類可以利用感官直接或間接接受的外界信息，Watanabe等人在研究中將模式定義為：凡是可以給出一個名字的便可以稱為“模式”，并且其在定義過程中將某些具有共同特性的模式集合統(tǒng)稱為“模式類”。“模式識別”在本質上是識別特定事物或模式相同點與相似點的過程，所以在研究過程中主要是利用自動技術來實現(xiàn)這一過程，在該類技術的支撐下計算機可以自動地將待識別模式分配到各自的模式類中，在這個過程中用到的技術統(tǒng)稱為模式識別技術，尤其是在計算機技術的支撐下使其發(fā)展形成一種模擬人的識別方法，所以對于模式識別的概念應該定義為自動判別和分類的過程。模式識別的過程為研究對象、數(shù)據(jù)采集、數(shù)據(jù)預處理、測量空間、特征選擇與提出、特征空間比對、模式分類、儲存至類型空間等，對于整個模式識別過程來說數(shù)據(jù)采集、數(shù)據(jù)預處理、特征提取以及特征選擇是其重點。在模式識別中，數(shù)據(jù)預處理后所獲取的原始數(shù)據(jù)所在空間則被稱為測量空間，將模式進行分類的空間則稱為特征空間。模式識別系統(tǒng)在設計過程中主要由學習模塊與測試模塊兩個核心模塊組成，并且整個系統(tǒng)在運行過程中具備訓練模式樣本特征數(shù)據(jù)輸入、制定分類判決規(guī)則、錯誤率檢測、模式樣本特征選擇和正特提取方法調整等多項功能。

2.模式識別系統(tǒng)分析

模式識別系統(tǒng)在運行中的學習模塊與測試模塊中都設計了數(shù)據(jù)預處理的功能，其可以根據(jù)用戶需求將感興趣的模式從背景中進行分離處理，并且可以避免噪聲信號對整個系統(tǒng)的運行產(chǎn)生影響，還可以根據(jù)用戶的實際需求來建立標準化模式樣本等。學習模塊在運行中會將已知的樣本模式進行數(shù)值化處理后輸入計算機，這個過程被稱為訓練模式樣本特征數(shù)據(jù)的輸入，系統(tǒng)可以對輸入的樣本進行分析并排除無效或容易出現(xiàn)混淆的特征，對于一些對分類判別有效的數(shù)據(jù)特征則可以進行界定并保留，這個過程被稱為模式識別系統(tǒng)在運行階段的特征選擇。

模式識別系統(tǒng)在運行過程中還需要將一些變換技術作為支撐，這是因為通過變換技術的應用可以得出比原來數(shù)目少的綜合性特征作為分類用，這一過程被稱為特征維數(shù)壓縮或特征提取，系統(tǒng)會按照設想的分類判決數(shù)學模型對樣本模式進行訓練來得出分類的判決規(guī)則。模式識別系統(tǒng)在獲取判決規(guī)則后便可以開始整個識別過程，其需要將未知模式特征數(shù)據(jù)進行采集、選擇與提取，然后根據(jù)已有的判決規(guī)則對輸入的模式進行分類，最后便可以根據(jù)用戶需求來輸入整個模式識別的結果。系統(tǒng)還可以將已識別的分類結果與已知分類輸入模式進行對比，以便于對判決規(guī)則與特征選擇、提取方法進行不斷的優(yōu)化，系統(tǒng)只有在該種模式下才能制定出錯誤率最小的判決規(guī)則與特征選擇、提取策略，對于模式識別系統(tǒng)來說，這一過程被稱為再學習的過程。

3.神經(jīng)網(wǎng)絡在模式識別中的具體應用

國內在較早階段便開始了神經(jīng)網(wǎng)絡在模式識別中應用的相關研究，但是學者所提出的研究成果并沒有得到廣泛應用。在20世紀80年代末期，我國一些專家對模式識別在地震特征提取等方面的應用進行了優(yōu)化與改進，并結合不同地區(qū)不同地質條件開展了一系列試驗研究，先后取得了很多效果十分顯著的成果，并且在這個基礎上為整個系統(tǒng)增加了人機交互功能，改進后的模式識別系統(tǒng)開始在國內相關領域中得到了廣泛應用。我國部分領域所使用的模式識別系統(tǒng)在最初以統(tǒng)計識別策略為主，在最近幾年才將神經(jīng)網(wǎng)絡識別策略應用于模式識別系統(tǒng)中。20世紀80年代后期，世界上關于人工神經(jīng)網(wǎng)絡的研究開始進入一個熱潮，這是因為在該階段由Rumelhart等人在研究中提出了反向傳播學習算法，對于神經(jīng)網(wǎng)絡來說其可以有效解決前饋反向神經(jīng)網(wǎng)絡學習訓練的問題，所以對于整個神經(jīng)網(wǎng)絡研究領域來說開辟了一條新的途徑。前饋反向神經(jīng)網(wǎng)絡學習問題的有效解決使神經(jīng)網(wǎng)絡的各項優(yōu)勢充分彰顯出來，而前饋反向神經(jīng)網(wǎng)絡模式識別則成為模式識別中的一個核心發(fā)展方向，并且開始被廣泛應用于生物、醫(yī)學、地質以及化工等產(chǎn)品檢測領域中，本文認為關于神經(jīng)網(wǎng)絡在模式識別中的應用將會給社會帶來巨大變革，同時也意味著基于神經(jīng)網(wǎng)絡的模式識別技術將成為網(wǎng)絡數(shù)字化時代的一項核心技術。

4.結語

現(xiàn)階段前饋反向神經(jīng)網(wǎng)絡模式識別已經(jīng)開始在社會各領域進行實踐應用，雖然在該技術體系中還存在一些不足與缺陷，但是在現(xiàn)代科技的支持下其勢必會迎來一個新的發(fā)展時期，對于我國社會各生產(chǎn)領域來說有著極為重要的推動作用。

參考文獻：

[1]汪烈軍.一種改進的結構自適應自組織神經(jīng)網(wǎng)絡算法[J].微電子學與計算機，2007（01）.

[2]趙菊敏，程海青，張立毅.基于動量項前饋神經(jīng)網(wǎng)絡盲均衡算法[J].太原理工大學學報，2007（03）.

篇5

關鍵詞：模糊神經(jīng)網(wǎng)絡；伺服驅動系統(tǒng)；故障診斷

0 引言

現(xiàn)代伺服驅動系統(tǒng)采用最新的電力電子技術及數(shù)控技術，呈現(xiàn)出高度自動化、信息化、系統(tǒng)化和智能化的發(fā)展趨勢。由于運行中的各種客觀條件或人為因素，伺服驅動系統(tǒng)出現(xiàn)故障的可能性是不可避免的。在眾多故障診斷方法中，人工智能技術在現(xiàn)代伺服驅動系統(tǒng)的故障診斷中發(fā)揮巨大作用。其中，模糊神經(jīng)網(wǎng)絡具有很強的非線性處理能力，本文提出利用模糊神經(jīng)網(wǎng)絡技術來建立針對伺服驅動系統(tǒng)的故障診斷模型。

1 模糊神經(jīng)網(wǎng)絡的原理及結構

1.1 模糊神經(jīng)網(wǎng)絡的原理

模糊神經(jīng)網(wǎng)絡是模糊邏輯和人工智能神經(jīng)網(wǎng)絡有機結合的產(chǎn)物，它是一種集模糊邏輯推理的強大結構性、知識表達能力和神經(jīng)網(wǎng)絡的強大自學習能力于一體的新技術，由精確輸入、模糊化、模糊規(guī)則庫、推理機制、清晰化、精確輸出組成。模糊化將輸入空間向量中精確的點映射成模糊集合。模糊規(guī)則庫是由if-then規(guī)則集合所組成。推理機制即使用編制完成的模糊if-then規(guī)則將模糊輸入集合映射到模糊輸出集合。清晰化是把模糊輸出集合映射成精確輸出集合。

1.2 模糊神經(jīng)網(wǎng)絡的結構

本文所采用模糊神經(jīng)網(wǎng)絡是一個五層網(wǎng)絡，分別為輸入層、模糊化層、BP隱含層、模糊輸出層和清晰化層。輸入層節(jié)點數(shù)為故障征兆數(shù)；模糊輸入層通過隸屬度函數(shù)實現(xiàn)故障征兆轉為以此隸屬度表示的模糊向量；BP隱含層實現(xiàn)BP輸入層到輸出層的映射；模糊輸出層輸出模糊化數(shù)值，任一節(jié)點代表一種故障原因，其值代表故障原因存在可能性的程度；清晰化層根據(jù)隸屬度最終確定故障原因。

2 BP神經(jīng)網(wǎng)絡隱含層節(jié)點數(shù)的確立

BP神經(jīng)網(wǎng)絡的隱含層節(jié)點數(shù)對BP神經(jīng)網(wǎng)絡預測精度有較大的影響：節(jié)點數(shù)太少，網(wǎng)絡不能很好地學習，需要增加訓練次數(shù)，訓練的精度也受影響；節(jié)點數(shù)太多，訓練時間增加，網(wǎng)絡容易過擬合。經(jīng)驗公式如下：

l

l

l=√（mqn） （3）

l=log2n （4）

式中：l代表隱含層神經(jīng)元個數(shù)；n代表輸入層節(jié)點數(shù)；m代表輸出層點數(shù)； a為0-10之間的常數(shù)。

3 模糊隸屬度函數(shù)

伺服驅動系統(tǒng)是一個非常復雜的綜合性系統(tǒng)，包含以下幾個子系統(tǒng)：總線通信；交流進線端；DC Bus；逆變輸出；內部溫度檢測；伺服電機編碼反饋；帶抱閘伺服電機松閘檢測等。本文以奧地利貝加萊B&R公司的ACOPOS驅動器為案例，以上文列舉幾大子系統(tǒng)的常見故障，并結合外部接線常見錯誤和個別典型性故障作為研究對象，來建立對伺服驅動系統(tǒng)的模糊神經(jīng)網(wǎng)絡故障診斷模型。現(xiàn)代伺服驅動系統(tǒng)在發(fā)生故障時，往往能夠過人機操作界面或系統(tǒng)自帶的顯示面板輸出故障代碼，貝加萊公司的ACOPOS驅動系統(tǒng)同樣可以做到這點，故障代碼就是最好的故障征兆。伺服驅動系統(tǒng)的一種故障征兆可能是由多種故障原因造成的，而同一種故障原因可能引起多種故障征兆的出現(xiàn)，故障征兆和故障原因之間往往是n對m的一種復雜映射關系。想要根據(jù)故障征兆來判斷出哪些原因可能引起故障，并確立多種故障原因的可能性高低，需由預先設定模糊隸屬度函數(shù)來確定故障征兆與故障原因之間的隸屬度。伺服驅動系統(tǒng)的故障原因對故障征兆貢獻大小，即隸屬度。

4 模糊神經(jīng)網(wǎng)絡模型的建立、訓練及其仿真

4.1 模糊神經(jīng)網(wǎng)絡模型的建立

4.1.1故障隸屬度分布

根據(jù)傳感器測量值與正常值比較和專家經(jīng)驗獲得貝加萊伺服驅動系統(tǒng)的故障隸屬度分布，共71條故障征兆，86條故障原因。

4.1.2故障征兆訓練樣本

該樣本是一個由71x71組成的矩陣：

4.1.3故障原因訓練樣本

該樣本是一個由86x71組成的矩陣：

4.2 模糊神經(jīng)網(wǎng)絡模型的訓練

使用Matlab R2014a的神經(jīng)網(wǎng)絡工具箱nnstart功能對模糊神經(jīng)網(wǎng)絡模型進行訓練。輸入層神經(jīng)元個數(shù)71個，使用經(jīng)驗公式（3）確定隱含層神經(jīng)元個數(shù)80個，輸出層神經(jīng)元個數(shù)86個。選用nnstart工具箱中的Fitting app方式訓練。經(jīng)過多次訓練得到最佳訓練效果，誤差曲線如圖。

4.3 模糊神經(jīng)網(wǎng)絡模型的仿真

基于模糊神經(jīng)網(wǎng)絡的伺服驅動系統(tǒng)故障診斷模型訓練完畢后，應采用適當?shù)臋z驗樣本對其進行仿真。選取貝加萊伺服驅動系統(tǒng)常見的3組故障征兆作為FNN的檢驗樣本。故障征兆X001 32189：CAN總線或powerlink網(wǎng)絡循環(huán)數(shù)據(jù)超時；X037 6019：驅動器輸出過流；X061 41031：驅動器輸出IGBT結節(jié)溫度模型過高警報。表2、表3和表4為基于模糊神經(jīng)網(wǎng)絡的伺服驅動系統(tǒng)故障診斷模型的仿真結果。三張表分別對應故障征兆X001、X037和X061的期望輸出、模糊神經(jīng)網(wǎng)絡模型的實際輸出和歸一化輸出的比較。從三張表可以看出，模糊神經(jīng)網(wǎng)絡模型的實際輸出在歸一化處理后與期望輸出基本相符，說明模糊神經(jīng)網(wǎng)絡模型能夠正確對貝加萊伺服驅動系統(tǒng)進行故障診斷，在故障診斷中具有很好的決策能力。

篇6

關鍵詞：圖像復原 BP神經(jīng)網(wǎng)絡 Hopfield神經(jīng)網(wǎng)絡 應用

中圖分類號：TP391.41 文獻標識碼：A 文章編號：1007-9416（2013）11-0040-02

1 引言

圖像復原是一項富有現(xiàn)實意義的工作，它涉及到廣泛的技術領域，是圖像處理領域研究的焦點之一。在得到圖像的過程中，由于各種各樣的原因，包括與觀測對象的相對運動、介質散射、成像系統(tǒng)缺陷和環(huán)境噪聲等原因，使得最終的圖像都會有一定程度的退化。圖像復原就是從退化的圖像中恢復圖像的本來面目。傳統(tǒng)的圖像復原處理問題的關鍵在于建立退化模型，估計退化過程中的參數(shù)，由此通過相應的逆過程得到原始圖像。獲得準確的圖像退化模型是比較困難的事情。大多數(shù)圖像復原的實際問題是點擴展函數(shù)以及原始圖像均未知的盲復原問題，這類問題具有更嚴重的病態(tài)性因而進一步增加了解決的難度。人工神經(jīng)網(wǎng)絡（Artificial Neural Network，ANN）為圖像復原問題的解決提供了另外一條路徑，這是基于人工神經(jīng)網(wǎng)絡具有的模擬人類神經(jīng)的非線性、自組織、自學習、自適應特性。一般而言，人工神經(jīng)網(wǎng)絡適合于解決無法或很難精確建立數(shù)學模型、不完全清楚內部機理的問題，人工神經(jīng)網(wǎng)絡的很多特性適合解決圖像復原問題。近些年來，對人工神經(jīng)網(wǎng)絡應用于圖像復原的研究越來越多，形成了很多豐富的神經(jīng)網(wǎng)絡模型和算法。BP（Back Propagation反向傳播）和Hopfield（霍普菲爾德）是典型的人工神經(jīng)網(wǎng)絡類型，也是在圖像復原領域應用較多的神經(jīng)網(wǎng)絡類型。

2 BP神經(jīng)網(wǎng)絡在圖像復原中的應用

2.1 BP神經(jīng)網(wǎng)絡的特性

BP神經(jīng)網(wǎng)絡是上世紀80年代美國加州大學的Rumelhart、McClelland及其團隊研究并行分布信息處理時提出的采用反向傳播算法的多層前饋網(wǎng)絡。BP神經(jīng)網(wǎng)絡具有良好的泛化能力，其隱層的非線性傳遞函數(shù)神經(jīng)元可以學習輸入輸出之間的線性或非線性關系。在1989年，RobertHecht-Nielson證明了對于任何一個在閉區(qū)間內連續(xù)的函數(shù)都可以由具有一個隱含層的BP網(wǎng)絡來逼近，這樣，一個三層（輸入層、隱層和輸出層）的BP神經(jīng)網(wǎng)絡即能完成對多維度函數(shù)的逼近。這些特性，使得選用BP神經(jīng)網(wǎng)絡簡單地實現(xiàn)在未知點擴展函數(shù)的情況下，擬合原始圖像與退化圖像之間的關系，從而得到滿意的圖像復原結果成為可能。

2.2 BP神經(jīng)網(wǎng)絡應用于圖像復原

BP神經(jīng)網(wǎng)絡用退化圖像與相對應的原始圖像進行訓練，退化圖像為網(wǎng)絡的輸入，原始圖像為網(wǎng)絡的輸出。訓練完成的神經(jīng)網(wǎng)絡會在退化圖像與原始圖像之間建立非線性的映射關系，使得利用這種非線性關系即可實現(xiàn)在只有退化圖像的情況下對齊進行復原。

利用BP神經(jīng)網(wǎng)絡進行圖像復原，一般用輸入圖像的N×N鄰域內的N2個像素點對應輸出圖像的一個像素點。這樣的對應方法會使整個運算量增大，但正由于參與運算的像素點增加，使得網(wǎng)絡具有更好的泛化和魯棒能力。由于三層BP神經(jīng)網(wǎng)絡可以任意精度逼近某一多維度函數(shù)，因而其應用于圖像復原時使用三層網(wǎng)絡結構。輸入層和輸入層節(jié)點數(shù)分別由輸入圖像像素數(shù)量和輸出圖像像素數(shù)量決定，隱層節(jié)點數(shù)量和訓練方法在很大程度上決定了網(wǎng)絡性能。

為了便于網(wǎng)絡計算，通過神經(jīng)網(wǎng)絡計算前通常將輸入圖像進行歸一化。以灰度圖像為例，將圖像數(shù)據(jù)[0～255]轉換到[-1～1]或[0～1]。圖像經(jīng)過神經(jīng)網(wǎng)絡復原后還需進行反歸一化轉換，將計算得到的數(shù)據(jù)轉換為圖像數(shù)據(jù)，即將[-1～1]或[0～1]轉換到[0～255]。

通常，運用BP網(wǎng)絡進行圖像復原算法流程包括：（1）圖像的預處理，得到歸一化的便于神經(jīng)網(wǎng)絡計算的數(shù)據(jù)；（2）使用退化圖像與對應的原始圖像（訓練BP神經(jīng)網(wǎng)絡；（3）將待復原圖像輸入訓練好的BP神經(jīng)網(wǎng)絡進行圖像復原；（4）數(shù)據(jù)的后處理，將網(wǎng)絡輸出數(shù)據(jù)進行反歸一化，得到復原圖像。

3 Hopfield神經(jīng)網(wǎng)絡在圖像復原中的應用

3.1 Hopfield神經(jīng)網(wǎng)絡的特性

不同于BP神經(jīng)網(wǎng)絡，Hopfield神經(jīng)網(wǎng)絡是一種單層反饋網(wǎng)絡，信號在網(wǎng)絡中不僅向前傳遞，還在神經(jīng)元之間傳遞。圖1是有三個神經(jīng)元的Hopfield神經(jīng)網(wǎng)絡結構圖。Hopfield神經(jīng)網(wǎng)絡由美國加州理工學院物理學家J·J·Hopfield在上世紀80年代提出，并首次在神經(jīng)網(wǎng)絡研究中引入了計算能量函數(shù)的概念，通過研究網(wǎng)絡的穩(wěn)定性與計算能量函數(shù)的相關性給出了網(wǎng)絡的穩(wěn)定性判據(jù)。J·J·Hopfield運用Hopfield神經(jīng)網(wǎng)絡成功地探討了旅行商問題（TSP）的求解方法。HNN神經(jīng)網(wǎng)絡采用灌輸式學習方式，其網(wǎng)絡權值是事先按一定規(guī)則計算出來的，確定之后不再改變，各神經(jīng)元的狀態(tài)在運行過程中不斷更新，網(wǎng)絡穩(wěn)定時各神經(jīng)元的狀態(tài)便是問題的解。Hopfield神經(jīng)網(wǎng)絡的這些自身特征使其適于應用于聯(lián)想記憶和求解最優(yōu)化問題。

3.2 Hopfield神經(jīng)網(wǎng)絡應用于圖像復原

利用神經(jīng)網(wǎng)絡進行圖像復原的方法分為兩類：一種是用原始圖像和模糊圖像構成的樣本訓練神經(jīng)網(wǎng)絡，在訓練好的網(wǎng)絡中建立起原始圖像與模糊圖像的非線性映射關系，然后以帶復原的模糊圖像作為網(wǎng)絡的輸入，經(jīng)過網(wǎng)絡輸出的圖像數(shù)據(jù)就是經(jīng)過復原的圖像，BP神經(jīng)網(wǎng)絡就是運用這種方法進行圖像復原的典型神經(jīng)網(wǎng)絡。另一種是經(jīng)過神經(jīng)網(wǎng)絡反復的數(shù)學迭代計算復原，運用Hopfield神經(jīng)網(wǎng)絡進行圖像復原屬于這類方法。

其中是神經(jīng)網(wǎng)絡的狀態(tài)向量，為網(wǎng)絡的權值矩陣，為由網(wǎng)絡中各神經(jīng)元閾值構成的向量。Hopfield神經(jīng)網(wǎng)絡的運行結果即網(wǎng)絡達到穩(wěn)定狀態(tài)就是達到最小值時的狀態(tài)。由式（4）和（5）可以看出圖像復原的目標函數(shù)與Hopfield神經(jīng)網(wǎng)絡能量函數(shù)具有相似的表達形式，因而可以建立兩者之間的聯(lián)系，從而將圖像復原問題轉變?yōu)樯窠?jīng)網(wǎng)絡的運算問題，這也就是Hopfield神經(jīng)網(wǎng)絡應用于圖像復原的基本原理。

運用Hopfield神經(jīng)網(wǎng)絡解決圖像復原問題首先要確定網(wǎng)絡的權值矩陣。可以按照Hebb學習規(guī)則得出[4]。完成網(wǎng)絡初始化后，將退化圖像輸入網(wǎng)絡，從網(wǎng)絡中選取一個神經(jīng)元按照Hopfield神經(jīng)網(wǎng)絡的運算規(guī)則得出神經(jīng)元的輸出，將所有神經(jīng)元求出輸出后判斷該網(wǎng)絡是否達到穩(wěn)定狀態(tài)，即計算前后的網(wǎng)絡能量函數(shù)的誤差是否小于要求的范圍。如果網(wǎng)絡不穩(wěn)定，需要重復迭代計算；網(wǎng)絡達到穩(wěn)定狀態(tài)時，神經(jīng)網(wǎng)絡的狀態(tài)向量就是要求的原始圖像。經(jīng)過一定的后處理就能得到具有一定精度的原始圖像。

4 結語

人工神經(jīng)網(wǎng)絡在圖像復原問題中的應用已經(jīng)擴展到了很多方面，包括三維顯微圖像、高能閃光照相等領域[5-6]。神經(jīng)網(wǎng)絡在圖像復原中的應用機理也不斷得到深入研究。這些得益于神經(jīng)網(wǎng)絡算法不依賴求解問題本身數(shù)學模型的特點，以及自身強大的泛化能力。BP和Hopfield神經(jīng)網(wǎng)絡都能成功地運用在圖像復原問題中，在選用神經(jīng)網(wǎng)絡進行圖像復原研究時要注意到BP神經(jīng)網(wǎng)絡強烈地依賴退化圖像與原始圖像構成的樣本集合對網(wǎng)絡進行訓練，這就要求得到足夠的先驗知識或者通過某種算法得到退化圖像與原始圖像相對應的樣本群。Hopfield神經(jīng)網(wǎng)絡不依賴于退化圖像與原始圖像的先驗知識，可以直接針對退化圖像進行復原。這就需要根據(jù)不同的實際情況選取合適的網(wǎng)絡類型來解決問題。

參考文獻

[1]尚鋼，鐘珞，陳立耀.神經(jīng)網(wǎng)絡結構與參數(shù)選取[J].武漢工業(yè)大學學報，1997，19（2）.

[2]王晗.基于Hopfield神經(jīng)網(wǎng)絡的圖像恢復[D].武漢：華中科技大學南京理工大學，2006年4月.

[3]席旭剛，羅志增.用Hopfield神經(jīng)網(wǎng)絡實現(xiàn)觸覺圖像恢復[J].儀器儀表學報，2008，30（10）.

[4] Bianchini M，F(xiàn)rasconi P.Learning without local minima in radial basis function networks[J].IEEE Transaction on Neural Networks，1995，6（3）：749～756.

篇7

關鍵詞：神經(jīng)網(wǎng)絡；數(shù)據(jù)挖掘；算法

1.數(shù)據(jù)挖掘過程及常用的神經(jīng)網(wǎng)絡模型

1.1數(shù)據(jù)挖掘過程

數(shù)據(jù)挖掘是一個由諸多步驟共同組成的具有反復特性的迭代過程，其最主要的目的是從海量的數(shù)據(jù)當中，找出人們最感興趣的信息。大體上可將數(shù)據(jù)挖掘過程分為3個階段，即數(shù)據(jù)準備、模式提取以及結果的解釋與評估。

（1）第一個階段為準備所需的數(shù)據(jù)，具體可將這個階段細分為數(shù)據(jù)清洗、數(shù)據(jù)選取以及數(shù)據(jù)預處理和數(shù)據(jù)表示四個步驟。數(shù)據(jù)是數(shù)據(jù)挖掘過程中不可或缺的重要前提和基礎，但大量的實踐表明，只有數(shù)據(jù)是很難進行挖掘工作的，必須在對數(shù)據(jù)進行挖掘前，做一些相應的準確工作，這些工作也成為數(shù)據(jù)挖掘的重要環(huán)節(jié)。

（2）第二階段為模式提取。該階段是數(shù)據(jù)挖掘的核心環(huán)節(jié)，需要先明確數(shù)據(jù)挖掘的任務及目標，并在正式確定目標之后，選擇合適的算法或工具，開始對數(shù)據(jù)進行挖掘操作。在這個環(huán)節(jié)當中，算法是關鍵，即可選擇單一的算法，也可多種方法聯(lián)合使用，具體的選擇應視挖掘的任務而定。

（3）第三階段為解釋與評價。挖掘過程中發(fā)現(xiàn)的模式應當以最容易理解的形式呈現(xiàn)給用戶，其間要對發(fā)現(xiàn)的模式進行比較、校驗，看是否與用戶的要求相符，進而確定出挖掘效果。

1.2神經(jīng)網(wǎng)絡模型

現(xiàn)階段，已知的人工神經(jīng)網(wǎng)絡模型有40多種，較為常用的有以下幾種：

（1）BP神經(jīng)網(wǎng)絡。BP是誤差反向傳播的簡稱，這種神經(jīng)網(wǎng)絡歸屬于前饋網(wǎng)絡的范疇，其具有多層映射的特征，該網(wǎng)絡所采用的主要學習方式為最小均差，結構簡單、學習訓練算法成熟、工作狀態(tài)穩(wěn)定是BP模型的3大特點，正因如此使得該模型獲得了非常廣泛的應用。由于BP算法對誤差函數(shù)有著一定的要求，即誤差函數(shù)必須可微，故此，為了有效克服局部極小的問題，多以全局優(yōu)化算法為主，如遺傳算法等。

（2）RBF神經(jīng)網(wǎng)絡。RBF是徑向基函數(shù)的簡稱，該網(wǎng)絡與BP網(wǎng)絡在歸屬的范疇上相同，也屬于前饋網(wǎng)絡。RBF網(wǎng)絡在激活函數(shù)方面有多種可選擇，最常用的是高斯函數(shù)，因為這種函數(shù)具有很多顯著的特點，如形式簡單、徑向對稱、容易解析等等。由于RBF網(wǎng)絡是一個多層前饋網(wǎng)絡，故此只要隱單元足夠多，便可達到任意給定精度，其在逼近目標時，采用的化整為零的思想，即將目標分解成為若干個局部對象。

（3）混合型神經(jīng)網(wǎng)絡。這是―種將其它方法有機融合到―起構成的神經(jīng)網(wǎng)絡模型，它與傳統(tǒng)網(wǎng)絡模型的拓撲結構相同，但學習機制卻有所不同。常用的混合型神經(jīng)網(wǎng)絡有模糊和進化2種。

2.基于神經(jīng)網(wǎng)絡的數(shù)據(jù)挖掘方法

2.1神經(jīng)網(wǎng)絡在數(shù)據(jù)挖掘中的應用優(yōu)勢

神經(jīng)網(wǎng)絡是一門實用性較強的科學技術，其集多種現(xiàn)代技術于一身，有諸多并行分布的處理單元連接而成。從系統(tǒng)的角度上講，神經(jīng)網(wǎng)絡歸屬于動態(tài)系統(tǒng)的范疇，具有自適應和非線性的特征，對噪聲數(shù)據(jù)有著非常強的容錯和承受能力。由于神經(jīng)網(wǎng)絡所具有的這些特點，使得基于神經(jīng)網(wǎng)絡構建的數(shù)據(jù)挖掘模型具備了與之相同的特點，這樣便可以適應數(shù)據(jù)環(huán)境的不同變化，由此進一步提升了數(shù)據(jù)挖掘模型的準確性。可見，神經(jīng)網(wǎng)絡十分適用于數(shù)據(jù)挖掘領域。

2.2基于神經(jīng)網(wǎng)絡的數(shù)據(jù)挖掘過程

由上文分析可知，在數(shù)據(jù)挖掘領域中，神經(jīng)網(wǎng)絡具有較高的適用性，以此為基礎的數(shù)據(jù)挖掘過程分為以下幾個階段。

2.2.1數(shù)據(jù)的選擇及預處理階段

數(shù)據(jù)選擇的主要目的是為神經(jīng)網(wǎng)絡的構建提供相應的數(shù)據(jù)支撐，這個過程可以細分為以下2個環(huán)節(jié)：（1）對數(shù)據(jù)進行訓練，（2）對數(shù)據(jù)進行測試。觀察和理解是選擇數(shù)據(jù)時必須做的工作，當樣本數(shù)據(jù)集確定之后，便可按照挖掘目標，并結合挖掘方法，對數(shù)據(jù)進行編碼處理。

2.2.2網(wǎng)絡訓練與剪枝

當數(shù)據(jù)選擇和處理工作完成之后，數(shù)據(jù)挖掘人員需要選用一個神經(jīng)網(wǎng)絡模型，同時確定相應的網(wǎng)絡訓練算法，通過該算法對神經(jīng)網(wǎng)絡進行訓練。剪枝的主要作用是以神經(jīng)網(wǎng)絡的準確性為前提，去除掉沒有意義和價值的冗余結點由此會使網(wǎng)絡模式更加簡練，也更容易理解。

2.2.3規(guī)則的提取與評估階段

經(jīng)過以上2個階段后，神經(jīng)網(wǎng)絡當中便會蘊含著學習到的規(guī)則，也就是常說的知識，但是此時的規(guī)則由于存在形式的原因，不容易理解，所以需要對規(guī)則進行提取。提取規(guī)則的主要目的在于將規(guī)則的形式轉化為容易理解的形式，如模糊邏輯、決策樹等，然后再借助測試樣本對規(guī)則的可靠性進行測試、評估。

2.3基于RBF神經(jīng)網(wǎng)絡的數(shù)據(jù)挖掘模型設計

下面本文以RBF神經(jīng)網(wǎng)絡為依托，對數(shù)據(jù)挖掘模型進行設計，其整體框架結構如圖1所示。

整個系統(tǒng)由以下模塊構成：數(shù)據(jù)獲取、數(shù)據(jù)處理、數(shù)據(jù)分類與評估、控制與干預、GUI人機交互、知識庫。系統(tǒng)模塊的設計情況如下。

2.3.1數(shù)據(jù)準備

①數(shù)據(jù)選擇。在數(shù)據(jù)選擇中，讓用戶利用數(shù)據(jù)訪問接口對數(shù)據(jù)集進行自行選擇，進一步確定數(shù)據(jù)集類型、數(shù)據(jù)集名稱及數(shù)據(jù)集處所位置。數(shù)據(jù)訪問接口為對象模型，該模型覆蓋了數(shù)據(jù)訪問的各個層面，具體可使用的接口包括ADO，DAO和ODBC三種，本系統(tǒng)采用的數(shù)據(jù)庫訪問方案為DAO/ODBC，選擇該方案的主要原因是DAO既能夠與Microsoft Jet數(shù)據(jù)庫引擎并用，還可借助ODBC Direct選項不與其并用。同時，通過DA0對Jet進行訪問更加簡單、便捷，并且使用DATE控件和DAO，能夠創(chuàng)建出與數(shù)據(jù)庫本身無任何關聯(lián)性的虛擬代碼。②數(shù)據(jù)清理。該環(huán)節(jié)的主要目的是將不希望包括在內的觀測值篩選掉，操作過程既可借助SQn吾句實現(xiàn)，也可借助相關程序予以實現(xiàn)。③數(shù)據(jù)合成。該環(huán)節(jié)是將獨立的數(shù)據(jù)合成數(shù)據(jù)集，操作過程較為簡單，只要規(guī)則確定便可利用sQL語句或相關程序來實現(xiàn)。

2.3.2數(shù)據(jù)挖掘

（1）挖掘方法的選擇與管理。該環(huán)節(jié)在系統(tǒng)中具有重要的作用，與系統(tǒng)的可擴充性和最佳挖掘方法的選擇有關。挖掘方法管理可對系統(tǒng)中使用的全部方法所產(chǎn)生的接口信息進行保存，如對文本文件分詞方法、Web日志的Session戈0分方法等挖掘方法中產(chǎn)生的特定數(shù)據(jù)信息予以保存，粗糙集、決策樹屬于通用的挖掘方法。在對該模塊進行設計的過程中，針對分類預測問題，使用了聚類和神經(jīng)網(wǎng)絡以及統(tǒng)計學等方法。選擇方法的主要目的是幾乎所有的方法都是數(shù)據(jù)依賴，并沒苻一種方法能夠在所有的數(shù)據(jù)上表現(xiàn)良好。因此在方法選擇的初始階段，通過專家的人為干預是有必要的。經(jīng)過對前人的研究成果進行總結后發(fā)現(xiàn)，將多種不同的方法聯(lián)合運用可大幅度提升運用效果。對于本文構建的數(shù)據(jù)挖掘系統(tǒng)而言，其核心部分為數(shù)據(jù)挖掘模塊，該模塊的設計分為3個方面：①訓練模塊，以訓練RBF網(wǎng)絡為主，采用數(shù)學模型方法構建網(wǎng)絡分類模型；②預測模塊，在分類實際數(shù)據(jù)的基礎上，將分類產(chǎn)生的數(shù)據(jù)結果快速傳遞到評估模塊；③重構模塊，該模塊地能夠確保數(shù)據(jù)挖掘模型具有―定的可擴展性和自適應能力，按照具體需要對模型進行重新構建。（2）結果顯示。該環(huán)節(jié)以多種形式顯示數(shù)據(jù)挖掘結果，如列表、樹、圖等是最為常見的顯示方式。本文采用了可視化的方法進行數(shù)據(jù)挖掘結果顯示，這樣能夠使用戶對挖掘結果的了解更加直觀、具體。（3）結果評估。在評估中，采用數(shù)據(jù)挖掘評價方式，通過比較分析不同模型下產(chǎn)生的數(shù)據(jù)挖掘效果，從而得出各類型分析工具的最終結果，再配以相應的標準圖標進行直觀顯示，方便用戶利用相關數(shù)據(jù)信息開展定量評價。在結果評估中，強調獲取規(guī)則的價值評定，其評價關鍵點為查看數(shù)據(jù)挖掘結果與用戶期望的符合程度，并對挖掘結果的可靠性和價值性進行評價，將其作為知識庫是否納入規(guī)則的重要評判依據(jù)。在GUI交互界面上，數(shù)據(jù)挖掘系統(tǒng)與用戶可以進行交互操作。

2.4安全性保障措施

基于RBF神經(jīng)網(wǎng)絡的數(shù)據(jù)挖掘系統(tǒng)在使用過程中，安全性非常重要，為此，本文提出幾點安全性保障措施，以此來確保數(shù)據(jù)挖掘的安全。

（1）采用登錄機制確保數(shù)據(jù)安全。所謂的登錄機制主要是針對客戶端的一種安全控制措施。由于用戶與服務器端需要通過網(wǎng)絡的方式進行數(shù)據(jù)傳輸，為了進一步提高數(shù)據(jù)傳輸?shù)陌踩裕蓪?shù)據(jù)進行加密處理，并將用戶挖掘到的數(shù)據(jù)結果存儲在服務器上，由此在不同的計算機上使用客戶端均可對之前挖掘到的數(shù)據(jù)結果進行利用。

（2）設置權限。可以通過用戶管理來完成用戶的注冊、登錄以及使用權限管理。當用戶需要使用數(shù)據(jù)挖掘系統(tǒng)進行數(shù)據(jù)挖掘時，要先進行賬號注冊，并在使用前通過注冊的賬號和密碼進行登錄，從而保證每個用戶的數(shù)據(jù)安全。此外，用戶管理能夠實現(xiàn)分級管理，賦予不同用戶不同的權限，這使安全性獲得了進一步提升。

篇8

關鍵詞：MIS智能入侵檢測；特征規(guī)則；模糊聚類

中圖分類號：TP183文獻標識碼：A文章編號：1009-3044(2008)24-1267-02

MIS Intelligent Intrusion Detection Technology Based on the Clustering Method

ZHANG Dong-liang, XIA Zhong-hua

(Qinghuangdao Institute of Technology,Qinhuangdao 066100,China)

Abstract: In this paper, there is a brief introduction to the MIS intelligent intrusion detection technologyby usingneural networks, and by use of the new cluster to improve the neural network, Rules adopted by the best time of the algorithm to reduce complexity and simplify the neural network. To optimize the feature extraction rules, improving the efficiency of the intrusion detection and intelligence.

Key words: MIS intelligent intrusion detection;characteristics of rules;fuzzy cluster

1 引言

入侵檢測（Intrusion Detection，ID）是指通過對行為、安全日志或審計數(shù)據(jù)或其它可以獲得的信息進行操作，檢測到對系統(tǒng)的闖入或闖入的企圖[1]。它通過對計算機系統(tǒng)或網(wǎng)絡計算機系統(tǒng)中的若干 關鍵點收集信息并對其進行分析，從中發(fā)現(xiàn)系統(tǒng)或網(wǎng)絡中是否有違反安全策略的行為和被攻擊的跡象。

現(xiàn)有的入侵檢測系統(tǒng)多數(shù)采用概率統(tǒng)計、專家系統(tǒng)、神經(jīng)網(wǎng)絡等智能化方法來實現(xiàn)系統(tǒng)的檢測機制。其中，神經(jīng)網(wǎng)絡方法可以利用大量實例通過訓練 的方法構造正常行為模型，能夠有效預測未知的攻擊，并且它有自適應、自學習、自組織、并行性等優(yōu)點，在攻擊類型上，則對非授權獲得超級用戶權限和遠程到本 地的非授權訪問的檢測效果顯著[2]。

本文使用新的聚類方法來改善神經(jīng)網(wǎng)絡，通過得到最佳的規(guī)則數(shù)來降低算法時間復雜度，簡化神經(jīng)網(wǎng)絡，使之進行有效的數(shù)據(jù)提取和學習，提高入侵檢測的效率和智能性。

2 MIS智能入侵檢測技術

MIS智能入侵檢測主要由四個主要模塊組成：

1) 數(shù)據(jù)采集：主要由SQLServer跟蹤日志給出，相當于事件產(chǎn)生器；2) 檢測單元：主要由神經(jīng)網(wǎng)絡訓練出一個相對穩(wěn)定的正常模型，用于檢測異常調用，相當于事件分析器[3]；3) 特征數(shù)據(jù)庫：主要利用誤用檢測的特點，實現(xiàn)快速檢測各種已知的異常調用，并直接反饋倒報警單元，相當于事件數(shù)據(jù)庫，其征數(shù)據(jù)庫與被監(jiān)控數(shù)據(jù)庫分離存儲；4) 報警單元：主要是殺掉異常調用的客戶端進程，反饋給系統(tǒng)管理員并記錄到自定義日志文件，相當于響應單元。

主要流程是：首先通過采集的樣本數(shù)據(jù)經(jīng)過訓練后形成檢測單元，建立相應特征數(shù)據(jù)庫并完成日志文件初始化工作；然后實時監(jiān)測客戶端調用，將數(shù)據(jù)直接和特征數(shù)據(jù)庫進行匹配，如有匹配則送入報警單元，反之則送入檢測單元；檢測單元將數(shù)據(jù)作為輸入向量與正常模型比較，如果泛化輸出值大于期望值，則列為異常，直接送入誤用數(shù)據(jù)庫存儲，并通知報警單元，反之繼續(xù)監(jiān)測各調用。

3 基于聚類方法的智能入侵檢測

3.1 數(shù)據(jù)采集

入侵檢測的關鍵是用戶行為特征的提取。本文主要利用SQLServer的事件探察器，建立新的跟蹤文件，針對TSQL、存儲過程、安全審核、會話等事件，選取 ObjectId, LoginName, CPU, Read, Write ClientProcessId, SPID 七個數(shù)據(jù)列作為輸入向量[4]。分別表示客戶端對數(shù)據(jù)庫表、存儲過程和視圖的調用；客戶數(shù)據(jù)庫登陸名；CPU占用時間；對數(shù)據(jù)庫的讀寫操作；客戶端進程號和系統(tǒng) 分配進程號。這七種數(shù)據(jù)在對數(shù)據(jù)庫的調用過程中相對穩(wěn)定。LoginName中則主要考慮客戶端默認調用，采集到的數(shù)據(jù)都是十進制數(shù)據(jù)，不需要額外的數(shù)據(jù)預處理，符合神經(jīng)網(wǎng)絡輸入的要求。

3.2 神經(jīng)網(wǎng)絡學習

本文采用采用三層神經(jīng)網(wǎng)絡[5]：輸入單元為七個，分別對應上述七個處理向量；輸出層為一個神經(jīng)單元，輸出結果 規(guī)定在（0，1）范圍內，用0表示為正常行為，用1表示為異常行為；隱層結點通過試驗確定為6個；權值和閾值為小的隨機數(shù)；學習率為0.1；隱含層和輸出層采用Sigmoid函數(shù)f(x)=(1+e-x)－1為激發(fā)函數(shù)，該函數(shù)具有非線性放大功能，可以把輸入從負無窮大放大到正無窮 大的信號，變換到0到1之間的輸出，可以逼近非線性輸入/輸出關系。我們將七種特征向量作為神經(jīng)網(wǎng)絡的輸入向量，訓練的結果就是確定了B網(wǎng)絡的權值，而 這些權值就存儲了行為的特征模式，將訓練后的神經(jīng)網(wǎng)絡用于實際的工作，就可以判斷是否有異常的調用，如發(fā)現(xiàn)了新的非權限異常調用，則把檢測到的模式存儲到特征數(shù)據(jù)庫。

3.3利用新的聚類方法提取最佳規(guī)則數(shù)

此文通過求解最佳聚類數(shù)來得到最佳規(guī)則數(shù)，首先通過構造一個新的判別準則來進行模糊分類,確定樣本數(shù)據(jù)的最佳分類,從而確定最佳規(guī)則數(shù)。

可以看出,聚類判別準則Vp由2部分組成,第一部分反映了同一類中的緊湊程度。第k個樣本Xk越接近模糊類中心,最大隸屬度max(uik)就越接近1。因此,對每一個樣本Xk來說,模糊集max(uik)被認為是一個好的分類指標,這個值越大,代表同一類的緊湊程度就越好。式(1)的第二部分體現(xiàn)了類與類之間的分離程度[4]。這里,用2個模糊集的交集來評價類Vi和Vj的分離程度。事實上,如果Xk接近類中心Vi,min(uik,ujk)接近于零,結果類Vi和Vj很明顯被分開。

另一方面,如果min(uik,ujk)接近于1/C,Xk屬于所有類的隸屬度相等,此時劃分的類最模糊。這個新的的判別準則Vp既考慮了同一類的緊湊程度,又考慮了類與類之間的分離程度。這樣相對于最大值Vp的聚類數(shù)C就是一個最佳聚類數(shù)[6]。

3.4 調整特征提取規(guī)則

經(jīng)過神經(jīng)網(wǎng)絡學習，得到了大量的特征提取規(guī)則，現(xiàn)在就要根據(jù)上文所得的最佳規(guī)則數(shù)來調整規(guī)則，使之達到最佳。規(guī)則的化簡是基于網(wǎng)絡權值來進行的。權值的初始值的大小代表了規(guī)則成功的概率；經(jīng)過網(wǎng)絡進行訓練以后，這個概率或被增加或被減少。概率為零表示該條規(guī)則不再存在理應被去除[7-8]。1) 主要思想是將網(wǎng)絡權值為零或很接近于零的規(guī)則視為無效的規(guī)則而被去除[9]；2) 在具有同一前件的所有規(guī)則中，將取權值最大的規(guī)則保留，而將其余的規(guī)則去除；3) 為了保持規(guī)則的一致性，在矛盾的規(guī)則中取概率最大的規(guī)則是一種良好的選擇[10]。

3.5 實驗結果

MIS系統(tǒng)在正常運行一周內，從跟蹤文件中隨機選取了1000個樣本作為訓練樣本，500個樣本作為檢測樣本。利用聚類方法的神經(jīng)網(wǎng)絡學習得到的規(guī)則數(shù)目由原來的35個減少到23個。改進前構建的正常行為模型80%以上的能夠檢測到未知的異常操作，誤用數(shù)據(jù)庫70%的可以快速檢測得到各種已知的異常調用。改進后構建的正常行為模型90%以上的能夠檢測到未知的異常操作；而誤用數(shù)據(jù)庫則98%的可以快速檢測得到各種已知的異常調用。

由結果可以得知，本文提出的方法，有效的提取了數(shù)據(jù)和神經(jīng)網(wǎng)絡學習，提高入侵檢測的效率和智能性。

4 結論

本文介紹了神經(jīng)網(wǎng)絡實現(xiàn)的MIS智能入侵檢測技術的簡單流程，采用了新的聚類方法來改善神經(jīng)網(wǎng)絡，通過得到最佳的規(guī)則數(shù)來確定特征提取規(guī)則的界限，降低了算法時間復雜度，簡化了神經(jīng)網(wǎng)絡。從而優(yōu)化了特征提取規(guī)則，提高了入侵檢測的效率和智能性。

參考文獻：

[1] 劉美蘭,姚京松.神經(jīng)網(wǎng)絡在入侵檢測系統(tǒng)中的應用[J].計算機工程與應用,1999,(6):37-42.

[2] 撖書良,蔣嶷川,張世永.基于神經(jīng)網(wǎng)絡的高效智能入侵檢測系統(tǒng)[J].計算機工程與應用,2004,30(10):69-70.

[3] 陳瑾,羅敏,張煥國.入侵檢測技術概述[J].計算機工程與應用,2004,(2):133-136.

[4] 王士同,陳慧萍,趙躍華,等.人工智能教程[M].北京:電子工業(yè)出版社,2002

[5] Pal N R,Pal K,Keller J,et al.A Possibilistic Fuzzy c- Means Clustering Algorithm[J].IEEE Trans,Fuzzy Systems:in review,2004.

[6] Krisnapuram R,Frigui H,Nasroui O.Fuzzy and possibilistic shell clustering algorithms and their application to boundary detection and surface approximation[J].IEEE Trans,Fuzzy Systems,1995,3(1):29-60.

[7] Dave R N,Bhaswan K.Adaptive fuzzy c-shells clustering and detection of ellipses[J].IEEE Trans,on Neural Networks,1992,3(5):643-662.

[8] Timm C,Kruse R R.A modification to improve possibilistic fuzzy cluster analysis[C].Proceedings of the IEEE Int,Conf on Fuzzy Systems,Honululu,2002.

[9] 王士同.神經(jīng)模糊系統(tǒng)及其應用[M].北京:北京航空航天大學出版社,2004.

篇9

關鍵詞:農(nóng)村電力;BP算法;人工神經(jīng)網(wǎng)絡;回歸分析

中圖分類號:TM855文獻標識碼:A

文章編號:1009-2374 (2010)22-0138-03

0引言

農(nóng)村用電具有很大的不確定性,農(nóng)村電力短期負荷預測研究對農(nóng)村電力系統(tǒng)的安全及農(nóng)業(yè)安全生產(chǎn)有十分重要的意義。基于短期負荷預測研究理論和方法已做了大量預測研究,提出了很多方法,大致可以分為兩類:一類是以時間序列法為代表的傳統(tǒng)方法,如時間序列法等,這些方法算法簡單,速度快,應用廣泛,但由于其本質上都是線性模型方法,因此存在著很多缺點和局限性,無法真實地反映農(nóng)村電力系統(tǒng)不同負荷模型的非線性特性;另一類是以人工神經(jīng)網(wǎng)絡為代表的新型人工智能方法,神經(jīng)網(wǎng)絡具有并行分布信息和自學習及任意逼近連續(xù)函數(shù)的能力,能夠捕獲農(nóng)村電力短期負荷的各種變化趨勢。BP網(wǎng)絡需要大量歷史數(shù)據(jù)進行訓練,且學習及處理不確定性和人工信息的能力較差。人工邏輯系統(tǒng)適用于處理不確定性、不精確性及噪聲引起的問題。實踐證明,將BP算法和神經(jīng)網(wǎng)絡融合的人工神經(jīng)網(wǎng)絡能發(fā)揮各自的優(yōu)勢,克服各自的不足是一種有效的方法。

1農(nóng)村電力短期負荷預測研究算法

基于負荷預測方法主要有回歸分析法、時間序列法、指數(shù)平滑法、灰色模型法、專家系統(tǒng)法、人工神經(jīng)網(wǎng)絡法、小波分析預測技術和數(shù)據(jù)挖掘理論等。

1.1回歸分析法

回歸分析法是研究變量與變量之間的一種數(shù)學方法。在回歸分析中,自變量是隨機變量,因變量是非隨機變量,由給定的多組自變量和因變量資料,研究各自變量和因變量之間的關系,形成回歸方程,求解回歸方程后,給定各自變量數(shù)值,即可求出因變量值。回歸分析法根據(jù)歷史數(shù)據(jù)和一些影響負荷變化的因素變量來推斷將來時刻的負荷值。回歸分析法的特點是:原理、結構簡單,預測速度快,外推特性好,對于歷史上未出現(xiàn)過的情況有較好的預測值。

1.2灰色模型法

灰色系統(tǒng)理論將一切隨機變化量看作是在一定范圍內變化的灰色量。常用累加生成(AGO)和累減生成(IAGO)的方法將雜亂無章的原始數(shù)據(jù)整理成規(guī)律性較強的生成數(shù)據(jù)列。用灰色模型(GM)的微分方程作為農(nóng)村電力系統(tǒng)單一指標(如負荷)的預測時,求解微分方程的時間響應函數(shù)表達式即為所求的灰色預測模型,對模型的精度和可信度進行校驗并修正后即可據(jù)此模型預測未來的負荷。

1.3專家系統(tǒng)法

專家系統(tǒng)是依據(jù)專門從事短期負荷預測的技術人員提供的經(jīng)驗,總結出一系列的規(guī)則,并建立相應的歷史負荷和天氣的數(shù)據(jù)庫,利用if-then規(guī)則對待預測日的負荷進行估計。由于專家系統(tǒng)將天氣條件作為一個重要因素引入預測模型,因而預測的結果更為令人滿意。專家系統(tǒng)預測的優(yōu)點在于較好的解決了天氣等因素對負荷的影響,有力的克服了時間序列法不能處理數(shù)據(jù)序列中出現(xiàn)大擾動的情況。但是這種方法過分依賴規(guī)則,如果沒有一系列成熟的規(guī)則負荷預測就無法進行,而規(guī)則本身不具有普遍適應性,預測模型不能推廣到所有的系統(tǒng),這正是專家系統(tǒng)存在的弱點。

1.4人工神經(jīng)網(wǎng)絡法

人工神經(jīng)網(wǎng)絡方法是90年代以來發(fā)展起來的新方法,用人工神經(jīng)網(wǎng)絡進行負荷預測是農(nóng)村電力系統(tǒng)負荷預測的一個新發(fā)展方向。人工神經(jīng)網(wǎng)絡法利用人工神經(jīng)網(wǎng)絡(ANN),選取過去一段時間的負荷作為訓練樣本,然后構造適宜的網(wǎng)絡結構,用某種訓練算法對網(wǎng)絡進行訓練,使其滿足精度要求之后,用ANN作負荷預測。一般而言,ANN應用于短期負荷預測要比應用于中長期負荷預測更為適宜,因為短期負荷變化可以認為是一個平穩(wěn)隨機過程,而長期負荷預測與國家或地區(qū)的政治、經(jīng)濟政策等因素密切相關,通常會有些大的波動,而并非是一個平穩(wěn)隨機過程。目前用人工神經(jīng)網(wǎng)絡進行負荷預測還存在一些問題,比如模型結構的確定,輸入變量的選取,人工神經(jīng)網(wǎng)絡的學習時間較長等問題。但它仍具有許多其他方法所不能比擬的優(yōu)點,例如:良好的函數(shù)逼近能力,通過對樣本的學習,能夠很好的反映對象的輸入/輸出之間復雜的非線性關系。因此人工神經(jīng)網(wǎng)絡受到許多學者的高度評價。

1.5小波分析預測技術

小波分析是Fourie分析深入發(fā)展過程中的一個新的里程碑,是本世紀數(shù)學研究成果中最杰出的代表,已成為眾多學科共同關注的熱點。一方面,小波分析發(fā)揚了Foufie分析的優(yōu)點,克服了Fourie分析的某些缺點;另一方面,小波分析現(xiàn)在已經(jīng)被廣泛應用于信號處理、圖像處理、量子場論、語言識別與合成、地震預報、機器視覺、機械故障診斷與監(jiān)控、數(shù)字通信與傳輸?shù)缺姸囝I域。原則上講,凡是傳統(tǒng)方法中采用Fourier分析的地方,基本上都可以用小波分析來取代,而且其應用結果會得到深化和發(fā)展,因此小波分析作為一種多方面運用的數(shù)學工具,具有巨大的潛力和廣泛的應用前景。

農(nóng)村電力系統(tǒng)中曰負荷曲線具有特殊的周期性,負荷以天、周、年為周期發(fā)生波動,大周期中嵌套小周期。而小波分析是一種時域或頻域分析方法,它在時域和頻域上同時具有良好的局部化性質,并且能根據(jù)信號頻率高低自動調節(jié)采樣的疏密,容易捕捉和分析微弱信號以及信號、圖像精細的采樣步長,從而可以聚焦到信號的任意細節(jié),尤其是對奇異信號很敏感,能很好的處理微弱或突變的信號,其目標是將一個信號的信息轉化成小波系數(shù),可以方便的處理、存儲、傳遞、分析或被用于重建原始信號,這些優(yōu)點決定了小波分析可以有效地應用于負荷預測問題的研究。

1.6模糊預測法(FUZZY)

FUZZY預測,是近幾年來在農(nóng)村電力系統(tǒng)負荷預測中不斷出現(xiàn)的一種預測方法,將FUZZY方法引入的原因是,農(nóng)村電力系統(tǒng)中存在著大量的模糊信息,如負荷預測中的關鍵因素氣象狀況的評判、負荷的日期類型的劃分等信息,都是模糊的。常規(guī)方法就是采用統(tǒng)計和經(jīng)驗相結合的方法予以處理,這給負荷預測引入了不科學因素,并且與自動化要求相矛盾,而FUZZY方法正是破解這些模糊信息的鑰匙。從實際應用來看,單純的FUZZY方法對于負荷預測的精度往往是不盡人意的,主要因為FUZZY預測沒有學習能力,這一點對于不斷變化的農(nóng)村電力系統(tǒng)而言,是極為不利的。

2農(nóng)村電力短期負荷預測研究與實現(xiàn)

2.1人工神經(jīng)網(wǎng)絡原理

人工神經(jīng)網(wǎng)絡是一種“采用物理可實現(xiàn)的系統(tǒng)來模仿人腦神經(jīng)細胞的結構和功能的系統(tǒng)。”人工神經(jīng)網(wǎng)絡是最近發(fā)展起來的十分熱門的交叉學科,它涉及生物、電子、計算機、數(shù)學和物理學科,有著非常廣泛的應用背景,這門學科的發(fā)展對日前和末來的科學技術的發(fā)展有重要的影響。二維的簡單人工神經(jīng)網(wǎng)絡按網(wǎng)絡拓撲結構可分為兩類:前饋型網(wǎng)絡和反饋型網(wǎng)絡。反饋型網(wǎng)絡模型是一種反饋動力學系統(tǒng),它具有極復雜的動力學特性。反饋神經(jīng)網(wǎng)絡模型可以用完備的無向圖表示,代表性的模型包括;Hopfield網(wǎng)絡模型和Hamming網(wǎng)絡模型。反饋神經(jīng)網(wǎng)絡模型有很強的計算能力。前饋神經(jīng)網(wǎng)絡模型是指那些在網(wǎng)絡中各處理單元之間的連接都是單向的,而且總是指向網(wǎng)絡輸出方向的網(wǎng)絡模型。

2.2BP人工神經(jīng)網(wǎng)絡算法

基于BP網(wǎng)絡學習規(guī)則的指導思想:對網(wǎng)絡權值和閾值的修正要沿著表現(xiàn)函數(shù)下降最快的方向――負梯度方向。

xk+1=xk-akgk (1)

其中xk是當前的權值和閾值矩陣,gk是當前表現(xiàn)函數(shù)的梯度,ak是學習速度。假設三層BP網(wǎng)絡,輸入節(jié)點,隱層節(jié)點,輸出節(jié)點。輸入節(jié)點與隱層節(jié)點間的網(wǎng)絡權值為,隱層節(jié)點與輸出節(jié)點間的網(wǎng)絡權值為。當輸出節(jié)點的期望值為時,模型的計算公式如下:

隱層節(jié)點的輸出:

yj=f(wjixi-θj )=f (netj) (2)

其中netj=wjixi-θj (3)

輸出節(jié)點的計算輸出:

zl=f(vljyj-θl)=f (netl) (4)

其中netl=vlj yj-θl (5)

輸出節(jié)點的誤差:

E=(tl-zl)2=(tl-f(vljyj-θl))2

=(tl-f(vljf(wjixi-θj)-θl))2 (6)

E=(tI-zi)2=(tI-zi)

2.3誤差函數(shù)對輸出節(jié)點求導

=?=? (7)

E是多個zk的函數(shù)。但有一個zk與vlj有關,各zk間相互獨立,其中:

=[-2(tk-zk)?]=-(tl-zl) (8)

=?=f '(netl)?yj (9)

則=-(tl-zl)?f '(netl)?yj (10)

設輸入節(jié)點誤差為δl=(tl-zl)?f '(netl) (11)

則=-δl?yj (12)

2.4誤差函數(shù)對隱層節(jié)點求導

=?? (13)

E是多個zl的函數(shù),針對某一個wji,對應一個yj,它與所有zl有關,其中:

=[-2(tk-zk)?]=-(tl-zl) (14)

=?=f '(netl)?(-1)=f '(netl)?vlj (15)

=?=f '(netl)?xi (16)

則=-(tl-zl)?f '(netl)?vlj?f '(netj)?xi=δlvlj?f '(netj)?xi(17)

設隱層節(jié)點誤差為δj'=f '(netj)?δlvlj (18)

則:=-δj'xi (19)

由于權值的修正Δvlj,Δwji正比于誤差函數(shù)沿梯度下降,則有:

Δwji=-η'=η'δj'xi (20)

vlj(k+1)=vlj(k)+Δvlj=vlj(k)+ηδlyj (21)

δl=-(tl-zl)?f '(netl) (22)

Δθl=η=ηδl (23)

wji(k+1)=wji(k)+Δwji=wji(k)+η'δj'xi (24)

δj′=f '(netj)?δlvlj (25)

其中隱層節(jié)點誤差δj′中的δlvlj表示輸出節(jié)點的zl的誤差δl通過權值vlj向節(jié)點yj反向傳播成為隱層節(jié)點的誤差。

2.5 閾值θ也是變化值,在修正權值的同時也需要修正,原理同權值修正一樣誤差函數(shù)對輸出節(jié)點閾值求導

=? (26)

其中=-(tl-zl) (27)

=?=f '(netl)?(-1)=-f '(netl) (28)

則=(tl-zl)?f '(netl)=δl (29)

閾值修正Δθl=η=ηδl (30)

θl(k+1)=θl(k)+ηδl (31)

誤差函數(shù)對隱層節(jié)點閾值求導=??(32)

其中=-(tl-zl) (33)

=f '(netl)?vlj (34)

=?=f '(netj)?(-1)=-f '(netj) (35)

則=(tl-zl)?f '(netl)?vlj?f '(netj)=δlvlj?f '(netj)=δj' (36)

閾值修正Δθj=η' =η'δj' (37)

θj(k+1)=θj(k)+η'δ'j (38)

2.6傳遞函數(shù)f(x)的導數(shù)S型函數(shù)

f (x)=,則f ' (x)=f (x)?(1-f (x)) (39)

f ' (netk)=f (netk)?(1-f (netk)) (40)

對輸出節(jié)點zl=f (netj) (41)

f ' (netj)=zl?(1-zl) (42)

對輸出節(jié)點yj= f (netj) (43)

f ' (netj)=yj?(1-yj) (44)

3結語

基于一種新的基于人工神經(jīng)網(wǎng)絡在農(nóng)村電力短期負荷預測研究。針對BP算法中存在的收斂速度慢、易陷入局部最小值的問題,可采用附加動量法和自適應學習速率法在一定程度上解決這些問題。附加動量法是在BP算法的基礎上,在每個權值變化上加上一項正比于上一次權值變化量的值,并根據(jù)BP算法來產(chǎn)生新的權值變化,利用附加動量法可能會避開某些局部最小值。自適應學習速率法是在學習過程中不斷修正學習速率,有利于提高學習效率,縮短學習時間。

參考文獻

[1] 劉光中,顏科琦.組合神經(jīng)網(wǎng)絡模型對電力需求的預測[J].數(shù)量經(jīng)濟技術經(jīng)濟研究,2003,(1)

篇10

[關鍵詞] 小生境遺傳算法 神經(jīng)網(wǎng)絡 股票 預測

一、引言

股票和股票市場對國家企業(yè)的經(jīng)濟發(fā)展起到了積極的作用，如可以為投資者開拓投資渠道，增強投資的流動性和靈活性等。但股票價格的形成機制是頗為復雜的，股票價格既受到多種因素，諸如:政治，經(jīng)濟，市場因素的影響，亦受技術和投資者行為因素的影響，個別因素的波動作用都可能會影響到股票價格的劇烈波動。因此，股票價格和各影響因素之間很難直接建立明確的函數(shù)關系表達式。針對這一情況，將可有效處理非線性問題的神經(jīng)網(wǎng)絡引入到股票價格的預測中來，但神經(jīng)網(wǎng)絡收斂慢,易陷入局部極小點，出現(xiàn)振蕩，魯棒性差。所以有的學者用遺傳算法(GA)來優(yōu)化神經(jīng)網(wǎng)絡，這種神經(jīng)網(wǎng)絡可能獲得個別的甚至局部的最優(yōu)解,即GA早熟現(xiàn)象。本文引進能較有效地保持種群多樣性的小生境遺傳算法(NGA),采用NGA優(yōu)化與用GA優(yōu)化的BP網(wǎng)絡權值進行對比,證實了NGA的判別準確性和尋優(yōu)能力。

二、小生境遺傳算法優(yōu)化的神經(jīng)網(wǎng)絡

1.BP神經(jīng)網(wǎng)絡

反向傳播(BP)算法又稱為誤差逆?zhèn)鞑バＵ椒ǎ?974年P.Werbos(哈佛大學)提出的。BP算法用來訓練多層前饋神經(jīng)網(wǎng)絡,屬于監(jiān)督學習算法。BP網(wǎng)絡具有結構清晰，易實現(xiàn)，計算功能強大等特點。因而是目前最常見，使用最廣泛的一種神經(jīng)網(wǎng)絡。但是在實際應用中，傳統(tǒng)的BP算法存在以下問題:收斂速度慢;若加快收斂速度易產(chǎn)生振蕩；存在局部極小和平臺問題;泛化能力差;隱節(jié)點數(shù)和初始值的選取缺乏理論指導;未考慮樣本選擇對系統(tǒng)學習的影響等。所以很多學者提出許多改進的方法，用小生境遺傳算法優(yōu)化神經(jīng)網(wǎng)絡權值的神經(jīng)網(wǎng)絡來預測股票價格。

2.小生境遺傳算法

小生境遺傳算法(Iche Genetical Gorihm)的基本思想是:首先比較任意兩個個體間的距離與給定值的大小，若該距離小于給定值，則比較其適應值大小。對適應值較小的個體施加一個較強的懲罰，極大地降低其適應值。也就是說，在距離L內將只有一個優(yōu)良個體，從而既維護了群體的多樣性，又使得各個體之間保持一定的距離，并使得個體能夠在整個約束空間中分散開來。

3.神經(jīng)網(wǎng)絡連接權的優(yōu)化

用小生境遺傳算法可以優(yōu)化神經(jīng)網(wǎng)絡連接權，神經(jīng)網(wǎng)絡結構，學習規(guī)則等，這里我們對神經(jīng)網(wǎng)絡的連接權進行優(yōu)化，具體步驟如下：

（1）隨機產(chǎn)生一組權值分布，采用某種編碼方案對該組中的每個權值(或閾值)進行編碼，進而構造出一個碼串(每個碼串代表網(wǎng)絡的一種權值分布)，在網(wǎng)絡結構和學習規(guī)則已確定的前提下,該碼串就對應一個權值和閾值取特定值的一個神經(jīng)網(wǎng)絡。

（2)對所產(chǎn)生的神經(jīng)網(wǎng)絡計算它的誤差函數(shù)，從而確定其適應度函數(shù)值，誤差越大,則適應度越小。

（3)選擇若干適應度函數(shù)值最大的個體,直接遺傳給下一代。

（4)利用交叉和變異等遺傳操作算子對當前一代群體進行處理，產(chǎn)生下一代群體。

（5)重復（2）（3）（4），使初始確定的一組權值分布得到不斷地進化,直到訓練目標得到滿足為止。

這種由小生境遺傳算法訓練神經(jīng)網(wǎng)絡的方法也可以稱做混和訓練法。將基于小生境遺傳算法的遺傳進化方法和基于梯度下降的反傳訓練相結合,這種訓練方法吸取兩種方法的各自特點，所以收斂速度快。

三、股票價格預測仿真

根據(jù)經(jīng)驗選取輸入預測日前四天開盤價、收盤價歸一化后做為作為輸入量，輸出為第五天收盤價歸一化數(shù)值。所以，本文采用神經(jīng)網(wǎng)絡結構為(8,5,1),即網(wǎng)絡的輸入層6個節(jié)點,隱含層9個節(jié)點,輸出層1個節(jié)點。本文選擇了“XDG 新梅（600732）”從2006年3月14日到2006年7月1日數(shù)據(jù)進行了仿真。利用MATLAB6.5編程，取70組訓練樣本和30組測試樣本。如圖（1）表示用遺傳算法和小生境遺傳算法對神經(jīng)網(wǎng)絡的權值進行優(yōu)化時，誤差曲線變化;從圖中可以看出，小生境遺傳算法收斂速度要快;圖（2）表示股票預測值和實際值比較，從圖中可以看出，遺傳算法和小生境遺傳算法對神經(jīng)網(wǎng)絡的權值的模型進行股票價格的預測，都能預測出股票走向趨勢，但是，后者的預測精度顯然要比前者高。

四、結束語

股票市場的不確定因素太多，股票的價格更是多種因素影響的集合體，是典型的非線性動力學問題。股票價格的中長期準確預測很難。本文建立了用小生境遺傳算來優(yōu)化神經(jīng)網(wǎng)絡模型來預測股票價格，結果表明，這種方法比單用遺傳算法優(yōu)化的神經(jīng)網(wǎng)絡收斂速度快，預測精度高。對于股票價格預測具有較好的應用價值。

參考文獻:

[1]龍建成李小平:基于神經(jīng)網(wǎng)絡的股票市場趨勢預測[J].西安電子科技大學學報(自然科學版.2005.3（32）:460-463

[2]王波張鳳玲:神經(jīng)網(wǎng)絡與時間序列模型在股票預測中的比較[J].第27卷第6期武漢理工大學學報?信息與管理工程版.2005.9（27）:69-72

[3]張立明:工神經(jīng)網(wǎng)絡的模型及其應用[M].上海:復旦大學出版社,1995.35-76