神經網絡初始化方法范文

導語：如何才能寫好一篇神經網絡初始化方法，這就需要搜集整理更多的資料和文獻，歡迎閱讀由公務員之家整理的十篇范文，供你借鑒。

篇1

關鍵詞：矢量量化；自組織特征映射神經網絡；圖像壓縮；主元分析

中圖分類號：TP183文獻標識碼：A文章編號：1009-3044(2008)36-2731-02

The Vector Quantization Based on PCA/SOFM Hybrid Neural Network

HUNG Cui-cui, ZHANG Jian

(Liaoning University of Technology Electronic and Information Engineering College, Jinzhou 121001, China)

Abstract: In order to improve the two main shortcomings of the Kohonen's self-organizing feature map(SOFM) that are high computation complexity and poor codebook quality, the author proposes a vector quantization algorithm based on PCA/SOFM hybrid neural network in this paper. Descend the dimension of imported vectors by using the principal component analysis (PCA) linear neural network. And then, use SOFM neural network to vector quantization. By modifying the learning-rate parameter, topology field weight and initial codebook of the SOFM neural network to optimize network. Simulation results demonstrate that the image compression algorithm can shorten the time and improve the performance of codebook.

Key words: Vector quantization(VQ); Self-organizing feature map neural network (SOFM); image compression; Principle component analysis(PCA)

1 引言

矢量量化[1,2]技術是一種利用圖像數據空間相關性的高效有損壓縮方法，它具有壓縮比大，編碼速度快等優點，目前己廣泛用于信號識別、語音編碼、圖像壓縮等領域中。矢量量化優越性的體現離不開性能良好的碼書，因而，矢量量化的關鍵是如何設計一個最佳碼書，使得用該碼書中的碼字表征輸入矢量空間分布時所引起的量化平均失真最小。近年幾來，許多學者將SOFM神經網絡應用于碼書的設計[3]。但SOFM算法存在收斂速度慢、計算量大等缺點。陸哲明和孫圣和針對SOFM基本算法的計算量大采用了快速搜索算法，為了提高碼書性能對SOFM基本算法的權值調整方法作了一些改進[4]。目前越來越多的研究人員把目光投向將矢量量化與其他的編碼方法相結合[5]。例如，矢量量化與小波變換結合的算法[6]，分形變換與矢量量化相結合的算法[7]。PCA是一種有效的圖像變換編碼算法，它能夠提取圖像數據的主特征分量，因此能夠降低圖像輸入數據維數。SOFM算法用于圖像矢量量化則具有不易受初始碼書的影響，同時能夠保持圖像數據的拓撲結構等優點。為此本文將兩者結合，提出了PCA/SOFM混合神經網絡圖像混合編碼算法。先用PCA對圖像進行降維處理，再用SOFM神經網絡進行碼書設計。本文還對碼書的初始化的選擇問題和神經網絡的學習參數進行研究。實驗表明，該算法不但大大降低了計算量，而且提高了碼書的性能。

2 PCA/SOFM混合神經網絡的算法

盡管SOFM神經網絡比起LBG算法有很大優勢，但SOFM算法仍然存在收斂速度慢。計算量大等缺點。因此本文將PCA與SOFM神經網絡相結合，提出了PCA/SOFM混合神經網絡。PCA/SOFM混合神經網絡結構如圖1所示，先用PCA線性神經網絡對輸入矢量降維處理，從而使得壓縮圖像達到最小失真。然后用SOFM神經網絡進行碼書設計， PCA線性神經網絡采用Sanger提出的廣義Hebb算法[8]。

2.1 基本PCA/SOFM混合神經網絡算法

1) PCA網絡權值Wpi,j和SOFM網絡權值初始化；

2) PCA網絡輸出矢量Yp(t)：

(1)

N為PCA神經網絡輸入矢量Xp的維數。

3) Wpi,j網絡權值調整：

(2)

4) 重復步驟(2)至(3)，直至算法收斂。輸出矢量Ypi(t)，并將此作為SOFM的輸入Xi(t)；

5) 計算矢量Xi(t)與權值矢量Wi,j(t)的距離：

(3)

6) 選擇具有最小距離的輸出節點，j*作為獲勝節點，即：

(4)

7) Wij(t) 網絡權值調整：

(5)

8) 重復步驟(5)至(7)，直至算法收斂。

9) 取輸入訓練矢量集的下一個輸入矢量，回到步驟(2)反復進行，直到足夠的學習次數或滿足規定的終止條件為止。

10) 保存所有權值Wij的值，即設計碼書。

2.2 PCA/SOFM混合神經網絡的初始化和改進

在PCA/SOFM混合神經網絡算法中網絡的初始化、鄰域函數和學習率函數非常重要，它直接影響到網絡的收斂速度和碼書的性能。本文要對這幾個參數進行優化以提高壓縮速度和壓縮性能。本文采用一種改進的隨機選取法，使空間分配均勻，不會出現碼字空間分的過細或過粗的現象。首先，按k維矢量所有元素中最重要的單個元素(即k維歐氏空間中最敏感的方向)大小排序；然后按順序每隔n個矢量取一個矢量作為初始碼書的一個碼字，完成碼書的初始化（n=訓練序列中矢量的總數/碼書的大小）。

由SOFM基本算法可知，權矢量Wi(t+1)的更新實質上是權矢量Wit和訓練矢量Xi(t)的加權和。其中學習率因子和鄰域函數非常重要，它們決定算法的收斂速度。下面推導最優的學習率因子α(t)。由式（5）得：

(6)

可以總結得：

(7)

令多項式的各項相等可得到最優學習率因子：

(8)

其鄰域函數取為：

(9)

式中，hcc典型地取為0.8。T為最大迭代次數，初始值σ0和最終值σT典型地取為0.8和0.1。

3 實驗結果

為了驗證算法的有效性，本文把基本SOFM編碼算法、基本PCA/SOFM混合神經網絡編碼算法和改進PCA/SOFM算法分別用于圖像的壓縮編碼。本文采用的是512×512像素，256級灰度的Lena圖像用于訓練圖像進行碼書設計。首先將圖像分為4×4子塊，然后將每一小塊的16個像素灰度值作一個訓練矢量，送入PCA線性神經網絡。PCA線性神經網絡輸出節點為8維PCA變換系數矢量，同時將它作為SOFM神經網絡的輸入矢量，用于進行碼本設計。進過多次實驗，取其平均值作為實驗結果，圖3給出了各種算法在相同壓縮比的情況下恢復圖像的對比。表1給出了各算法編碼后的尖峰信噪比PSNR和碼書設計時間的比較。

從測試的結果可以看出改進PCA/SOFM算法優于基本SOFM算法和基本PCA/SOFM算法，該算法縮短了碼書設計的時間，圖像的恢復質量有所提高，取得了令人滿意的結果。從而證明本文提出的算法是一種行之有效的方法。

4 結束語

篇2

關鍵詞：CT圖像；圖像重建；BP神經網絡

1 引言

圖像重建是光學CT 技術的核心內容。在CT應用中，先是已知待測圖像在幾個方向上的投影，然后由這些投影數據重建出該圖像。常用的算法主要有代數迭代法（ART）、濾波反投影（FBP）、最大熵法等。這些算法在投影數據比較多的情況下重建結果還比較理想，但在投影方向受限（如4～5個）的情況下，重建精度就很低[1，2]。

針對稀疏視角不完全投影圖像重建的特點和難點，本文利用神經網絡具有處理高維高度非線性和不確定問題的優勢，提出了一種基于神經網絡的圖像重建方法。該方法充分利用神經網絡具有強大的自適應學習和聯想綜合能力，故而可以實現所需的由已知投影值的視角區域到未知視角區域的彌補[3]，并且選用最簡單的神經網絡結構和有效的學習樣本，從而在有限的條件下更有效地重建出高質量的圖像。

2 基于BP神經網絡的圖像重建

2.1 BP網絡模型及權值初始化

在各類神經網絡中，BP神經網絡是一種算法成熟且易于實現的網絡類型。本文選用三層神經網絡，即包含輸入層、隱含層和輸出層。

其中，輸入層和輸出層分別對應原始圖像和重建圖像的投影數據，神經元的個數為投影數據的個數。隱含層代表重建圖像，神經元的個數為重建圖像像素的個數[4]。在網絡訓練過程中，輸入層至隱含層的權值W隨誤差的反向傳播不斷調整，隱含層至輸出層的權值M在網絡訓練前事先初始化，并保持不變。根據CT圖像重建理論，隱含層和輸出層神經元之間的權值即為第i條投影射線穿過第j個像素的長度ri，j，故權值矩陣M即為投影系數矩陣R。筆者采用文獻[5]新方法求取投影系數矩陣，從而確定權值矩陣M。

2.2 BP神經網絡的改進

篇3

關鍵詞：仿生算法；神經網絡；遺傳算法

中圖分類號：TP183文獻標識碼：Adoi: 10.3969/j.issn.1003-6970.2011.03.017

An Improved Algorithm of Bionic Research and Analysis

Yue Tong-sen, Wang Da-hai

(XinXiang Vocational and Technical Collage, Xinxiang 453000,Henan,China)

【Abstract】In this paper the bionic algorithm of neural network and genetic algorithm were analyzed and summarized, aimed at slow speed of neural network training, recognition efficiency low, and genetic algorithm the optimum choice premature convergence problem, combined with neural network method and genetic algorithms of their respective characteristics, puts forward the improved algorithm.Without the destruction of single neurons based on input weights, adopt data pretreatment methods to reduce the number of input layers, so as to improve the ability of evolutionary learning.

【Key words】Bionic algorithm; Neural network; Genetic algorithm

0引言

人工神經網絡[1]和遺傳算法[2]是仿生算法[3]的典型方法，它們的優化問題一直是眾多研究者所倍為關注的研究熱點之一。在人工神經網絡和遺傳算法結構的研究中發現，人工神經網絡具有很好的模式分類的特性，遺傳算法有很好的動態變更權值的特性，基于此，本文提出了一種改進的基于人工神經網絡和遺傳算法的算法。本章的改進算法，就是對人工神經網絡和遺傳算法進行了變換，增強了對輸入權值的變化速度，并提出用減少輸入層個數的方法是加快神經網絡學習的有效方法，取得了良好的實驗效果。

1神經網絡和遺傳算法的特究點

1.1神經網絡和遺傳算法的不同點

1．神經網絡是多層感知機，而遺傳算法是單層感知機。神經網絡是由輸入層，隱含層和輸出層夠成，但遺傳算法的基因組是一個數組，不管基因的長度有多長，其結構仍然是一個單層感知機。

2． 神經網絡的隱含神經元個數是不確定的，而輸出層和輸入層的個數是可以確定的。我們希望輸入層的個數用新的方法得到降低，這樣神經網絡的訓練速度就可以提高。同時對于隱含層的層數，一般情況設為1。每層的神經元個數也并不是越多越好，是要根據問題的情況而變動的。但神經網絡的隱含層是不確定的，而且隱含層的個數也是不確定的。對于遺傳算法，它的二進制的長度是可以確定的，但是交叉和變異的比例是變動的。對于單點交叉比例，我們可以設定為黃金分割點。雖然設定為黃金分割點作為單點交叉比例沒有用數學方法嚴格的證明，但是，大量的實驗表明，選擇黃金分割點往往可以得到較好的結果。對于變異比例，沒有交好的方法確定，只能設計交互式的實驗來調試決定。

3．權值的更新方式不一樣。神經網絡的權值的更新方式是時時的，而遺傳算法權值的更新方式是批量的。

4．兩者應用的范圍不一樣。神經網絡主要應用于模式匹配，錯誤診斷，監視病人的狀態，特征提取，數據過濾。而遺傳算法主要應用在計算機輔助設計，日程安排，經濟學的投資研究等。

1.2神經網絡和遺傳算法的相同點

1．有教師的學習。神經網絡的輸出是有目標的，當然是確定的。同時對于遺傳算法的目標也是確定的。所以兩者都是有目標的，也就是有教師的學習。

2．隨機近似優化過程。神經網絡中，如果把網絡的權值初始化為接近于0的值，那么在早期的梯度下降步驟中，網絡將表現為一個非常平滑的函數，近似為輸入的線性函數，這是因為sigmoid函數本身在權值靠近0時接近線性。同樣，遺傳算法的初始個體都是隨機產生的，它的交叉和變異都是一個不斷近似的過程。

3．并行化。神經網絡的每個神經元是獨立的，如果把每個神經元分配一個處理器，那么就可以采用并行的方式。同樣，遺傳算法很自然地適合并行實現，有粗粒度并行方法和細粒度并行方法。有粗粒度并行方法就是把群體細分成相對獨立的個體群，稱為類屬，然后為每個類屬分配一個不同的計算節點，在每個節點進行標準的GA搜索。細粒度并行方法就是給每個個體分配一個處理器，然后相鄰的個體間發生重組。

2算法的研究及改進

結合人工神經網絡和遺傳算法的研究的本質，通過兩種算法結合的研究及改進，提高算法的收斂速度，從大量的數據中模擬生物的特性來完成特定的任務和解決問題的方法和方向。由于遺傳算法是單層感知機，而神經網絡是多層感知機，所以可以從多層感知機的多層性，我們想象為遺傳算法是單層感知機作為神經網絡是多層感知機的輸入層。這樣，我們就可以采用遺傳算法的動態變更權值的特性來對神經網絡輸入層有效性的遺傳和變異。這種算法適合與沒有輸入，只有輸出的應用，就像無人駕駛技術中控制行駛的速度和方向的控制一樣。基本的框架如圖1：

圖1結合人工神經網絡和遺傳算法的框圖

Fig.1 Combined with artificial neural network and genetic algorithm diagram

最上面的是智能體，神經網絡的輸出來控制智能體，控制中心將神經網絡的權值用遺傳算法的初始體來提供。

2.1遺傳算法的基因作為神經網絡的權值變量

遺傳算法的基因的初始化必須要滿足神經網絡的輸入要求，一般遺傳算法的基因都是0，1編碼。但是為了達到神經網絡的輸入要求，是要在（-1，+1）之間隨機產生。

2.2遺傳傳算法中雜交點選擇

遺傳算法中，一般都是采用隨機平均變異[4][5]的方式，但是如果輸入是由遺傳算法的基因提供的話，為了保證在變異的時候，采用標記變異的方法。我們可以首先根據圖2的神經網絡來考慮：

圖2遺傳算法作為人工神經網絡和的權值圖

Fig.2 Genetic algorithm as artificial neural network and the weights of figure

很顯然，（0.3,-0.8,-0.2）是神經元1的權值 ；(0.6,0.1,-0.1)是神經元2的的權值；(0.4,0.5) 神經元3的權值。為了在遺傳算法中的雜交過程中，不破壞每個神經元的權值個數，特意標記（3，6）所在的箭頭。

2.3引入神經網絡輸入層的數據預處理

神經網絡的計算問題是神經網絡應用中最為關鍵的問題。如何提高網絡的訓練速度是算法研究的重點。我們在思考問題的時候，總是希望問題越簡單越容易解決。同樣，我們也可以通過對數據的預處理，來降低問題的難度。

為了減少輸入層的個數，我們可以先對數據進行預處理。預處理的方法為如下流程：

（1）.計算機器人前進方向Position(x,y)和目標的所在的位置Location(x,y)。

（2）.歸一化Position(x,y) 和Location(x,y)。

（3）.用點乘的計算公式計算兩者點乘。

（4）.用符號重載的方式計算是順時針還是相反。

（5）.計算角度=第3步的結果*第4步的結果。

3實驗結果及分析

3.1實驗框架

將本算法應用于掃雪機器人的智能控制中，設計的主要模塊：

3.1.1神經網絡部分的設計

神經網絡的輸入由四個變量組成：掃雪機器人方向向量（由兩個變量組成，即在X和Y的分量），發現目標，即雪的向量（由兩個變量組成，即在X和Y的分量）。神經網絡的隱含層由一層組成，而且由10個神經元。神經網絡的輸出由兩個變量組成，V1和V2，分別作用在機器人的左輪和右輪上。神經網絡的響應函數采用SIGMOD。

3.1.2遺傳算法部分的設計

遺傳算法的初始化是為神經網絡提供權值，所以是由[-1，1]隨機數產生。遺傳算法的變異是采用隨機變量的變異，選擇采用輪轉法。

3.1.3掃雪機器人

掃雪機器人用神經網絡來控制，當找到目標后，它的適值就加一。這樣就隨著發現目標越多，它的適值就越大。學習能力是通過不斷的學習后，它的適值就會加強。如果直接采用機器人前進方向和目標的所在的位置，那么神經網絡的輸入為四個變量。

3.2結果與分析

如果直接采用機器人前進方向和目標的所在的位置，那么神經網絡的輸入為四個變量。通過對掃雪機器人的學習過程，沒有進行預處理的數據，即四個變量輸入神經網絡后的參數設定：神經網絡的輸入為4，神經元為6個，輸出個數為2個，如圖3所示：

圖3網絡的參數設定圖

Fig.3 Network parameters set figure

我們設定初始的適值為0，如果發現一個目標后，它所對應的適值就加上1，這樣經過50次的進化后，沒有進行數據預處理的最大值是25，平均值是10.1333。如表1所示：

將50次的統計結果用柱狀圖進行對比,如圖4所示。

圖4進化50代后的加入數據預處理和沒有加入預處理的對比圖

Fig.4 After 50 generation data preprocessing and did not join joined the pretreatment of contrast diagram

為了減少輸入層的個數，我們可以先對數據進行預處理下面，用統計的方法對數據進行的結果分析，如表2所示。

將進化100代后，對比兩者的對比柱狀圖如圖5所示。

圖5進化50代后的加入數據預處理和沒有加入預處理的對比圖

Fig.5 After 50 generation data preprocessing and did not join joined the pretreatment of contrast diagram

實驗結果表明，為了減少輸入層的個數，先對數據進行預處理。通過對掃雪機器人的過程的數據分析進行分析，數據預處理后的智能進化學習能力相對于原始數據的智能進化學習能力有明顯的提高。

4結束語

本文提出了基于神經網絡和遺傳算法結合的改進算法，對于遺傳算法的變異操作進行改進，不會破壞單個神經元的輸入權值的基礎上，采用數據預處理的方法來減少輸入層的個數，從而提高進化學習的能力。從實驗數據中可以看到，本章提出的改進算法加快了學習速度，達到了提高智能學習的預期

目的。

參考文獻

[1] 喬俊飛，韓桂紅．神經網絡結構動態優化設計的分析與展望[J].控制理論與應用，2010,3(13):350-357.

[2] 葛繼科，邱玉輝,吳春明，等．遺傳算法研究綜述[J].計算機應用研究,2008,10(9):2911-2916.

[3] 丁建立，陳增強，袁著祉．智能仿生算法及其網絡優化中的應用研究進展[J].計算機工程與應用，2003,12(3):10-15

[4] 鞏敦衛，等．交互式遺傳算法原來及其應用[M].北京:國防工業出版社,2007.

篇4

關鍵詞：信用風險預警； 模糊神經網絡； 模因算法； 粗糙集

中圖分類號：TP301.6 文獻標識碼：A文章編號：2095-2163（2013）06-0010-05

0引言

近年來，人工神經網絡已廣泛應用于信用風險預警等金融風險管理領域，研究表明神經網絡預測準確性優于統計判別分析等傳統預警方法，但其中的“黑箱”操作等缺陷卻也導致了神經網絡在信用風險管理領域的應用遭到多方質疑[1-2]。源自模糊理論與神經網絡相融合的模糊神經網絡（Fuzzy Neural Network，FNN）提高了網絡的透明性、啟發性及魯棒性，在一定程度上克服了神經網絡的“黑箱操作”，然而FNN也存在“維數災難”、結構復雜、學習算法冗長、局部早熟等問題，由此也限制了其在金融風險管理領域中的應用[3]。據此，本文試圖在對模因算法（Memetic Algorithms，MA）進行改進的基礎上，結合粗糙集（Rough Set，RS）和模糊神經網絡提出一種模因進化型粗糙模糊神經網絡（MA-RSFNN）模型，旨在利用模因算法進行模糊神經網絡的訓練學習，發揮模因算法的全局優化能力，消減網絡陷入局部早熟的可能性，使網絡具有進化和學習的雙重智能，同時借助粗糙集知識約簡精煉訓練集、降低輸入維度，避免“維數災難”現象。

1模因算法

模因算法（Memetic Algorithms，MA）由Moscato和Norman等人于1992年提出，是一種超啟發式全局搜索混合算法，主要思想源自道金斯的文化進化思想和達爾文的自然進化法則[4]。其原理是在全局搜索策略中有機集成局域搜索策略，利用局部搜索策略的局部尋優能力提高算法的性能和收斂速度。相關研究表明模因算法在搜索過程中兼顧深度和廣度，不僅有較強的全局尋優能力，同時算法收斂速度快，在許多問題上的求解獲得了比遺傳算法收斂速度更快[6-9]。

經典的模因算法通常采用遺傳算法作為全局搜索策略，因此算法流程與遺傳算法類似。根據文獻[5]，模因算法的流程如圖1所示。

2模因算法改進

模糊神經網絡的訓練學習是一個連續函數優化過程，以遺傳算法為基礎的模因算法能有效求解組合優化問題，但對連續空間問題的求解則效率不高。粒子群算法是一種源自對鳥類等生物群體覓食行為進行模仿的實編碼優化算法，其概念簡單、結構簡潔，是求解實編碼優化問題的有力工具。本文提出一種以粒子群算法為全局搜索策略，BP算法為局部搜索策略的改進型模因算法，以期設計出一種高效的模糊神經網絡學習算法。

粒子群算法（Particle Swarm Optimization ，PSO）是一種基于群體智能的全局優化算法，其靈感源自鳥群、蟻群等生物群體的覓食過程[10-11]。目前，具有概念簡單、算法簡潔、隱含并行及全局收斂等優點的粒子群算法已廣泛應用到決策分析、知識發現等領域[12-13]，并取得了豐碩研究成果。基本粒子群算法的數學描述如下[10]。

假設一顆微粒代表尋優空間中的一個解，算法初始化時隨機生成一定數量的微粒構成種群，而后通過不斷隨機有向迭代尋求問題最優解。在迭代過程中，微粒通過跟蹤個體及種群歷史最優值，按式（1）、（2）不斷調整個體的速度和位置以實現向最優解靠攏。

其中，式（3）為速度vij的調整量；速度vij為位置xij的調整量；w∈[0.4，0.9]為慣性因子；c1=c2=2.0為學習因子； r（·）∈（0，1）為隨機數；pij和pg分別為個體及群體歷史最優值。

2.2改進型模因算法

改進型模因算法基本流程如圖2所示。

3模因進化型模糊神經網絡

3.1網絡結構

信用風險預警通常為多輸入單輸出的問題，參照文獻[14-15]設計的模糊神經網絡拓撲結構如所圖3所示。

3.2網絡學習算法

（1）編碼。微粒的坐標值代表了模糊神經網絡的模糊參數與權值，其編碼如圖4所示。

其中，yi為實際輸出；yi為期望輸出，P為群體規模。

（3）算法步驟。學習算法的主要步驟如下：

步驟一：初始化。設置全局搜索策略和局部搜索策略的相關參數，隨機生成種群。

步驟二：BP算子。采用BP算法對每個個體進行局部尋優。

步驟三：算法終止判斷。如果算法滿足終止條件則跳轉步驟六，否則跳轉步驟四。

步驟四：PSO算子。①根據式（4）計算每個個體的適應值；②個體及群體歷史最優位置調整；③按式（1）調整微粒速度；④按式（2）調整微粒位置。

步驟五：BP算子。采用BP算法對每個個體進行局部尋優，產生新群體，跳轉步驟三。

步驟六：算法結束。

其中，算法終止條件：① MSE最大進化代數。

BP算子的目標函數為式（4）所示的適應值函數，學習過程中，網絡參數與權值按以下數學公式作調整：

上述模因進化型模糊神經網絡采用模因算法對網絡進行學習與訓練，使得模型具備了學習與進化的雙重智能，但該模型也存在一般模糊神經網絡的“維數災難”現象。為此，采用粗糙集知識約簡對模型輸入數據進行前置處理，簡化訓練集、減少輸入維數，從而降低網絡結構的復雜程度，避免“維數災難”現象。前置處理的主要步驟如下：

（1）指標初選和數據預處理

在考慮數據可獲取性的前提下初步建立預警指標體系，指標體系要求涵蓋各方面的信息，力圖從全方位、多層次反映信用風險特征。

數據預處理主要是根據指標的特性，對連續型預警指標的數據進行離散化處理。數據離散化的原則是保持數據集分類或決策能力不變的前提下盡可能壓縮數據。

（2）建立決策表

以指標初選和數據預處理后的數據為基礎，建立如表1所示的決策表。

（3）知識約簡

對建立的決策表進行約簡處理，得到條件屬性的相對約簡，選取相對約簡所代表的預警指標組成指標集作為模型的輸入指標體系。

5模型在信用風險中的應用

從商業銀行的角度看，信用風險是指借款人的違約而造成的損失可能性。本文從商業銀行的企業貸款違約方面研究模型在信用風險評估中的應用，以檢驗模型在金融風險管理領域中的應用成效。

5.1指標初選與數據采集

在研究國內外相關成果的基礎上，參考相關商業銀行的企業績效評價指標體系[16-19]，選擇涵蓋企業盈利能力、償債能力、成長能力及營運能力等方面的共21個指標構成初選指標集，如表2所示。

5.2粗糙集前置處理

（1）數據離散化與決策表的建立

采用等頻率劃分算法在保持數據分類能力的前提下對數據進行離散化處理，斷點集數k可通過試驗獲得，一般取k=3。在數據離散化的基礎上，以初選指標為條件屬性，屬性Bc（1：貸款違約公司，0：貸款正常公司）為決策屬性，建立信用風險預警的決策表，如表3所示。

（2）屬性約簡

5.3模型訓練學習

學習算法的相關參數初始化如下：

（1）模糊子集數設為3（代表高、中、低），則該模型為6-18-3-1結構的模糊神經網絡，輸出Y為企業違約信號（1：違約；0：不違約）。

（2）參數初始化。網絡的模糊參數及權值隨機初始化，隸屬中心∈[-1，1]，隸屬寬度∈（0，1]，耦合權值∈（-1，1）。

（3）模因算法的參數設置。PSO算子隨機生成規模M=30的種群，w=0.729， c1=c2=1.49，[Vup，Vdown]為[-1，1]，Vmax=0.3，BP算子的學習率η=0.005。

（4）訓練終止條件：①適應值10 000。

在Matlab7.0環境中，編程實現上述的模型與算法，采用訓練數據集的150份數據對模型進行訓練學習，訓練過程誤差變化如圖5所示。經過3 000多代的進化，MSE達到了0.000 281。

采用測試集的數據對預警模型進行仿真實驗，表4匯總了三類模型的實驗結果，從中可以看出MA-RSFNN模型的預測準確率高達90%，相比BP神經網絡及單純模糊神經網絡均有了大幅度提高。無論是第一類錯誤還是第二類錯誤MA-RSFNN模型的表現都最好。

6結束語

模糊神經網絡具有啟發性、透明性等特征，可處理模糊信息，能避免神經網絡的“黑箱操作”，但其存在“維數災難”現象、結構復雜及收斂性差等缺陷。本文所提出的MA-RSFNN模型將模因算法和粗糙集理論融入模糊神經網絡，發揮模因算法的全局搜索能力提升模糊神經網絡的學習能力，借助粗糙集知識約簡的降維消冗能力對訓練數據進行降維消冗處理，從而精簡網絡結構，避免網絡陷入“維數災難”。應用實例的結果表明了新模型的有效性，可望為金融風險管理提供一種新方法和新思路。

參考文獻：

[1]MIN J H， LEE Y C. Bankruptcy prediction using support vector machine with optimal choice of kernel function parameters[J]. Expert Systems with Applications， 2005， 28 ：603-614.

[2]BAHRAMMIRZAEE A. A comparative survey of artificial intelligence applications in finance： artificial neural networks， expert system and hybrid intelligent systems[J].Neural Comput & Applic，2010，19：1165-1195.

[3]HAMDANI T M， ALIMI A M， FAKHRI K. Enhancing the structure and parameters of the centers for BBF fuzzy neural network classifier construction based on data structure[A]// Proceedings of the International Joint Conference on Neural Networks[C]. Piscataway NJ： IEEE， 2008： 3174-3180.

[4]MOSCATO P. On evolution， search， optimization， genetic algorithms and martial arts： towards memetic algorithms[A]//Tech. Rep. Caltech Concurrent Computation Program [C]. Pasadena， California， USA， 1989： 1-67.

[5]NORA S，CHRISTIAN S， ANDREAS Z.A memetic clustering algorithm for the functional partition of genes based on the gene ontology[C]//Proc of the 2004 IEEE Symposium on Computational Intelligence in Bioinformatics and Computational Biology.San Diego，USA，2004：252-259.

[6]DAWKINS R. The selfish gene[M].UK：Oxford University Press，1976.

[7]MOSCATO P， NORMAN M G. A memetic approach for the traveling salesman problem-implementation of a computational ecology for com-binatorial optimization on message-passing systems[C]// Proceedings of the International Conference on Parallel Computing and Transport Applications. Amsterdam：IOS Press，1992： 177-186.

[8]RADCLIFFE N J， SURRY P D. Formal memetic algorithms[J]. Evolutionary Computing， 1994，865： 1-16.

[9]XU Xin，HE H G.A theoretical model and convergence analysis of memetic evolutionary algorithms[C]//Proc of Int Conf on Natural Computation.Changsha，2005：1035-1043.

[10]KENNEDY J. EBERHART R C. Particle swarm optimization [A]// Proceedings of IEEE， International Conference on Neural Networks [C]. Piscataway NJ：IEEE， 1995： 1942-1948.

[11]KENNEDY J. The particle swarm： social adaptation of knowledge [A]//Preceedings of Evolutionary Computation [C] ，Indianapolis： IEEE， 1997：303-308.

[12]EBERHART R C， SHI Y H. Particle swarm optimization： developments， applications and resources [A]//Proceedings of the IEEE Congress on Evolutionary Computation [C]. Piscataway， USA： IEEE Service Center， 2001：81-86.

[13]吳啟迪，汪鐳. 智能微粒群算法研究及應用[M]. 南京：江蘇教育出版社，2005-04.

[14]AKAGI T， SUGENO M. Fuzzy identification of systems and its application to modeling and control[J]. IEEE Transactions on Systems， Man， and， Cybernetics， 1985，15（1）： 116-132.

[15]黃福員. 金融風險預警的MPSO-FNN模型構建與應用[J]. 計算機工程與應用，2009，45（14）：210-212.

[16]ALTMAN E I， MARCO G， VARETTO F. Corporate distress diagnosis： comparisons using linear discriminant Ana analysis and neural networks[J]. Journal of Banking and Finance， 1994， 18： 505-529.

[17]李志輝， 李萌. 我國商業銀行信用風險識別模型及其實證研究[J]. 經濟科學， 2005（5）： 61-71.

篇5

【關鍵詞】 圖像識別技術 神經網絡識別

模式識別研究的目的是用機器來模擬人的各種識別能力―比如說模擬人的視覺與聽覺能力，因此圖像識別的目的是對文字、圖像、圖片、景物等模式信息加以處理和識別，以解決計算機與外部環境直接通信這一問題。可以說，圖像識別的研究目標是為機器配置視覺“器官”，讓機器具有視覺能力，以便直接接受外界的各種視覺信息。

一、圖像識別系統

一個圖像識別系統可分為四個主要部分：被識圖像、圖像信息獲取、圖像預處理、圖像特征提取、分類判決。

二、圖像識別方法

圖像識別的方法很多，可概括為統計（或決策理論）模式識別方法、句法（或結構）模式識別方法、模糊模式識別方法以及神經網絡識別方法。重點介紹神經網絡識別方法。

2.1神經網絡識別方法

2.1.1人工神經網絡的組成

人工神經網絡（簡稱ANN）是由大量處理單元經廣泛互連而組成的人工網絡，用來模擬腦神經系統的結構和功能。而這些處理單元我們把它稱作人工神經元。

2.1.2人工神經網絡的輸出

2.1.3人工神經網絡的結構

人工神經網絡中，各神經元的不同連接方式就構成了網絡的不同連接模型。常見的連接模型有：前向網絡、從輸入層到輸出層有反饋的網絡、層內有互聯的網絡及互聯網絡。

2.1.4 學習算法

1）感知器模型及其算法

算法思想：首先把連接權和閾值初始化為較小的非零隨機數，然后把有n個連接權值的輸入送入網絡中，經加權運算處理后，得到一個輸出，如果輸出與所期望的有較大的差別，就對連接權值參數按照某種算法進行自動調整，經過多次反復，直到所得到的輸出與所期望的輸出間的差別滿足要求為止。

2）反向傳播模型及其算法

反向傳播模型也稱B-P模型，是一種用于前向多層的反向傳播學習算法。

算法思想是：B-P算法的學習目的是對網絡的連接權值進行調整，使得調整后的網絡對任一輸入都能得到所期望的輸出。學習過程包括正向傳播和反向傳播。正向傳播用于對前向網絡進行計算，即對某一輸入信息，經過網絡計算后求出它的輸出結果；反向傳播用于逐層傳遞誤差，修改神經元之間的連接權值，使網絡最終得到的輸出能夠達到期望的誤差要求。

B-P算法的學習過程如下：

第一步：選擇一組訓練樣例，每一個樣例由輸入信息和期望的輸出結果兩部分組成；第二步：從訓練樣例集中取出一樣例，把輸入信息輸入到網絡中；第三步：分別計算經神經元處理后的各層節點的輸出；第四步：計算網絡的實際輸出和期望輸出的誤差；第五步：從輸出層反向計算到第一個隱層，并按照某種原則（能使誤差向減小方向發展），調整網絡中各神經元的權值；第六步：對訓練樣例集中的每一個樣例重復一到五的步驟，直到誤差達到要求時為止。

3）Hopfield模型及其學習算法

它是一種反饋型的神經網絡，在反饋網絡中，網絡的輸出要反復地作為輸入再送入網絡中，使得網絡具有了動態性，因此網絡的狀態在不斷的改變之中。

算法思想是：

（a） 設置互連權值

其中xis是s類樣例的第i個分量，它可以為1或0，樣例類別數為m，節點數為n。

（b） 未知類別樣本初始化。 Yi（0）=Xi 0≤i≤n-1

其中Yi（t）為節點I在t時刻的輸出，當t=0時，Yi（0）就是節點I的初始值，Xi為輸入樣本的第I個分量。

（c） 迭代直到收斂

篇6

關鍵詞：人臉檢測；Adaboost算法；神經網絡；樣本擴張

中圖分類號：TP391.41 文獻標識碼：A 文章編號：1007-9599 （2012） 17-0000-02

0 引言

本文采用樣本擴張策略使得樣本信息可以更全面的覆蓋人臉和非人臉信息，克服了原有算法在樣本選擇上的隨機性，加強了訓練樣本的代表性，再利用Adaboost算法與神經網絡串聯對人臉進行檢測，從而降低了原有算法對人臉檢測的錯檢和重復檢測率。

1 Adaboost算法的人臉檢測

1.1 Adaboost算法原理

Adaboost是一種迭代算法，其算法思想簡單說就是把一組弱分類器通過多次迭代，調整正負樣本的權重，并把這些弱分類器按一定權重累加起來，最終得到所期望的強分類器。利用這個強分類器就可以對圖像進行人臉檢測了。

具體算法：

每個樣本都賦予一個權重，T次迭代，每次迭代后，對分類錯誤的樣本加大權重，使得下一次的迭代更加關注這些樣本。

輸入：（X1，Y1）， （X2，Y2），…（Xn，Yn）

Xi∈X， Yi∈Y={+1，-1}

初始化權值：D1（i）=1/n

For t=1，…，T

在Dt下訓練，

得到弱的假設ht： X->{-1，+1}，

錯誤率：Εt=ΣDt（i） [ht（Xi）≠Yi]

選擇αt=1/2 ln （ （1- Εt）/ Εt ），

更改權值：

if ht（Xi）≠Yi ， Dt+1（i）=Dt（i）* e αt /Zt

if ht（Xi）=Yi ， Dt+1（i）=Dt（i）* e -αt /Zt

輸出：H（X）=sign（ ∑αtht（X） ）

1.2 弱分類器的生成

為減少計算量和主要特征參數，本文采用主成分分析方法（PCA）得到弱分類器。PCA用于人臉識別，其實是假設所有的人臉都處于一個低維線性空間，而且不同的人臉在這個空間中具有可分性。其具體做法是由高維圖像空間經K—L變換后得到的一組新的正交基，對這組正交基進行一定的取舍，保留其中的一部分生成低維的人臉空間。

每一個PCA特征都對應著一個弱分類器，每一個弱分類器都是根據它所對應的特征的參數來定義的。利用上述特征的位置信息，對訓練樣本進行統計就可以得到對應的特征參數。

1.3 測試環境和結果分析

影響本算法的因素：正負樣本的個數，循環次數i的大小；縮放的大小；級聯結構的級數；每一級中的循環次數；每一級中所選取的PCA提取特征的數目以及判斷為正人臉樣本的特征的個數。

本算法選取了 2000 個正樣本，2000 個負樣本。 實驗環境：Pentium（R） 4 CPU 2.93GHz 1.00GB內存。MATLAB：R2010b。測試結果如圖1

圖 1

由圖可看出，此算法在多人臉檢測情況下，有較高的錯檢率和重復檢測率。

2 Adaboost算法與神經網絡串聯檢測人臉

2.1 人工神經網絡概述

人工神經網絡是人腦神經網絡的數學模型，是基于模仿大腦神經網絡結構和功能而建立的一種信息處理系統。它實際上是由大量簡單元件相互連接而成的復雜網絡，具有高度的非線性，能夠進行相關的邏輯操作和非線性關系實現的系統。

在現有神經網絡中，BP網絡、RBF網絡、反饋網絡和LVQ網絡是目前使用較多的網絡，也是在模式識別領域應用最廣泛的網絡。

LVQ網絡學習簡單，速度相對來說較快，相同情況下與其他網絡相比可以實現更好的效果，因此本文采用了LVQ網絡在Adaboost的基礎之上進行分類識別。

2.2 樣本擴張和串聯檢測思路

Adaboost算法的效果與前期訓練時若分類其的選取關系重大，而弱分類器的選取在一定程度上依賴于樣本集的選取，因而訓練樣本集顯得十分重要。在Adaboost算法中，人臉和非人臉的選取比較重要隨機，不能很好的表達人臉和非人臉的信息。針對這一現象，采用樣本擴張的策略，使擴張后的訓練樣本可以比較全面的覆蓋人臉和非人臉信息。

樣本擴張的實現過程如下：1、用隨機選取的人臉和非人臉樣本構成初始訓練庫；2、利用該訓練庫訓練神經網絡，再將訓練好的神經網絡對Adaboost分類器判斷為正樣本的圖片進行進一步判斷，如果神經網絡判斷為負樣本，則將圖片加入初始訓練庫，用神經網絡進行訓練，同時直接將Adaboost分類器判斷為負樣本的圖片加入初始訓練庫中，用神經網絡進行訓練。

因此，通過樣本擴張形成的新訓練庫更具有代表性，可以很好的涵蓋人臉和非人臉信息，再進行Adaboost和神經網絡串聯進行判斷，可以得到很好的效果。

2.3 測試環境和結果分析

本算法選取了 2000 個正樣本，2000 個負樣本。 實驗環境：Pentium（R） 4 CPU 2.93GHz 1.00GB內存。MATLAB：R2010b。測試結果如圖3

圖 2

評價： 在adaboost加入神經網絡串聯后，圖1與圖3相比，錯誤和重復檢測消除了很多。實際運行中，由于神經網絡訓練權值的隨機的初始化的影響，會造成圖片橫縱方向都每隔兩個點掃描檢測時可能會隨機多出1到2個錯檢，或者就沒有錯檢出現，這個是沒有辦法避免的，但是效果已經相對來說提高了很多了。

3 兩種算法在給定測試樣本數目下識別率的比較

實驗環境：Pentium（R） 4 CPU 2.93GHz 1G內存

MATLAB：R2010b

說明：訓練樣本如果為10，則表示正樣本為5，負樣本也為5，訓練樣本如果為20，則表示正樣本為10，負樣本也為10，以此類推；每一次試驗做30次取其均值

實驗數據來源：mit人臉數據庫

結果分析：在測試樣本數目，循環次數以及PCA能量給定的情況下，采用Adaboost算法進行試驗，當訓練樣本數目較少時，識別率比較低；當訓練樣本數增加的時候，增大到一定的程度，識別率不會有所提高了，反而所需的時間增加了，因此當選擇訓練樣本的數目為20的時候，識別率有所提到，而且所用時間沒有明顯增大。

表2 改變循環次數T（Train Sample = 20， Test Sample = 500， PCA（98%），Adaboost算法）

結果分析：在測試樣本數目，訓練樣本數目以及PCA能量給定的情況下，采用Adaboost算法進行試驗，當循環次數較少的時候識別率比較低，當循環次數增大到一定程度以后，再增加循環次數，識別率沒有明顯提升反而所需時間增加了，因此選擇循環次數為10次的時候技能有較高的識別率，所需時間沒有明顯增加。

在選擇了訓練樣數目以及循環次數后，基本排除了這兩個因素對識別率的影響，進行PCA能量的選擇來比較一下Adaboost算法與增加神經網絡后的算法的識別率的大小。

由上表可以看出，Adaboost算法與神經網絡串聯后的的算法具有很好的識別率。本次試驗是在識別的基礎之上做的，針對的是給定數目的測試樣本，要是做到人臉檢測需要更多的訓練樣本來提取人臉特征。

4 結論

本文提出的基于神經網絡擴張的adaboost人臉檢測算法在原有adaboost算法的基礎上加入了LVQ神經網絡串聯，在經過兩個算法的分類識別和樣本擴張后，降低了原有算法的錯檢率和重復檢測率，在給定測試樣本數的實驗中，本文提出的方法要比原算法在識別率上有15%左右的提升。

參考文獻：

[1]李維維.基于膚色和AdaBoost算法的人臉檢測[J].網絡安全技術與應用，2012.

篇7

關鍵詞 神經網絡模型；模糊綜合評價；權重；水質評價

中圖分類號：X824 文獻標識碼：A 文章編號：1671-7597（2014）07-0147-01

目前，水污染很嚴重，治理好水污染，改善環境，防止造成進一步的污染，已經成為了社會所研究的重點。因此，水質的評價成為了一項重要的研究熱點，根據水質的相關的指標的特點，綜合分析得到水質的狀況，能夠為政府采取合理的措施提供依據。目前，神經網絡模型對水質進行評價已經成為了熱點，神經網絡的優點在于權重的確定方面，能夠合理的確定各個指標的權重，但是在評價的模型上[1]，神經網絡用的層層分析模型，沒有做夠好的進行水質的評價，本文在神經網絡中融合模糊綜合評價模型，能夠很好的對水質進行評價。

1 神經網絡理論

人工神經網絡（AnificialNeural Nemorks，ANN）是通利用數學模型的方法進行抽象和模擬，是一種模仿人腦結構和它的功能的非線性的信息處理系統。它主要是大量的單元相互連接而組成的網絡結構，來實現大腦的感知和學習功能。神經網絡拓撲結構可以分為前饋多層式網絡模型、反饋遞歸式網絡模型和隨機型網絡模型等。根據研究水質問題多因素權重問題以及神經網絡的相關理論，前饋多層式網絡中的反向傳播神經網絡（BP神經網絡）具有良好的持久性以及適時預報性，因此在本文的評價模型中，我們都采用BP神經網絡的結構方式[2]。

前饋神經網絡分為了神經元分層排列，包含了輸入層、隱含層和輸出層三個層次結構，每個層次的神經元只能夠接收前一個層次的神經元，層層對應。這是一種比較強有力的學習系統，它的結構相對而言較為簡單，并且編程也比較容易，是一種靜態的非線性映射，通過簡單的非線性處理進行復合映射，能夠得到更加復雜的處理能力。這些前饋網絡學習，它們分類能力和模式識別的特點都要強于一般的反饋網絡。典型的前饋網絡有感知器網絡和BP網絡。水質評價模型中，一般采用的都是BP神經網絡，能夠很好的處理各個指標之間的關系特點，做到很好的評價，但是需要一個更好的模型結合神經網絡確定權重的特點進行水質評價，能夠收到更好的效果。

2 模糊綜合評價的基本理論

模糊數學是利用數學方法進行研究與處理模糊現象的數學。模糊綜合評價作為一門新的評價科學，是典型數學、統計數學之后的發展起來的一門新的數學學科，可以處理很多之前數學無法解決的問題。開始具有爭議，經過一段時間，開始迅速發展，而且涉及的應用領域越來越廣泛，已經遍及理、工、農、醫及社會科學，充分體現了評價模型的優越之處。

模糊綜合評價法是一種利用模糊數學為基礎的綜合評標方法。綜合評價法利用模糊數學隸屬度理論和模糊變換原理，根據給出的評價標準與實測值，考慮到被評價事物的各個相關因素，對其進行綜合評價。對于模糊綜合評價向量，即綜合隸屬度，可用如下公式：

A為輸入，代表參加評價因子的權重經歸一化處理得到的一個1×n階矩陣；R為模糊變換裝置，是通過單因素評判得到的隸屬度向量，是一個n×m階的模糊關系矩陣；B為輸出，代表綜合評判結果，是一個1×m階矩陣[3]。

其中評價因子是m集合為：，分別為參與評價的n個評價因子。其中評價等級共m個等級，組成集合為：。

評判矩陣和隸屬度的式子為：

3 神經網絡和模糊綜合評價結合算法

神經網絡模型評價的精華在于權重的分析確定上，模糊綜合評價模型的優點在于系統的評價模型，因此在評價的時候，只要將這兩者的優點結合起來，就能夠得到很好的效果，因此設計了以下算法模型，能夠合理的對水質進行評價，為科學的采取污染防治措施提供依據。

Step1：網絡初始化。根據系統輸入輸出序列（X，Y）確定網絡輸入層節點數p、隱含輸入層節點數l，輸出層節點數q，初始化輸入層、隱含層和輸出層神經元之間的連接權值α和β（α為初始權重，β為臨界值，均隨機設為較小的數）給定學習速率和神經元[4][5]。

Step2：輸出計算。將已有的樣本數值加在網絡上，利用公式算出其輸出值：

Step3：調整權系數。根據網絡預測誤差，按已知輸出數據與上面算出的輸出數據之差，調整權重系數，其中調整量為：其中：因為隱節點的輸出內部抑制，利用反向推算可以得到：誤差值從輸出層反向推導得到。

Step4：對各層的權重系數進行調整后，得到調整后的權

重為：

BP神經網絡利用梯度下降算法，通過迭代運算，不斷調整mij的數值，當得到的輸出誤差小于所設定的閥值時，將認為獲得的mijBP神經網絡是合理的。而不斷迭代的方法相當于對各類情況進行調整，具有一定的學習記憶特征。

基金項目

國家自然科學基金青年基金（11201485）；徐州工程學院校青年項目（XKY2010201）。

參考文獻

[1]劉起霞，李清波，鄒劍峰.環境工程地質[M].鄭州：黃河水利出版社，2001.

[2]孫會君，王新華.應用人工神經網絡確定評價指標的權重[J].山東科技大學學報（自然科學版），2001，20（3）：84-86.

[3]萬金保，李媛媛.模糊綜合評價法在鄱陽湖水質評價中的應用[J].上海環境科學，2007，26（05）：215-218.

[4]金菊良，魏一鳴，丁晶.基于改進層次分析法的模糊綜合評價模型[J].水利學報，2004（03）：65-70.

[5]郭慶春，何振芳，李力，等.BP人工神經網絡模型在太湖水污染指標預測中的應用[J].南方農業學報，2011，42（10）.

篇8

【關鍵詞】大學生身體素質評估 遺傳算法 BP神經網絡 MATLAB計算程序

在校大學生是國家重要的人才后備力量，大學生的身體素質培養和鍛煉是學校體育教學中關注的重點。對大學生身體素質進行科學、切實的評價可制訂更為有效的培養方案，幫助大學生提高其身體素質。身體素質評價就是將大學生的身體形態、生理機能及運動能力等方面的數據綜合起來進行評價[1]。從以往的研究成果看，對大學生身體素質評價集中于采用概率統計、多元回歸分析和神經網絡[2]的方法。然而，概率統計僅得到整體評價結果，多元回歸分析預測精度較低，且兩者受樣本空間影響較大。為此，本文利用遺傳算法來訓練初始網絡模型，再用BP算法來進行精確求解，是對神經網絡評估大學生身體素質的進一步優化應用。

基于遺傳算法的BP神經網絡理論

通過把神經網絡和遺傳算法合理、科學的結合，既能夠利用神經網絡較強的學習能力，又發揮了遺傳算法全局尋優的搜索功能。首先利用遺傳算法得到權值的較優初始取值，訓練網絡避免了局部極小，利用BP神經網絡訓練次數和最終權值也相對穩定，訓練速度明顯加快，從而既節約了時間，又提高了預測結果的準確性。

1.基于遺傳算法的BP神經網絡結構

BP網絡的學習規則采用最速下降法，利用遺傳算法根據訓練目標函數對網絡權值進行迭代，找到最佳初始網絡權值。通過反向傳播來不斷調整網絡權值，使網絡誤差平方和最小，該系統的網絡結構，如圖1所示。先對大學生身體素質的評估指標進行分類，抽取大學生身體素質的特征指標，并作為輸入信息送入由輸入層、中間層和輸出層組成的三層網絡模型進行評估。經過測試的網絡，成為穩定的模式評估器，即可輸出評估結果[3，4]。

該模型的輸入層節點數為n，即大學生身體素質評價指標數，中間層節點數為 ，輸出層節點數為1，即身體素質評估結果值，ωij和ωj為BP神經網絡權值，初始化隱含層閾值為ɑ，輸出層閾值為b，由此可給定學習速率和神經元激勵函數。從圖1可發現，BP神經網絡可以看成一個非線性函數，網絡輸入值和輸出值分別為該函數的自變量和因變量。當輸入層節點數為n，輸出層節點數為1時，BP神經網絡就表達了從n個自變量到1個因變量的函數映射關系。

2.基于遺傳算法的BP神經網絡算法

遺傳算法優化BP神經網絡的核心是用遺傳算法來優化BP神經網絡的初始權值和閾值，使優化后的BP神經網絡能夠更好地預測函數輸出，計算流程如圖2所示。

1.背景資料

根據本校某班2011年大學生身體素質測評成績，從中選取30名學生的測試結果作為神經網絡的訓練樣本和校驗樣本。結合遺傳算法和BP神經網絡算法，在大型數學計算軟件MATLAB中編程實現基于遺傳算法的BP神經網絡大學生身體素質評估[4]。

2.計算結果與分析

遺傳算法優化過程中最優個體的適應度變化（如圖3）。把最優初始權值、閾值賦給神經網絡，用訓練數據訓練100次后，得到基于遺傳算法的BP神經網絡預測值。為了對比分析，也進行了BP神經網絡預測分析（如圖4）。

從圖4可看出，采用BP神經網絡及遺傳算法優化的BP神經網絡兩種算法得到的預測結果，與專家判斷（實際值）基本一致。但基于遺傳算法的BP神經網絡較BP神經網絡預測精度高。特別在輸入節點，即評價大學生身體素質的指標較多時，基于遺傳算法的BP神經網絡預測效果要好一些。

結 論

1.本文提出了基于遺傳算法的BP神經網絡大學生身體素質評價算法，并建立了相應的網絡模型。

2.基于遺傳算法的BP神經網絡算法不但具有神經網絡的函數逼近能力，而且應用遺傳算法優化BP神經網絡的權值、閾值，可使優化后的神經網絡避免訓練時間長、易陷入局部極值的缺點。

3.結合實例，將基于遺傳算法的BP神經網絡大學生身體素質評價算法，應用于本校學生身體素質評估。結果表明，該算法較BP神經網絡預測精度及效率高，可作為今后大學生身體素質評價的一種新方法。

參考文獻：

[1]范正森，張明如，周瑞琪.大學生身體素質綜合評價數學模型[J].武漢工業大學學報，2001，4：92-94.

[2]陳海英，郭巧.短跑運動能力的神經網絡評價方法[J].北京理工大學學報，2003，1：54-57.

[3]陳剛，何政偉，楊斌，楊洋.遺傳BP神經網絡在泥石流危險性評價中的應用[J].計算機工程與應用，2010，46（3）.

篇9

[關鍵詞]軟件項目風險管理神經網絡粗集

本篇論文的中心是基于粗集的人工神經網絡(ANN)技術的高風險識別，這樣在制定開發計劃中，最大的減少風險發生的概率，形成對高風險的管理。

一、模型結構的建立

本文基于粗集的BP神經網絡的風險分析模型,對項目的風險進行評估,為項目進行中的風險管理提供決策支持。在這個模型中主要是粗糙集預處理神經網絡系統，即用RS理論對ANN輸入端的樣本約簡，尋找屬性間關系，約簡掉與決策無關的屬性。簡化輸入信息的表達空間維數，簡化ANN結構。本論文在此理論基礎上，建立一種風險評估的模型結構。這個模型由三部分組成即：風險辨識單元庫、神經網絡單元、風險預警單元。

1.風險辨識單元庫。由三個部分功能組成：歷史數據的輸入，屬性約簡和初始化數據.這里用戶需提供歷史的項目風險系數。所謂項目風險系數,是在項目評價中根據各種客觀定量指標加權推算出的一種評價項目風險程度的客觀指標。計算的方法:根據項目完成時間、項目費用和效益投入比三個客觀指標,結合項目對各種資源的要求,確定三個指標的權值。項目風險系數可以表述成:r=f(w1,w2,w3,T,T/T0,S/S0,U/U0),R<1；式中:r為風險系數;T、T0分別為實際時間和計劃時間;S、S0分別為實際費用和計劃費用;U、U0分別為實際效能和預計效能;w1、w2、w3分別是時間、費用和效能的加權系數,而且應滿足w1+w2+w3=1的條件。

2.神經網絡單元。完成風險辨識單元的輸入后,神經網絡單元需要先載入經初始化的核心風險因素的歷史數據,進行網絡中權值的訓練,可以得到輸入層與隱含層、隱含層與輸出層之間的權值和閥值。

(1)選取核心特征數據作為輸入，模式對xp=[xp1,xp2,.,xpn]T,dp(網絡期望輸出)提供給網絡。用輸入模式xp,連接權系數wij及閾值hj計算各隱含單元的輸出。

m

Ypj=1/{1+exp[-(∑wijxpi-hj)]},i=1,2,.,m;j=1,2,Λ,n,

i=1

(2)用隱含層輸出ypj,連接權系數wij及閾值h計算輸出單元的輸出

m

Yp=1/{1+exp[-(∑wjxpi-hj)]},i=1,2,.,m;j=1,2,Λ,n,

i=1

Yp=[y1,y2,……,yn]T

(3)比較已知輸出與計算輸出,計算下一次的隱含各層和輸出層之間新的連接權值及輸出神經元閾值。

wj(k+1)=wj(k)+η(k)σpσpj+α[wj(k)-wj(k-1)]

h(k+1)=h(k)+η(k)σp+α[h(k)-h(k-1)]

η(k)=η0(1-t/(T+M))

η0是初始步長;t是學習次數;T是總的迭代次數;M是一個正數,α∈(0,1)是動量系數。σp是一個與偏差有關的值,對輸出結點來說；σp=yp(1-yp)(dp-yp)；對隱結點來說,因其輸出無法比較,所以經過反向推算；σpj=ypj(1-ypj)(ypwj)(4)用σpj、xpj、wij和h計算下一次的輸入層和隱含層之間新的連接權值及隱含神經元閾值。wij(k+1)=wij(k)+η(t)σpjxpi+α[wij(k)-wij(k-1)]

3.風險預警單元

根據風險評價系數的取值,可以將項目的風險狀況分為若干個區間。本文提出的劃分方法是按照5個區間來劃分的:

r<0.2項目的風險很低,損失發生的概率或者額度很小;

0.2≤r<0.4項目的風險較低,但仍存在一定風險;

0.4≤r<0.6項目的風險處于中等水平,有出現重大損失的可能;

0.6≤r<0.8項目的風險較大,必須加強風險管理,采取避險措施;

0.8≤r<1項目的風險極大,重大損失出現的概率很高,建議重新考慮對于項目的投資決策。

總之，有許多因素影響著項目風險的各個對象，我們使用了用戶評級的方式，從風險評估單元中獲得評價系數五個等級。給出各風險指標的評價系數，衡量相關風險的大小。系數越低，項目風險越低；反之，系數越高，項目風險越高。

二、實證：以軟件開發風險因素為主要依據

這里我們從影響項目風險諸多因素中，經項目風險系數計算，作出決策表，利用粗集約簡，抽取出最核心的特征屬性(中間大量復雜的計算過程省略)。總共抽取出六個主要的指標(PersonnelManagement/Training，Schedule，ProductControl，Safety，ProjectOrganization，Communication)確定了6個輸入神經元，根據需求網絡隱含層神經元選為13個，一個取值在0到1的輸出三層神經元的BP網絡結構。將前十個季度的指標數據作為訓練樣本數據，對這些訓練樣本進行數值化和歸一化處理，給定學習率η=0.0001，動量因子α=0.01，非線性函數參數β=1.05，誤差閉值ε=0.01，經過多次迭代學習后訓練次數N＝1800網絡趨于收斂，以確定神經網絡的權值。最后將后二個季度的指標數據作為測試數據，輸入到訓練好的神經網絡中，利用神經網絡系統進行識別和分類，以判斷軟件是否會發生危機。實驗結果表明，使用神經網絡方法進行風險預警工作是有效的，運用神經網絡方法對后二個季度的指標數據進行處理和計算，最后神經網絡的實際輸出值為r=0.57和r=0.77，該軟件開發風險處于中等和較大狀態，與用專家效績評價方法評價出的結果基本吻合。

參考文獻：

[1]王國胤“Rough:集理論與知識獲取”[M].西安交通大學出版社，2001

篇10

關鍵詞 BP神經網絡;遺傳算法;教學質量評價

中圖分類號TP18,G420 文獻標識碼A 文章編號 1674-6708(2010)26-0184-01

1 基于遺傳算法的神經網絡訓練方法

1.1 GA-BP算法的概述

遺傳算法[1]從一組隨機產生的初始解(稱為群體)開始搜索過程,群體中的每個個體是問題的一個解,稱為染色體,這些染色體在后續迭代中不斷進化,稱為遺傳。遺傳主要是通過選擇、交叉、變異、運算生成下一代群體,就這樣經過若干代進化之后,算法收斂于最好的染色體,即為問題的最優解。那么可以將遺傳算法引入BP神經網絡的訓練,對權值的初始值進行全局優化,這樣可避免 BP神經網絡陷入局部極小值,并提高其收斂速度[2,3]。

1.2 用遺傳算法學習和對神經網絡權值的優化

為了方便理解,我們以基礎的三層BP神經網絡來進行說明。取WIHij為輸入層中第i個結點與隱含層第j個結點的連接權值;WHOji為隱含層中第j個結點與輸出層第i個結點的連接權值[4]。遺傳算法學習BP網絡的步驟如下:

1)初始化種群P,包括交叉規模、交叉概率pc、突變概率pm等,初始種群取60;

2)計算每一個個體評價函數,并按權值將其排序。

3)以概率pc對個體Gi和Gi+1交叉操作產生新個體和無交叉操作的個體進行直接復制;

4)利用概率pm突變產生Gj的新個體;

5)將新個體插入到種群P中,并計算新個體的評價函數;

6)如果找到了滿意的個體,則結束,否則轉3)。

最后,將群體中的最優個體解碼即可得到優化后的網絡連接權系數。接下來則與神經網絡的基本算法相同。

2 實例分析

算法效果測試

根據《正方教學管理系統教學質量評價指標》以及[5]中建立的評價指標體系,我們選取10個二級指標作為輸入神經元,取輸入層的個數為10。而我們將教學質量評價的等級分為3類:當輸出為:{0,0,1}時為“優秀”;當輸入為{0,1,0}時為“良好”;當輸入為{0,1,1}時為“良好”[6]。隱含層神經元的個數6較為適宜。

用matlab進行編程[2,7],經過大約350代的搜索后其平均適應度趨于穩定,圖1為期網絡訓練誤差變化曲線,經過改進的神經網絡經過9步迭代即可達到精度的要求,較之于基本的BP神經網絡都有較大的改進和提高。

回想結果TT為:

該結果基本接近實際的評價情況,其對應的教師的評價為良好、優秀、優秀、一般、一般,可見其評價是比較準確的。

從數據的結果上看,用GA訓練的BP神經網絡的權值可以得到滿意的結果,但因為改進后的算法會對大量的數據進行編碼、解碼、交叉、變異等相關遺傳操作,所以,時間比普通BP算法的運行時間要長。

3 結論

將全局優化算法GA引入BP 網絡訓練的權值初始確定,充分發揮了遺傳算法的全局尋優能力和 BP 算法的局部搜索優勢,形成了一種新的GA-BP算法。該算法能較好的避免BP算法陷入局部最小點、收斂速度慢的問題,是一種快速、可靠的方法。根據該算法建立了有效的教學質量評價模型,檢驗的結果表明該算法減少了誤差,完全可以滿足實際應用的要求。

參考文獻

[1]史忠植.人工智能[M].北京:國防工業出版社,2007.

[2]田雨波.混合神經網絡技術[M].北京:科學出版社,2009.

[3]盧宏,吳翠琴.BP神經網絡的遺傳優化及其應用研究[J]. 江西理工大學學報,2009,30(5):51-54.

[4]原清,賀新鋒,劉湘崇.遺傳算法和神經網絡在導彈測試 設備故障診斷中的應用研究[J].測試技術學報,2002,16(21):702-706.

[5]彭志捌.模糊綜合評判在教學質量評價中的應用[J].高等 建筑教育學報,2008,17(6):20-23.