利用遺傳模擬退火算法優(yōu)化神經(jīng)網(wǎng)絡結(jié)構(gòu)
摘要：常用的神經(jīng)網(wǎng)絡是通過固定的網(wǎng)絡結(jié)構(gòu)得到最優(yōu)權(quán)值，使網(wǎng)絡的實用性受到影響。引入了一種基于方向的交叉算子和變異算子，同時把模擬退火算法引入了遺傳算法，結(jié)合遺傳算法和模擬退火算法的優(yōu)點，提出了一種優(yōu)化神經(jīng)網(wǎng)絡結(jié)構(gòu)的遺傳——模擬退火混合算法，實現(xiàn)了網(wǎng)絡結(jié)構(gòu)和權(quán)值的同時優(yōu)化。仿真實驗表明，與遺傳算法和模擬退火算法相比，該算法優(yōu)化的神經(jīng)網(wǎng)絡收斂速度較快、預測精度較高，提高了網(wǎng)絡的處理能力。
關(guān)鍵詞：遺傳算法;模擬退火算法;神經(jīng)網(wǎng)絡;優(yōu)化
l、引言
神經(jīng)網(wǎng)絡是由多個簡單的處理單元彼此按某種方式相互連接而形成的計算系統(tǒng)，該系統(tǒng)通過對連續(xù)或斷續(xù)式的輸入作狀態(tài)響應而進行信息處理。雖然每個神經(jīng)元的結(jié)構(gòu)和功能十分簡單，但由大量神經(jīng)元構(gòu)成的網(wǎng)絡系統(tǒng)的行為卻豐富多彩和十分復雜。神經(jīng)網(wǎng)絡在國民經(jīng)濟和國防科技現(xiàn)代化建設中具有廣闊的應用領(lǐng)域和應用前景。主要應用領(lǐng)域有：語音識別、圖像識別、計算機視覺、智能機器人、故障機器人、故障檢測、實施語言翻譯、企業(yè)管理、市場分析、決策優(yōu)化、物資調(diào)運自適應控制、專家系統(tǒng)、智能接口、神經(jīng)生理學、心理學和認知科學研究等等。
隨著神經(jīng)網(wǎng)絡理論研究的深入以及網(wǎng)絡計算能力的不斷拓展，神經(jīng)網(wǎng)絡的應用領(lǐng)域?qū)粩嗤卣�，應用水平將會不斷提高，最終達到神經(jīng)網(wǎng)絡系統(tǒng)可用來幫人做事的目的，這也是神經(jīng)網(wǎng)絡研究的最終目標。
神經(jīng)網(wǎng)絡具有很強的自適應、自組織和自學習的能力，具有大規(guī)模并行運算的能力。常用的神經(jīng)網(wǎng)絡系統(tǒng)的行為主要由兩方面因素決定：其一為拓撲結(jié)構(gòu);其二是節(jié)點間連接權(quán)值。一般來講，在應用神經(jīng)網(wǎng)絡過程中只是得到最優(yōu)權(quán)值，結(jié)構(gòu)在整個過程中是固定的，而且在確定結(jié)構(gòu)時，經(jīng)常根據(jù)人為經(jīng)驗或經(jīng)驗公式先擬定一個結(jié)構(gòu)，在此基礎(chǔ)上不斷地訓練網(wǎng)絡、調(diào)整結(jié)構(gòu)，最后得到確定的網(wǎng)絡結(jié)構(gòu)，進而應用這個固定的網(wǎng)絡結(jié)構(gòu)得到最優(yōu)的權(quán)值。因此，構(gòu)造一個準確定量構(gòu)效關(guān)系人工神經(jīng)網(wǎng)絡模型需要耗費大量的時間，有時利用該方法構(gòu)造的模型結(jié)構(gòu)還可能不是最佳的l_。近年來，用遺傳算法(Genetic Algo—rithms，GA)解決神經(jīng)網(wǎng)絡優(yōu)化設計問題受到廣泛重視。GA在尋優(yōu)時搜索方向不停的發(fā)生變化，具有較強的全局搜索能力。
但是，在應用遺傳算法尋優(yōu)的過程中，仍存在著困難翻：遺傳算法對好的個體易造成塊破壞、易出現(xiàn)早熟。因此，許多學者采取了遺傳算法和其它算法相結(jié)合 的措施，如先用遺傳算法進行全局搜索，確定最優(yōu)解所在的區(qū)域后，再用BP算法(擬牛頓LM算法)進行局部搜索，但仍然存在耗時較多、精度較低的不足。
Eh Kolmogarav定理可知在有合理的結(jié)構(gòu)和恰當?shù)臋?quán)值條件下，三層前向網(wǎng)絡能以任意精度逼近有界非線性函數(shù)。對于三層神經(jīng)網(wǎng)絡來說，輸入層、輸出層節(jié)點的個數(shù)由目標函數(shù)結(jié)構(gòu)決定，故而在優(yōu)化網(wǎng)絡結(jié)構(gòu)時，也優(yōu)化它的隱層節(jié)點的個數(shù)。
本文將對應用最為廣泛的三層前向網(wǎng)絡進行優(yōu)化設計，把基于方向的遺傳交叉算子和變異算子引入了遺傳算法，并且與模擬退火算法(Simulated Annealing，SA)結(jié)合，提出了自適應遺傳一模擬退火混合算法，使在得到神經(jīng)網(wǎng)絡最優(yōu)權(quán)值的同時，也自動得到最優(yōu)網(wǎng)絡結(jié)構(gòu)。仿真研究表明，此算法在以負荷作為訓練樣本的神經(jīng)網(wǎng)絡中具有良好的實用性。不僅能確定出最佳隱層節(jié)點個數(shù)，同時能生成落在全局最優(yōu)區(qū)域的權(quán)值。
2、遺傳算法遺傳算法是近年來迅速發(fā)展起來的一種全新的隨機搜索與優(yōu)化算法，其基本思想是基于Darwin的進化論和Mendel的遺傳學說。該算法由密執(zhí)安大學教授Hol 1and及其學生于1975年創(chuàng)建 。隨后經(jīng)過20多年的發(fā)展，取得了豐碩的應用成果和理論研究成果，特別是近年來世界范圍內(nèi)形成的進化汁算熱潮，汁算智能已作為人工智能研究的一個重要方向，以及后來的人工生命的興起，使GA受到廣泛的關(guān)注。遺傳算法主要通過選擇復制和遺傳算子的作用使種群不斷進化，最終收斂到優(yōu)化解。遺傳算法是一種并行搜索過程，它具有較強的全局尋優(yōu)能力。
2.1 編碼方式圈為了計算簡便，本文省略神經(jīng)網(wǎng)絡閾值。個體的長度由最大隱層節(jié)點個數(shù)決定，即z=(r+c)·^一+/I。 其中：r為輸人節(jié)點數(shù)?h 為最大隱層節(jié)點數(shù)、c為輸出節(jié)點數(shù)。將同一個隱層節(jié)點所連接的權(quán)值排在一起，當刪除或增加隱層節(jié)點時，方便操作。將隱層節(jié)點個數(shù)及網(wǎng)絡權(quán)值進行混合實數(shù)編碼，另外對隱含層節(jié)點增加了一個O-1組成的數(shù)串用作控制碼。控制碼主要是控制隱節(jié)點的個數(shù)，0—1數(shù)串中的一個數(shù)控制一個隱層節(jié)點。
圖1中，m，是表示第一個隱層節(jié)點有效性的O-1控制碼，h 是表示第 一個隱層節(jié)點有效性的O-1控制碼， 是與第一個隱層節(jié)點相關(guān)的權(quán)值， ：是與第二個隱層節(jié)點相關(guān)的權(quán)值， ^一是與第矗一個隱層節(jié)點相關(guān)的權(quán)值。
初始群體中不同隱層節(jié)點個數(shù)的個體按照一定的比例隨機產(chǎn)生。當O-1數(shù)串中的數(shù)為0時，其所對應的隱含層節(jié)點對輸出層沒有作用(即相當于不存在此神經(jīng)元)，當數(shù)串中的數(shù)為1時，就相當于此隱含層節(jié)點對輸出層有作用采用上述方法編碼，每個個體譯碼后的網(wǎng)絡結(jié)構(gòu)都滿足前面所述的研究前提條件，因此不存在所對應的網(wǎng)絡結(jié)構(gòu)無效的個體。
2.2 適應度函數(shù)的確定及選擇運算
2.3 交叉率和變異率的確定
2.4 交叉算子對控制基因和實數(shù)編碼的基因分別采用不同的`交叉算子。
對于控制基因，采用兩點交叉;對于用實數(shù)編碼的代表各個節(jié)點權(quán)值的基因，采用下面所述交叉方法：
假設要參與交叉操作的兩個個體分別為 ，兩個個體上相對應位的權(quán)值分別為 ，并且 的適應度高于 的適應度，定義式(2)、(3)所示的△ 、△ 兩個中間變量：
2.5 變異算子隨機取出需要變異的一個個體，再從控制碼中隨機選出一個數(shù)，這個數(shù)的變異采用基本變異算子。若這個數(shù)變異后的控制基因是1，則從控制基因1對應的權(quán)值串中選一隨機位，設這一隨機位上的權(quán)值為Xc 的變異為：在區(qū)間 ，X21上隨機取一數(shù) ：代替 區(qū)問 ]如式(6)、(7)確定。
3、模擬退火算法模擬退火算法的思想最早由Metropolis等于1 953年提出。SA又稱為模擬冷卻法、統(tǒng)計冷卻法、Monte-Carlo退火法、隨機松弛法和概率爬山法等。1983年Kirkpatriekm等開展了一些富有成效的工作，成功地將該思想引入組合優(yōu)化理論，解決了許多諸如VLSI等大規(guī)模優(yōu)化設計問題。SA算法是基于Mente Carlo迭代求解策略的一種隨機尋優(yōu)方法，其出發(fā)點是基于物理中固體物質(zhì)的退火過程與一般組合優(yōu)化問題之間的相似陛。SA算法在某一初溫下，伴隨溫度參數(shù)的不斷下降，結(jié)合概率突跳特性在解空間中隨機尋找目標函數(shù)的全局最優(yōu)解，即在局部優(yōu)解能概率性的跳出并最終趨于全局最優(yōu)[81。SA算法具有質(zhì)量高、初始魯棒性強、通用易實現(xiàn)的優(yōu)點。但是為尋到最優(yōu)解，算法通常要求較高的初溫、較慢的降溫、較低的終止溫度以及各溫度下足夠多的抽樣，因而SA算法往往優(yōu)化過程較長，這是SA算法的最大缺點。
4、訓練步驟步驟1設定三層前向神經(jīng)網(wǎng)絡的輸入節(jié)點r、隱含層節(jié)點、輸出節(jié)點c、初始溫度 、退火次數(shù)Num、退火個體數(shù)Ⅳ;步驟2在【0，l】范圍內(nèi)隨機產(chǎn)生PP條染色體，得到初始種群，并設初始進化代數(shù)L=0; 一步驟3由設定的選擇概率按選擇機制對個體選擇;步驟4由自適應交叉概率按交叉算子進行交叉操作;步驟5由自適應變異概率按變異算子進行變異操作;步驟6把由步驟3,4、5得到的個體放到—起作為中間種群;步驟7計算中間種群的適應度，將適應度大的個體分別進行模擬退火Num次;步驟8將模擬退火次后得到的Ⅳ個最好的個體替代中間種群中取出的Ⅳ個個體，組成新的種群;步驟9如果進化代數(shù)小于預先設定的最大遺傳代數(shù)，令= +1，轉(zhuǎn)步驟3，否則，終止網(wǎng)絡的訓練，選出最優(yōu)個體，轉(zhuǎn)步驟10;步驟10將最優(yōu)個體按順序拆分，作為BP網(wǎng)絡的最優(yōu)權(quán)值;步驟1 1輸入與訓練樣本集模式相一致的預測樣本，得到預測值，并計算出相對誤差。
5、仿真實驗及結(jié)果
本文在河北地區(qū)1999年7月1日至2003年l2月31日的歷史負荷中篩選了多組樣本數(shù)據(jù)，訓練神經(jīng)網(wǎng)絡。
6、結(jié)論
本文提出的遺傳模擬退火算法是一種同時優(yōu)化神經(jīng)網(wǎng)絡結(jié)構(gòu)和權(quán)值的算法，它是在遺傳算法中對控制碼和權(quán)值域分別引進算子。在交叉過程中，對權(quán)值應用自適應交叉和變異率，引入向適應度高的方向進化的交叉算子，對控制基因用兩點交叉。在變異時，對控制基因采用基本變異算子，之后將中間種群中的適應度高的個體在其周圍進行模擬退火，這樣充分發(fā)揮了遺傳算法和模擬退火算法的優(yōu)點，克服了遺傳算法在神經(jīng)網(wǎng)絡優(yōu)化過程中存在的不足。表2說明，本文算法確實有效地使神經(jīng)網(wǎng)絡的結(jié)構(gòu)和權(quán)值同時得到了優(yōu)化;表3說明將本文算法優(yōu)化神經(jīng)網(wǎng)絡應用于預測，確實提高了收斂速度，得到了較高的預測精度。
【利用遺傳模擬退火算法優(yōu)化神經(jīng)網(wǎng)絡結(jié)構(gòu)】相關(guān)文章：
探討B(tài)P神經(jīng)網(wǎng)絡的圖像Hash算法06-23
電力光纖網(wǎng)絡優(yōu)化算法及應用探討10-11
淺談利用SEO工具進行網(wǎng)站優(yōu)化的利與弊05-11
分組交換的網(wǎng)絡結(jié)構(gòu)06-01