《MATLAB-神經(jīng)網(wǎng)絡(luò)工具箱-神經(jīng)網(wǎng)絡(luò)模型PPT.ppt》由會(huì)員分享，可在線閱讀，更多相關(guān)《MATLAB-神經(jīng)網(wǎng)絡(luò)工具箱-神經(jīng)網(wǎng)絡(luò)模型PPT.ppt（53頁(yè)珍藏版）》請(qǐng)?jiān)趨R文網(wǎng)上搜索。

1、MATLAB神經(jīng)網(wǎng)絡(luò)工神經(jīng)網(wǎng)絡(luò)工具箱中的神經(jīng)網(wǎng)絡(luò)具箱中的神經(jīng)網(wǎng)絡(luò)模型模型1 神經(jīng)網(wǎng)絡(luò)工具箱簡(jiǎn)介nMATLAB 7對(duì)應(yīng)的神經(jīng)網(wǎng)絡(luò)工具箱的版本為Version 4.0.3,它以神經(jīng)網(wǎng)絡(luò)理論為基礎(chǔ),利用MATLAB腳本語(yǔ)言構(gòu)造出典型神經(jīng)網(wǎng)絡(luò)的激活函數(shù),如線性、競(jìng)爭(zhēng)性和飽和線性等激活函數(shù)，使設(shè)計(jì)者對(duì)所選定網(wǎng)絡(luò)輸出的計(jì)算變成對(duì)激活函數(shù)的調(diào)用。n還可根據(jù)各種典型的修正網(wǎng)絡(luò)權(quán)值規(guī)則，加上網(wǎng)絡(luò)的訓(xùn)練過(guò)程，利用MATLAB編寫(xiě)出各種網(wǎng)絡(luò)設(shè)計(jì)和訓(xùn)練的子程序，用戶(hù)根據(jù)自己的需要去調(diào)用。2神經(jīng)網(wǎng)絡(luò)工具箱的主要應(yīng)用n函數(shù)逼近和模型擬合n信息處理和預(yù)測(cè)n神經(jīng)網(wǎng)絡(luò)控制n故障診斷3應(yīng)用神經(jīng)網(wǎng)絡(luò)工具箱求解問(wèn)題的一般過(guò)程n確定信

2、息表達(dá)方式數(shù)據(jù)樣本已知數(shù)據(jù)樣本之間相互關(guān)系不確定輸入/輸出模式為連續(xù)的或者離散的輸入數(shù)據(jù)按照模式進(jìn)行分類(lèi)，模式可能會(huì)具有平移、旋轉(zhuǎn)或伸縮等變化形式數(shù)據(jù)樣本的預(yù)處理將數(shù)據(jù)樣本分為訓(xùn)練樣本和測(cè)試樣本n確定網(wǎng)絡(luò)模型選擇模型的類(lèi)型和結(jié)構(gòu)，也可對(duì)原網(wǎng)絡(luò)進(jìn)行變形和擴(kuò)充n網(wǎng)絡(luò)參數(shù)的選擇確定輸入輸出神經(jīng)元數(shù)目n訓(xùn)練模型的確定選擇合理的訓(xùn)練算法，確定合適的訓(xùn)練步數(shù)，指定適當(dāng)?shù)挠?xùn)練目標(biāo)誤差n網(wǎng)絡(luò)測(cè)試選擇合適的測(cè)試樣本4人工神經(jīng)元的一般模型n神經(jīng)元模型及其簡(jiǎn)化模型如圖所示，輸入向量 、權(quán)值矩陣 ，與閾值的加權(quán)和（內(nèi)積運(yùn)算）送入累加器，形成凈輸入，即：5人工神經(jīng)元模型 圖中，xi(i1，2，n)為加于輸入端(突觸)上

3、的輸入信號(hào)；i為相應(yīng)的突觸連接權(quán)系數(shù)，它是模擬突觸傳遞強(qiáng)度的個(gè)比例系數(shù),表示突觸后信號(hào)的空間累加；表示神經(jīng)元的閾值，表示神經(jīng)元的響應(yīng)函數(shù)。該模型的數(shù)學(xué)表達(dá)式為：6與生物神經(jīng)元的區(qū)別:n(1)生物神經(jīng)元傳遞的信息是脈沖，而上述模型傳遞的信息是模擬電壓。n(2)由于在上述模型中用一個(gè)等效的模擬電壓來(lái)模擬生物神經(jīng)元的脈沖密度，所以在模型中只有空間累加而沒(méi)有時(shí)間累加(可以認(rèn)為時(shí)間累加已隱含在等效的模擬電壓之中)。n(3)上述模型未考慮時(shí)延、不應(yīng)期和疲勞等。7響應(yīng)函數(shù) 的基本作用：n1、控制輸入對(duì)輸出的激活作用；n2、對(duì)輸入、輸出進(jìn)行函數(shù)轉(zhuǎn)換；n3、將可能無(wú)限域的輸入變換成指定的有限范圍內(nèi)的輸出。8根據(jù)

4、響應(yīng)函數(shù)的不同，人工神經(jīng)元有以下幾種類(lèi)型：9 閾值單元n響應(yīng)函數(shù)如圖a所示,10線性單元 n其響應(yīng)函數(shù)如圖b所示11非線性單元 常用響應(yīng)函數(shù)為S型(Sigmoid)函數(shù)，如圖c、d所示12nHardlim x=0 y=1;x=0 y=1;x0 y=-1nPurelin :y=xnSatlin:x1 y=1;x=0&x=1 y=x;nLogsig:y=13人工神經(jīng)網(wǎng)絡(luò)的構(gòu)成 n單個(gè)神經(jīng)元的功能是很有限的，人工神經(jīng)網(wǎng)絡(luò)只有用許多神經(jīng)元按一定規(guī)則連接構(gòu)成的神經(jīng)網(wǎng)絡(luò)才具有強(qiáng)大的功能。n神經(jīng)元的模型確定之后，一個(gè)神經(jīng)網(wǎng)絡(luò)的特性及能力主要取決于網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)及學(xué)習(xí)方法。14人工神經(jīng)網(wǎng)絡(luò)連接的基本形式：1前

5、向網(wǎng)絡(luò) n網(wǎng)絡(luò)的結(jié)構(gòu)如圖所示。網(wǎng)絡(luò)中的神經(jīng)元是分層排列的，每個(gè)神經(jīng)元只與前一層的神經(jīng)元相連接。最右一層為輸出層，隱含層的層數(shù)可以是一層或多層。前向網(wǎng)絡(luò)在神經(jīng)網(wǎng)絡(luò)中應(yīng)用很廣泛，例如，感知器就屬于這種類(lèi)型。152.反饋前向網(wǎng)絡(luò)n網(wǎng)絡(luò)的本身是前向型的，與前一種不同的是從輸出到輸入有反饋回路。16內(nèi)層互連前饋網(wǎng)絡(luò)n通過(guò)層內(nèi)神經(jīng)元之間的相互連接，可以實(shí)現(xiàn)同一層神經(jīng)元之間橫向抑制或興奮的機(jī)制，從而限制層內(nèi)能同時(shí)動(dòng)作的神經(jīng)數(shù)，或者把層內(nèi)神經(jīng)元分為若干組，讓每組作為一個(gè)整體來(lái)動(dòng)作。一些自組織競(jìng)爭(zhēng)型神經(jīng)網(wǎng)絡(luò)就屬于這種類(lèi)型。17互連網(wǎng)絡(luò) n互連網(wǎng)絡(luò)有局部互連和全互連兩種。全互連網(wǎng)絡(luò)中的每個(gè)神經(jīng)元都與其他神經(jīng)元相連

6、。局部互連是指互連只是局部的，有些神經(jīng)元之間沒(méi)有連接關(guān)系。Hopfield網(wǎng)絡(luò)和Boltzmann機(jī)屬于互連網(wǎng)絡(luò)的類(lèi)型。18神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式n有教師學(xué)習(xí)(監(jiān)督學(xué)習(xí))19(1)均方誤差mse(mean squared error)n誤差信號(hào)的不同定義誤差信號(hào)的不同定義:20(2)平均絕對(duì)誤差mae(mean absolute error)21(3)誤差平方和sse(sum squared error)22無(wú)教師學(xué)習(xí)(無(wú)監(jiān)督學(xué)習(xí))23MATLAB工具箱中的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)1.人工神經(jīng)元的一般模型在在中，令，,則24人工神經(jīng)元的一般模型n由此構(gòu)成人工神經(jīng)元的一般模型，如下圖所示。上式可寫(xiě)成矩陣向量形式

7、：上式可寫(xiě)成矩陣向量形式：a=f(Wp+b)25由S個(gè)神經(jīng)元組成的單層網(wǎng)絡(luò) 26MATLAB工具箱中的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)27多層網(wǎng)絡(luò)的簡(jiǎn)化表示:28MATLAB神經(jīng)網(wǎng)絡(luò)工具箱中的神經(jīng)神經(jīng)網(wǎng)絡(luò)工具箱中的神經(jīng)網(wǎng)絡(luò)模型網(wǎng)絡(luò)模型基本概念基本概念:n標(biāo)量:小寫(xiě)字母,如a,b,c等;n列向量:小寫(xiě)黑體字母,如a,b,c等,意為一列數(shù);n矩陣向量:大寫(xiě)黑體字母,如A,B,C等29權(quán)值矩陣向量權(quán)值矩陣向量W(t)n標(biāo)量元素 ,i為行,j為列,t為時(shí)間或迭代函數(shù)n列向量n行向量30閾值向量閾值向量b(t)n標(biāo)量元素 ,i為行,t為時(shí)間或迭代函數(shù)31網(wǎng)絡(luò)層符號(hào)網(wǎng)絡(luò)層符號(hào)n加權(quán)和:,m為第m個(gè)網(wǎng)絡(luò)層,為第 個(gè)神經(jīng)元,n為

8、加權(quán)和n網(wǎng)絡(luò)層輸出:,m為第m個(gè)網(wǎng)絡(luò)層,為第 個(gè)神經(jīng)元,a為輸出n輸入層權(quán)值矩陣 ,網(wǎng)絡(luò)層權(quán)值矩陣 ,其中,上標(biāo)k,l表示第l個(gè)網(wǎng)絡(luò)層到第k個(gè)網(wǎng)絡(luò)層的連接權(quán)值矩陣向量32例例:表示輸入向量的第R個(gè)輸入元素到輸入層的第 個(gè)神經(jīng)元的連接權(quán).n 表示n 表示第i個(gè)網(wǎng)絡(luò)層的第 個(gè)神經(jīng)元的閾值33例:34n1為為第一第一層層神神經(jīng)經(jīng)元的中元的中間間運(yùn)算運(yùn)算結(jié)結(jié)果果,即即連連接接權(quán)權(quán)向量向量與與閾值閾值向量的加向量的加權(quán)權(quán)和和,大小大小為為,即a1為為第一第一層層神神經(jīng)經(jīng)元的元的輸輸出向量出向量,大小大小為為,35 n神經(jīng)網(wǎng)絡(luò)的層數(shù)為神經(jīng)元網(wǎng)絡(luò)層的數(shù)目加神經(jīng)網(wǎng)絡(luò)的層數(shù)為神經(jīng)元網(wǎng)絡(luò)層的數(shù)目加1,即隱層數(shù)目加

9、即隱層數(shù)目加1.36多層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)多層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)37多層網(wǎng)絡(luò)簡(jiǎn)化形式圖中圖中:38說(shuō)明說(shuō)明:n輸入層神經(jīng)元的個(gè)數(shù)決定輸入層神經(jīng)元的個(gè)數(shù)決定IW的行數(shù)的行數(shù),輸入向輸入向量元素的個(gè)數(shù)決定量元素的個(gè)數(shù)決定IW的列數(shù)的列數(shù),即即S1行行R列列.394.公式和圖形中的變量符號(hào)在編程代公式和圖形中的變量符號(hào)在編程代碼中的表示方法碼中的表示方法n細(xì)胞矩陣細(xì)胞矩陣:將多個(gè)矩陣將多個(gè)矩陣向量作為細(xì)胞矩陣的向量作為細(xì)胞矩陣的”細(xì)胞細(xì)胞”(Cell),細(xì)胞細(xì)胞矩陣的各個(gè)元素值為矩陣的各個(gè)元素值為對(duì)應(yīng)細(xì)胞的大小和數(shù)對(duì)應(yīng)細(xì)胞的大小和數(shù)值類(lèi)型值類(lèi)型,40n訪問(wèn)元素:m1=n1,1=41m2=n2,1=n2,1(4)

10、=542變量符號(hào)在MATLAB中的表示n(1)上標(biāo)變量以細(xì)胞矩陣(Cell array)即大括號(hào)表示p1=1n(2)下標(biāo)變量以圓括號(hào)表示,p1=p(1),43例例:=4445神經(jīng)網(wǎng)絡(luò)工具箱常用函數(shù)列表神經(jīng)網(wǎng)絡(luò)工具箱常用函數(shù)列表重要的感知器神經(jīng)網(wǎng)絡(luò)函數(shù)：重要的感知器神經(jīng)網(wǎng)絡(luò)函數(shù)：n初始化：初始化：initpn訓(xùn)練：訓(xùn)練：trainpn仿真：仿真：simupn學(xué)習(xí)規(guī)則：學(xué)習(xí)規(guī)則：learnp46線性神經(jīng)網(wǎng)絡(luò)函數(shù)線性神經(jīng)網(wǎng)絡(luò)函數(shù)n初始化：initlinn設(shè)計(jì)：solvelinn仿真：simulinn離線訓(xùn)練：trainwhn在線自適應(yīng)訓(xùn)練：adaptwhn學(xué)習(xí)規(guī)則：learnwh47BP網(wǎng)絡(luò)函數(shù)：網(wǎng)

11、絡(luò)函數(shù)：ninitff：初始化不超過(guò)3層的前向網(wǎng)絡(luò)；nsimuff：仿真不超過(guò)3層的前向網(wǎng)絡(luò)；ntrainbp，trainbpx，trainlm：訓(xùn)練BP trainbp：最慢；trainbpx：次之；trainlm：速度最快，但需要更多的存儲(chǔ)空間。nlearnbp：學(xué)習(xí)規(guī)則48自組織網(wǎng)絡(luò)自組織網(wǎng)絡(luò)n初始化：initsmn仿真：simucn訓(xùn)練：trainc：利用競(jìng)爭(zhēng)規(guī)則訓(xùn)練 trainsm：利用Kohonen規(guī)則訓(xùn)練49反饋網(wǎng)絡(luò)（反饋網(wǎng)絡(luò)（Hopfield網(wǎng)絡(luò)）網(wǎng)絡(luò)）n仿真：simuhopn設(shè)計(jì)：solvehopnsolvehop設(shè)計(jì)Hopfield網(wǎng)絡(luò)nsolvelin設(shè)計(jì)線性網(wǎng)絡(luò)nran

12、ds產(chǎn)生對(duì)稱(chēng)隨機(jī)數(shù)nlearnbp反向傳播學(xué)習(xí)規(guī)則nlearnhHebb學(xué)習(xí)規(guī)則nlearnp感知層學(xué)習(xí)規(guī)則nlearnwhWidrowHoff學(xué)習(xí)規(guī)則ninitlin線性層初始化ninitp感知層初始化ninitsm自組織映射初始化nplotsm繪制自組織映射圖ntrainbp利用反向傳播訓(xùn)練前向網(wǎng)絡(luò)ntrainp利用感知規(guī)則訓(xùn)練感知層ntrainwh利用WidrowHoff規(guī)則訓(xùn)練線性層ntrainsm利用Kohonen規(guī)則訓(xùn)練自組織映射50神經(jīng)網(wǎng)絡(luò)例子神經(jīng)網(wǎng)絡(luò)例子 51創(chuàng)建線性神經(jīng)網(wǎng)絡(luò)層net=newlin(1 3;1 3,1);net.IW1,1=1 2;net.b1=0;設(shè)有數(shù)據(jù)集由4個(gè)向量組成p1=1 2 p2=2 1 p3=2 3 p4=3 1P=1 2 2 3;2 1 3 1A=sim(net,P)A=5 4 8 552n例2:See P14 in textbookn例3:See P39n例4:See P4053