《MATLAB神經(jīng)網(wǎng)絡工具箱(函數(shù)擬合)ppt課件.ppt》由會員分享，可在線閱讀，更多相關《MATLAB神經(jīng)網(wǎng)絡工具箱(函數(shù)擬合)ppt課件.ppt（40頁珍藏版）》請在匯文網(wǎng)上搜索。

1、MATLAB神經(jīng)網(wǎng)絡工具箱介紹及實驗要求,神經(jīng)元模型,Neuron Model： 多輸入，單輸出，帶偏置,輸入:R維列向量,權值:R維行向量,閾值:標量,求和單元,傳遞函數(shù),輸出,常用傳遞函數(shù),a,Wp,-b,1,-1,閾值函數(shù),MATLAB函數(shù): hardlim,MATLAB函數(shù): hardlims,線性函數(shù),Purelin Transfer Function ：,MATLAB函數(shù): purelin,Sigmoid函數(shù),Sigmoid Function ：特性：值域a(0,1)非線性，單調(diào)性無限次可微|n|較小時可近似線性函數(shù)|n|較大時可近似閾值函數(shù),MATLAB函數(shù): logsig(對數(shù)

2、), tansig(正切),對數(shù)Sigmoid函數(shù),正切Sigmoid函數(shù),單層神經(jīng)網(wǎng)絡模型,R維輸入, S個神經(jīng)元的單層神經(jīng)網(wǎng)絡模型,多層神經(jīng)網(wǎng)絡模型,前饋神經(jīng)網(wǎng)絡,前饋神經(jīng)網(wǎng)絡(feed forward NN)：各神經(jīng)元接受前級輸入，并輸出到下一級，無反饋，可用一有向無環(huán)圖表示。前饋網(wǎng)絡通常分為不同的層(layer)，第i層的輸入只與第i-1層的輸出聯(lián)結?？梢妼樱狠斎雽?input layer)和輸出層(output layer)隱藏層(hidden layer) ：中間層,感知器(perceptron):,單層前饋網(wǎng)絡 傳遞函數(shù)為閾值函數(shù),主要功能是模式分類,感知器的生成,函數(shù)newp用

3、來生成一個感知器神經(jīng)網(wǎng)絡,net = newp( pr, s, tf, lf ),net: 函數(shù)返回參數(shù),表示生成的感知器網(wǎng)絡 pr: 一個R2矩陣, 由R維輸入向量的每維最小值和最 大值組成 s: 神經(jīng)元的個數(shù) tf: 感知器的傳遞函數(shù), 默認為hardlim, 可選hardlims lf: 感知器的學習函數(shù),默認為learnp, 可選learnpn,net = newp(-2,+2;-2,+2,2) %生成一個二維輸入,兩個神經(jīng)元的感知器,newp,感知器的權值和閾值初始化,newp默認權值和閾值為零(零初始化函數(shù)initzero).,net = newp(-2,+2;-2,+2,2);,

4、W=net.IW1,1 %顯示網(wǎng)絡的權值,b=net.b1 %顯示網(wǎng)絡的閾值,W =0 00 0,b =0 0,改變默認初始化函數(shù)為隨機函數(shù)rands,net.inputweights1,1.initFcn = rands;,net.biases1.initFcn = rands;,net =init(net); %重新初始化,直接初始化定義權值和閾值,net.IW1,1=1 2;3 4; net.b1=1,感知器學習,感知器學習算法,權值增量:,閾值增量:,權值更新:,閾值更新:,算法改進,輸入樣本歸一化,權值和閾值訓練與學習函數(shù),train,net=train(net, P, T),設計好

5、的感知器并不能馬上投入使用. 通過樣本訓練, 確定感知器的權值和閾值.,輸入向量,目標向量,被訓練網(wǎng)絡,net.trainParam.epochs=10 ; %預定的最大訓練次數(shù)為10, 感知器經(jīng)過最多訓練10次后停止,adapt,net=adapt(net, P, T),自適應訓練函數(shù),權值和閾值學習函數(shù),learnp,dW=learnp(W,P,Z,N,A,T,E,D,gW,gA,LP,LS),dW:權值或閾值的增量矩陣,W:權值矩陣或閾值向量,P:輸入向量,T:目標向量,E:誤差向量,其他可以忽略,設為 ,learnpn,歸一化學習函數(shù),網(wǎng)絡仿真函數(shù),sim,a = sim(net, P

6、),輸入向量,網(wǎng)絡輸出,分類結果顯示繪圖函數(shù),plotpv,plotpv(P,T),plotpc,plotpc(W,b),畫輸入向量的圖像,畫分類線,根據(jù)給定的樣本輸入向量P和目標向量T, 以及需分類的向量組Q, 創(chuàng)建一個感知器, 對其進行分類.,例: 創(chuàng)建一個感知器,P=-0.5 -0.6 0.7;0.8 0 0.1; %已知樣本輸入向量T=1 1 0; %已知樣本目標向量net=newp(-1 1;-1 1,1); %創(chuàng)建感知器handle=plotpc(net.iw1,net.b1); %返回劃分類線的句柄net.trainParam.epochs=10; % 設置訓練最大次數(shù)net=t

7、rain(net,P,T); %訓練網(wǎng)絡Q=0.6 0.9 -0.1;-0.1 -0.5 0.5; %已知待分類向量Y=sim(net,Q); %二元分類仿真結果 figure; %新建圖形窗口plotpv(Q,Y); %畫輸入向量handle=plotpc(net.iw1,net.b1,handle) %畫分類線,實驗一 利用感知器進行分類(1),一個經(jīng)過訓練的感知器對5個輸入向量進行分類(2類)。,Step 1,兩個長度為5的向量構成輸入樣本矩陣P，行向量T為目標向量。利用PLOTPV畫出這個向量的圖像。例如：P = -0.5 -0.5 +0.3 -0.1 -4; -0.5 +0.5 -0

8、.5 +1.0 5;T = 1 1 0 0 1;plotpv(P,T); % plotpv函數(shù)利用感知器的輸入向量和目標向量來畫輸入向量的圖像,Step 2,建立神經(jīng)網(wǎng)絡,畫輸入向量的圖像,MATLAB提供函數(shù)newp來創(chuàng)建一個指定的感知器。第一個參數(shù)指定了期望的兩個輸入向量的取值范圍，第二個參數(shù)指定了只有一個神經(jīng)元。net = newp(-40 1;-1 50,1);注意：這個神經(jīng)元的傳遞函數(shù)是hardlim函數(shù)，也就是階躍函數(shù)。取0，1兩個值。Hardlims函數(shù)，取-1，1兩個值。,實驗一 利用感知器進行分類(2),添加神經(jīng)元的初始化值到分類圖,Step3,初始化的權值被設為0，因此任何

9、輸入都會給出同樣的輸出，并且分類線不會出現(xiàn)在這個圖中，不用害怕，我們會繼續(xù)訓練這個神經(jīng)網(wǎng)。hold on linehandle = plotpc(net.IW1,net.b1); /plotpc函數(shù)用來畫分類線,訓練神經(jīng)網(wǎng)絡,Step4,Matlab提供了adapt函數(shù)來訓練感知器，adapt函數(shù)返回一個新的能更好的執(zhí)行分類、網(wǎng)絡的輸出、和誤差的神經(jīng)網(wǎng)絡，這個劃線函數(shù)允許網(wǎng)絡從3個角度去調(diào)整，畫分類線一直到誤差為0為止。E = 1; /E為誤差net.adaptParam.passes = 3; /決定在訓練過程中重復次數(shù)while (sse(E) /sse函數(shù)是用來判定誤差E的函數(shù)net,Y

10、,E = adapt(net,P,T); /利用輸入樣本調(diào)節(jié)神經(jīng)網(wǎng)netlinehandle = plotpc(net.IW1,net.b1,linehandle);/ /畫出調(diào)整以后的分類線drawnow; /延遲一段時間end,實驗一 利用感知器進行分類(3),Step 5 模擬sim sim函數(shù)能被用來劃分任何別的輸入向量，例如劃分一個輸入向量0.7; 1.2.這個新點的圖像為紅色，他將用來顯示這個感知器如何把這個新點從最初的訓練集取分開來。p = 0.7; 1.2;a = sim(net,p); /利用模擬函數(shù)sim計算出新輸入p的神經(jīng)網(wǎng)絡的輸出plotpv(p,a);circle =

11、 findobj(gca,type, line);set(circle,Color,red);打開hold,以便于以前的圖像不被刪除。增加訓練裝置和分類線在圖中。hold on; plotpv(P,T); plotpc(net.IW1,net.b1); hold off; axis(-2 2 -2 2);,這個感知器正確的區(qū)分了我們的新點(用紅色表示)作為”zero”類(用圓圈表示)，而不是”one”類(用+號表示)，盡管需要比較長的訓練時間，這個感知器仍然適當?shù)倪M行了學習。最后放大感興趣的區(qū)域。,BP網(wǎng)絡,多層前饋網(wǎng)絡,主要功能: 函數(shù)逼近, 模式識別, 信息分類,傳遞函數(shù):隱層采用S形函數(shù)

12、,輸出層S形函數(shù)或線性函數(shù),BP網(wǎng)絡的生成,newff,函數(shù)newff用來生成一個BP網(wǎng)絡,net=newff(PR,S1 S2.SN,TF1 TF2. TFN,BTF,BLF,PF),PR: 一個R2矩陣, 由R維輸入向量的每維最小值和最大值組成,Si: 第i層的神經(jīng)元個數(shù),TFi: 第i層的傳遞函數(shù), 默認為tansig,BTF: 訓練函數(shù), 默認為trainlm,BLF: 學習函數(shù), 默認為learngdm,PF: 性能函數(shù), 默認為mse,net=newff(0,10;-1,2,5,1,tansig,purelin,trainlm);,%生成一個兩層BP網(wǎng)絡,隱層和輸出層神經(jīng)的個數(shù)為5

13、和1, 傳遞函數(shù)分別為tansig和purelin, 訓練函數(shù)為trainlm, 其他默認,BP網(wǎng)絡的初始化,newff 函數(shù)在建立網(wǎng)絡對象的同時, 自動調(diào)用初始化函數(shù), 根據(jù)缺省的參數(shù)設置網(wǎng)絡的連接權值和閾值.,使用函數(shù)init可以對網(wǎng)絡進行自定義的初始化. 通過選擇初始化函數(shù), 可對各層連接權值和閾值分別進行不同的初始化.,BP網(wǎng)絡的學習規(guī)則,權值和閾值的調(diào)節(jié)規(guī)則采用誤差反向傳播算法(back propagation). 反向傳播算法分二步進行，即正向傳播和反向傳播。,1正向傳播 輸入的樣本從輸入層經(jīng)過隱單元一層一層進行處理，通過所有的隱層之后，則傳向輸出層；在逐層處理的過程中，每一層神經(jīng)

14、元的狀態(tài)只對下一層神經(jīng)元的狀態(tài)產(chǎn)生影響。在輸出層把現(xiàn)行輸出和期望輸出進行比較，如果現(xiàn)行輸出不等于期望輸出，則進入反向傳播過程。2反向傳播 反向傳播時，把誤差信號按原來正向傳播的通路反向傳回，并對每個隱層的各個神經(jīng)元的權系數(shù)進行修改，以望誤差信號趨向最小。BP算法實質(zhì)是求取誤差函數(shù)的最小值問題。這種算法采用非線性規(guī)劃中的最速下降方法，按誤差函數(shù)的負梯度方向修改權系數(shù)。,BP網(wǎng)絡的快速學習算法與選擇,MATLAB神經(jīng)網(wǎng)絡工具箱對常規(guī)BP算法進行改進,提供了一系列快速算法,以滿足不同問題的需要,BP網(wǎng)絡的訓練,利用已知的”輸入目標”樣本向量數(shù)據(jù)對網(wǎng)絡進行訓練,采用train 函數(shù)來完成. 訓練之前,

15、 對訓練參數(shù)進行設置,net = train(net, P, T),BP網(wǎng)絡的設計(1),網(wǎng)絡層數(shù),已經(jīng)證明,單隱層的BP網(wǎng)絡可以實現(xiàn)任意非線性映射. BP網(wǎng)絡的隱層數(shù)一般不超過兩層.,輸入層的節(jié)點數(shù),輸入層接收外部的輸入數(shù)據(jù), 節(jié)點數(shù)取決于輸入向量的維數(shù),輸出層的節(jié)點數(shù),輸出層的節(jié)點數(shù)取決于輸出數(shù)據(jù)類型和該類型所需的數(shù)據(jù)大小.,對于模式分類問題,節(jié)點數(shù)為,BP網(wǎng)絡的設計(2),隱層的節(jié)點數(shù),隱層的節(jié)點數(shù)與求解問題的要求,輸入輸出單元數(shù)多少有關. 對于模式識別/分類的節(jié)點數(shù)可按下列公式設計,傳遞函數(shù),隱層傳遞函數(shù)采用S型函數(shù), 輸出層采用S型函數(shù)或線性函數(shù),訓練方法及其參數(shù)選擇,針對不同應用,

16、 BP網(wǎng)絡提供了多種訓練學習方法.,其中,為隱層節(jié)點數(shù),為輸入節(jié)點數(shù),為110之間的整數(shù),BP網(wǎng)絡設計實例,采用動量梯度下降算法訓練BP網(wǎng)絡. 訓練樣本,%定義訓練樣本p=-1 -1 3 1;-1 1 5 -3; t=-1 -1 1 1;%創(chuàng)建一個新的BP網(wǎng)絡net=newff(minmax(p),3 1,tansig,purelin,traingdm);%設置訓練參數(shù)net.trainParam.epochs=1000;net.trainParam.goal=0.001;net.trainParam.show=50;net.trainParam.lr=0.05;net.trainParam.mc=0.9;%動量因子，缺省為0.9net=train(net,p,t); % 訓練網(wǎng)絡A=sim(net,p) %網(wǎng)絡仿真,目標線,訓練誤差變化曲線,訓練誤差變化曲線（每次不同）,實驗2: BP網(wǎng)絡用于曲線擬合,要求設計一個簡單的BP網(wǎng)絡，實現(xiàn)對非線性函數(shù)的逼近。通過改變該函數(shù)的參數(shù)以及BP網(wǎng)絡隱層神經(jīng)元的數(shù)目，來觀察訓練時間以及訓練誤差的變化情況。,Step1: 將要逼近的非線性函數(shù)設為正弦