第二講：視聽系統(tǒng)與仿生感知第二講：視聽系統(tǒng)與仿生感知 主要內(nèi)容：主要內(nèi)容：感知計算的仿生學(xué)原理 視覺系統(tǒng)與視覺感知計算 聽覺系統(tǒng)與聽覺感知計算 2.1 感知計算的仿生學(xué)原理感知計算的仿生學(xué)原理 仿生學(xué)主要是觀察、研究和模擬自然界生物各種特殊結(jié)構(gòu)、機理與能力，包括生物體的生理結(jié)構(gòu)、行為能力、器官功能、能量傳遞、記憶學(xué)習(xí)等，利用這些原理，為科技發(fā)展提供新的設(shè)計思想、工作原理和系統(tǒng)框架的學(xué)科。2.1 感知計算的仿生學(xué)原理感知計算的仿生學(xué)原理 仿生學(xué)的主要研究方法就是建模，面向智能技術(shù)的仿生研究程序大致有三個階段：生物模型：對生物原型進行研究，建立生物模型 計算模型：將生物模型提供的資料進行數(shù)學(xué)與信息分析，并將其內(nèi)在的機理抽象具有一定意義的計算模型 系統(tǒng)模型：根據(jù)計算模型，綜合機械、傳感、電子與軟件等技術(shù)制造出可在工程技術(shù)上進行實驗的智能機器或系統(tǒng)。2.1 感知計算的仿生學(xué)原理感知計算的仿生學(xué)原理 智能仿生學(xué)的典型案例（1）智能機器人需要模擬的不僅僅是單一功能，而需要集成視覺、聽覺、觸覺等各種感知能力，并與決策、控制單元協(xié)調(diào)工作。2.1 感知計算的仿生學(xué)原理感知計算的仿生學(xué)原理 只有人型的才是機器人？2.1 感知計算的仿生學(xué)原理感知計算的仿生學(xué)原理 智能仿生學(xué)的典型案例（智能仿生學(xué)的典型案例（2）2.1 感知計算的仿生學(xué)原感知計算的仿生學(xué)原理理 特殊視覺仿生感知技術(shù) 2.1 感知計算的仿生學(xué)原理感知計算的仿生學(xué)原理 智能仿生學(xué)的典型案例（智能仿生學(xué)的典型案例（3）特殊聽覺感知仿生技術(shù)：蝙蝠與雷達 2.1 感知計算的仿生學(xué)原理感知計算的仿生學(xué)原理 特殊聽覺感知仿生技術(shù)：海豚與聲吶 2.2 視覺系統(tǒng)與視覺感知計算視覺系統(tǒng)與視覺感知計算 視覺，視覺，是指智能生物的視覺器官（眼睛），通過接收及聚合光線，得到感知對象物體的影象，并將接收到的信息回傳到大腦進行分析，以及基于此形成對外界環(huán)境認知的過程。視覺系統(tǒng)視覺系統(tǒng)，是視覺感知的功能器官。人類視覺系統(tǒng)的感受器官是眼球，信息處理器官是大腦。2.2.1 人眼的生理結(jié)構(gòu)（人眼的生理結(jié)構(gòu)（1）眼球是整個的包裹在一層鞏膜（Sclera）之內(nèi)，此層鞏膜如同黑箱保護視網(wǎng)膜感光成像，分為前、后兩段。瞳孔（Pupil）是一個可透光的開口，能因應(yīng)光度的強弱，而調(diào)節(jié)其圓周的大小。眼球內(nèi)有睫狀?。–iliary Muscles)，它的伸拉作用可使晶狀體變形，因而調(diào)節(jié)屈光度，使光線能聚焦到視網(wǎng)膜上而形成影像。2.2.1 人眼的生理結(jié)構(gòu)（人眼的生理結(jié)構(gòu)（2）視網(wǎng)膜中有錐狀細胞和桿狀細胞兩類，含有光敏物質(zhì)的感光細胞。錐狀細胞具有高分辨力和顏色分辨能力；桿狀細胞的視覺靈敏度比錐狀細胞高數(shù)千倍，但不能辨別顏色。在視神經(jīng)進入眼內(nèi)腔的盲斑部分，既無錐狀細胞，也無桿狀細胞，是不感光的盲區(qū)。在黃斑中心凹處完全沒有桿狀細胞，是具有最高的視覺分辨力的區(qū)域。從黃斑向視網(wǎng)膜邊緣移動，錐狀細胞和桿狀細胞混合在一起，桿狀細胞比錐狀細胞小得多，而且沒有獨立地與視神經(jīng)聯(lián)系，而是合成一簇(多數(shù)達 500 條一簇)，這對于產(chǎn)生高靈敏視覺至關(guān)重要。到視網(wǎng)膜邊緣就幾乎全是桿狀細胞。2.2.1 人眼的生理結(jié)構(gòu)人眼的生理結(jié)構(gòu)仿生視覺感知仿生視覺感知 思考思考 人類有 80%以上的信息是通過視覺感知獲取的，那么如何讓機器模仿人類眼睛，實現(xiàn)仿生視覺感知功能？2.2.2 計算機視覺計算機視覺 計算機視覺計算機視覺（Computer Vision），），是一門研究如何讓計算機達到像人類或者其他生物那樣“看”的學(xué)科。更準(zhǔn)確點說，它是利用攝像機和電腦代替人眼使得計算機擁有類似于人類的那種對目標(biāo)進行分割、分類、識別、跟蹤、判別決策的功能 2.2.2 計算機視覺計算機視覺 計算機視覺是一個跨學(xué)科的綜合性科學(xué)計算機視覺是一個跨學(xué)科的綜合性科學(xué) 2.2.3 視覺認知計算模型視覺認知計算模型 視覺計算模型、生物視覺機制與視覺計算理論三者之間的關(guān)系視覺計算模型、生物視覺機制與視覺計算理論三者之間的關(guān)系 仿生視覺感知的計算模型必須同時滿足：模擬人類認知特性的要求，可計算性的要求。因此，其來源主要可歸納為兩大類:基于生物視覺機制 基于視覺計算理論 2.2.4 視覺認知計算框架視覺認知計算框架 視覺認知計算的一般模型如下圖，分別可看成視網(wǎng)膜階段、早期視覺處理和高層視覺處理，該計算框架在許多機器視覺模型中得到應(yīng)用。視網(wǎng)膜層信息處理早期視覺信息處理高層視覺信息處理視網(wǎng)膜運動顏色方向雙目視差其他記憶復(fù)雜信息處理高層信息處理 視覺認知計算的一般框架視覺認知計算的一般框架 2.2.4 視覺認知計算框架視覺認知計算框架 根據(jù)視覺信息處理從人眼到人腦這一處理過程把目前的模型大致分為外周腦模型、腦皮層模型及知覺模型。視覺認知計算的處理過程與模型視覺認知計算的處理過程與模型 2.2.5 仿生視覺感知計算的應(yīng)用仿生視覺感知計算的應(yīng)用 人臉識別系統(tǒng)人臉識別系統(tǒng) 2.2.5 仿生視覺感知計算的應(yīng)用仿生視覺感知計算的應(yīng)用 指紋識別、虹膜識別指紋識別、虹膜識別 2.2.5 仿生視覺感知計算的應(yīng)用仿生視覺感知計算的應(yīng)用 目標(biāo)識別、視覺導(dǎo)航目標(biāo)識別、視覺導(dǎo)航 2.2.5 仿生視覺感知計算的應(yīng)用仿生視覺感知計算的應(yīng)用 工業(yè)機器人、國防軍事等工業(yè)機器人、國防軍事等 2.2.6 特殊視覺特性的計算模型特殊視覺特性的計算模型 蛙眼視覺系統(tǒng)蛙眼視覺系統(tǒng) 蛙類主要依靠視覺進行狩獵和發(fā)現(xiàn)天敵，它對周圍世界中的靜態(tài)物體幾乎視而不見，卻對眼前的運動目標(biāo)異常敏感，可以在非常短的時間內(nèi)準(zhǔn)確地分辨眼前高速運動的目標(biāo)屬于獵物還是天敵，并能進行準(zhǔn)確的目標(biāo)鎖定與視覺跟蹤。與靈長類高等動物比較，蛙眼視覺系統(tǒng)相對簡單卻具有高效的運動目標(biāo)感知與跟蹤能力，將其作為運動視覺計算的仿生研究對象具有合理性。2.2.6 特殊視覺特性的計算模型特殊視覺特性的計算模型 Lettvin、Ingle 等指出蛙眼視網(wǎng)膜上存在不同神經(jīng)節(jié)細胞的響應(yīng)特性，也存在不同的特征檢測神經(jīng)元。Hoshino 等研究表明蛙眼具有不對稱感受野模型，其中心興奮（ERF）與周邊抑制（IRF）區(qū)域中心不一致，其視覺感知系統(tǒng)在觀察景物時是有方向選擇性的，即各向異性。（a）靈長類動物普通感受野模型 （b）蛙眼不對稱感受野模型 2.2.6 特殊視覺特性的計算模型特殊視覺特性的計算模型 蛙眼視覺仿生計算的應(yīng)用 依據(jù)蛙眼視覺特性，研制電子蛙眼。將電子蛙眼和雷達相配合，就可以像蛙眼一樣，敏銳迅速地跟蹤飛行中的指定目標(biāo)。電子蛙眼適合于戰(zhàn)場預(yù)警、導(dǎo)彈防御、機場監(jiān)控等 2.2.6 特殊視覺特性的計算模型特殊視覺特性的計算模型 蛇類視覺系統(tǒng)蛇類視覺系統(tǒng) 蝮蛇：紅外與可見光兩種成像功能互補作用蝮蛇：紅外與可見光兩種成像功能互補作用 2.2.6 特殊視覺特性的計算模型特殊視覺特性的計算模型 紅外光雖然不能直接為人類肉眼所見，但卻無處不在。無論從波長跨度，還是所占太陽能的比重都超過了可見光。紅外感知的器官是位于蛇眼和吻端之間面頰部的窩狀器官頰窩，以及其后的神經(jīng)系統(tǒng)。蝮蛇的紅外與可見光兩種成像功能具有一定的互補作用，即當(dāng)蝮蛇雙眼看不到或頰窩被阻塞的時候，另一種感知系統(tǒng)也能有效地完成對目標(biāo)的識別和定位。紅外傳感技術(shù)與夜視紅外攝像頭：2.2.6 特殊視覺特性的計算模型特殊視覺特性的計算模型 復(fù)眼視覺系統(tǒng)復(fù)眼視覺系統(tǒng) 復(fù)眼（Compound eye）是相對于單眼而言的，是昆蟲的主要視覺器官，通常在昆蟲的頭部占有突出的位置，它由多數(shù)小眼組成。每個小眼都有角膜、晶椎、色素細胞、視網(wǎng)膜細胞、視桿等結(jié)構(gòu)，是一個獨立的感光單位。基于復(fù)眼模型的圖像信息融合方法、立體視覺模型、ATR(自動目標(biāo)識別)技術(shù)等。2.3 聽覺系統(tǒng)與聽覺感知計算聽覺系統(tǒng)與聽覺感知計算 聽覺聽覺 指的是聲源振動引起空氣產(chǎn)生疏密波（聲波），通過外耳和中耳組成的傳音系統(tǒng)傳遞到內(nèi)耳，經(jīng)內(nèi)耳的環(huán)能作用將聲波的機械能轉(zhuǎn)變?yōu)槁犛X神經(jīng)上的神經(jīng)沖動，后者傳送到大腦皮層聽覺中樞而產(chǎn)生的主觀感覺 2.3.1 聽覺系統(tǒng)生理結(jié)構(gòu)聽覺系統(tǒng)生理結(jié)構(gòu) 聽覺系統(tǒng)（耳）包括外耳、中耳和內(nèi)耳。外耳就是我們能看見的耳郭和外耳道，而中耳和內(nèi)耳卻被包含在頭側(cè)部一塊稱為“顳骨”（Temporal Bone）的骨內(nèi)部。中耳包括一個小腔“鼓室”、咽鼓管和乳突小房。鼓膜分隔外耳道底與鼓室，鼓室內(nèi)含有聽小骨。內(nèi)耳主要是迷路，包括耳蝸、前庭和半規(guī)管等，聽覺感受器就藏在耳蝸內(nèi)的螺旋器中，螺旋器上的毛細胞接受聽覺信息，再由聽神經(jīng)（蝸神經(jīng)）傳至大腦，從而產(chǎn)生聽覺 2.3.1 聽覺系統(tǒng)生理結(jié)構(gòu)聽覺系統(tǒng)生理結(jié)構(gòu) 2.3.2 聽覺感知與語音識別技術(shù)聽覺感知與語音識別技術(shù) 2.3.2 聽覺感知與語音識別技術(shù)聽覺感知與語音識別技術(shù) 語音識別技術(shù)就是讓機器通過識別和理解過程把語音信號轉(zhuǎn)變?yōu)橄鄳?yīng)的文本或命令的高技術(shù)，也就是讓機器聽懂人類的語音。2.3.2 聽覺感知與語音識別技術(shù)聽覺感知與語音識別技術(shù) 計算機聽覺感知與語音識別過程基本模擬人的語音識別處理過程。目前主流的語音識別技術(shù)是基于統(tǒng)計模式識別的基本理論，一個完整的語音識別系統(tǒng)可大致分為三部分：語音特征提?。耗康氖菑恼Z音波形中提取隨時間變化的語音特征序列。聲學(xué)模型與模式匹配（識別算法）：聲學(xué)模型是識別系統(tǒng)的底層模型，并且是語音識別系統(tǒng)中最關(guān)鍵的一部分。語義理解：計算機對識別結(jié)果進行語法、語義分析。2.3.2 聽覺感知與語音識別技術(shù)聽覺感知與語音識別技術(shù) 隱馬爾科夫模型隱馬爾科夫模型 隱馬爾可夫模型是對語音信號的時間序列結(jié)構(gòu)建立統(tǒng)計模型，將之看作一個數(shù)學(xué)上的雙重隨機過程：一個是用具有有限狀態(tài)數(shù)的 Markov 鏈來模擬語音信號統(tǒng)計特性變化的隱含的隨機過程；另一個是與 Markov 鏈的每一個狀態(tài)相關(guān)聯(lián)的觀測序列的隨機過程。前者通過后者表現(xiàn)出來，但前者的具體參數(shù)是不可測的。2.3.2 聽覺感知與語音識別技聽覺感知與語音識別技術(shù)術(shù) 隱馬爾科夫模型用于語音識別隱馬爾科夫模型用于語音識別 2.3.3 聽覺感知技術(shù)應(yīng)用聽覺感知技術(shù)應(yīng)用 語音文本轉(zhuǎn)換（語音文本轉(zhuǎn)換（Voice To Text）語音文本轉(zhuǎn)換是一種語音識別程序，可以將口頭語言轉(zhuǎn)換成書面語言。該技術(shù)最初是一種為聽力有障礙的人開發(fā)的助聽技術(shù)，目前已廣泛應(yīng)用于各種聽覺輔助場景。2.3.3 聽覺感知技術(shù)應(yīng)用聽覺感知技術(shù)應(yīng)用 拓展閱讀拓展閱讀 1黃凱奇，譚鐵牛.視覺計算認知模型綜述.J模式識別與人工智能.2013(10)2Shou Tiande.Brain Mechanism of Visual Information Processing.2nd Edition.Hefei,China:University of Science and Technology ofChina Press,2010(in Chinese)(壽天德.視覺信息處理的腦機制.第 2 版.合肥:中國科學(xué)技術(shù)大學(xué)出版社,2010)3Huang Kaiqi,Tao Dacheng,Yuan Yuan,et al.Biologically Inspired Features for Scene Classification in Video Surveillance.IEEE Trans on Systems,Man and Cybernetics,2011,41(1):307-313 4 Wright J,Yang A,Ganesh A,et al.Robust Face Recognition via Sparse Representation.IEEE Trans on Pattern Analysis and Machine Intelligence,2009,31(2):210-227 5 Huang Kaiqi,Wang Qiao,Wu Zhenyang.Natural Color Image Enhancement Evaluation Algorithm Based on Human Visual System.Computer Vision and Image Understanding,2006,103(1):52-63 6 Chikkerur S,Se