基于全景圖的虛擬現(xiàn)實(shí)系統(tǒng)研究
摘要 全景圖(Panoramic Image)是近來出現(xiàn)在Internet上的另一種新的交互式的虛擬場景表示方式,它基于圖像繪制IBR（Image-Based Render）的方式再現(xiàn)了三維場景,可用瀏覽器實(shí)現(xiàn)虛擬場景的漫游,同時(shí)也詳細(xì)介紹了這種全景圖瀏覽器的實(shí)現(xiàn)原理。本文在總結(jié)已有技術(shù)的基礎(chǔ)上，提出一個(gè)基于全景圖的虛擬現(xiàn)實(shí)系統(tǒng)模型，并改進(jìn)算法實(shí)現(xiàn)了高效的拼接。
關(guān)鍵詞 全景圖; 基于圖像繪制IBR; 虛擬現(xiàn)實(shí); 圖像拼接
1 概述全景圖是基于圖形繪制IBR（Image-Based Render）的關(guān)鍵技術(shù)。現(xiàn)有的IBR技術(shù)大概可以分為四類：基于全景圖（Panoramic Image）的
方法，基于圖像深度信息的
方法，基于光場（Light Field）信息和基于 Morphing的
方法。現(xiàn)階段，相對成熟的技術(shù)是第一種基于全景圖的方法 ,而且它實(shí)現(xiàn)方便處理量易于在Internet實(shí)現(xiàn)。目前，業(yè)界對全景圖的基本制作方法是：在固定的視點(diǎn)用照相機(jī)或者攝像機(jī)按照一定的方式（通常是按照均勻角度繞軸旋轉(zhuǎn)360 度）采集圖像，采集之后的圖像輸入
計(jì)算機(jī)進(jìn)行圖像拼接、整合等處理，生成無縫全景圖像，最后再用
計(jì)算機(jī)經(jīng)過投影展示出來，并且提供局部的有限的漫游功能。雖然全景視圖有其自身的局限性，比如視點(diǎn)單一，只能在場景內(nèi)部實(shí)現(xiàn)漫游等，但是由于該技術(shù)具有極強(qiáng)的可操作性，而且技術(shù)也相對成熟，已經(jīng)成為應(yīng)用最為普遍的IBR技術(shù)之一。目前全景視圖主要應(yīng)用在：虛擬環(huán)境、游戲設(shè)計(jì)、電影特技效果、虛擬博物館等等。在商用領(lǐng)域比較著名的有Apple的QuickTime VR、IPIX Viewer、Live Picture、IBM的Hot Media等系統(tǒng)。
2 全景圖的制作流程全景圖制作流程包括全景模型選擇，圖像采集，圖像拼接，圖像縫合以及全景圖展示瀏覽五個(gè)步驟 ，如圖1。（1）全景模型選擇：根據(jù)全景圖投影展示方式的不同，主要可以分為3種模式：立方體模式、圓柱模式、球面模式。這三種模式就是分別把已經(jīng)拼接好的全景圖投影到立方體/ 圓柱體/球體的內(nèi)表面。此外還有其他展示模式，如采用正多面體去逼近球面的方法。（2）圖像采集：一般有兩種方法，用全景拍攝器材進(jìn)行拍攝或者通過普通相機(jī)拍攝再進(jìn)行圖像拼接。前一種方式比較容易采集圖像，但是這種方法往往意味著購買昂貴的攝影器材，因此影響了其通用性。而后一種方式，用普通相機(jī)在固定點(diǎn)拍攝圖片然后拼接生成全景圖的研究就顯得比較活躍了，而全景圖生成的核心技術(shù)——圖像拼接算法正是研究的重點(diǎn)。（3）圖像拼接與縫合：現(xiàn)有的全景圖像拼接生成算法主要可以分為三類：基于特征的方法、基于流的方法和基于相位相關(guān)的方法。在得到拼接好的圖像后，還需要對圖像重疊部分進(jìn)行處理，以實(shí)現(xiàn)圖像的無縫拼接。目前經(jīng)常采用的一種
簡單的圖像縫合技術(shù)就是線性插值法（Linear Interpolation）。（4）全景圖展示：得到360度的全景圖像后，還要把該圖像投影到所選擇模型的內(nèi)表面展示，并提供簡單的瀏覽功能。
（5）運(yùn)動(dòng)物體生成和全景圖生成一樣，同樣可以用以上3種方法生成。在用照相機(jī)拍攝物體時(shí)，如果對物體的水平方向和垂直方向各拍攝一圈，就可以對物體進(jìn)行二維的交互控制。鏈接是指：①把得到的全景圖按一定方式組織起來，供交互式顯示用；② 把運(yùn)動(dòng)物體嵌入到全景圖中去，成為“熱點(diǎn)”，使用戶可以對它進(jìn)行交互式控制。
圖１ 全景圖制作流程
3 全景圖像拼接技術(shù)的研究3.1全景圖生成的經(jīng)典算法自全景圖的概念提出到目前，有很多學(xué)者都對全景圖的生成算法做過深入的研究，其中McMillan和Szeliski等人的工作尤其突出。 McMillan和Bishop提出了全景函數(shù)模型，該算法根據(jù)攝像機(jī)繞軸旋轉(zhuǎn)360度所拍攝的圖像序列求解每個(gè)相機(jī)的參數(shù)，由此進(jìn)行全景圖拼接，但是該算法不太適合于照相機(jī)，因?yàn)樗髢煞鶊D像之間要有超過2/3 的重疊，這樣對一個(gè)場景如用照相機(jī)去采集圖像就需要拍攝大量的圖片，而這顯然增大了圖像采集的難度，也增加了計(jì)算量和誤差量。而且McMillan試圖通過柱面極幾何約束實(shí)現(xiàn)匹配點(diǎn)自動(dòng)匹配，但是極幾何約束核心基礎(chǔ)矩陣對誤差過分敏感，也因此導(dǎo)致匹配結(jié)果無法實(shí)用。Szeliski和Shum[3]在他們的一系列的文章中提出了用8參數(shù)的二維（2D）投影模型求解投影矩陣M。該模型的
數(shù)學(xué)表達(dá)如下所示： (1) （2）
3.2全景圖像拼接算法歸類及其比較 現(xiàn)有的全景圖像拼接生成算法主要可以分為三類：基于相位的方法、基于流的方法和基于特征的方法。 （1）基于相位的方法：該方法利用傅立葉變換、小波變換等等先對圖像進(jìn)行變換，再利用變換后的圖像的某些特征進(jìn)行匹配。但是如果存在空間上的局部變化，就會(huì)導(dǎo)致該方法產(chǎn)生較大誤差。 （2）基于流的方法：也叫做基于面積的方法。該方法是通過比較兩幅圖像亮度（或顏色）差異，并使之最小化來尋找最佳匹配點(diǎn)的。上文描述的兩種經(jīng)典算法就是屬于該方法，采用這種方法的還有：Duffin [4]和Barrett在Szeliski研究的基礎(chǔ)上提出的一種恢復(fù)6個(gè)參數(shù)模型的算法�；诿娣e方法的缺點(diǎn)就是它的計(jì)算量明顯偏大。 （3）基于特征的方法：該方法的主要思想就是從一幅圖像中提取一定的特征，如：點(diǎn)、線、邊緣等等，并用此特征為匹配模板，在第二幅圖像中搜索。該方法可以提高計(jì)算速度，但是提取合適的圖像特征比較困難。[5]
如何提取合適的圖像特征，很多學(xué)者在這個(gè)方面做了探討，其中 Kim[6]等人利用抽取物體輪廓作為特征，而鐘力[7]等人利用重疊圖像兩列象素的亮度（或顏色）比或者亮度（或顏色）作為特征模板，張鵬[8]等人利用象素灰度值信息提取某一矩形區(qū)域作為特征模板進(jìn)行匹配。需要注意的另一個(gè)問題就是采集的圖像中重疊部分并不是單純的平面位移變換，還存在伸縮變形等，所以這也增大了特征提取的難度。
4 算法的選擇與改進(jìn) 以上三種算法都有其自身的特點(diǎn)，當(dāng)然也有各自的局限性，應(yīng)該根據(jù)全景模型的不同和圖像采集方式的差異選擇合適的算法。下面根據(jù)全景圖生成過程詳細(xì)描述對算法的選擇和改進(jìn)。
4.1 全景模型選擇本文提出的方法中采用圓柱模式，這種模式相對簡單，同時(shí)又不影響全景圖像瀏覽的真實(shí)性。由于立方體模式過于簡單，該模式在展示全景圖時(shí)存在明顯的邊界痕跡，降低了全景圖像真實(shí)性；球面模式雖然相對擴(kuò)大了全景圖瀏覽的視野，可是也相應(yīng)增加了算法復(fù)雜度和圖像采集的難度。
4.2 圖像采集為了提高圖像拼接算法的復(fù)雜度處理能力以及能夠自適應(yīng)抖動(dòng)、光照差、扭曲等。本文對圖像采集方式未做過多限制：不用三角架固定相機(jī)，繞攝影者中心360度旋轉(zhuǎn)相機(jī)拍攝圖像，每次拍攝相機(jī)旋轉(zhuǎn)的角度為θ，不固定相機(jī)的焦距，這樣做的目的是進(jìn)一步提高算法自適應(yīng)校準(zhǔn)圖像拼接能力。
4.3 圖像拼接 首先，抽取合適的圖像特征來定位拼接，為了盡可能多的保留圖像的特征，利用數(shù)字
圖像處理中的Laplace算子邊緣檢測算法，再加上二值化處理和平滑濾波3*3模板的噪音消除抽取出圖像的特征圖。
圖2 特征提取后圖象的二值化圖圖象經(jīng)過變換之后，得到了具有重疊相似區(qū)域的兩幅圖象，對于相似區(qū)域的尋找，一般的算法都是根據(jù)人體視覺特征定義1個(gè)模板矢量(Pattern Vector)，對兩幅圖象分別運(yùn)算相似距離，根據(jù)相似距離來尋找圖象的相似部分。本文提出了一種新的重疊區(qū)域的搜尋方法，它基于差值圖象的極值點(diǎn)搜尋，可以方便地提取兩幅圖象之間的相似部分，不需要頻域上的任何運(yùn)算。設(shè)有兩個(gè)矩形區(qū)域A和B，已知B中包含一個(gè)區(qū)域A2，A與A2是相同的模塊，求B中A2 的位置。典型的算法是從Ｂ的左下角起，把每一塊與A大小相同的區(qū)域C與A相比較，得出評價(jià)函數(shù)，其值最小的區(qū)域就是A2。評價(jià)函數(shù)一般定義為:對于A和C中每一對對應(yīng)點(diǎn)p和q， (1)考慮到兩幅圖象的亮度不一樣，即使是同一模塊，由于亮度不同，評價(jià)函數(shù)的值也很大，把評價(jià)函數(shù)定義為：
(2)
4.4 圖像縫合圖像縫合分兩個(gè)步驟。拼接處會(huì)有明顯的一條縫。可用顏色擬合的方法來調(diào)和相鄰圖象的亮度,生成無縫的合成圖象。以合成圖象的拼接線為中心,兩邊各取10個(gè)象素點(diǎn)的距離,此區(qū)域?yàn)槌C正區(qū)。第一步是圖像經(jīng)過矩陣投影生成新的圖像需要用到雙性插值。第二步是兩幅圖像重疊區(qū)域之間的線性插值。
4.5柱面投影柱面投影變換及其反變換算法的核心是投影變換公式,為此建立坐標(biāo)系,如圖4所示。原始圖象I、投影柱面圖象J和柱面K,原點(diǎn)為觀察點(diǎn)Ｏ(投影中心)。設(shè)柱面半徑為ｒ,投影寬度角為θ,圖象寬度為Ｗ,高度為Ｈ。能很容易得到柱面圖象的寬度為r×sin(θ/2),高度仍為Ｈ。對圖象I上的任意一點(diǎn)Ｐ,假設(shè)它在圖象上的坐標(biāo)為(ｘ,ｙ),P在柱面圖象J上的對應(yīng)點(diǎn)Q,假設(shè)Q在J上的坐標(biāo)是(ｘ’,ｙ’)。[5]
圖3 柱面投影變換這里θ角由每張圖象所占的角度唯一確定。一個(gè)全景的角度是360º那么每張圖象對應(yīng)的角度就顯而易見了一般的θ角約為30 - 40º。最后，根據(jù)兩幅圖像的平移量，柱面投影，最后拼接全景圖（見圖4和圖）。
5 實(shí)驗(yàn)結(jié)果基于全景圖的虛擬實(shí)景生成系統(tǒng)的實(shí)現(xiàn)在是一臺(tái)windows NT
操作系統(tǒng)下的pc工作站，P3-1G，128M內(nèi)存，顯卡(硬件支持OpenGL加速)，使用Microsoft visual c++6.0和OpenGL編程。圖4 圖象拼接前的情況圖5 圖象拼接后的全景圖
6 結(jié)論及展望隨著基于圖象繪制技術(shù)發(fā)展，全景圖現(xiàn)已廣泛應(yīng)用在軍事、
教育、科研、商業(yè)、影視、娛樂、工程訓(xùn)練等，并隨著JAVA和Internet的發(fā)展成為一種快捷、實(shí)用、效果很好的虛擬現(xiàn)實(shí)漫游系統(tǒng)。本文對基于全景圖的虛擬現(xiàn)實(shí)模型進(jìn)行了比較深入的研究，在根據(jù)前人對全景圖的研究
資料中，本文提出了一種基于全景圖的虛擬現(xiàn)實(shí)系統(tǒng)模型的構(gòu)想，并給出了較為實(shí)用的解決方案，克服了抖動(dòng)、光照差、扭曲等對全景圖的影響，對圖象拼接算法作了比較和改進(jìn)嘗試，對圓柱面投影作了較深入的探討，實(shí)用價(jià)值高效率。未來基于全景圖的虛擬現(xiàn)實(shí)各種技術(shù)發(fā)展將前景廣闊。
參考文獻(xiàn)[1] Cai Yong, Liu Xue hui, Wu Eng hua. Image-based rendering: A technology for virtual reality system. Journal of Software, 1997, 8 (10): 721- 728 ( in Chinese)(蔡 勇, 劉學(xué)慧, 吳恩華. 基于圖像繪制的虛擬現(xiàn)實(shí)系統(tǒng)環(huán)境.軟件學(xué)報(bào), 1997, 8 (10) : 721- 728)[2] Chen S E. Quick time VR ——An image-based approach to virtual environment navigation. In: P roc S IGGRA PH 95, New York, 1995. 29- 38[3] Szeliski R, Shum H-Y. Creating full view panoramic image mosaics and texture-mapped models. In: Proc SIGGRA PH‘97,Los Angeles, California, 1997. 251- 258 [4] Kirk Duffin, William Barrett. Globally Optimal Image Mosaics[C].In: Proceedings Graphics Interface’98,19982:217~222[5] Brown L G. A survey of image registration techniques. ACM Computing Surveys, 1992, 24 (4): 325- 376[6] Min-A Kim, Sung-Soo Kim, Hwan-Gue Cho.Image Mosaicing Technique Using Feature-Based Graph Matching Algorithm[7] 鐘力，張茂軍，孫立峰等
.360 度柱面全景圖象生成算法及其實(shí)現(xiàn)[J]. 小型微型計(jì)算機(jī)系統(tǒng)，1999:20(12):899~903[8] 張鵬，周東翔，郝建新等
.IBR技術(shù)中柱面全景圖鑲嵌的快速算法[J].計(jì)算機(jī)工程，1999;25(12):17~18
【基于全景圖的虛擬現(xiàn)實(shí)系統(tǒng)研究】相關(guān)文章：
基于web的異地并行設(shè)計(jì)與制造系統(tǒng)研究06-02
制造產(chǎn)品智能集成報(bào)價(jià)系統(tǒng)研究08-26
芻議虛擬現(xiàn)實(shí)技術(shù)在工業(yè)設(shè)計(jì)中的運(yùn)用（精選7篇）05-20
本質(zhì)安全型集中式控制安全操作系統(tǒng)研究08-22
基于戰(zhàn)略治理的企業(yè)環(huán)境風(fēng)險(xiǎn)研究08-28
試析基于勝任素質(zhì)的薪酬模式構(gòu)建01-03
復(fù)合勵(lì)磁永磁同步發(fā)電機(jī)勵(lì)磁調(diào)節(jié)系統(tǒng)研究05-11
基于軟交換的固網(wǎng)智能化05-11
基于BP網(wǎng)遙感影像分類研究與應(yīng)用08-10
基于minigui的網(wǎng)真機(jī)界面的實(shí)現(xiàn)08-05