虛擬演播室技術概述
本章主要闡述了虛擬演播室技術的基本概念，介紹了虛擬演播室的類型和虛擬演播室在電視節目製作中的特點。
【本章學習要點】
通過本章的學習，掌握虛擬演播室技術的基本概念和係統的構成，了解虛擬演播室的關鍵技術和基本類型及其在電視節目製作中的特點與優勢。
【本章內容結構】
11虛擬演播室技術
虛擬演播室(Virtual Studio)是將虛擬現實技術和傳統的色鍵摳像技術相結合的新技術，是一種將真實攝像機所拍攝的畫麵實時地與計算機圖形工作站生成的三維虛擬場景進行合成的新型電視節目前期製作係統。
多年來，傳統的電視節目製作大量使用色鍵摳像技術將人物與不同的背景混合起來，用於製作一些在現場無法完成拍攝的畫麵。這項技術在較長時間內被廣泛應用，但隨著電視節目製作技術的發展和觀眾欣賞水平的不斷提高，該製作方式所呈現的缺點也越來越明顯，它的主要問題是前景演員和背景不能同步變化，這樣會造成視覺上的差異，合成的圖像不夠真實自然，影響節目效果。比如，在演播室中拍攝人物的鏡頭時，作為前景畫麵的演員會隨著攝像機的推、拉、搖、移變化在畫麵中形成不同的景別和透視關係，而作為背景的畫麵始終固定不動，即使畫麵內的內容是運動的，或者是演員或主持人的景別不變，但背景中的畫麵不斷地變化，前景、後景同樣產生了差異，這些都會影響視覺合成的效果。
在虛擬演播室係統中，人物在以藍色幕布為背景的全空演播室裏活動，前台攝像機負責拍攝圖像，並用色鍵技術將人物的形象與藍背景分割開來，從而得到前景圖像。同時，攝像機跟蹤係統實時檢測攝像機的運動參數和成像參數，並根據這些參數構造一個虛擬攝像機。之後在三維場景製作係統中構造出三維背景，而背景圖像則是按虛擬攝像機的參數生成的。最後，圖像混合係統將前景視頻信號和背景視頻信號合成最終的畫麵。由於前景圖像和背景圖像具有相同的成像參數和三維透視關係，因此，采用虛擬演播室技術能較好地處理前景圖像和背景圖像同步變化的問題，保證了合成畫麵的真實感。
111虛擬演播室係統的構成
典型的虛擬演播室係統由攝像設備、攝像機位置參數拾取、計算機圖形發生器、圖像合成設備和圖形處理軟件構成。
圖1-1Top3D Set雙機位單通道虛擬演播室係統結構原理圖
前景攝像機拍攝在藍背景中的人物，而攝像機在演播室中的空間位置參數，攝像機的傾斜、轉動、翻轉運動參數，攝像機鏡頭變焦、聚焦等設置參數由跟蹤係統獲取後，被送入計算機圖形發生器中，實時生成與前景圖像保持正確透視關係的背景圖像。然後，前景圖像（包括人物和真實場景、道具）與計算機生成的背景圖像通過色鍵控製器合成。最後，輸出的圖像可以直接播出或記錄在存儲媒介上。
112虛擬演播室的關鍵技術
虛擬演播室的關鍵技術包括攝像機跟蹤技術、虛擬場景設計與生成技術、藍背景技術、燈光布光技術和色鍵技術等。
1攝像機跟蹤技術
在虛擬演播室的場景合成中，隨時獲得攝像機的拍攝參數是關鍵因素，如運動方向、焦距等，這樣才能使真實的攝像機與虛擬場景中的攝像機完全同步運動，使虛擬攝像機能夠根據真實攝像機的拍攝情況確定虛擬場景中的哪些部分進入畫麵。因此，這就需要一個能夠實時檢測和提供攝像機運動參數、演員位置參數的係統，這裏關鍵的技術就是攝像機跟蹤技術。虛擬演播室的最終合成效果取決於虛擬演播室背景的立體透視關係是否能夠隨時跟上現場真實攝像機的變化。攝像機跟蹤係統的作用是將攝像機的運動參數實時取出並加入虛擬攝像機的三維成像過程中，計算機生成的虛擬場景可以根據演播室攝像機運動的位置顯示出正確的透視關係，包括搖移、俯仰、畫麵大小、3D運動的立體變化，從而使真實的攝像機和虛擬的攝像機能夠同步運動，而這種功能正是虛擬演播室優於傳統摳像係統的地方。攝像機的運動參數包括鏡頭運動參數（變焦、聚焦、光圈）、機頭運動參數（搖移、俯仰）及空間位置參數（地麵位置x、y和高度z）等，這些參數對虛擬演播室係統來說是非常重要的，它們直接影響虛擬場景的生成。目前，攝像機跟蹤技術主要有圖形網格識別、機械傳感和紅外線跟蹤三種主要方式。
(1）圖形網格識別方式。
圖形網格識別方式是通過間接的方法，即對攝像機所拍攝圖像的形態識別和分析來確定攝像機的各種運動參數，它要求用不同色度（如深藍和淺藍）組成的網格幕布取代機械跟蹤方式中使用的同一色度的藍色幕布。實際拍攝時，得到的是深藍色及淺藍色格子圖案組成的背景，利用電平差，可將淺藍色格子圖案從背景中分離出來。因為每個格子的圖案是不同的，所以計算機能夠通過識別網格圖案的變化來獲取攝像機的運動信息。它的優點是不需加裝傳感器對攝像機進行改造，對攝像機的移動沒有軌道限製，無須鏡頭校準。但是缺點也很明顯，因為背景是兩種色度的藍色，對色鍵的效果有影響，色鍵過程中的陰影很難處理。因為攝像機要識別網格，所以攝像機對藍幕要有一定的聚焦，從而對主持人的位置有限製，主持人有時會顯得模糊，而畫麵中必須含有一定數量的格子，這樣較難拍攝人物特寫的鏡頭，進行圖案識別需要更多的視頻延時，如8～12幀。
圖1-2 基於圖形網格識別方式的虛擬演播室
(2）機械傳感方式。
機械傳感方式是通過加裝了傳感器的雲台，獲取攝像機的位置、高度、搖移、俯仰信息，同時在機頭上加裝傳感器，獲取鏡頭的聚焦、變焦信息。為了保證測量的精度，鏡頭編碼器和機頭編碼器一般都采用高分辨率的光學編碼器。傳感器得到的信息數據經編碼後，可以通過高速串行接口如RS-422將其傳送給計算機。這種跟蹤方式是目前虛擬演播室主要使用的跟蹤方式，它的優點是：工作穩定，跟蹤數據沒有延時，無須額外的工作站處理跟蹤信息，獲取的運動參數精度高，單一藍色背景布光容易，攝像機運動不受限製。不足之處：每台攝像機必須有一個跟蹤器，有的攝像機不適合加裝傳感器，需對機頭部分進行改造，攝像機如要在水平和垂直方向上移動，需要加裝專用的滑輪和升降係統。
圖1-3基於機械傳感方式的虛擬演播室
(3)紅外線跟蹤技術。
紅外線跟蹤技術是一種新穎的攝像機跟蹤技術，它利用紅外線收發裝置來檢測人和攝像機在演播室中的位置。紅外線的發射裝置可安裝在人和攝像機身上，而接收裝置（通常需要兩個）可安裝在藍色幕布的上方。采用這種技術可實現360度的拍攝扇區，使攝像機在真實場景中的運動不受任何限製。紅外線裝置可安裝在任何種類的攝像機上，包括手持式和固定式，而且它與圖形識別係統及機械傳感器係統相兼容。紅外線跟蹤技術配合像素級深度鍵之後，人可處於虛擬場景中任何一個合適的位置，而且可以走到虛擬物體之前或之後，甚至可以處於虛擬物體的內部。
2虛擬場景設計與生成技術
虛擬演播室中的場景、道具通常由計算機生成，可以做出常規演播室中不能做到的更大的空間背景和現實生活中不可能見到的景觀。虛擬場景可以是來自錄像機或攝像機的活動視頻，也可以是靜止圖像，但使用最多的是由計算機三維軟件及材質創作的二維或三維圖形。隨著PC機的計算能力、繪圖能力和視頻處理能力的極大提高，當前的藝術導演可以采用更開放的平台及軟件如Softimage、Wavefront、Alias或3D Max建立三維場景。
按照是否實時讀取場景源文件並對源文件進行渲染，虛擬場景可以分為三維虛擬演播室和二維半虛擬演播室。
二維半虛擬演播室是指在三維建模環境中(如3D Max、Softimage、Maya、Alias、Wavefront等)虛擬場景提前渲染出一張特別大的廣角位圖，並且該圖像的水平和垂直清晰度應不小於1024像素值，然後將該圖片安裝到係統主機中。合成場景時主機根據攝像機鏡頭的運動狀態對圖片進行處理，選擇圖片的一部分與前景進行合成，同時場景中加入一些三維的小物件和遮擋物體，增強場景的真實感。
三維虛擬演播室是指虛擬背景由計算機在場景合成時實時渲染。在這種三維模型中的虛擬攝像機受真實攝像機的運動參數控製，當真實攝像機的鏡頭或位置參數變化時，虛擬攝像機同步變化，並實時(50場/秒)生成虛擬背景圖形。
二維半係統事先不限時地進行渲染生成背景和遮擋掩膜的圖片文件，而真三維係統是讀取3D Max、Maya、Softimage等三維建模軟件製作的場景源文件。二維半係統的場景生成比較簡單，按照攝像機的機位參數對背景圖和遮擋掩膜進行處理後生成演播室背景信號，而真三維係統包括場景調度、物體運動、燈光調節、特殊效果調節等模塊，功能更為強大。從場景設計角度來看，由於二維半係統事先生成虛擬場景圖片，可以設計更精細和更複雜的場景。場景中物體邊緣的反走樣、光線跟蹤、鏡頭特效等都可以運算得非常到位。通過有效的插值算法，可以保證鏡頭推拉、俯仰、平搖過程中背景的平穩變化，再加上豐富的大屏幕切換特技、無限藍箱、深度鍵等實用功能，可以滿足大部分節目製作的需求。而真三維係統是對場景源文件實時渲染，場景精細度和複雜度受係統硬件和軟件的限製較大，常常不能有反射、折射、特效等。二維半虛擬演播室更適用於對實效性要求高的節目製作，而真三維虛擬演播室則更適用於對鏡頭靈活性要求高的節目。
3藍背景技術
虛擬演播室中的攝像機所拍攝的是以藍色為背景的主持人畫麵，其全部藍色區域將被合成到計算機三維軟件生成的虛擬場景中。
圖1-4 虛擬演播室藍色背景
虛擬演播室的攝像室，一般是由一麵或多麵藍牆和藍色的地板組成的“藍室”，對藍色舞台沒有實際的物理尺寸限製，真實藍背景的大小取決於有多少人在虛擬場景中活動。建立更大的藍色牆壁或采用藍色的邊牆是得到更大攝像機視角範圍的辦法，但需注意，正麵臨近的牆角應大於90度，這將更容易布光，並且牆壁之間也不會互相反射。當攝像機取遠景時，不僅需要主持人身後是藍色，地板也要求是藍色的。地板應該足夠大，大到可以容下陰影，否則落在真實背景之外的陰影將被剪除。在藍背景中應采用圓滑的角落，因為對折角布光非常困難，需要在鍵控器上進行額外的調整來均勻明暗差異，這也使保留陰影變得更困難。