正文 基於深度圖像的指尖和掌心特征提取方法(2 / 3)

2 掌心提取

2.1 基於凸缺陷最小外接圓的掌心提取

對分割的手勢進行輪廓提取,根據凸多邊形從起始點開始每條邊都是向右轉的性質。如圖3所示,將輪廓看成一個多邊形,從起始點開始,如果出現左轉,標記該點為凸缺陷點,同時將該點過濾掉,連接該缺陷點前後的非缺陷點,根據此原理逐一將輪廓中的凸缺陷點去掉,從而找到輪廓的凸多邊形。

在圖4中,對找到的凸缺陷點進行標記,會發現凸缺陷中深度較大的點即為手指和手指間的凹槽,同時這些凹槽點是屬於手掌的邊緣部分,用閾值過濾掉非凹槽點,得到指尖的凹槽。

cov(j)=seq(i), j=j+1,i=i+1; depth(i)>thresholdi=i+1;depth(i)≤threshold 三個式子是什麼關係,現在表達很混亂,請調整,公式在前,條件在後,分號用來隔開公式和條件,第一行是公式,寫不下了放到第二行。

如圖5(a),本文通過找到凹槽點最小外接圓,認為這個最小外接圓的圓心即為掌心,半徑即為手掌區域的半徑。

2.2 基於凸缺陷均值的掌心提取

這句話是什麼意思?當分割出來的手部分出現大量的手臂部分時,手腕部分也會形成較大深度的凹槽,無法被過濾掉,這樣在找最小外接圓的時候會受到手腕凹槽影響,圓心被過度往下拉,半徑也被放大。因此,這裏通過計算所有凸缺陷坐標的平均值作為圓心,所有凸缺陷到圓心的距離的均值作為半徑。

2.3 基於最大內切圓的掌心提取

在分割後,得到手勢的二值圖像,即分割出來的部分二值化為1,其他部分二值化為0。根據最大內切圓定義知道圓和輪廓邊界相切,因此圓心到邊界具有最大的距離,即圓的半徑。計算輪廓內部的每個點到其最近這句話對嗎?"分割出來的手圖像是二值圖像,手的部分用1表示,其他用0表示,計算輪廓中每個1值點到其最近0值點的距離即坐標之間的距離。我覺得可以這樣描述 是解釋原句是正確的0點的距離,找到距離最大的點,最大內切圓的圓心,最大距離即為半徑,如圖6所示。

3.3 指尖確定

由指圖幾?圖10圖10可以知道上述兩種方法隻是得到了擬指尖集,集合中包括一些非指尖的其他特征。如Fcov(x)中出現了大量的非指尖部分的點,個別手指的指尖部位有重疊的指尖點,如Fcosmin(i)中除了指尖點外還包括了凹槽點。必須把這些非指尖特征過濾掉,得到準確的指尖特征。

本文采用以下步驟:

步驟1 得到兩個擬指尖集進行合並得到F(y)擬指尖集,通過掌心特征提取中得到凸缺陷點集這裏是否要修改為cov(i)改為cov(x),這裏用x表明是不同的變量。cov(x)來將F(y)中的凹槽過濾掉。

步驟2 對於重疊的點,判斷相鄰兩點間的步長,如果步長小於20則將前一個點從F(y)中刪除,隻保留一個點。

步驟3 對於手掌及手腕部分出現的點,之前得到了Pcenter和Rcenter,發現指尖部分基本都是處在手的上半部分且都在掌心圓外比較遠的地方。因此可以將[F(y)∈Pc(μRcenter)]∩[F(y)

4 實驗和分析

如圖12所示,實驗者在鏡頭前做規定的6種手勢。和靜態手勢不同,在動態的手勢中,手勢並不是隻有一個或幾個角度的觀察麵,為了體現提出方法對動態手勢具有更普遍的適用性,在實驗樣例中手指可以任意指定,隻需滿足對應的手指個數即可,並對手勢進行正反翻轉、向前傾斜、左右偏轉,同時為了體現深度信息相較於膚色模型下對手勢分割的優越性,期間手可以與身體平行或者重疊。為什麼不按1、2、3、4這樣的順序進行描述,為什麼不按順序,是否有特殊含義並沒有想分類介紹,因為是舉例說明實驗結果,覺得分類界限並沒有很明顯。其他特殊性沒有,如果有需要可以按數標表達。例如圖12中,手勢4第3、4幅分別是正反兩種情況下的結果;手勢3第1、4幅分別是豎直和向前傾斜兩種情況下的結果;手勢2第2、3幅分別是左右偏轉兩種情況下的結果;手勢3第2幅,手勢是與身體平行的。而其他則有和身體臉部重疊的情況,如手勢4第2幅,手和身體完全重疊,手勢可以完全正確地被分割出來;手勢6第3幅,手和臉部和身體都有重疊,但是在分割的時候仍然可以將手勢從臉部和身體分離出來。

每種手勢記錄500幀,每隔5幀取一幀,即100幀,進行特征提取,查看提取效果,結果如表1所示。結果中出現錯誤的樣例主要是以下幾種樣例:1)手勢向前傾斜超過70°,尤其是當手勢平行於地麵時。但當指尖為0時,由於截麵變得越來越趨於圓,正確率反而高了。2)手勢左右偏轉過多,特別是超過60°以後。

5 結語

手勢特征提取中常出現以下問題:1)其他膚色和重疊物幹擾的問題,如分割的時候出現其他膚色區域,分割的時候手部出現殘缺;2)掌心定位不準確問題,如掌心過高或者過低;3)指尖定位錯誤問題,如指尖遺漏,非指尖被定位,指尖重疊;4)動態手勢序列中,在手勢的翻轉、傾斜、偏轉情況下,識別出錯。本文針對以上幾個問題提出了改進方法,可以準確實時地分割出手部,在此基礎上得到精準的掌心和指尖,同時對手勢的旋轉和傾斜具有一定的容忍度。根據實驗,本方法的不足是由於在獲取指尖集後,對指尖的進一步過濾需要依靠指尖和掌心的相對位置關係,因此對於左右偏轉角度大於60°情況下會出現指尖過度過濾;而在手指並攏時由於真實的兩個指尖之間的步長小於單位是什麼?20個像素被忽略,從而出現指尖的漏檢。提出的方法在這兩個方麵有待改進,以進一步提高此方法的適用性。

參考文獻:

[1]SUAREZ J, MURPHY R R. Hand gesture recognition with depth images: a review [C] // Proceedings of the 2012 IEEE ROMAN.Piscataway: IEEE, 2012: 411-417.

[2]MITRA S, ACHARYA T. Gesture recognition: a survey [J]. IEEE Transactions on Systems, Man, and Cybernetics, Part C: Applications and Reviews, 2007, 37(3): 311-324.

[3]EROL A, BEBIS G, NICOLESCU M. Visionbased hand pose estimation: a review [J]. Computer Vision and Image Understanding, 2007, 108(1/2): 52-73.

[4]MALASSISOTIS S, AIFANTI N, STRINTZIS M G. A gesture recognition system using 3D data [C] // TDPVT 2002: Proceedings of the First International Symposium on 3D Data Processing Visualization and Transmission. Piscataway: IEEE, 2002: 190-193.