1、靜態(tài)圖像處理
1)圖像分割
圖像分割就是把圖像分成若干個特定的、具有獨特性質的區(qū)域并提出感興趣目標的技術和過程。最簡單的分割方法為閩值分割,即一幅圖像中,掃描每個像素點(假定只有灰度,沒有顏色),當此像素灰度值大于一定的閾值(提前設定好的,0到255間的一個數(shù)值),則讓此像素灰度值等于255,當此像素灰度值小于此閾值則讓它等于0,這也叫作圖像二值化。
2)圖像特征點提取
圖像特征點提取包含邊緣檢測和角點檢測。
邊緣檢測的目的是標識數(shù)字圖像中亮度變化明顯的點。每個像素的灰度(或者 RGB)和它的八鄰域的像素值(左上,上,右上,左,右,左下,下,右下)按照一定的算法比較,如果差異比較大,則把該像素值設置為255,否則設置為0。算法很多,有sobel算子,laplace算子,canny 算子等。邊緣點就是和它鄰域灰度值相比變化比較大的點即可。
角點檢測是計算機視覺系統(tǒng)中用來獲得圖像特征的一種方法,廣泛應用于運動檢測、圖像匹配、視頻跟蹤、三維建模和目標識別等領域中。也稱為特征點檢測。
角點通常被定義為兩條邊的交點,嚴格的說,角點的局部鄰域應該具有兩個不同區(qū)域的不同方向的邊界。而實際應用中,大多數(shù)所謂的角點檢測方法檢測的是擁有特定特征的圖像點,而不僅僅是“角點”。這些特征點在圖像中有具體的坐標,并具有某些數(shù)學特征,如局部最大或最小灰度、某些梯度特征等。
我們可以這樣理解,邊緣檢測是檢測在一個方向上的灰度變化,角點檢測就是檢測在兩個方向上的灰度變化。角點檢測比邊緣檢測更嚴格。在我們多媒體行業(yè)主要應用于任意圖案識別,我們先給一幅任意的圖片,在此圖片上首先找到角點,即特征很強,灰度變化很劇烈的點,把這些點的位置,鄰近點的灰度,以及每個角點的相對位置保存到數(shù)據(jù)庫中,此過程即為學習的過程。學習完成后,把這幅圖放在攝像頭前面,進行角點檢測,檢測完后和庫中的數(shù)據(jù)進行比較,就會比較出這幅圖片和庫中的哪個圖片最接近,從而完成圖案識別的過程。具體角點檢測的算法很多,在此不作詳解,只需知道,角點就是一幅圖像中特征點很明顯,可以區(qū)別于其它點和其它圖片的特征點。
2、動態(tài)圖像處理
1)背景差分法
背景差分法是采用圖像序列中的當前幀和背景參考模型比較來檢測運動物體的一種方法。對于多媒體行業(yè)來說,地面互動的紅外攝像機檢測方法就是背景差分法和下面要講到的幀差法的應用。我們以程序運行后采集到攝像機的第幀作為背景,即沒有人上去踩的時候。當有人或者其它物體的時候,此時的圖像肯定和第一幀無人狀態(tài)的時候大不一樣,此時的圖像稱為前景,用前景的每個像素點的值減去背景對應的每個像素的值,設定一個闕值,當兩者相減的絕對值大于此閾值,則該位置的像素值設為255,否則設為0。這樣白色的地方就是有東西的地方,黑色的地方就沒有東西。
如果這樣選取背景,會出現(xiàn)很大的問題。由于場景的復雜性、不可預知性以及各種環(huán)境干擾和噪聲的存在,如光照的突然變化、實際背景圖像中有些物體的波動、攝像機的抖動、運動物體進出場景對原場景的影響等,在圖像處理的背景差分法中,有很多的方法來更新背景,即把光線變化,攝像機的抖動,微小東西的影響一幀幀慢慢的變成背景,而不把他們作為前景,即不把他們作為要提取的對象,因為上述那些因素本來就是背景。但在多媒體行業(yè)中一般不這么做,一般會結合下面要講到的幀差法才可以使地面互動的人體檢測比較穩(wěn)定。
2)幀間差分法
幀間差分法是一種通過對視頻圖像序列中相鄰兩幀作差分運算來獲得運動目標輪廓的方法,它可以很好地適用于存在多個運動目標的情況。當圖像場景中出現(xiàn)物體運動時,幀與傾之間會出現(xiàn)較為明顯的差別,兩幀相減,得到兩傾圖像亮度差的絕對值,判斷它是否大于閾值來分析視頻或圖像序列的運動特性,確定圖像序列中有無物體運動。
對相鄰兩幀圖像的每個像素點的值進行相減,同樣,設定一個閾值,當兩者相減的絕對值大于此閾值,則該位置的像素值設為255,否則設為0。這樣,對于運動的物體會提取出來它的邊緣,因為運動的物體在相鄰兩幀的位置會不一樣兩幀圖像會不一樣,所以會提取出來它的邊緣。但如果此物體進入場景后,不運動了,那么頓差法就只能在它剛進入場景的時候提取出它,不運動后,就提取不出來了。
對于運行的非常慢的物體,幀差法也提取不出來,因為很慢的物體在前后幀的位置幾乎是一樣的,解決這個問題的方法就是取3幀或4或再多帕和第一幀進行差,可以提取出來運動慢的物體。
紅外攝像機檢測人體的方法結合了上述兩個方法,首先,我們以程序運行的第一幀作為背景,但我們要設置一個比較大的閾值,此閾值足以抵抗背景變化,再進行幀差法。也就說,前景既要和背景相減,前景又要和它自己的前1幀,2幀......進行幀差。兩都取與的關系,即都要滿足,才被認定為目標,即有人進入場景。
3)坐標轉換
在多媒體程序中,經(jīng)常要把各種感應器的坐標轉換為屏幕坐標,此處的屏幕可以是投影機,LED屏,屏體等。以地面互動的攝像機為例,分辨率一般為640*480,而投影機的分辨率一般為1024*768,那么上述的背景差法和幀差法提取到運行的物體后,會在640*480里面有一個xC,yC的位置坐標,那么此坐標對應的投影機的位置坐標在哪里,我們假定為xS,yS。則有下面的公式:xS=1024/640*xC;yS =768/480*yC;
如果攝像機和投影機的坐標不是640*480和1024*768,只需要替換相應的這兩組值即可。
上述的坐標轉換是理想狀態(tài)下的,最早期的用法,對攝像機和投影機的位置有嚴格要求,即通過攝像機鏡頭的調整,使得攝像機的四個邊正好和投影機的四個邊重疊。只有這樣,上述公式才會比較準確的把攝像機的坐標轉換成投影機的坐標。但實際上,由于攝像機安裝條件(要完全對好),攝像機鏡頭的桶形畸變,實際上基本不可能讓四條邊完全重疊。
仿射變換與透視變換在圖像還原、圖像局部變化處理方面有重要意義。即可以對圖像進行縮放,旋轉,平移等操作。
上一篇:多媒體內容都有哪些?