OpenCV ——雙線性插值（Bilinear interpolation）

1，原理
　　在圖像的仿射變換中，不少地方須要用到插值運算，常見的插值運算包括最鄰近插值，雙線性插值，雙三次插值，蘭索思插值等方法，OpenCV提供了不少方法，其中，雙線性插值因爲折中的插值效果和運算速度，運用比較普遍。
　　越是簡單的模型越適合用來舉例子，咱們就舉個簡單的圖像：3*3 的256級灰度圖。假如圖像的象素矩陣以下圖所示（這個原始圖把它叫作源圖，Source）：
       234 38 22
       67 44 12
       89 65 63
　　這 個矩陣中，元素座標(x,y)是這樣肯定的，x從左到右，從0開始，y從上到下，也是從零開始，這是圖象處理中最經常使用的座標系。
　　若是想把這副圖放大爲 4*4大小的圖像，那麼該怎麼作呢？那麼第一步確定想到的是先把4*4的矩陣先畫出來再說，好了矩陣畫出來了，以下所示，固然，矩陣的每一個像素都是未知數，等待着咱們去填充（這個將要被填充的圖的叫作目標圖,Destination）：
　　? ? ? ?
　　? ? ? ?
　　? ? ? ?
　　? ? ? ?
　　而後要往這個空的矩陣裏面填值了，要填的值從哪裏來來呢？是從源圖中來，好，先填寫目標圖最左上角的象素，座標爲（0，0），那麼該座標對應源圖中的座標能夠由以下公式得出srcX=dstX* (srcWidth/dstWidth) , srcY = dstY * (srcHeight/dstHeight)
　　好了，套用公式，就能夠找到對應的原圖的座標了(0*(3/4),0*(3/4))=>(0*0.75,0*0.75)=>(0,0)，找到了源圖的對應座標,就能夠把源圖中座標爲(0,0)處的234象素值填進去目標圖的(0,0)這個位置了。
　　接下來,如法炮製,尋找目標圖中座標爲(1,0)的象素對應源圖中的座標,套用公式:
(1*0.75,0*0.75)=>(0.75,0) 結果發現,獲得的座標裏面居然有小數,這可怎麼辦?計算機裏的圖像但是數字圖像,象素就是最小單位了,象素的座標都是整數,歷來沒有小數座標。這時候採用的一種策略就是採用四捨五入的方法（也能夠採用直接舍掉小數位的方法），把非整數座標轉換成整數，好，那麼按照四捨五入的方法就獲得座標（1，0），完整的運算過程就是這樣的：(1*0.75,0*0.75)=>(0.75,0)=>(1,0) 那麼就能夠再填一個象素到目標矩陣中了，一樣是把源圖中座標爲(1,0)處的像素值38填入目標圖中的座標。
　　依次填完每一個象素，一幅放大後的圖像就誕生了，像素矩陣以下所示：
　　234 38 22 22
　　67 44 12 12
　　89 65 63 63
　　89 65 63 63
　　這種放大圖像的方法叫作最臨近插值算法，這是一種最基本、最簡單的圖像縮放算法，效果也是最很差的，放大後的圖像有很嚴重的馬賽克，縮小後的圖像有很嚴重的失真；效果很差的根源就是其簡單的最臨近插值方法引入了嚴重的圖像失真，好比，當由目標圖的座標反推獲得的源圖的的座標是一個浮點數的時候，採用了四捨五入的方法，直接採用了和這個浮點數最接近的象素的值，這種方法是很不科學的，當推得座標值爲 0.75的時候，不該該就簡單的取爲1，既然是0.75，比1要小0.25 ，比0要大0.75 ,那麼目標象素值其實應該根據這個源圖中虛擬的點四周的四個真實的點來按照必定的規律計算出來的，這樣才能達到更好的縮放效果。
　　雙線型內插值算法就是一種比較好的圖像縮放算法，它充分的利用了源圖中虛擬點四周的四個真實存在的像素值來共同決定目標圖中的一個像素值，所以縮放效果比簡單的最鄰近插值要好不少。
雙線性內插值算法描述以下:
　　對於一個目的像素，設置座標經過反向變換獲得的浮點座標爲(i+u,j+v) (其中i、j均爲浮點座標的整數部分，u、v爲浮點座標的小數部分，是取值[0,1)區間的浮點數)，則這個像素得值 f(i+u,j+v) 可由原圖像中座標爲 (i,j)、(i+1,j)、(i,j+1)、(i+1,j+1)所對應的周圍四個像素的值決定，即：f(i+u,j+v) = (1-u)(1-v)f(i,j) + (1-u)vf(i,j+1) + u(1-v)f(i+1,j) + uvf(i+1,j+1)
其中f(i,j)表示源圖像(i,j)處的的像素值，以此類推。
　　好比，象剛纔的例子，如今假如目標圖的象素座標爲（1，1），那麼反推獲得的對應於源圖的座標是（0.75 , 0.75）, 這其實只是一個概念上的虛擬象素,實際在源圖中並不存在這樣一個象素,那麼目標圖的象素（1，1）的取值不可以由這個虛擬象素來決定，而只能由源圖的這四個象素共同決定：（0，0）（0，1）（1，0）（1，1），而因爲（0.75,0.75）離（1，1）要更近一些，那麼（1,1）所起的決定做用更大一些，這從公式1中的係數uv=0.75×0.75就能夠體現出來，而（0.75,0.75）離（0，0）最遠，因此（0，0）所起的決定做用就要小一些，公式中係數爲(1-u)(1-v)=0.25×0.25也體現出了這一特色。
2，計算方法

　　

　　首先，在X方向上進行兩次線性插值計算，而後在Y方向上進行一次插值計算。
　　

　　

　　在圖像處理的時候，咱們先根據
　　srcX=dstX* (srcWidth/dstWidth) ,
　　srcY = dstY * (srcHeight/dstHeight)
來計算目標像素在源圖像中的位置，這裏計算的srcX和srcY通常都是浮點數，好比f（1.2, 3.4）這個像素點是虛擬存在的，先找到與它臨近的四個實際存在的像素點
　　（1，3） （2，3）
　　（1，4） （2，4）
　　寫成f(i+u,j+v)的形式，則u=0.2,v=0.4, i=1, j=3
　　在沿着X方向差插值時，f(R₁)=u(f(Q₂₁)-f(Q₁₁))+f(Q₁₁)
　　沿着Y方向同理計算。
　　或者，直接整理一步計算，f(i+u,j+v) = (1-u)(1-v)f(i,j) + (1-u)vf(i,j+1) + u(1-v)f(i+1,j) + uvf(i+1,j+1) 。
3，加速以及優化策略
　　單純按照上文實現的插值算法只能勉強完成插值的功能，速度和效果都不會理想，在具體代碼實現的時候有些小技巧。參考OpenCV源碼以及網上博客整理以下兩點：

• 源圖像和目標圖像幾何中心的對齊。
• 將浮點運算轉換成整數運算

3.1 源圖像和目標圖像幾何中心的對齊　　

　　方法：在計算源圖像的虛擬浮點座標的時候，通常狀況：
　　srcX=dstX* (srcWidth/dstWidth) ,
　　srcY = dstY * (srcHeight/dstHeight)
　　中心對齊(OpenCV也是如此)：
　　SrcX=(dstX+0.5)* (srcWidth/dstWidth) -0.5
　　SrcY=(dstY+0.5) * (srcHeight/dstHeight)-0.5
　　原理：

      雙線性插值算法及須要注意事項這篇博客解釋說「若是選擇右上角爲原點（0，0），那麼最右邊和最下邊的像素實際上並無參與計算，並且目標圖像的每一個像素點計算出的灰度值也相對於源圖像偏左偏上。」我有點保持疑問。
　　將公式變形，srcX=dstX* (srcWidth/dstWidth)+0.5*(srcWidth/dstWidth-1)
　　至關於咱們在原始的浮點座標上加上了0.5*(srcWidth/dstWidth-1)這樣一個控制因子，這項的符號可正可負，與srcWidth/dstWidth的比值也就是當前插值是擴大仍是縮小圖像有關，有什麼做用呢？看一個例子：假設源圖像是3*3，中心點座標（1，1）目標圖像是9*9，中心點座標（4，4），咱們在進行插值映射的時候，儘量但願均勻的用到源圖像的像素信息，最直觀的就是（4,4）映射到（1,1）如今直接計算srcX=4*3/9=1.3333！=1，也就是咱們在插值的時候所利用的像素集中在圖像的右下方，而不是均勻分佈整個圖像。如今考慮中心點對齊，srcX=(4+0.5)*3/9-0.5=1，恰好知足咱們的要求。
3.2 將浮點運算轉換成整數運算
　　參考圖像處理界雙線性插值算法的優化
　　直接進行計算的話，因爲計算的srcX和srcY 都是浮點數，後續會進行大量的乘法，而圖像數據量又大，速度不會理想，解決思路是：浮點運算→→整數運算→→」<<左右移按位運算」。
　　放大的主要對象是u，v這些浮點數，OpenCV選擇的放大倍數是2048「如何取這個合適的放大倍數呢，要從三個方面考慮，第一：精度問題，若是這個數取得太小，那麼通過計算後可能會致使結果出現較大的偏差。第二，這個數不能太大，太大會致使計算過程超過長整形所能表達的範圍。第三：速度考慮。假如放大倍數取爲12，那麼算式在最後的結果中應該須要除以12*12=144，可是若是取爲16，則最後的除數爲16*16=256，這個數字好，咱們能夠用右移來實現，而右移要比普通的整除快多了。」咱們利用左移11位操做就能夠達到放大目的。
4，代碼

　　

    uchar* dataDst = matDst1.data;
    int stepDst = matDst1.step;
    uchar* dataSrc = matSrc.data;
    int stepSrc = matSrc.step;
    int iWidthSrc = matSrc.cols;
    int iHiehgtSrc = matSrc.rows;

    for (int j = 0; j < matDst1.rows; ++j)
    {
        float fy = (float)((j + 0.5) * scale_y - 0.5);
        int sy = cvFloor(fy);
        fy -= sy;
        sy = std::min(sy, iHiehgtSrc - 2);
        sy = std::max(0, sy);

        short cbufy[2];
        cbufy[0] = cv::saturate_cast<short>((1.f - fy) * 2048);
        cbufy[1] = 2048 - cbufy[0];

        for (int i = 0; i < matDst1.cols; ++i)
        {
            float fx = (float)((i + 0.5) * scale_x - 0.5);
            int sx = cvFloor(fx);
            fx -= sx;

            if (sx < 0) {
                fx = 0, sx = 0;
            }
            if (sx >= iWidthSrc - 1) {
                fx = 0, sx = iWidthSrc - 2;
            }

            short cbufx[2];
            cbufx[0] = cv::saturate_cast<short>((1.f - fx) * 2048);
            cbufx[1] = 2048 - cbufx[0];

            for (int k = 0; k < matSrc.channels(); ++k)
            {
                *(dataDst+ j*stepDst + 3*i + k) = (*(dataSrc + sy*stepSrc + 3*sx + k) * cbufx[0] * cbufy[0] + 
                    *(dataSrc + (sy+1)*stepSrc + 3*sx + k) * cbufx[0] * cbufy[1] + 
                    *(dataSrc + sy*stepSrc + 3*(sx+1) + k) * cbufx[1] * cbufy[0] + 
                    *(dataSrc + (sy+1)*stepSrc + 3*(sx+1) + k) * cbufx[1] * cbufy[1]) >> 22;
            }
        }
    }
    cv::imwrite("linear_1.jpg", matDst1);

    cv::resize(matSrc, matDst2, matDst1.size(), 0, 0, 1);
    cv::imwrite("linear_2.jpg", matDst2);

 參考：OpenCV中resize函數五種插值算法的實現過程

         圖像放縮中最近鄰插值和雙線性插值的基本原理