圖像處理筆記 —— 卷積

這篇文章是我之前在別的地方發的，最近發現Segmentfault把公式bug修好了，搬過來

網上有各類各樣對卷積的理解，有搞EE的，有搞CS的，有搞數學的。我嘗試從圖像處理的角度加入本身的理解。

輸入、響應和輸出

在這裏，輸入是紅綠黃三個點，對於每一個點，它的響應是一個尖頭向右下的水滴狀，最右就是整個圖像在系統響應後的輸出。怎樣理解響應呢？你能夠把輸入看成是紙面上一滴滴顏料，響應就是你用手指把它們在紙上抹開（先暫時這樣理解）。如今咱們化二維爲一維，而後來定量分析一下：

先把輸入、響應和輸出分別記做 $f(x), h(x), g(x)$ 。在本例中，輸入是一些離散點（好比 $f = \{ \langle x_1, y_1\rangle, \langle x_2, y_2 \rangle \}$），而響應是一個分佈集中在零附近的函數（好比 $h(x) = e^{-x^2}$ ）。如今，在輸出中每一個點都有一個響應分佈在這個點周圍，好比對於第一個點，輸出就是：$$g(x) = f(x_1)\ h(x - x_1)$$

這裏要感謝響應（或者說系統做出的響應）的時不變性質，解釋起來很簡單，就是它不管對哪一個點發生響應都是這種水滴狀，不會變形，也不會有幅度上的變化。

疊加原理

剛纔那三點離得比較遠，互不影響。如今咱們把它靠近一點……它們之間的顏色就會混在一塊兒了。加上這個疊加原理，就不是像手指塗抹顏料同樣的混合（Blend），而是像2+3=5之類的簡單加法。接着上面所設，設輸入了兩個點，若是有一點x，x1和x2都影響到了它，它的輸出就是：$$ g(x) = f(x_1) h(x - x_1) + f(x_2) h(x - x_2)$$

咱們之因此能直接把它加起來，都是得益於響應的 線性性 性質，它保證了這個加號是成立的。（爲何不能是混合：由於這裏輸出是跟響應順序無關的，然而混合是有順序的效應的）

更密集……甚至連續

剛纔的點，不管怎麼說，還有必定的間距。可是當輸入連續地分佈、並且每一點都按照響應的形式擴散開來的時候，咱們就能夠用到積分或者連加。最後……這就是卷積的最終效果。

這個想法是很天然的：用連加號代替離散可是數量龐大的輸入和它們的響應，用積分來處理連續的輸入和響應。好比說，輸入中有$N$個值：$[f_1, f_2, \cdots, f_N]$ ，在它後方產生的響應表示成：$[\cdots, h_{-1}, h_0, h_1, \cdots]$，輸出是另外一個向量，其中的元素：$$g[k] = \sum_{n = 1}^N f[n]\ h[k - n]$$

若是是連續函數，式子即是： $$g(x) = \int_{-\infty}^{+\infty} f(t) h(x - t)\ \mathrm{d}t$$

如今，這兩種形式咱們分別叫作離散形式下和連續形式下的卷積，記做 $g(x) = f(x) * h(x)$ 。其中，$h(x)$ 有一個名字，叫作卷積核。

二維離散卷積和算法

以此類推，用二元組（向量）代替標量，$[i, j]$ 代替 $k$ ，$[m, n]$ 代替 $n$ ，二維的離散卷積的公式應該是這樣： $$g[i, j] = \sum_{n=1}^N\ \sum_{m=1}^M f[m, n]\ h[i - m, j - n]$$

到具體算法，有兩個特殊問題要考慮：

• 邊界方案：最簡單的方法是把邊界外的輸入看成0，可是這樣效果很差。我選用的方案是鏡面，也就是： $$f[m, n] \rightarrow f[(M-\left| m-M\right|)\ \mathrm{mod}\ 2M, (N-\left|n-N\right|)\ \mathrm{mod}\ 2N]$$

• 離散卷積核：按需捨棄一些看上去已經很接近0的點來簡化計算，好比高斯函數，大多值分佈在 $\pm 3\sigma$ 之間，這樣咱們卷積核的大小也定爲 $2 \lfloor 3\sigma\rfloor + 1$就行了。
  如今，能影響到點 $(i, j)$ 的輸入也就是隻有附近的有限個點了，它們知足 $ \left| n - i \right| \leq A;\ \left| m -j \right| \leq B$ ，其中2A+1和2B+1分別是卷積核的長寬，換進式子裏，就是： $$\sum_{n=1}^N\ \sum_{m=1}^M \rightarrow \sum_{n=j-B}^{j+B}\ \sum_{m=i-A}^{i+A}$$

void convolution(const Mat& in, const Mat& ker, Mat& out)
{
    assert(in.rows == out.rows && in.cols == out.rows);
    assert(in.type == CV_64FC3 && ker.type == CV_64F && out.type == CV_64FC3);

    for(int i = 0; i < out.rows; i++)
    for(int j = 0; j < out.cols; j++) {
        out.at<Vec3d>(i, j) = Vec3d(0, 0, 0);
        for(int m = i - ker.rows; m <= j + ker.rows; m++)
        for(int n = j - ker.cols; n <= i + ker.cols; n++) {
            Point src_point(
                (in.rows - abs(m - in.rows)) % (2 * in.rows),
                (in.cols - abs(n - in.cols)) % (2 * in.cols));
            out.at<Vec3d>(i, j) +=
                in.at<double>(src_point) *
                ker.at<Vec3d>(i - m, j - n);
        }
    }
}

咱們剛纔算法的「卷積」是這樣的理解：各點按照核給出的模式/圖案，影響到附近的點，如今咱們換一個方式去理解：某一個點按照給出的模式/圖案收集附近的點的影響，就能夠更加直觀理解這個算法。