神經網絡垃圾筆記

神經網絡垃圾筆記

Optimization Methods

• Batch Gradient Descent: GD
• Mini-Batch Gradient Descent
• Stochastic Gradient Descent: SGD
• Momentum: 動力
• Convergence: 收斂

Avoid Oscillate

• Momentum
• RMSProp
• Adam
• Exponentially Weighted Average

iteration與epoch

• iteration
  • 迭代一次batch size就是一次iteration
• epoch
  • 迭代一次整個訓練集就是一次epoch
• 示例
  • 假如訓練集: 1000, batchSize=10, 迭代完1000個樣本
  • iteration=1000/10=100
  • epoch=1

衡量指標

• MSE
• MAE(Mean Average Error): \({{1\over{K}}\sum_{k=1}^K|\hat{y}-y|}\)
• PSNR
• SSIM
• AP(Average Precision)
• mAP(mean Average Precision)
  • AP和mAP經常使用於多類別的目標檢測中
  • 知乎上https://www.zhihu.com/question/53405779
• Precision
• Recall
• FScore

英文

• Ground Truth: 標準答案
• color prior: 顏色先驗
• patch: 塊
• coarse: 粗的
• depth map: 深度圖(距離圖)
• estimate: 估計
• Ambient illumination: 環境亮度
• semantic: 語義
• spatially: 空間
• adjacent: 相鄰的
• feature extraction: 特徵提取
• accommodate: 適應
• receptive: 接受
• intermediate: 中間
• extensive: 普遍的
• qualitatively: 定性的
• quantitatively: 定量的
• breakdown: 分解
• synthetic: 合成的
• ablation study: 對比實驗
• occlude: 擋住
• state-of-the-art: 達到當前世界領先水平
• disparity: 差距
• consecutive: 連續
• criterion: 標準
• visual perception: 視覺感覺
• undermine: 破壞
• degrade: 下降
• particle: 顆粒
• optical: 光纖的
• fidelity: 保真度
• various extents: 各類程度的影響
• concentrate: 堆積
• transmission map: 透射圖
• maximum extent: 最大程度
• surface albedo: 表面反照率
• component: 份量
• color tone: 色調
• atmospheric veil: 大氣幕
• factorial: 因子的
• disturbance: 干擾
• coarse: 粗糙的
• translation invariant: 平移不變性
• color distortion: 顏色扭曲
• haze thickness: 霧的厚度
• fusion principle: 融合原理
• quad-tree: 四叉樹
• light attenuation: 光衰減
• lag: 滯後
• penalize: 懲罰, 在paper中出現就是要考慮到損失計算中
• fine-grained: 細粒度的
• depth perception: 深度感知
• amplification factor: 放大因子
• detail enhancement: 細節加強
• spatially varying: 空間變化
• adaptive: 自適應的
• deviation: 誤差
• evaluation deviation: 誤差
• retina: 視網膜
• subjective brightness perceived: 主觀視覺感知
• anticipating: 預測
• intention: 意圖
• power outlet: 插座
• wrist: 腕
• persistently: 持續地
• trigger: 觸發
• PN(Policy Network)
• jointly: 連帶地
• proactively: 主動地
• facilitate: 方便, 促進, 幫助
• accelerometer: 加速度計
• trajectory: 軌跡
• modalities: 模式
• sacrificing: 犧牲
• gist: 主旨
• fuse: 融合
• mechanism: 機制
• transductive: 傳導的
• dominate: 控制
• sub-optimal: 次優化
• leverage: 優點
• in an incremental manner: 漸進的方式
• whilst: 同時
• adopt: 採用
• simultaneously: 同時
• probabilistic: 機率
• similation: 模擬
• key addressing: 鍵尋址
• value reading: 值讀取
• posterior: 後驗的
• error prone: 容易出錯
• the model inference uncertainty: 模型推理不肯定性
• univocal: 單義
• aspect ratios: 寬高比
• assimilate: 類似的
• derive: 得到
• pseudo: 僞的
• generalization performance: 整體性能
• rationale: 基本原理
• footprint: 空間量
• memory footprint: 內存佔用量
• Augmenting: 增廣
• induce: 誘導
• imagery: 畫像
• immature: 幼稚的
• symbolic: 象徵的
• morphological: 形態的
• dilate: 膨脹
• erode: 腐蝕
• univocal: 單義的
• supervision signal: 監督信號, 就是損失函數
• compactness: 緊密性
• two key learning objectives: 兩個關鍵的學習目標
• deep features: 深度的特徵, 其實就是神經網絡最後一個隱藏層
• close-set: 閉集合
• subtle: 細微的
• manifold: 流型的; 多樣的
• incorporated: 收錄
• proportions: 比例
• anthropometric: 人體測量
• invariant: 不變的
• hierarchical: 層次的
• irrelevant: 可有可無的
• dimensionality: 維數
• planar: 平面的
• underlying: 基本的
• disregard: 不理會
• impractical: 不切實際的
• posterior probability: 後驗機率, 也就是神經網絡預測的標籤的機率
• likelihood: 可能性
• variants: 變體
• error propagation: 偏差傳播
• feature vectors: 特徵向量, 在CNN中通常指的是將feature maps轉爲fc的第一層獲得的vector
• transition: 過渡
• on-the-fly: 即刻
• class-agnostic: 類別無關
• weight transfer: 參數遷移
• MLP: 多層感知器(全鏈接層)
• textual: 文本的
• opt: optimizer
• warp: 扭曲
• order: 階
• discrepancy: 差別
• adversary: 敵對
• subsequent: 隨後的
• slight pixel perturbation: 輕微像素擾動
• aggregate: 合計
• model inference uncertainty: 在無監督學習(只要沒有標籤就行, 因此半監督也行)有這個概念, 神經網絡輸出的就是model inference uncertainty, 由於沒有ground truth作參考
• class feature representation: 特徵聚類的中心
• latent variable models: 潛在變量模型
• 紋理: 點, 邊緣, 角
• respective field: 感覺野
• selective search: ss, 經過比較相鄰區域的類似度來把類似的區域合併到一塊兒，反覆這個過程，最終就獲得目標區域，這種方法至關耗時以致於提取proposal的過程比分類的過程還要慢。
• 前景: 感興趣的物體
• 人類更傾向於根據物體的全局信息進行分類，而機器卻對物體的局部信息敏感。

• 識別方式不一樣，使得AI擅於紋理識物，弱於輪廓; 對人類來講，總體形狀是物體識別的首要條件，而經過總體形狀識別圖像彷佛根本不在這些深度學習系統考慮範疇當中。

• Copy

counterfeit 僞造的
latent 潛在的
interaction 相互做用
trivial 瑣碎的，微不足道的(通常用否認形式) non-trivial意爲重要的
bound 限制在
separate 分開的，單獨的
prominent 重要的；著名的，突出的
scalar 標量
assign 肯定
simultaneously 同時地
state of the art 當前最好的(煉丹俠們的目標)
prohibitive 禁止的
analogous 相似的
optimum/optimal 最佳的；最適宜的條件
proposition 計劃；主張；提議
saturate 飽和，充滿
objective 目標
differentiate 區分，分開;求微分
region 區域
theorem 定理
semantic 語義的;意義 (劃重點!)
segmentation 分割 semantic segmentation 語義分割
substantial 顯著的，重要的 substantially 至關多地
counteract 抵消；抵制
augment 增長
manifold 流行(流行空間和流行學習,一種機器學習方法,簡單理解就是數據在不一樣維度的一些 運算)
texture 結構，紋理
plausible 貌似合理的
alternatively 或者
alternative 可供替代的；n.選擇
inherently 內在地，本質上地
external 外在的
state of art 最早進的
geometry 幾何學
spark 啓發
synthesis 合成；n.綜合體，
compression 壓縮
wavelet 小波
deviation 誤差；[數]誤差 Standard Deviation 標準差
texture 結構，紋理，質地
synthetic 合成的,人工的
assessment 評價
property 特性
intriguing 引發興趣的
quantization數字化 quantitative 定量分析的
give rise to 形成，致使
convergence 聚合，收斂
exclude 排除
intuitive 憑直覺的
suppression 抑制，阻礙
coordinate 座標;套裝
retrieve 取回，檢索
harness 利用
denote 表示；意味着
redundancy 多餘，冗餘
overlap 重疊的
take into account 考慮到
context 背景；環境；上下文 contextual 上下文的，背景的
pixel-wise 像素級別
generic 通常的
propagation 傳播 
prototype 原型 
topological 拓撲的 
dilation 膨脹 dilation convolution 空洞卷積
derive 得出，導出 
dramatically 顯著地 
inverse 相反的；逆 
underdetermined 證據不足的,待定的 
hierarchical 分級的 
junction 匯合處；樞紐站
Norm 範數
Fisher matrix 費雪矩陣
KL-divergence KL散度
metric 度量標準
curvature 曲率，曲度
First-order 一階 order爲 階數 的意思
conjugate gradient 共軛梯度
episode 一個事件；(美劇中的劇集經常使用該詞彙)
approximation 近似值
partition 劃分
sparse 稀少的；稀疏的
decay 衰減；腐爛
redundant 被裁剪的；多餘的
median 中等的；n.中位數
co-efficent 係數
fuse 融合
with respect to 至於；關於
manifold 多種多樣的
adjacent 毗鄰的，鄰近的
ba cast to 被認爲
blur 模糊
intractable 難對付的；倔強的
sidestep 迴避；繞開
piece wise 分段的
analogous 類似的，可比擬的
adversarial 對抗的
overlap 重疊部分
modality 方式
distill 提取
cardiovascular 心血管的
anatomy 解剖學
promising 前景好的
hinder 阻礙，妨礙
manual 手工的
chamber 心室
annotation 註釋
dense 濃密的，密集的
utility 實用的；實用程序；公共事業
interpolation 插補；插值
optional 可選擇的
crop 修剪
incorporation 吸取；合併
ground truth alignments 標記數據集
silhouettes 輪廓
validation 承認
spatiotemporal 時空的
encapsulate 封裝；概述
reside 屬於；居住
bridge 彌補；跨越
exponentially 呈幾何級數地 exponent 指數；
cornerstone 基礎，墊腳石
interpolation 插入；插值
outline 提綱，梗概
residual 剩餘的，殘餘的
explicitly 明確地；直接地
extremely 很是，極大地
model 模仿
utilize 利用
inferior 下級的；較差的
conceptually 概念上地
minor 較小的，輕微的
cascade 傳遞；層疊
accordance 依照 in accordance with 按照…規則
exploited 發揮；利用；開發
extent 範圍；程度
threshold 門檻，閾值；下限；起徵點
suppress 抑制；阻止
regime 政權，管理體制
stack 堆疊
evaluation 估計；評估(經常使用簡寫eval)
surveillance 監視
lately 最近
ensemble 合奏曲；團體
spread over 分佈，散開
convergence 匯聚，相交
factor 因素；因子
propose 提出
termed 被稱爲
in comparison to 與....相比
engineered 設計謀劃的
chunk 大量的部分
replicated 複製的
keep track of 記錄；保持聯繫
aforementioned 上述的
minor 較小的，輕微的
favorably 正面地；很好地
impractical 不現實的
scenario 設想的狀況
methodology 方法
correspond to 至關於
rectified 修復
moderate 通常的；溫和的；適當的
facilitate 促進，幫助；加快
aggregated 總的
scalable 可擴展的；大小可變的
besides 並且；此外
principally 主要的
pronounced 明顯的，顯著的
typically 典型的；通常的
sole 僅有的，惟一的
novel 新的，不同凡響的
be prone to 易於…；有…傾向
complementary 互補的；輔助性的
incrementally 增加地
attribute to 歸因於
effectiveness 有效性
is equivalent to 等同於
bandwidth 帶寬
alleviate 緩解，減輕
ambiguity 模棱兩可，不明之處
scheme 策略；方案
breathtaking 驚人的；很是激動人心的
cavern 大山洞；挖空
drift 漂流，流動
circularly 圓地；循環地
denote 表示；意味着
diagonalize 對角化
ridge 屋脊
consider 考慮到
objective 目標；客觀的
resemblance 類似處
criteria/criterion 標準
holistic 全面的，總體的
perceptual 感受上的
be subject to 受支配；易遭受
appealing 有吸引力的
paradigm 範例,範式
variants 變體；不一樣版本
pedestrian 行人(自動聯想到行人重識別)
mitigate 緩和
relatively 相對地
valid 合理的；符合邏輯的
address 處理
early 以前的
spread over 分散，傳開
procedure 程序
is tuned to 被調整爲
shallow 淺的；微弱的
decompose 分解
contiguous 毗鄰的,鄰近的；共同的
adjacent 毗連的，鄰近的
sound 完整的
manner 方式
observe 觀察；注意到；遵照
is comparable to 比得上
hypothesis 假說，假設
counterpart 對應物；至關的人
clarity 清晰；明確性
convention 慣例，公約
literature 文獻
split 分開的
qualitative 性質的
exhibit 表現出
animation 動畫片；動畫製做技術
retain 保留，保持；記住
leverage 對...施加影響
contradict 與…矛盾；反駁
distract 轉移注意力
impair 削弱；下降
surpass 超過
prioritization 優先考慮，優先順序
slightly 略微
credit 聲譽；信用
preference 偏心
pulmonary 肺的(自動聯想到醫學圖像)
sensitively 謹慎周到地；善解人意地
nodule 瘤 (自動聯想到醫學圖像)
proceeding 進展；繼續
clinically 客觀地; 臨牀方式地
ensemble 全體,總體
considerably 至關多地
deploy 部署；有效利用
plane 平面
rich 豐富的
advent 出現，到來
foreground 前景 background 背景
isolation 隔離；孤立
purge 清除
mechanism 機制；途徑；機械裝置
readily 樂意地；容易地
collaboration 合做；合做成果
trade-off 權衡,作取捨(論文常見)
conservative 傳統的；保守的
computationally 計算上地
exclusive 獨有的；獨家報道
recover 追回；恢復
geometric 幾何的
approach 接近；處理
dilemma 困境,進退兩難
stabilize 使穩定
halve 減半
symmetric 對稱的
be proportional to 與...成比例
middle 中間的
namely 即
polarized 偏振的；兩極分化的

concatenate 把…聯繫起來；串聯(這是一個很是重要的詞彙，也是一種數組操做的名稱，注意與pixelwise-add區別)

utterance 表達；說話

contrive 策劃；設計，發明

deterministic 肯定的

slides (PPT)幻燈片；滑落，下跌

variance 分歧，不一樣

paradigm 範式，樣例

prefix 前綴

go straight down 沿着...往前走

comment 意見；註解；評論

in excess of 超過，多於

propagate 繁衍，增殖；擴散，擴大

extension 延期；擴展

checkboard 棋盤(圖像中有一種棋盤格效應)

vertically 豎直地，垂直地

aggressively 挑釁地；激烈地(表示程度大)

stall 拖延；貨攤

accessibility 可達性

lateral 側面的；橫向的(在FPN那篇論文中提到lateral connection就是指側面的鏈接)

unilaterally 單邊地，單方面地

unleash 宣泄；接觸…束縛

divergence 分歧；區別

spectral 譜的(常見有光譜，頻譜)

simultaneous 同時發生的 simultaneously 同時地

equilibrium 均衡

pitfall 陷阱；隱藏的困難

proxy 代理人，代替物；代理服務器

distill 提取；蒸餾 Knowledge Distillation(知識蒸餾)

preceding 前面的，在先的(用於描述前面層的網絡)

bypass 旁道，支路；繞過，避開

presume 推測；認爲，認定

compelling 很是強烈的；強迫的，不可抗拒的

nominal 名義上的；微不足道的

bring together 聯合；使相識

boarder 寄宿生，高校的學生；登船(機)的人

fellow 研究員；同事，同伴(常見的有 IEEE fellow)

commitment 承諾；委任；(對工做或活動)獻身

coarse 粗糙的

consecutive 連續的，連貫的

immense 巨大的

inferior 很差的；低劣的，下等的

variability 變化性，易變；變率

preliminary 初步的；預賽的

sidestep 迴避，躲開

accommodate 爲…提供住宿；容納；爲...提供便利(這也是一個雅思重點詞彙)

to date 迄今，到目前爲止

modality 方式

duality 二元性

tweak 扭，拽；輕微調整

reproduce 複製，模仿；再現

dummy 仿製品；笨蛋，蠢貨；假的

ordinal 序數；比較

layout 佈局，安排，設計(界面的排版就成爲layout)

mutate 變異；突變，變化

alias 別名

elevation 高處，海拔

heterogeneous 各類各樣的；成分混雜的

in-place 原狀(在一些函數接口中常見，是指在原對象或原址中操做，無需返回)

metadata 元數據

transaction 交易，業務；學報，會議記錄(TPAMI, TIP中的"T"；一些操做中transaction done就是指你交代的業務執行完了)

perspective 觀點；視角

stampede 蜂擁

arguably 可論證地

ridge 屋脊，山脊

occlusion 堵塞；閉塞

daunting 畏懼的，使人卻步的

seamless 無縫的；無漏洞的

protocal 會議紀要；協議(例如;Http protocal)

symmetric 對稱的

contract 收縮；簽定合同

scarce 稀有的，稀少的；不足的

discrete 分離的

terminology 術語；專門名詞

deformable 可變形的(Deformable Conv可變性卷積)

mentor 導師，顧問

discretize 使離散

pane 面板；窗格

stale 不新鮮的，厭倦的

錯誤傳播(error propagation)

• 一個門高爲\(0.88m\pm0.02m\), 門把手高\(0.5m\pm0.01m\), 那麼門頂部到門把手距離怎麼表示? 應該是在0.88-0.5=0.35左右, 那麼偏差呢?, 使用公式\[error uncertainity=\sqrt{({0.02}^2+{0.01}^2)}\]
  

• 以上是加法, 若是爲減法
  

圖像金字塔, 高斯金字塔， DoG(Difference of Gaussian)金字塔

• 參考http://www.javashuo.com/article/p-sglonrio-bk.html
• 圖像金字塔是一種以多分辨率來解釋圖像的結構
  • 原圖在金字塔的底部, 往上尺寸縮小, 圖像的分辨率下降
  • 步驟
    1. 利用高斯濾波平滑圖像
    2. 對平滑以後的圖像進行採樣(去掉偶數行和偶數列)
• 高斯金字塔
  • 高斯金字塔並非一個金字塔, 而是有不少組金字塔構成
  • 步驟
    1. 先將原圖像擴大一倍以後做爲高斯金字塔的第1組第1層
    2. 進行平滑獲得第2層
    3. 修改平滑係數, 對第2層平滑獲得第3層
    4. 一次類推到第5層
    5. 第1組第3個進行下采樣獲得第2組的第1層, 再重複以前的步驟
       
• DoG金字塔(差分金字塔)
  • 在高斯金字塔的基礎上構建起來的, 生成高斯金字塔的目的就是爲了構建DOG金字塔

  • 上圖中同一組, 每一層之間作差分

• 尺度空間
  • 尺度空間描述的就是圖像在不一樣尺度下的描述
• 尺度空間與金字塔多分辨率
  • 尺度空間是由不一樣高斯核平滑卷積獲得的, 在全部尺度上有相同的分辨率
  • 金字塔多分辨率每一層分辨率都減小, 模仿的是物體由近到遠的過程(相似下采樣), 一個物體離咱們越遠, 咱們越只能看到他們的輪廓信息, 細節就會丟失; 而若是比較近的話, 更能容易得到細節信息
• 求紋理(特徵點)
  • 特徵點: 點, 角, 邊緣信息等變化劇烈的區域
  • 對圖像進行不一樣程度的高斯模糊, 平滑的區域變化不大, 紋理的變化大

正則化

• L1
  • \[L_{min}=({{1}\over{m}}\sum_{i=1}^{m}{(x_i\omega^T+b-y)}^2)+C||\omega||\]
• L2
  • \[L_{min}=({{1}\over{m}}\sum_{i=1}^{m}{(x_i\omega^T+b-y)}^2)+C{||\omega||}^2\]
• 爲何正則化能夠防止過擬合, 由於正則化讓本來loss的項加上了一個變量以後變大了, 若是優化了這個狀況下的loss, 那麼在是對此新的loss進行過擬合而已, 最後去掉正則化項, 模型就不會過擬合了

感覺野

• 計算公式: \[l_k=l_{k-1}+(f_k-1)\prod_{i=1}^{k-1}s_i\], 其中\(k\)是第幾層, \(f\)表示卷積核的尺寸, \(s\)表示步長

解決網絡輸入尺度不一樣

• SPP池化https://juejin.im/entry/5aaa12cb6fb9a028c42ded13, https://oidiotlin.com/sppnet-tutorial/
  • 在卷積以後, 在卷積層和全鏈接層之間添加另外一個SPP池化層將卷積層輸出的尺寸知足FC的輸入要求
  • 其實就是根據FC的尺寸計算出要達到FC的尺寸要求須要的pool的尺寸, 步長和padding等信息
  • 下面給出代碼(公式在forward中)

  class SPPLayer(nn.Module):
  
  
      def __init__(self, sides):
          """
          Parameters
          ----------
          sides : array-like
              A list of side lengths
          """
          super(SPPLayer, self).__init__()
          self.sides = sides
  
      def forward(self, x):
          out = None
          for side in self.sides:
              ksize = tuple(map(lambda v: math.ceil(v / side), x.size()[2:]))
              strides = tuple(map(lambda v: math.floor(v / side), x.size()[2:]))
              paddings = (math.floor(ksize[0] * side - x.size()[2]), math.floor(ksize[1] * side - x.size()[3]))
              output = nn.MaxPool2d(ksize, strides, paddings)(x)
              if out is None:
                  out = output.view(-1)
              else:
                  out = t.cat([out, output.view(-1)])
          return out

  • SPPNet結構
    

卷積

• PS中的濾鏡其實就是各類各樣的卷積核

什麼是維度

• 在一個空間中(無論是1D, 2D, 3D, 4D), 咱們要肯定該空間中的一個點須要的座標數量就是該空間的維度(dementionality)
• 舉個例子, 在一個美國的classroom中, 若是要完完整整地識別一個學生, 咱們須要他的first name, middle name, last name, 因此這個教室一個三維的空間
• 維度越高數據越複雜, 人理解起來也越困難, 可是若是能夠對數據進行降維的話, 能夠變得比較簡單, 好比, 在一個classroom中, 只須要first name就能夠肯定一個學生
• 數據降維
  • 線性(PCA)
  • 非線性(Manifold(能夠理解爲非線性版本的PCA))
    • 有LEE, ISOMAP等算法

      • ISOMAP算法的主要流程, 主要由KNN, Dijkstra, MDS(多維縮放算法)算法組成
        

      • 結果圖
        

• 對數據降維的補充
  • 好比咱們如今有48x48的人臉數據集2000個, 那麼每張圖片的特徵數量爲2304個, 若是咱們但願將一張圖片表示爲一個點的話, 咱們須要2304個維度才行, 這個太複雜了, 這個時候能夠先嚐試PCA降維, 若是效果很差, 再使用流型降維, 好比將圖像降到3維, 也就是說如今咱們能夠用3個座標來表示一個點了

損失函數(關於損失函數通常在關於細粒度分類中涉及到)

• sigmoid cross entropy loss
  • \[label \times -log(sigmoid(logits)) + (1 - label) \times -log(sigmoid(1 - logits))\]
• softmax cross entropy loss
  • \[-\sum_{k=1}^{m}label\times{log(softmax(logits))}\]
• KL divergence loss
  • cross entropy和KL-divergence做爲目標函數效果是同樣的，從數學上來講相差一個常數
• center loss
  • \[\sum_{i=1}^{m}{||x_{j}^{i}-c_{j}||}^2\]
• MSE
• ASE
• Focal Loss(FL)
  • Sigmoid 和 Softmax Loss 的改進版
  • \(FL(p)=-\alpha(1-p)^{\gamma}p\times log(q)\)
  • 其中 \(\alpha\) 負責調解正樣本與負樣本的平衡, \(\gamma\) 用於調解簡單樣本與困難樣本的平衡, \(\gamma\) 取 2, \(\alpha\) 在 0-1 之間
• 分佈指標(新指標)
  • x和座標分別是最後一層隱藏層的輸出(假設有兩個節點, x和y分別爲activation value)
  • 圖中的顏色爲分類的結果

熵(p爲true, q爲prediction)

• 熵衡量的是不肯定性, 事件發生的機率越小, 不肯定性越大, 信息量越大

• Entropy
  • 衡量一個分佈的不肯定性
  • \[\sum_i^{n}-p_i{\times}log(p_i)\]
• KL Divergence
  • 衡量兩個分佈的差別
  • \[\sum_{i}^np_ilog({{p_i}\over{q_i}})\]
• Cross-Entropy
  • 在分類問題的神經網絡中, 它的輸出就是一個機率分佈(通過softmax激活以後), 咱們給出的ont-hot的ground truth也是一個分佈, 使用Cross-Entropy來衡量兩個分佈的差別, 學習的目的就是讓差別最小化
  • Cross-Entropy是真實分佈的Entropy和兩個分佈的KL Divergence的和
  • \[-\sum_{i}^np_ilog(q_i)\]

應用方向

• 年齡估計
  • 安全領域, web網站同時估計訪問者的年齡約束訪問
  • 駕駛領域, 駕駛者是小孩子發出警報

並行

• 深度學習中的並行主要由兩種方式
  • 模型並行
    • 將model拆分放到多個計算機上, 使用模型並行主要是爲了解決model參數太多一臺計算機內存放不下的問題
  • 數據並行
    • 每臺計算機都部署同一個網絡模型, 可是數據是分不一樣批次的, 當數據量很大時頗有用, 可是應爲模型是整個部署到一臺計算機上的, 因此對於參數多的模型, 內存有很大的限制
  • 圖片示例
    

人體姿態識別

• 大體分爲兩種類別, 一種是 Top-Down Framework, 另一種是 Bottom-Up Framework
• Top-Down Framework
  • 對圖片先進行行人檢測, 獲得邊界框, 在對邊界框中的行人進行關鍵點定位, 將關鍵點鏈接起來, 可是容易受到人體檢測框影響
• Bottom-Up Framework
  • 對整張圖片先進行關鍵點定位, 再將獲得的關鍵點部位拼接成行人的姿態
• Ground Truth 的標籤通常會轉換爲 heatmap 的格式, 採用 gaussian kernel 進行轉換
• OpenPose 方法
  • 每個 heatmap( 論文中使用 S 表示 ) 有 k 個 channel, 每一個 channel 負責一個 part, 每個 channel 和輸入的圖片大小一致, 對於第 j 個 part, 在 \(S_j\) 裏面確定有最大值的地方, 那麼這個像素點就認爲是第 j 個 part 的位置
  • 除了置信度損失, 還有一個親和力損失, 也就是兩個 part 以前的方向信息, 用於以後的鏈接

Hard Negative Mining

• 假設在一個分類任務中, 該分類器對某一個物體的分類能力能查, 也就是 predict 和 ground truth 相差很大, 對應的 loss 也很大, 爲了讓網絡可以更好的區分這個類別, 把這個難樣本添加到負樣本中進行訓練, 可是這樣也會有一個問題, 漸漸地會致使樣本失衡。
• 別人的補充: Hard example每每是前景和背景區域的過渡部分，由於這些樣本很難區分，因此叫作Hard Example。
• 訓練過程
  • 咱們先用初始的正負樣本(通常是正樣本+與正樣本同規模的負樣本的一個子集)訓練分類器, 而後再用訓練出的分類器對樣本進行分類, 把其中負樣本中錯誤分類的那些樣本(hard negative)放入負樣本集合, 再繼續訓練分類器, 如此反覆, 直到達到中止條件(好比分類器性能再也不提高).

RetinaNet

• 創新點就是使用了 Focal Loss
• 網絡結構爲 ResNet + PRN + Faster R-CNN

SSD

• 和 YOLO 算法同樣, 對小物體檢測效果很差
  • 在不斷卷積的過程當中, feature map 會愈來愈小, 提取到的語義特徵也會愈來愈抽象和高級, 可是通過下采樣以後損失了不少的位置信息等, 對大物體沒有太大的影響, 由於物體大, 對應的 bbox 也就大, 出現一點誤差不會對結果產生太大的影響, 可是對於小物體則徹底不一樣, 物體小, 對應的 bbox 也就小, 若是 bbox 出現了偏差, bbox 發生了一點的偏移, 就可能致使物體飛到了 bbox 的外面。
• 特色
  • 使用了特徵金字塔
  • 借鑑了 Faster R-CNN 的 anchors(Faster R-CNN 是 9 個, 這裏是 4 個)
  • 框迴歸的損失函數和 Faster R-CNN 很像, 學習的是 anchor 到 gt 的偏移量
  • YOLO 只使用了最後一層進行預測(也就是沒有使用特徵金字塔), 採用的是全鏈接的方式, 而 SSD 使用了特徵金字塔, 有 6 個卷積層進行預測, 同時將全鏈接層替換成了全卷積層, 大大減小了參數, 提升了速度。
• 流程圖

其餘

• 深層網絡容易響應語義特, 淺層網絡容易響應圖像特徵, 也就是淺層網絡包含了更多的幾何信息, 包括物體的邊緣, 線條, 位置信息等, 因此不適合定位; 深層網絡由於獲得的feature map過小, 雖然能夠很好的捕捉語義特徵, 可是丟失了幾何特徵, 而淺層網絡, 包含了較多的幾何特徵, 可是語義特徵很少, 不利於圖像的分類
• 若是兩個像素的值很像相近, 則他們的信息量對很低, 由於不能提供不少的信息, 可是若是兩個像素的值相差比較大的話, 則包含的信息量會比較高
• DarkNet 出現的光暈問題, 是由於滑動 patch 中去最小值, 由於 patch 的移動的不肯定性致使邊緣在變化致使出現光暈現象