數據挖掘工程師筆試及答案整理

2013百度校園招聘數據挖掘工程師

1、簡答題（30分）
一、簡述數據庫操做的步驟（10分）

步驟：創建數據庫鏈接、打開數據庫鏈接、創建數據庫命令、運行數據庫命令、保存數據庫命令、關閉數據庫鏈接。

經萍萍提醒，瞭解到應該把preparedStatement預處理也考慮在數據庫的操做步驟中。此外，對實時性要求不強時，可使用數據庫緩存。

二、TCP/IP的四層結構（10分）

三、什麼是MVC結構，簡要介紹各層結構的做用（10分）

Model、view、control。

我以前有寫過一篇《MVC層次的劃分》

2、算法與程序設計（45分）
一、由a-z、0-9組成3位的字符密碼，設計一個算法，列出並打印全部可能的密碼組合（可用僞代碼、C、C++、Java實現）（15分）

把a-z,0-9共（26+10）個字符作成一個數組，而後用三個for循環遍歷便可。每一層的遍歷都是從數組的第0位開始。

二、實現字符串反轉函數（15分）

#include <iostream>
#include <string>
using namespace std;

void main(){

    string s = "abcdefghijklm";
    cout <<  s << endl;
    int len = s.length();
    char temp = 'a';
    for(int i = 0; i < len/2; i++){
        temp = s[i];
        s[i] = s[len - 1 - i];
        s[len - 1 - i] = temp;
    }
    
    cout << s;
    
}

三、百度鳳巢系統，廣告客戶購買一系列關鍵詞，數據結構以下：（15分）
User1 手機 智能手機 iphone 臺式機 …
User2 手機 iphone 筆記本電腦 三星手機 …
User3 htc 平板電腦 手機 …
（1）根據以上數據結構對關鍵詞進行KMeans聚類，請列出關鍵詞的向量表示、距離公式和KMeans算法的總體步驟

KMeans方法一個很重要的部分就是如何定義距離，而距離又牽扯到特徵向量的定義，畢竟距離是對兩個特徵向量進行衡量。

本題中，咱們創建一個table。

只要兩個關鍵詞在同一個user的描述中出現，咱們就將它在相應的表格的位置加1.

這樣咱們就有了每一個關鍵詞的特徵向量。

例如：

<手機>=（1,1,2,1,1,1,0,0）

<智能手機> = （1,1,1,1,0,0,0,0）

咱們使用夾角餘弦公式來計算這兩個向量的距離。

夾角餘弦公式：

設有兩個向量a和b，，

因此，cos<手機，智能機>=（1+1+2+1）/(sqrt(7+2^2)*sqrt(4))=0.75

cos<手機，iphone>=(2+1+2+1+1+1)/(sqrt(7+2^2)*sqrt(2^2+5))=0.80

夾角餘弦值越大說明二者之間的夾角越小，夾角越小說明相關度越高。

經過夾角餘弦值咱們能夠計算出每兩個關鍵詞之間的距離。

特徵向量和距離計算公式的選擇（還有其餘不少種距離計算方式，各有其適應的應用場所）完成後，就能夠進入KMeans算法。

KMeans算法有兩個主要步驟：一、肯定k箇中心點；二、計算各個點與中心點的距離，而後貼上類標，而後針對各個類，從新計算其中心點的位置。

初始化時，能夠設定k箇中心點的位置爲隨機值，也能夠全賦值爲0。

KMeans的實現代碼有不少，這裏就不寫了。

不過值得一提的是MapReduce模型並不適合計算KMeans這類遞歸型的算法，MR最拿手的仍是流水型的算法。KMeans可使用MPI模型很方便的計算（慶幸的是YARN中彷佛開始支持MPI模型了），因此hadoop上如今也能夠方便的寫高效算法了（可是要是MRv2哦）。

（2）計算給定關鍵詞與客戶關鍵詞的文字相關性，請列出關鍵詞與客戶的表達符號和計算公式

 這邊的文字相關性不知道是否是指非語義的相關性，而只是詞頻統計上的相關性？若是是語義相關的，可能還須要引入topic model來作輔助（能夠看一下百度搜索研發部官方博客的這篇【語義主題計算】）……

若是是指詞頻統計的話，我的認爲可使用Jaccard係數來計算。

經過第一問中的表格，咱們能夠知道某個關鍵詞的向量，如今將這個向量作一個簡單的變化：若是某個份量不爲0則記爲1，表示包含這個份量元素，這樣某個關鍵詞就能夠變成一些詞語的集合，記爲A。

客戶輸入的關鍵詞列表也能夠表示爲一個集合，記爲B

Jaccard係數的計算方法是：

因此，假設某個用戶userX的關鍵詞表達爲：{三星手機，手機，平板電腦}

那麼，關鍵詞「手機」與userX的關鍵詞之間的相關性爲：

J("手機"，「userX關鍵詞」)=|{三星手機，手機，平板電腦}|/|{手機，智能手機，iphone，臺式機，筆記本電腦，三星手機，HTC，平板電腦}| = 3/8

關鍵詞「三星手機」與用戶userX的關鍵詞之間的相關性爲：

J("三星手機"，「userX關鍵詞」)=|{手機，三星手機}|/|{手機，三星手機，iphone，筆記本電腦，平板電腦}| = 2/5

 3、系統設計題（25分）
一維數據的擬合，給定數據集{xi,yi}(i=1,…,n)，xi是訓練數據，yi是對應的預期值。擬使用線性、二次、高次等函數進行擬合
線性：f(x)=ax+b
二次：f(x)=ax^2+bx+c
三次：f(x)=ax^3+bx^2+cx+d
（1）請依次列出線性、二次、三次擬合的偏差函數表達式（2分）

偏差函數的計算公式爲：

係數1/2只是爲了以後求導的時候方便約掉而已。

那分別將線性、二次、三次函數帶入至公式中f(x_i)的位置，就能夠獲得它們的偏差函數表達式了。
（2）按照梯度降低法進行擬合，請給出具體的推導過程。（7分）

假設咱們樣本集的大小爲m，每一個樣本的特徵向量爲X₁=(x₁₁,x₁₂, ..., x_1n)。

那麼整個樣本集能夠表示爲一個矩陣：

其中每一行爲一個樣本向量。

咱們假設係數爲θ，則有係數向量：

對於第 i 個樣本，咱們定義偏差變量爲

咱們能夠計算cost function：

因爲θ是一個n維向量，因此對每個份量求偏導：

梯度降低的精華就在於下面這個式子：

這個式子是什麼意思呢？是將係數減去導數（導數前的係數先暫時不用理會），爲何是減去導數？咱們看一個二維的例子。

假設有一個曲線如圖所示：

假設咱們處在紅色的點上，那麼獲得的導數是個負值。此時，我在當前位置（x軸）的基礎上減去一個負值，就至關於加上了一個正值，那麼就朝導數爲0的位置移動了一些。

若是當前所處的位置是在最低點的右邊，那麼就是減去一個正值（導數爲正），至關於往左移動了一些距離，也是朝着導數爲0的位置移動了一些。

這就是梯度降低最本質的思想。

那麼到底一次該移動多少呢？就是又導數前面的係數α來決定的。

如今咱們再來看梯度降低的式子，若是寫成矩陣計算的形式（使用隱式循環來實現），那麼就有：

這邊會有點棘手，由於j肯定時，x_ij爲一個數值（即，樣本的第j個份量），Xθ-Y爲一個m*1維的列向量（暫時稱做「偏差向量」）。

括號裏面的部分就至關於：

第1個樣本第j個份量*偏差向量 + 第2個樣本第j個份量*偏差向量 + ... + 第m個樣本第j個份量*偏差向量

咱們來考察一下式子中各個部分的矩陣形式。

當j固定時，至關於對樣本空間作了一個縱向切片，即：

那麼此時的x_ij就是m*1向量，因此爲了獲得1*1的形式，咱們須要拼湊 (1*m)*(m*1)的矩陣運算，所以有：

若是把θ向量的每一個份量統一考慮，則有：

關於θ向量的不斷更新的終止條件，通常以偏差範圍（如95%）或者迭代次數（如5000次）進行設定。

梯度降低的有點是：

不像矩陣解法那麼須要空間（由於矩陣解法須要求矩陣的逆）

缺點是：若是趕上非凸函數，可能會陷入局部最優解中。對於這種狀況，能夠嘗試幾回隨機的初始θ，看最後convergence時，獲得的向量是不是類似的。

（3）下圖給出了線性、二次和七次擬合的效果圖。請說明進行數據擬合時，須要考慮哪些問題。在本例中，你選擇哪一種擬合函數。（8分）

由於是在網上找的題目，沒有看到圖片是長什麼樣。大體可能有以下幾種狀況。

若是是如上三幅圖的話，固然是選擇中間的模型。

欠擬合的發生通常是由於假設的模型過於簡單。而過擬合的緣由則是模型過於複雜且訓練數據量太少。

對於欠擬合，能夠增長模型的複雜性，例如引入更多的特徵向量，或者高次方模型。

對於過擬合，能夠增長訓練的數據，又或者增長一個L2 penalty，用以約束變量的係數以實現下降模型複雜度的目的。

L2 penalty就是：

（注意不要把常數項係數也包括進來，這裏假設常數項是θ₀）

另外常見的penalty還有L1型的：

（L1型的主要是作稀疏化，即sparsity）

二者爲何會有這樣做用上的區別能夠找一下【統計之都】上的相關文章看一下。我也還沒弄懂底層的緣由是什麼。

（4）給出實驗方案（8分）

2013網易實習生招聘 崗位：數據挖掘工程師
1、問答題
a) 欠擬合和過擬合的緣由分別有哪些？如何避免？

欠擬合：模型過於簡單；過擬合：模型過於複雜，且訓練數據太少。
b) 決策樹的父節點和子節點的熵的大小？請解釋緣由。 

父節點的熵>子節點的熵

c) 衡量分類算法的準確率，召回率，F1值。

d) 舉例序列模式挖掘算法有哪些？以及他們的應用場景。

DTW（動態事件規整算法）：語音識別領域，判斷兩端序列是不是同一個單詞。

Holt-Winters（三次指數平滑法）：對時間序列進行預測。時間序列的趨勢、季節性。

Apriori

Generalized Sequential Pattern(廣義序貫模式)

PrefixSpan

 

 

 2、計算題
1) 給你一組向量a，b
a) 計算兩者歐氏距離 

(a-b)(a-b)^T

即：

b) 計算兩者曼哈頓距離 

2) 給你一組向量a，b，c，d
a) 計算a，b的Jaccard類似係數

 b) 計算c，d的向量空間餘弦類似度 

c) 計算c、d的皮爾森相關係數

 即線性相關係數。

或者

 3、（題目記得不是很清楚）
一個文檔-詞矩陣，給你一個變換公式tfij’=tfij*log(m/dfi)；其中tfij表明單詞i在文檔f中的頻率，m表明文檔數，dfi含有單詞i的文檔頻率。
1) 只有一個單詞只存在文檔中，轉換的結果？（具體問題忘記） 

2) 有多個單詞存在在多個文檔中，轉換的結果？（具體問題忘記） 

3) 公式變換的目的？

4、推導樸素貝葉斯分類P(c|d)，文檔d（由若干word組成），求該文檔屬於類別c的機率，
並說明公式中哪些機率能夠利用訓練集計算獲得。

 5、給你五張人臉圖片。
能夠抽取哪些特徵？按照列出的特徵，寫出第一個和最後一個用戶的特徵向量。

 6、考查ID3算法，根據天氣分類outlook/temperature/humidity/windy。（給你一張離散型
的圖表數據，通常學過ID3的應該都知道） 

a) 哪個屬性做爲第一個分類屬性？ 

b) 畫出二層決策樹。 

7、購物籃事物（關聯規則）
一個表格：事物ID/購買項。
1) 提取出關聯規則的最大數量是多少？（包括0支持度的規則）

 2) 提取的頻繁項集的最大長度（最小支持>0） 

3) 找出能提取出4-項集的最大數量表達式
4) 找出一個具備最大支持度的項集（長度爲2或更大） 

5) 找出一對項a，b，使得{a}->{b}和{b}->{a}有相同置信度。

 8、一個發佈優惠劵的網站，如何給用戶作出合適的推薦？有哪些方法？設計一個合適的系統（線下數據處理，存放，線上如何查詢？）