文本分析 - 聚類分析 （數據挖掘）

 

 

文本分析，在數據挖掘，甚至是深度學習中很重要的分支研究領域。以下運用R語言，經過採用文本類似度算法Jaro-Winkler Distance，能實現：

在題庫中查找出類似度高的題並輸出自動聚類的結果，從而提煉出練習重點，提升閱讀效率。

 

## 尋找練習重點
library('xlsx')
library('DBI')
library('RSQLite')
library('ff')
library('bit')
library('RecordLinkage')
library('stringr')
library('plyr')

# 讀取指定題目文件
file <- "D:/data/Q_1.xlsx"
Q <- read.xlsx(file, 1, encoding = "UTF-8")

# 按照規則尋找類似度等於或者高於80%的題
PickOutGroup <- function() {
  {
    #NO_B <- list()
    #PickingList_B <- list()
    i = 1
    for (i in 1:length(Q$題號)) {
      Q_Main1 <- Q$題幹[i] %>% as.character()
      Q_Branches1 <- Q$選項[i] %>% as.character()
      Q_Main_len <- Q$題幹長度[i] %>% as.numeric()
      Q_list <- list()
      Q_list[i] <- Q$題號[i] %>% as.numeric()
      a = 1
      for (a in 1:length(Q$題號)) {
        b = a + 1
        Q_list_Pick <- Q$題號[b] %>% as.numeric()
        # 題幹
        Q_Main2 <- Q$題幹[b]
        Q_Main_scores <- jarowinkler(Q_Main1, Q_Main2) %>% as.numeric()
        # 選項
        Q_Branches2 <- Q$選項[b]
        Q_Branches_scores <- jarowinkler(Q_Branches1, Q_Branches2) %>% as.numeric()
        # 題幹長度
        Q_Main_Len <- Q$題幹長度[b] %>% as.numeric()
        Q_Main_length_Con1 <- if (is.na((Q_Main_len >= as.numeric(Q_Main_Len - 10)) %>% as.logical())) { FALSE } else { TRUE }
        Q_Main_length_Con2 <- if (is.na((Q_Main_len <= as.numeric(Q_Main_Len + 10)) %>% as.logical())) { FALSE } else { TRUE }
        Q_Main_length <- tryCatch(if ((Q_Main_length_Con1) & (Q_Main_length_Con2)) { "Yes" } else { "No" }, error = function(e) { cat("ERROR:", conditionMessage((e))) })
        #將類似選項加入列表
        Q_list_Con1 <- (if (as.numeric(length(Q_Main_scores)) == 0) { FALSE } else { Q_Main_scores >= 0.8 }) %>% as.logical()
        Q_list_Con2 <- (if (as.numeric(length(Q_Branches_scores)) == 0) { FALSE } else { Q_Branches_scores >= 0.8 }) %>% as.logical()
        Q_list_Con3 <- (Q_Main_length == "Yes") %>% as.logical()
        Q_list[b] <- tryCatch(if ((Q_list_Con1) & (Q_list_Con2) & (Q_list_Con3)) { Q_list_Pick } else { 0 }, error = function(e) { cat("ERROR:", conditionMessage((e))) })
        a = a + 1
      }
      NO <- Q$題號[i] %>% as.numeric()
      Q_list <- str_c(Q_list, sep = "", collapse = ";") %>% as.character() %>% gsub(pattern = ";0", replacement = "", .) %>% gsub(pattern = "NULL;", replacement = "", .)
      PickingList <- data.frame(NO = NO, PickingList = Q_list)
      unique(write.csv(PickingList, "D:/data/Q_2.csv", append = T))
    }
    i = i + 1
  }
}

# 計算代碼運行時間
system.time(PickOutGroup())

　

參考：

1. 實際操做視頻：https://v.kuaishou.com/70L8Jg

      

 

2. 「文本類似度算法Jaro-Winkler Distance」 介紹

       Jaro-Winkler Distance是一個度量兩個字符序列之間的編輯距離的字符串度量標準，是由William E. Winkler在1990年提出的Jaro Distance度量標準的一種變體。Jaro Distance是兩個單詞之間由一個轉換爲另外一個所需的單字符轉換的最小數量。Jaro-Winkler Distance經過前綴因子使Jaro Distance相同時共同前綴長度越大的類似度越高。Jaro–Winkler Distance越小，兩個字符串越類似。若是分數是0，則表示徹底不一樣，分數爲1則表示徹底匹配。Jaro–Winkler類似度是1 - Jaro–Winkler Distance。其公式以下：