類似度斷定 - SQL - 關係型數據庫

 

Structured Query Language  —— 「結構化查詢語言簡稱SQL，是一種特殊目的的編程語言，是一種數據庫查詢和程序設計語言，用於存取數據以及查詢、更新和管理關係數據庫系統。

結構化查詢語言是高級的非過程化編程語言，容許用戶在高層數據結構上工做。它不要求用戶指定對數據的存放方法，也不須要用戶瞭解具體的數據存放方式，因此具備徹底不一樣底層結構的不一樣數據庫系統, 能夠使用相同的結構化查詢語言做爲數據輸入與管理的接口。結構化查詢語言語句能夠嵌套，這使它具備極大的靈活性和強大的功能。」

 

SQL雖然其是主要針對關係型數據庫的查詢語言，也能夠經過「CREATE FUNCTION」自定義函數邏輯，在文本分析的領域發揮做用，以下是對於文字類似度的自定義函數：

 

• 考慮字符：

 

CREATE FUNCTION DBO.FN_Resemble
(@Cloumna NVARCHAR(MAX),
@Cloumnb NVARCHAR(MAX)
)
RETURNS FLOAT
AS
BEGIN
DECLARE @num FLOAT,@len int
SET @Cloumna=ISNULL(@Cloumna,0)
SET @Cloumnb=ISNULL(@Cloumnb,0)
SET @len=1
SET @num=0
WHILE(LEN(@Cloumna)<>0 AND LEN(@CloumnB)<>0)
BEGIN
WHILE(@len<=LEN(@Cloumna))
BEGIN
DECLARE @a NVARCHAR(4)
SET @a=''
SET @a=SUBSTRING(@Cloumna,@len,1)
IF(CHARINDEX(@a,@CloumnB)>0)
BEGIN
SET @num=@num+1
END
SET @len=@len+1 
END
SET @num=@num*1.0/LEN(@Cloumna)
BREAK
END

RETURN @num
END
go

 

• 計算字符順序

CREATE FUNCTION DBO.FN_Resemble_order
(@Cloumna NVARCHAR(MAX),
@Cloumnb NVARCHAR(MAX)
)
RETURNS FLOAT
AS
BEGIN
DECLARE @num FLOAT,@len int
SET @Cloumna=ISNULL(@Cloumna,0)
SET @Cloumnb=ISNULL(@Cloumnb,0)
SET @len=1
SET @num=0
WHILE(LEN(@Cloumna)<>0 AND LEN(@CloumnB)<>0)
BEGIN
DECLARE @a NVARCHAR(4)
DECLARE @b NVARCHAR(4)
IF(LEN(@Cloumna)>=LEN(@CloumnB))
BEGIN
WHILE(@len<=LEN(@CloumnB))
BEGIN

SET @a=''
SET @a=SUBSTRING(@Cloumna,@len,1)
SET @b=''
SET @b=SUBSTRING(@CloumnB,@len,1)
IF(@a=@b)
BEGIN
SET @num=@num+1
END
ELSE
BEGIN
break
END
SET @len=@len+1 
END
END
ELSE IF (LEN(@Cloumna)<LEN(@CloumnB))
BEGIN
WHILE(@len<=LEN(@Cloumna))
BEGIN
SET @a=''
SET @a=SUBSTRING(@Cloumna,@len,1)
SET @b=''
SET @b=SUBSTRING(@CloumnB,@len,1)
IF(@a=@b)
BEGIN
SET @num=@num+1
END
ELSE
BEGIN
break
END
SET @len=@len+1 
END

END
SET @num=@num*1.0/LEN(@Cloumna)
BREAK
END
RETURN @num
END
go

　　

• 既考慮所包含的字符，也考慮其出現的順序

CREATE FUNCTION DBO.FN_Resemble_onebyone
(@Cloumna NVARCHAR(MAX),
@Cloumnb NVARCHAR(MAX)
)
RETURNS FLOAT
AS
BEGIN
DECLARE @num FLOAT,@len int
SET @Cloumna=ISNULL(@Cloumna,0)
SET @Cloumnb=ISNULL(@Cloumnb,0)
SET @len=1
SET @num=0
WHILE(LEN(@Cloumna)<>0 AND LEN(@CloumnB)<>0)
BEGIN
DECLARE @a NVARCHAR(4)
DECLARE @b NVARCHAR(4)
IF(LEN(@Cloumna)>=LEN(@CloumnB))
BEGIN
WHILE(@len<=LEN(@CloumnB))
BEGIN

SET @a=''
SET @a=SUBSTRING(@Cloumna,@len,1)
SET @b=''
SET @b=SUBSTRING(@CloumnB,@len,1)
IF(@a=@b)
BEGIN
SET @num=@num+1
END
SET @len=@len+1 
END
END
ELSE IF (LEN(@Cloumna)<LEN(@CloumnB))
BEGIN
WHILE(@len<=LEN(@Cloumna))
BEGIN
SET @a=''
SET @a=SUBSTRING(@Cloumna,@len,1)
SET @b=''
SET @b=SUBSTRING(@CloumnB,@len,1)
IF(@a=@b)
BEGIN
SET @num=@num+1
END
SET @len=@len+1 
END

END
SET @num=@num*1.0/LEN(@Cloumna)
BREAK
END
RETURN @num
END
go

　　

特別地，在關係型數據庫中，運用SQL 自定義函數達到數據處理（數據治理）的目的是ETL的基本功能之一；也能夠爲數據分析的查詢取數或者關鍵指標的換算打基礎。

同時，在數據科學領域，數據分析大多數狀況，R語言或者Python會主要來承擔此類任務，在特殊狀況下，這些語言也有包含有相應的函數以幫助分析師作前期的數據清理（相似於SQL的自定義功能）。

相比封裝的函數，SQL的這種功能會相對靈活些，更可以根據具體的業務邏輯編寫。