常見算法在實際項目中的應用

時間 2019-11-19

標籤常見算法實際項目應用简体版

原文原文鏈接

近日Emanuele Viola在Stackexchange上提了這樣的一個問題，他但願有人可以列舉一些目前軟件、硬件中正在使用的算法的實際案例來證實算法的重要性，對於你們可能給到的回答，他還提出了幾點要求：php

使用這些算法的軟件或者硬件應該是被普遍應用的；
例子須要具體，並給出確切的系統、算法的引用地址；
在經典的本科生或者博士的課程中應該教過這些算法或者數據結構；

Vijay D的回覆得到了最佳答案，他的具體回覆內容以下：html

Linux內核中的基本數據結構和算法

鏈表、雙向鏈表和無鎖鏈表；
B+ 樹，代碼中的註釋將會告訴你一些教科書中不能學到的內容：

這是一個簡單的B+樹實現，我寫它的目的是做爲練習，並以此瞭解B+樹的工做原理。結果該實現發揮了它的實用價值。java

…node

一個不常常在教科書中說起的技巧：最小值應該放在右側，而不是左側。一個節點內全部被使用的槽位應該在左側，沒有使用的節點應該爲NUL，大部分的操做只遍歷一次全部的槽位，在第一個NUL處終止。linux

帶權重的有序列表用於互斥鎖、驅動等；

紅黑樹用於調度、虛擬內存管理、跟蹤文件描述符和目錄條目等；
區間樹
Radix樹，用於內存管理、NFS相關查找和網絡相關的功能；
radix樹的一個常見的用法是保存頁面結構體的指針；
優先級堆，文字上的描述，主要是在教科書中實現，用於control group系統；
包含指針的只容許簡單插入的靜態大小優先級堆，基於CLR（算法導論）第七章
哈希函數，引用Knuth和他的一篇論文：
Knuth建議選擇與機器字長所能表達的最大整數約成黃金比例的素數來作乘法散列，Chuck Lever 證明了這個技術的有效性；http://www.citi.umich.edu/techreports/reports/citi-tr-00-1.pdf

這些選擇的素數是位稀疏的，也就是說對他們的操做可使用位移和加法來替換機器中很慢的乘法操做；git
有些代碼，好比這個驅動，他們是本身實現的哈希函數。
哈希表，用於實現索引節點、文件系統完整性檢查等；
位數組，用於處理flags、中斷等，在Knuth第四卷中有對其特性的描述；
Semaphores 和 spin locks
二叉樹搜索用於中斷處理、登記緩存查找等；
使用B-樹進行二叉樹查找；
深度優先搜索和他的變體被應用於目錄配置；
在命名空間樹中執行一個修改過的深度優先算法，開始（和終止於）start_handle所肯定的節點。當與參數匹配的節點被發現之後，回調函數將會被調用。若是回調函數返回一個非空的值，搜索將會當即終止，這個值將會回傳給調用函數；

廣度優先搜索用於在運行時檢查鎖的正確性；
鏈表上的合併排序用於垃圾回收、文件系統管理等；
在某個驅動程序的庫函數裏，冒泡排序竟然也被實現了；
Knuth-Morris-Pratt 字符串匹配；

Knuth、Morris和 Pratt [1]實現了一個線性時間複雜度字符串匹配算法。該算法徹底規避了對轉換函數DELTA的顯式計算。其匹配時間爲O(n)（其中n是文本長度），只使用一個輔助函數PI[1…m]（其中m是模式的長度），模式的預處理時間是O(m)。PI這個數組容許DELTA函數在須要時能迅速運行。大致上，對任意狀態q=0,1,…,m和任意SIGMA中的字符」a」，PI[「q」]保存了獨立於」a」的信息，並用於計算DELTA(「q」, 「a」)。因爲PI這個數組只包含m個條目，而DELTA包含O(m|SIGMA|)個條目，咱們經過計算PI進而在預處理時間保存|SIGMA|的系數，而非計算DELTA。github

[1] Cormen, Leiserson, Rivest, Stein Introdcution to Algorithms, 2nd Edition, MIT Press正則表達式

[2] See finite automation theory算法

Boyer-Moore模式匹配，以下是引用和對其餘算法的使用建議；

Boyer-Moore字符串匹配算法:chrome

[1] A Fast String Searching Algorithm, R.S. Boyer and Moore. Communications of the Association for Computing Machinery, 20(10), 1977, pp. 762-772. http://www.cs.utexas.edu/users/moore/publications/fstrpos.pdf

[2] Handbook of Exact String Matching Algorithms, Thierry Lecroq, 2004 http://www-igm.univ-mlv.fr/~lecroq/string/string.pdf

注意：因爲Boyer-Moore（BM）自右向左作匹配，有一種可能性是一個匹配分佈在不一樣的塊中，這種狀況下是不能找到任何匹配的。

若是你想確保這樣的事情不會發生，使用Knuth-Pratt-Morris（KMP）算法來替代。也就是說，根據你的設置選擇合適的字符串查找算法。

若是你使用文本搜索架構來過濾、網絡入侵檢測（NIDS）或者任何安全爲目的，那麼選擇KMP。若是你關乎性能，好比你在分類數據包，並應用服務質量（QoS）策略，而且你不介意可能須要在分佈在多個片斷中匹配，而後就選擇BM。

Chromium 瀏覽器中的數據結構和算法

伸展樹

此樹會被分配策略參數化，這個策略負責在C的自由存儲空間和區域中分配列表，參見zone.h

Demo中使用了Voronoi圖
基於Bresenham算法的標籤管理

同時，代碼中還包含了一些第三方的算法和數據結構，例如：

編程語言類庫

C++ STL，包含的有列表、堆、棧、向量、排序、搜索和堆操做算法；
Java API 很是普遍，包含的太多；
Boost C++ 類庫，包含了諸如Boyer-Moore和Knuth-Morris-Pratt字符串匹配算法等；

分配和調度算法

最近最少使用算法有多種實現方式，在Linux內核中是基於列表實現的；
其餘可能須要瞭解的是先入先出、最不經常使用和輪詢；
VAX、VMS系統中大量使用FIFO的變體；
Richard Carr的時鐘算法被用於Linux中頁面幀替換；
Intel i860處理器中使用了隨機替換策略；
自適應緩存替換被用於一些IBM的存儲控制中，因爲專利緣由在PostgreSQL只有簡單的應用；
Knuth在TAOCP第一卷中提到的夥伴內存分配算法被用於Linux內核中，FreeBSD和Facebook都在使用jemalloc併發分配器；

*nix系統中的核心組件

grep和awk都實現了使用Thompson-McNaughton-Yamada構建算法實現從正則表達式中建立NFA；
tsort實現了拓撲排序；
fgrep實現了Aho-Corasick 字符串匹配算法；
GNU grep，據做者Mike Haertel所說，實現了Boyer-Moore算法；
Unix中的crypt(1)實現了啞謎機（Enigma Machine）中的加密算法的變種；
Doug Mcllroy基於和James合做的原型實現的Unix diff，比用來計算Levenshtein距離的標準動態規劃算法更好，Linux版本被用來計算最短編輯距離；

加密算法

Merkle樹，尤爲是Tiger Tree Hash的變種，用於點對點的程序，例如GTK Gnutella 和LimeWire;
MD5用於爲軟件包提供校驗碼，還用於*nix系統（Linux實現）中的完整性校驗，同時他還支持Windows和OS X系統；
OpenSSL實現了須要加密算法，諸如AES，Blowfish，DES，SHA-1，SHA-2，RSA，DES等；

編譯器

yacc和bison實現了LALR解析器；
支配算法用於基於SSA形式的最優化編譯器；
lex和flex將正則表達式編譯爲NFA；

壓縮和圖片處理

爲GIF圖片格式而出現的Lempel-Zivsraf算法在圖片處理程序中常常被應用，從一個簡單的*nix組件轉化爲一個複雜的程序；
運行長度編碼被用於生成PCX文件（用於Paintbrush這個程序中），壓縮BMP文件和TIFF文件；
小波壓縮（Wavelet壓縮）是JPEG 2000的基礎，因此全部生成JPEG 2000文件的數碼相機都是實現了這個算法；
Reed-Solomon糾錯用於Linux內核、CD驅動、條形碼讀取，而且結合卷積從航行團隊進行圖片傳輸；

衝突驅動條款學習算法（Conflict Driven Clause Learning）

自2000年以來，在工業標準中的SAT（布爾知足性問題）求解器的運行時間每一年都在成倍減小。這一發展的一個很是重要的緣由是衝突驅動條款學習算法（Conflict Driven Clause Learning）的使用，它結合了Davis Logemann和Loveland的約束編程和人工智能研究技術的原始論文中關於布爾約束傳播的算法。具體來講，工業建模中SAT被認爲是一個簡單的問題（見討論）。對我來講，這是近代最偉大的成功故事之一，由於它結合了先進的算法、巧妙的設計思路、實驗反饋，並以一致的共同努力來解決這個問題。Malik和Zhang的CACM論文是一個很好的閱讀材料。許多大學都在教授這個算法，但一般是在邏輯或形式化方法的課程中。

微博熱議

Databricks大數據公司聯合創始人@hashjoin首先並在微博上傳播了這個內容：

不少學生和軟件工程師都會好奇本身過去學習的算法有什麼實際應用的價值。這個StackExchange的回答列出了各類經典算法在幾個開源項目中的應用。http://t.cn/8kAP4yG 做者羅列出了從最基礎的hash table到字符串匹配和加密算法等在Chromium和Linux內核的代碼。查看開源代碼是學習算法實現一個好途徑。

你們也紛紛發表了本身的見解：

@GeniusVczh：

所謂的算法實現就跟背書同樣，因此若是不是爲了學習語法，千萬不要看那些帶代碼的編程書，或者編程書裏面的代碼。以學習爲目的的話，東西就本身作，而後本身用，用出翔了，你就知道他爲何很差了。

@左耳朵耗子：

說算法沒啥用的人基本上說明他只在簡單的堆砌業務功能代碼的井底中。

@薛正華-中國科學院：

我一直以爲在講述每個技術前，最好先讓你們知道這個技術能幹什麼，曾經幹過什麼，未來或許能用在什麼地方。這會增長你們對技術的興趣、理解和靈活運用，會讓你們學的更好。這挺重要