程序員

前言

成爲一名專業程序員的道路上，須要堅持練習、學習與積累，技術方面既要有必定的廣度，更要有本身的深度。

Phantomjs(Web自動化測試，服務端渲染等) berserkJS(基於Phantomjs的改進版本) SlimerJS CasperJS selenium HtmlUnit（開源的java 頁面分析工具，也是個Headless的瀏覽器） 安全相關

sql注入檢測：sqlmap、haviji 端口掃描：nmap 滲透測試：BurpLoader sqltools: sql漏洞利用工具 snort: 入侵檢測 Web服務器性能/壓力測試工具/負載均衡器

ab: ab是apache自帶的一款功能強大的測試工具 curl-loader: 真實模擬、測試Web負載 http_load: 程序很是小，解壓後也不到100K webbench: 是Linux下的一個網站壓力測試工具，最多能夠模擬3萬個併發鏈接去測試網站的負載能力。 Siege: 一款開源的壓力測試工具，能夠根據配置對一個WEB站點進行多用戶的併發訪問，記錄每一個用戶全部請求過程的相應時間，並在必定數量的併發訪問下重複進行。 squid（前端緩存），nginx（負載），nodejs（沒錯它也能夠，本身寫點代碼就能實現高性能的負載均衡器）：經常使用的負載均衡器 Piwik：開源網站訪問量統計系統 ClickHeat：開源的網站點擊狀況熱力圖 HAProxy：高性能TCP /HTTP負載均衡器 ElasticSearch：搜索引擎基於Lucene Page Speed SDK和YSLOW HAR Viewer: HAR分析工具 protractor：E2E（end to end）自動化測試工具 大數據處理/數據分析/分佈式工具

Hadoop：分佈式的文件系統，結合其MapReduce編程模型能夠用來作海量數據的批處理（Hive，Pig，HBase啥的就不說了），值得介紹的是Cloudera的Hadoop分支CDH5，基於YARN MRv2集成了Spark可直接用於生產環境的Hadoop，對於企業快速構建數據倉庫很是有用。 Spark：大規模數據處理框架（能夠應付企業中常見的三種數據處理場景：複雜的批量數據處理（batch data processing）；基於歷史數據的交互式查詢（interactive query）；基於實時數據流的數據處理（streaming data processing）），CSND有篇文章介紹的不錯 除了Spark，其餘幾個不錯的計算框架還有：Kylin，Flink，Drill Ceph:Linux分佈式文件系統（特色：無中心） Storm：實時流數據處理，能夠看下IBM的一篇介紹 （還有個Yahoo的S4，也是作流數據處理的） Druid: 實時數據分析存儲系統 Ambari: 大數據平臺搭建、監控利器；相似的還有CDH Tachyon：分佈式內存文件系統 Mesos：計算框架一個集羣管理器，提供了有效的、跨分佈式應用或框架的資源隔離和共享 Impala：新一代開源大數據分析引擎，提供Sql語義，比Hive強在速度上 presto: facebook的開源工具，大數據分佈式sql查詢引擎 SNAPPY：快速的數據壓縮系統，適用於Hadoop生態系統中 Kafka:高吞吐量的分佈式消息隊列系統 ActiveMQ:是Apache出品，最流行的，能力強勁的開源消息總線 MQTT:Message Queuing Telemetry Transport，消息隊列遙測傳輸）是IBM開發的一個即時通信協議，有可能成爲物聯網的重要組成部分 RabbitMQ：記得OpenStack就是用的這個東西吧 ZeroMQ：宣稱是將分佈式計算變得更簡單，是個分佈式消息隊列，能夠看下雲風的一篇文章的介紹 開源的日誌收集系統：scribe、chukwa、kafka、flume。這有一篇對比文章 Zookeeper：可靠的分佈式協調的開源項目 Databus：LinkedIn 實時低延遲數據抓取系統 數據源獲取：Flume、Google Refine、Needlebase、ScraperWiki、BloomReach 序列化技術：JSON、BSON、Thrift、Avro、Google Protocol Buffers NoSql：ScyllaDB（宣稱是世界上最快的NoSql）、Apache Casandra、MongoDB、Apache CouchDB、Redis、BigTable、HBase、Hypertable、Voldemort、Neo4j MapReduce相關：Hive、Pig、Cascading、Cascalog、mrjob、Caffeine、S四、MapR、Acunu、Flume、Kafka、Azkaban、Oozie、Greenplum 數據處理：R、Yahoo! Pipes、Mechanical Turk、Solr/ Lucene、ElasticSearch、Datameer、Bigsheets、Tinkerpop NLP天然語言處理：Natural Language Toolkit、Apache OpenNLP、Boilerpipe、OpenCalais 機器學習：TensorFlow（Google出品），WEKA、Mahout、scikits.learn、SkyTree 可視化技術：GraphViz、Processing、Protovis、Google Fusion Tables、Tableau、Highcharts、EChats（百度的還不錯）、Raphaël.js Kettle：開源的ETL工具 Pentaho：以工做流爲核心的開源BI系統 Mondrian：開源的Rolap服務器 Oozie：開源hadoop的工做流調度引擎，相似的還有：Azkaban 開源的數據分析可視化工具：Weka、Orange、KNIME Cobar：阿里巴巴的MySql分佈式中間件 數據清洗：data wrangler， Google Refine Web前端

 

Material Design: 谷歌出品，必屬精品 Vue.js: 借鑑了Angular及React的JS框架，設計理念較爲先進 GRUNT: js task runner Sea.js: js模塊化 knockout.js：MVVM開發前臺，綁定技術 Angular.js: 使用超動感HTML & JS開發WEB應用！ Highcharts.js，Flot:經常使用的Web圖表插件 NVD3: 基於d3.js的圖表庫 Raw：很是不錯的一款高級數據可視化工具 Rickshaw:時序圖標庫，可用於構建實時圖表 JavaScript InfoVis Toolkit：另外一款Web數據可視化插件 Pdf.js，在html中展示pdf ACE，CodeMirror：Html代碼編輯器（ACE甚好啊） NProcess：絢麗的加載進度條 impress.js：讓你製做出使人眩目的內容展現效果(相似的還有reveal) Threejs：3DWeb庫 Hightopo：基於Html5的2D、3D可視化UI庫 jQuery.dataTables.js:高度靈活的表格插件 Raphaël：js，canvas繪圖庫，後來發現百度指數的圖形就是用它繪出來的 director.js：js路由模塊，前端路由，Nodejs後端路由等，適合構造單頁應用 pace.js：頁面加載進度條 bower：Web包管理器 jsnice：有趣的js反編譯工具，猜壓縮後的變量名，http://www.jsnice.org/D3.js: 是一個基於JavaScript數據展現庫（相似的還有P5.js） Zepto.js：移動端替代jQuery的東東，固然也可使用jquery-mobile. UI框架：Foundation，Boostrap，Pure，EasyUI，Polymer 前段UI設計師必去的幾個網站：Dribbble，awwwards，unmatchedstyle，UIMaker Mozilla 開發者中心：https://developer.mozilla.org/en-US/ 圖標資源：IcoMoon（個人最愛），Font Awesome, Themify Icons，FreePik，Glyphicons artDialog:很是漂亮的對話框 AdminLTE：github上的一個開源項目，基於Boostrap3的後臺管理頁面框架 Respond.js：讓不懂愛的IE6-8支持響應式設計 require.js: js模塊加載庫 select2：比chosen具備更多特性的選擇框替代庫 AngularUI：集成angular.js的UI庫 normalize.css: 採用了現代化標準讓各瀏覽器渲染出的html保持一致的庫 CreateJS：Html5遊戲引擎 Less,Compass:簡化CSS開發 emojify.js:用於自動識別網頁上的Emoji文字並將其顯示爲圖像 simditor:一個不錯的開源的html編輯器，簡潔高效 Sencha: 基於html5的移動端開發框架 SuperScrollorama+TweenMax+skrollr:打造超酷的視差滾動效果網頁動畫 jquery-smooth-scroll:同上，平滑滾動插件 Animate.css:實現了各類動畫效果的css庫 Emmet:前端工程師必備，前身爲 Zen Coding React: facebook出品的js UI庫 highlight.js：專門用來作語法高亮的庫 GoJS: Html5交互式圖表庫，看demo更適合層次結構的圖表。 10 Pure CSS (Mostly) Flat Mobile Devices: http://marvelapp.github.io/devices.css/CodePen: http://codepen.io/ jsfiddle: http://jsfiddle.net/ 前端js，html，css測試利器 語言篇

 

折騰中：Scala、Python、Lua、JavaScript、Go

經常使用的IDE：IntelliJ IDEA(強烈推薦)，Eclipse，Netbeans fastutil: 性能更好的Java集合框架 Guava: 谷歌的Java工具包，應用普遍 Curator：Netflix公司開源的一個Zookeeper client library，用於簡化Zookeeper客戶端編程，如今已是apache下的一個獨立項目了。

Spark的HA也用的這貨。 Rx(Reactive Extensions)框架：Vert.x, RxJava(Android中用的比較多), Quasar FindBugs: 代碼靜態分析工具，找出代碼缺陷 Java反編譯工具：Luyten，JD-Gui Drools: 規則引擎 Jersey: Java RESTful 框架 canal: 阿里巴巴出品，binlog增量訂閱&消費組件 Web開發相關：Tomcat、Resin、Jetty、WebLogic等，經常使用的組件Struts，Spring，Hibernate Netty: 異步事件驅動網絡應用編程框架，用於高併發網絡編程比較好（NIO框架，spark 1.2.0就用netty替代了nio） MINA：簡單地開發高性能和高可靠性的網絡應用程序（也是個NIO框架），很多手遊服務端是用它開發的 jOOQ：java Orm框架 Janino: 超級小又快的Java編譯器，Spark的Tungsten引發用的它 Activiti:工做流引擎，相似的還有jBPM、Snaker Perfuse:是一個用戶界面包用來把有結構與無結構數據以具備交互性的可視化圖形展現出來. Gephi:複雜網絡分析軟件, 其主要用於各類網絡和複雜系統，動態和分層圖的交互可視化與探測開源工具 Nutch:知名的爬蟲項目，hadoop就是從這個項目中發展出來的 web-harvest：Web數據提取工具 POM工具：Maven+Artifactory Akka:一款基於actor模型實現的 併發處理框架 EclEmma：覆蓋測試工具 Shiro:安全框架 joda-time:簡化時間處理 parboiled:表達式解析 dozer: 深拷貝神器 dubbo: 阿里巴巴出品的分佈式服務框架 jackson databind: json序列化工具(fastjson,simplejson) Atomikos: 分佈式事務管理 BoneCP：性能很讚的數據庫鏈接池組件，聽說比c3p0快好多 ProGuard: obconfuscation tool, 強大的混淆工具 S-99：Scala相關的99個問題 Python

PyCharm:最佳Python IDE Eric,Eclipse+pydev,比較不錯的Python IDE PyWin:Win32 api編程包numpy科學計算包,主要用來處理大型矩陣計算等。此外有SciPy，Matplotlib GUI相關：PyQt，PyQwt supervisor:進程監控工具 PyGame: 基於Python的多媒體開發和遊戲軟件開發模塊 Web框架: Django 開源web開發框架，它鼓勵快速開發,並遵循MVC設計 Swift

Swift精選資料 43個優秀的開源項目 客戶端

糗事百科 Swift HackerNews Swift 知乎日報app Framework

Twitter框架 Mac下簡單HTTP Server Swifter 小工具

Swift Alarm Swift Note Swift RSS Reader Swift-PM2.5查詢app 遊戲

Flappy Swift FanFan Swift .NET

Xilium.CefGlue:基於CEF框架的.NET封裝，基於.NET開發Chrome內核瀏覽器 CefSharp：同上，有一款WebKit的封裝，C#和Js交互會更簡單 netz:免費的 .NET 可執行文件壓縮工具 SmartAssembly:變態的.net代碼優化混淆工具 NETDeob0：.net反混淆工具，真是魔高一尺道高一丈啊(還有個de4dot，在GitHub上，都是開源的) ILMerge：將全部引用的DLL和exe文件打成一個exe文件 ILSpy:開源.net程序反編譯工具 Javascript.NET：很不錯的js執行引擎，對v8作了封裝 NPOI: Excel操做 DotRAS:遠程訪問服務的模塊 WinHtmlEditor: Winform下的html編輯器 SmartThreadPool:使用C#實現的，帶高級特性的線程池 Snoop: WPF Spy Utility Autofac: 輕量級IoC框架 HtmlAgilityPack：Html解析利器 Quartz.NET：Job調度 HttpLib：@CodePlex，簡化http請求 SuperSocket：簡化Socket操做，基於他的還有個SuperWebSocket，能夠開發獨立的WebSocket服務器了 DocX：未安裝Office的狀況下操做Word文件 Dapper：輕量級的ORM類，性能不錯 HubbleDotNet：支持接入數據庫的全文搜索系統 fastJSON：@CodeProject，高性能的json序列化類 ZXing.NET：@CodePlex，QR，條形碼相關 Nancy：輕量級Http服務器，作個小型的Web應用能夠擺脫IIS嘍(Nancy.Viewengines.Razor,能夠加入Razor引擎) AntiXSS：微軟的XSS防護庫Microsoft Web Protection Library Jint：JavaScript解釋器 CS-Script：將C#代碼文件做爲腳本執行 Jexus：Linux下 高性能、易用、免費的ASP.NET服務器 Clay：將dynamic發揮的更加靈活，像寫js同樣寫C# DynamicJSON：沒必要定義數據模型獲取json數據 SharpPcap：C#版的WinPcap調用端，牛逼的網絡包分析庫（自帶PacketNotNet用於包協議分析） Roslyn：C#，VB編譯器 ImageResizer: 服務端自由控制圖片大小，真乃神器也，對手機端傳小圖，PC端傳大圖，CMS用它很方便 UI相關：DevExpress, Fluent(Office 07風格), mui（Modern UI for WPF） NetSparkle：應用自動更新組件 ConfuserEx: 開源.net混淆工具 ServiceStack: 開源高性能Web服務框架，可用於構建高性能的REST服務 Expression Evaluator：Eval for C#,處理字符串表達式 http://nugetmusthaves.com/Reactive Extensions (Rx):異步，事件驅動編程包， Rx = Observables + LINQ + Schedulers C & C++

Thrift:用來進行可擴展且跨語言的服務的開發(相似的還有個Avro，Google protobuf)。 libevent:是一個事件觸發的網絡庫，適用於windows、linux、bsd等多種平臺，內部使用select、epoll、kqueue等系統調用管理事件機制。（對了還有個libev呢） Boost:很少說了，準C++標準庫 Valgrind\Ptmalloc\Purify: 調試工具 NetworkServer架構：acceptor->dispatcher->worker(這個不算工具哦) POCO - 開源的C++類庫及應用程序框架的集合,它主要提供簡單的、快速的網絡和可移植應用程序 breakpad:崩潰轉儲和分析模塊，不少crashreport會用到 UI界面相關：MFC、BCG和QT這類的就不說了，高端一點的還有Html和DirectUI技術：libcef（基於chrome內核的，想一想使用html5開發頁面，還真有點小激動呢）、HtmlLayout、Duilib、Bolt，非C++的，還有node-webkit也不錯，集成了node和webkit內核。 其餘

遊戲開發相關

MINA：使用Java開發手遊和頁遊服務器(對了還有Netty，也很猛的，都是基於NIO的) HP-Socket：見有有些頁遊遊戲使用這個構建的Unreal：虛幻引擎，C++，基於這個遊戲的引擎不少OGRE：大名鼎鼎的3D圖形渲染引擎。天龍八部OL,火炬之光等很多遊戲都使用了這個引擎OpenVDB：夢工場C++的特效庫，開源的 cocos2d：跨平臺2D遊戲引擎 unity3d：跨平臺3D遊戲引擎，很火的哦 Nodejs：也有很多使用它來開發手遊和也有服務器（網易的Pomelo） 日誌聚合，分佈式日誌收集

Scribe：Facebook的（nodejs + scribe + inotify 同步日誌） logstash:強大的日誌收集系統，能夠基於logstash+kibana+elasticsearch+redis開發強大的日誌分析平臺 log.io: nodejs開發的實時日誌收集系統 RTP,實時傳輸協議與音視頻

RTP，RTCP，RTSP-> librtp，JRTPLIB(遵循了RFC1889標準) 環形緩衝區，實時數據傳輸用 SDL,ffmpeg,live555,Speex Red5:用Java開發開源的Flash流媒體服務器。它支持：把音頻（MP3）和視頻（FLV）轉換成播放流； 錄製客戶端播放流（只支持FLV）；共享對象；現場直播流發佈；遠程調用。