平時作個記錄,在工做過程當中針對大數據查詢的一些小技巧數據庫
-----------SELECT-------------緩存
1.必要的冗餘字段,減小關聯查詢服務器
2.關鍵查詢字段必須加索引 不然百萬級以上你就別想跑出來了,一會兒吃掉你內存併發
3.top使用的時候 先用MAX判斷下 ,由於數據庫是隔一段時間刪除以前的數據,若是top1 在百萬級以上 你查詢一條根本不存在的數據, 時間會特別久 甚至吃光你的內存大數據
4.多用SQL監控語句 查看數據庫查詢不合理的地方,具體查詢SQL在我上一條博客索引
-----------Insert-------------內存
1.批量插入技巧博客
若是咱們一條一條插入數據,針對併發大,會丟失數據,而且對服務器內存和CPU損耗極大 因此咱們通常採用緩存插入監控
1.程序級緩存,能夠先把數據緩存到一個List或者HASH,判斷條數到達某個設定值,利用.NET的SqlBulkCopy插入List
2.NOSQL緩存,把數據先插入到Redis 而後用另外的程序去讀取插入
等待繼續更新...