早上,接到客戶電話,dynamics CRM不能用了,此客戶從開始安裝程序開始二次開發期間,因電源問題致使服務器屢次意外斷電,至今也不加UPS電源。前幾回,都不是很嚴重,服務器沒有大量文件損壞,操做系統還能正常,遠程均可以解決了。數據庫
這次,操做系統不正常了,看來問題大了去了。團隊人員趕過去,驚呆了。硬盤已壞了一塊,數據庫沒有備份。項目一直因種種緣由沒有驗收,徹底還原乾淨的系統咱們只要半小時,但客戶使用了一時間,有幾萬的數據。項目沒有驗收,先前管理機房人員已辭職,機房在一個全封閉的小倉庫中,沒有空調,單電源,沒有UPS。這種狀況,估計再好的服務器也會在高溫時掛機。服務器
還好服務器作的raid 5,一塊硬盤壞了沒有事,但發如今服務器不正常時,遭遇幾回意外關機,數據庫文件根本不能用,也沒有備份。學習
安先前經驗,從新恢復數據,處理幾回仍是數據質疑,最終去了日誌文件,解決了質疑問題。剛鬆了口氣,發現了更大問題。數據庫的數據出錯了,查詢前幾千條沒事,再多一條就報數據類型,數據值過大等錯誤。Delete,也無論用。不知各位碰到過這麼神奇的問題沒,我據說這狀況就頭大了。測試
此時,已過了下班時間,當團隊其餘人都據說此時,所有自動到達客戶現場,包括出差剛回濟南,包括忙着別的項目,從未接觸過此項目的技術人員。你們開始討論方案,分工合做,發現select 都不能查詢導出的數據,能夠經過數據庫角本生成數據。先將數據角本生成保存出來。一部分人還測試徹底解決數據庫問題,另外一部分人從新生成組織,作了一套全新干淨的系統,論證明驗怎樣經過角本數據還原全部數據。發現原來設計不到50人使用的系統,客戶已有200多人用CRM 與呼叫系統,4倍壓力,服務器怎麼能跑動了?再深刻分析數據發現,系統中有一些數據已出錯,角本不能直接有,要剔除錯誤數據,而且修正好再處理,作了不少年系統,第一次處理這樣的事。(可能之前都有備份吧)而且這樣處理,真是項目浩大工程。最後,發現數據庫不可能還原,只能手工修復數據了。操作系統
在多數公司中,若是碰到一個與本身無關工做,出現了要出很大力還不敢保證作好的事情,估計多數人會躲的遠遠的。讓我感動之處是,除了我(我在外地出差),都在現場積極處理,分工合做。作過dyanmics crm 多年的同仁們,若是給你一堆角本,剔除錯誤數據,再分析改正,還原生成到系統中,可能嗎?這此問題發生以前,我絕對不相信能搞好。但咱們的團隊作到了,微軟不讓開發着動數據庫,不少人都不清楚數據放在哪,共享數據在哪,相互關聯數據怎樣生成。新組織的實體相關數據的ID是會變的。全部這些問題,都在模擬測試一步步攻克,固然團隊加班熬夜付出就不談了。設計
這次事件,讓學深入學習到了,不能夠太縱容客戶,實際那是不負責任的;爲團隊成員感動,讓我看到團隊很強大,相信咱們之後會作得更好。另外一方面,對咱們雲產品CRM早日上線更強烈。日誌