1000+公司業(yè)務(wù)癱瘓，損失過(guò)億，故障真正原因竟是這樣！
上周，技術(shù)圈又出現(xiàn)了一次轟動(dòng)性的大事故——阿里云重大技術(shù)故障，超過(guò)1000家企業(yè)系統(tǒng)癱瘓，損失過(guò)億！故障于北京時(shí)間2018年6月27日16：21左右爆發(fā)，16：50分開(kāi)始陸續(xù)恢復(fù)。官方給出的時(shí)間大概持續(xù)30分鐘，完全恢復(fù)實(shí)際用了一個(gè)多小時(shí)。上一次同等規(guī)模的故障是在2015年，攜程癱瘓了11小時(shí)，損失高達(dá)7000W+。
阿里云是國(guó)內(nèi)最大的云服務(wù)商，服務(wù)著制造、金融、政務(wù)、交通、醫(yī)療、電信、能源等眾多領(lǐng)域的領(lǐng)軍企業(yè)，包括中國(guó)聯(lián)通、12306、中石化、中石油、飛利浦、華大基因等大型企業(yè)客戶，以及微博、知乎、錘子科技等明星互聯(lián)網(wǎng)公司。在天貓雙11全球狂歡節(jié)、12306春運(yùn)購(gòu)票等極富挑戰(zhàn)的應(yīng)用場(chǎng)景中，阿里云均保持著良好的運(yùn)行紀(jì)錄。一般大型互聯(lián)網(wǎng)公司尤其是阿里云這樣支撐千億級(jí)業(yè)務(wù)規(guī)模的公司，對(duì)工程師權(quán)限有著極為嚴(yán)格的控制，不可能在實(shí)習(xí)生不熟悉的情況下，給予過(guò)高的管理權(quán)限，這是極其不專業(yè)的做法。這個(gè)說(shuō)法跟阿里云官方通告是比較吻合的。
次日凌晨時(shí)分，阿里云發(fā)布的說(shuō)明稱：“工程師團(tuán)隊(duì)在上線一次自動(dòng)化運(yùn)維新功能的時(shí)候，執(zhí)行了一項(xiàng)變更驗(yàn)證操作，這一項(xiàng)功能在測(cè)試環(huán)境驗(yàn)證中未出現(xiàn)問(wèn)題，上線生產(chǎn)環(huán)境中，觸發(fā)了一個(gè)未知的bug?！?/p>
不論何種原因引起，重要的是，本次故障的嚴(yán)重程度是非常高的，故障級(jí)別定義在S1，整個(gè)阿里集團(tuán)的核心業(yè)務(wù)，以及依托阿里云的公司，很多都受了影響。
互聯(lián)網(wǎng)時(shí)代，雖然不是每個(gè)公司都像阿里一樣擁有一個(gè)龐大復(fù)雜的架構(gòu)體系，會(huì)涉及到成千上萬(wàn)的配置以及幾十種技術(shù)的應(yīng)用，但是，事故的發(fā)生對(duì)每個(gè)公司來(lái)說(shuō)概率都是一樣的。
阿里云對(duì)于本次故障非常坦誠(chéng)：
"這次故障，沒(méi)有借口，我們不能也不該出現(xiàn)這樣的失誤！我們將認(rèn)真復(fù)盤(pán)改進(jìn)自動(dòng)化運(yùn)維技術(shù)和發(fā)布驗(yàn)證流程，敬畏每一行代碼，敬畏每一份托付。"
這樣的態(tài)度中小企業(yè)同樣值得學(xué)習(xí)，IT運(yùn)維無(wú)小事，容不得半點(diǎn)馬虎。也許一個(gè)小BUG，一個(gè)小病毒，甚至是工作人員一次不經(jīng)意的誤操作，就會(huì)造成小到幾臺(tái)電腦無(wú)法工作，大到整個(gè)公司網(wǎng)絡(luò)癱瘓的影響，甚至給公司業(yè)務(wù)帶來(lái)無(wú)法挽回的損失。如果能做到日常有專業(yè)人員例行維護(hù)，例行排查安全隱患，做好病毒查殺、軟件更新等等預(yù)防工作，那么會(huì)將事故發(fā)生率降低到最小。
IT運(yùn)維的最佳境界就是保障一切系統(tǒng)正常運(yùn)行，從不宕機(jī)，為企業(yè)正常運(yùn)轉(zhuǎn)保駕護(hù)航，而不僅僅是出了問(wèn)題才來(lái)“修修補(bǔ)補(bǔ)”。如果你的企業(yè)已經(jīng)有了可愛(ài)的運(yùn)維工程師，請(qǐng)珍惜他。如果不知道去哪里找專業(yè)的運(yùn)維小哥哥，那么IT無(wú)憂“共享IT部”就是你的最佳選擇——
上百位優(yōu)秀的IT運(yùn)維工程師，就在你身邊!花不到一個(gè)人工的錢(qián)請(qǐng)來(lái)一個(gè)專業(yè)團(tuán)隊(duì)，1分鐘響應(yīng)，5分鐘上門(mén)，出現(xiàn)故障第一時(shí)間修復(fù)，定期上門(mén)巡檢，提前消除故障隱患，妥妥的企業(yè)安全衛(wèi)士。
