1系統(tǒng)信息

2系統(tǒng)負責人

3名詞解釋

3.1系統(tǒng)運行環(huán)境：包括系統(tǒng)應(yīng)用服務(wù)、系統(tǒng)服務(wù)中間件、數(shù)據(jù)庫系統(tǒng)、服務(wù)器硬件資源、網(wǎng)絡(luò)環(huán)境等。

3.2系統(tǒng)故障：指系統(tǒng)運行環(huán)境發(fā)生異常或遭受非法入侵，導(dǎo)致系統(tǒng)不能正常使用或數(shù)據(jù)丟失等情況。

3.3移動存儲設(shè)備：指移動硬盤、U盤等可攜帶的存儲設(shè)備。

3.4網(wǎng)絡(luò)管理部門：指應(yīng)用系統(tǒng)所在單位內(nèi)專門負責網(wǎng)絡(luò)環(huán)境及硬件資源管理工作的部門。

3.5服務(wù)器管理部門：指應(yīng)用系統(tǒng)所在單位內(nèi)專門負責管理和維護服務(wù)器及相關(guān)附屬硬件資源的部門。

3.6異機備份：指在另一臺電腦中通過數(shù)據(jù)庫鏈接對數(shù)據(jù)庫服務(wù)器中的數(shù)據(jù)庫進行備份，備份文件留在該電腦中，以防止數(shù)據(jù)庫服務(wù)器發(fā)生損壞導(dǎo)致數(shù)據(jù)丟失。

4系統(tǒng)故障分類

5系統(tǒng)預(yù)防措施

5.1應(yīng)用程序備份

直接負責人負責應(yīng)用系統(tǒng)的程序備份工作，要求在部門SVN配置庫中保持系統(tǒng)程序最新版本。在進行程序修改和更新過程中必須保證服務(wù)器端和SVN配置庫中的程序版本一致。

間接負責人有責任及權(quán)利監(jiān)督檢查直接負責人的應(yīng)用系統(tǒng)程序備份工作。

5.2數(shù)據(jù)庫備份

直接負責人負責設(shè)置數(shù)據(jù)庫自動備份策略，并要求每天對備份文件進行檢查。備份基本原則：一是要求在數(shù)據(jù)庫服務(wù)器和異機同時備份數(shù)據(jù)庫；二是要求數(shù)據(jù)庫進行每天備份；三是要求定期刪除過期備份文件，以保證硬盤空間足夠產(chǎn)生新備份文件。

間接負責人有責任及權(quán)利監(jiān)督檢查直接負責人的數(shù)據(jù)庫備份工作。

5.3服務(wù)器操作系統(tǒng)賬號、密碼管理

直接負責人負責服務(wù)器端操作系統(tǒng)登錄賬號、密碼的管理工作，要求賬號和密碼要具有一定復(fù)雜度（字母、數(shù)字、符號混合使用），并定期進行更改，賬號和密碼未經(jīng)上級領(lǐng)導(dǎo)授權(quán)不得隨意告訴他人使用。

間接負責人有責任及權(quán)利監(jiān)督檢查直接負責人的賬號、密碼管理工作。

5.4應(yīng)用系統(tǒng)管理員賬號、密碼管理

直接負責人負責應(yīng)用系統(tǒng)（包括權(quán)限平臺、工作流平臺等軟件）管理員登錄賬號、密碼的管理工作，要求賬號和密碼要具有一定復(fù)雜度（字母、數(shù)字、符號混合使用），并定期進行更改，賬號和密碼未經(jīng)上級領(lǐng)導(dǎo)授權(quán)不得隨意告訴他人使用。

間接負責人有責任及權(quán)利監(jiān)督檢查間接負責人的賬號、密碼管理工作。

6系統(tǒng)應(yīng)急處理措施

6.1當系統(tǒng)發(fā)生故障時，系統(tǒng)直接負責人應(yīng)立即通知部門經(jīng)理，并即刻前往故障現(xiàn)場，如因特殊情況無法及時趕到，應(yīng)立即通知間接負責人代替前往。

6.2系統(tǒng)負責人到達故障現(xiàn)場后，應(yīng)首先判斷故障的類型和嚴重性，根據(jù)結(jié)論決定是否需要其他相關(guān)人等（部門經(jīng)理、另一系統(tǒng)負責人、其他相關(guān)部門負責人等）也立刻趕往現(xiàn)場協(xié)助排障，如有需要則立即電話通知。

6.3在故障現(xiàn)場，系統(tǒng)負責人全權(quán)指揮系統(tǒng)的應(yīng)急處理過程，根據(jù)故障類型安排相關(guān)人等的應(yīng)急處理工作。

6.4當發(fā)生應(yīng)用服務(wù)故障時，應(yīng)按如下步驟依次嘗試排障：

6.4.1嘗試重新啟動應(yīng)用服務(wù)，并檢查故障是否恢復(fù)；

6.4.2應(yīng)用服務(wù)啟動后，檢查其所占CPU和內(nèi)存大小，排查是否所占資源異常；

6.4.3檢查應(yīng)用服務(wù)相關(guān)日志文件，尋找故障發(fā)生原因；

6.4.4檢查操作系統(tǒng)相關(guān)日志文件，尋找故障發(fā)生原因，如有必要可重新啟動操作系統(tǒng)；

6.4.5檢查數(shù)據(jù)庫中的系統(tǒng)登錄記錄表，排查是否有異常登錄發(fā)生；

6.4.6檢查應(yīng)用程序部署文件，排查是否有文件異常上傳或改變；

6.4.7檢查應(yīng)用服務(wù)控制臺，排查是否有異常文件被部署并發(fā)布；

6.5當發(fā)生數(shù)據(jù)庫故障時，應(yīng)按如下步驟依次嘗試排障：

6.5.1不要重啟數(shù)據(jù)庫或數(shù)據(jù)庫應(yīng)用服務(wù)器；

6.5.2先檢查數(shù)據(jù)庫最近一次備份文件是否存在，如存在則先拷貝至移動存儲設(shè)備中一份，嘗試手動備份當前數(shù)據(jù)庫數(shù)據(jù)，并將備份文件拷貝至移動存儲設(shè)備中；

6.5.3如數(shù)據(jù)庫無法訪問，先登錄應(yīng)用服務(wù)控制臺，排查數(shù)據(jù)庫鏈接是否異常；

6.5.4使用PLSQL Developer嘗試連接數(shù)據(jù)庫，排查數(shù)據(jù)庫是否運行正常；

6.5.5檢查數(shù)據(jù)庫相關(guān)日志文件，排查數(shù)據(jù)庫是否運行正常；

6.5.6檢查數(shù)據(jù)庫中系統(tǒng)登錄記錄表，排查是否有異常登錄發(fā)生；

6.5.7嘗試重啟數(shù)據(jù)庫或數(shù)據(jù)庫應(yīng)用服務(wù)器，并檢查故障是否恢復(fù)；

6.5.8如有必要可重新安裝數(shù)據(jù)庫系統(tǒng)，并利用備份文件將原有業(yè)務(wù)數(shù)據(jù)恢復(fù)最新版本；

6.6當發(fā)生網(wǎng)絡(luò)故障時，應(yīng)按如下步驟依次嘗試排障：

6.6.1檢查服務(wù)器網(wǎng)卡、交換機等網(wǎng)絡(luò)設(shè)備，排查是否硬件損壞或松動；

6.6.2如確認是網(wǎng)絡(luò)故障，應(yīng)立即聯(lián)系網(wǎng)絡(luò)管理部門到達現(xiàn)場進行排障；

6.6.3網(wǎng)絡(luò)排障后，應(yīng)立即檢查應(yīng)用服務(wù)和數(shù)據(jù)庫訪問是否正常，并檢查數(shù)據(jù)庫備份文件是否缺失，如有上述情況發(fā)生應(yīng)立即予以補救；

6.7當發(fā)生服務(wù)器硬件故障時，應(yīng)按如下步驟依次嘗試排障：

6.7.1當發(fā)生服務(wù)器硬件故障時，如果服務(wù)器已經(jīng)關(guān)閉，不要擅自開機，以免因短路等原因?qū)Ψ?wù)器造成再次傷害；

6.7.2立即聯(lián)系服務(wù)器管理部門，要求其立刻派人到達故障現(xiàn)場對服務(wù)器及相關(guān)附屬硬件資源進行排查；

6.7.3故障排除后，應(yīng)立即對服務(wù)器上與應(yīng)用系統(tǒng)相關(guān)的重要文件、數(shù)據(jù)、程序等進行備份，備份應(yīng)采用移動存儲設(shè)備或網(wǎng)絡(luò)異機拷貝方式進行，以免硬件損壞導(dǎo)致信息丟失；

6.7.4備份工作完成后，應(yīng)對服務(wù)器上的應(yīng)用服務(wù)運行環(huán)境進行一次全面檢查，目的是排查硬件故障是否導(dǎo)致系統(tǒng)運行環(huán)境發(fā)生異常變化，如發(fā)生異常變化應(yīng)及時修復(fù)或調(diào)整；

6.8當發(fā)生系統(tǒng)或服務(wù)器遭受非法入侵時，應(yīng)按如下步驟依次嘗試排障：

6.8.1發(fā)現(xiàn)系統(tǒng)或服務(wù)器遭受非法入侵后，應(yīng)立即斷開網(wǎng)絡(luò)、關(guān)閉應(yīng)用服務(wù)，以防止被繼續(xù)入侵產(chǎn)生更大損失；

6.8.2檢查應(yīng)用系統(tǒng)運行環(huán)境和服務(wù)器，排查非法入侵的途徑和方式，認真檢查應(yīng)用系統(tǒng)、數(shù)據(jù)庫、服務(wù)器中是否留有病毒、木馬、人為存放的惡意后門程序等；

6.8.3緊急更改應(yīng)用系統(tǒng)、服務(wù)器操作系統(tǒng)等相關(guān)登錄賬號和密碼，防止再次遭受非法入侵；

6.8.4如有必要可暫時停止應(yīng)用服務(wù)的使用，尋找問題解決辦法，對所有管轄下的服務(wù)器進行緊急安全補救，確保其它服務(wù)器不發(fā)生同樣的非法入侵情況；

6.8.5對非法入侵的后果進行評估，如實向上匯報非法入侵情況和解決方案；

6.9系統(tǒng)故障排除后，現(xiàn)場系統(tǒng)負責人需填報一張“系統(tǒng)故障排除記錄表”，將本次故障情況、排障經(jīng)過、排障結(jié)果等情況如實填寫記錄在案，該表由系統(tǒng)負責人和部門經(jīng)理簽字確認，然后正式歸檔以備今后查閱對比使用。

7簽字頁

系統(tǒng)故障排除記錄表

?