■サーバー障害詳細報告

・4月17日(月)
22時頃に突然サーバーが再起動する。
サーバーにモニターを接続し原因調査に着手。
ログなどを見ようとしていたところ再び再起動がかかる。
3回ほど再起動を繰り返した後、まったく電源が入らなくなる。
起動時のビープ音すら鳴らず画面出力もない為、マザーボード故障と判断
メンテナンス表示用のサーバーに切り替える。

・4月19日(水)
新しいマザーボードが到着し換装を実施。
起動するが、サーバーOSが立ち上がらず。
「スタートアップ修復」か「通常起動」を選択する画面となる。
「通常起動」を選択すると同じ画面に戻ってくる。
「スタートアップ修復」を選択し入力方式を選ぶウインドウが出たが、そこでキーボードとマウス操作が出来なくなる。
何度か再起動してみたが、同じ場所で操作できなくなってしまう。
USBタイプのキーボードとマウスを使用していたが、PS/2タイプであれば操作できる可能性がある事と
OSディスクにあるシステム回復を利用すればUSBタイプでも認識するという情報を入手
OSディスクが手元に無い為、取りに帰る。

・4月20日(木)
OSディスクにあるシステム回復を起動させたところキーボードとマウス操作が可能になる。
しかしシステム回復メニュー(オプション)にスタートアップ修復が見当たらない。
調べたところサーバーOSではコマンドプロンプトでコマンド実行すると判明。
コマンドプロンプトからスタートアップ修復を実施するが失敗する。
ログを見たところファイル修復に失敗しているようだった為、
コマンドプロンプトを起動しファイル修復をコマンド実行するが失敗する。
再起動して「通常起動」をしてみるが、やはり起動できず「スタートアップ修復」か「通常起動」を選択する画面となる。
試しに「スタートアップ修復」を選択しHDD側のシステム回復を起動したところ昨日は不可能だったUSBタイプのキーボードとマウスで操作が出来る。
OSディスクのシステム回復と異なり、OSログインパスワードの入力を求められシステム回復メニュー画面となった。
同様にシステム回復メニューに「スタートアップ修復」は無く、コマンドプロンプトを起動。
「スタートアップ修復」を起動させるコマンドを実行するが、「操作可能なプログラムまたはバッチファイルとして認識されていません」とエラーになり起動できず。
再度OSディスクからシステム回復メニューを起動し「スタートアップ修復」を試みようとしたが、
先程は利用できたOSディスクのシステム回復が「バージョン互換性がありません。互換性のあるディスクを使用してください。」といったエラーとなってしまい
システム回復メニューすら出ない状態となる。
自力での復旧が不可能と判断しパソコン復旧業者の利用を決定する。
最初の2社はサーバーOSの復旧は難しいと断られる。
3社目で可能との反応で診断を依頼するが
既に21時を回っていて当日不可でスケジュールが合わず最短4/22日(土)で依頼

・4月22日(土)
復旧業者による出張診断結果。
「この場で修復は不可能な状態、引き取ってラボでの修復が必要で、3営業日が必要。最短で4月26日(水)の返却となる。」
との事で、復旧できる可能性は十分あるそうなので依頼を決定、
個人情報の流出を防ぐ為の機密保持契約を結び依頼。

・4月24日(月)
復旧業者から復旧が順調に進んでいるとの報告が入る。

・4月25日(火)
復旧がほぼ完了していて明日の返却が可能と報告が入る。
26日(水)17時の返却で決まる。

・4月26日(水)
18時15分、サーバーを持った復旧業者が到着。
復旧業者立ち合いのもと、10回シャットダウンと再起動を繰り返し
正常にOS起動する事を確認して帰ってもらった。

サーバーをメンテナス用サーバーから切り替えようとしたが、
サーバーソフトが稼働できず、原因調査に着手。

・4月27日(木)
サーバー設定ファイルが破損している事が判明。
バックアップデータから設定ファイルをコピーして適用したところ稼働した。
しかし、今度はサイトプログラムがエラーを起こしてしまう。
プログラムファイルも多数破損している事が判明。
これらもバックアップデータから復元を試みたが、
破損した状態でバックアップデータが上書きされているものが多数見付かる。
復元できない独自プログラムは作り直すしかない為、修復開発に着手。

・4月29日(土)
プログラムの作り直しを進めていますが、稼働できるまではかなりの時間を要する為、
復旧の目途は立てられず。
こうして復旧経緯を報告する事と致しました。

このような事態となってしまい
ご利用頂いていた方には大変申し訳ございません。

引き続き復旧できるよう努力して参ります。
何卒、宜しくお願い致します。





nakanohito