2021年11月24日
お客様各位
クラウドテレコム株式会社
発着信故障についてのご報告
拝啓 貴社益々ご清栄のこととお慶び申し上げます。
平素は弊社サービスをご利用頂きまして、誠にありがとうございます。
この度の発着信故障につきまして、以下の通りご報告申し上げます。貴社には多大なるご迷惑をお掛けしておりますことを、深くお詫び申し上げます。
敬具
記
1. 故障の対象
モバビジサービスをご利用のお客様で、アプリ及び電話機をご利用のお客様
2. 故障の原因と対応
発着信不能に至った原因について
11月18日木曜日20:10頃 加入者用データベースサーバ内の一部の領域でデータ書き込みが出来なくなる事象が発生し、一部のお客さまで新規発着信が出来ない状態となりました。故障ログを直ちに解析したところ、加入者用データベースサーバのデータストア(大容量ハードディスク装置)との接続経路(iSCSI)でデータビットエラーが発生しており、直ちに予備系への切り替えを実施して書き込みデータのチェックを実行しています。この書き込みデータチェックと修復作業でディスクへの入出力負荷が徐々に増大し、11月19日6:00頃に切り替え後のデータストアでも全ユーザの新規発着信も出来ない状態となりました。
バックアップデータからデータストアの再構築および、データベースシステム側とデータストア内の論理的なパーティション情報を一致させて、11月19日金曜日14時30分頃システム復旧およびサービス再開しました。
サービス再開直後から通話集中が原因で発着信がしづらい状況が16:30頃まで継続しましたが、一時的なシステム増強を実施して17:30頃に通常の呼量へと推移し解消しております。
3. 再発防止策について
今回の発着信故障は、加入者データベースサーバとデータストアとの接続に使われているiSCSIでデータビットエラーが発生し予備系への切り替えを行った際に発生した、データベースシステムで保持している論理的なパーティション情報と、データストア側のデータ格納領域での不整合が原因でした。現在、データベースサーバとデータストアの経路のハードウェア製品を撤廃し、分散オブジェクト型のクラウドストレージの構築を実施しており2021年12月29日に切り替えを予定しております。
よくあるご質問・お問い合わせ
ユーザーページ
コールマネージャー
システムマネージャー
故障情報
故障情報
