故障情報

2021 年 11 月 24 日

発着信故障についてのご報告


2021年11月24日

お客様各位

クラウドテレコム株式会社

発着信故障についてのご報告

拝啓 貴社益々ご清栄のこととお慶び申し上げます。

平素は弊社サービスをご利用頂きまして、誠にありがとうございます。

この度の発着信故障につきまして、以下の通りご報告申し上げます。貴社には多大なるご迷惑をお掛けしておりますことを、深くお詫び申し上げます。

敬具

1. 故障の対象

モバビジサービスをご利用のお客様で、アプリ及び電話機をご利用のお客様

2. 故障の原因と対応

発着信不能に至った原因について

 11月18日木曜日20:10頃 加入者用データベースサーバ内の一部の領域でデータ書き込みが出来なくなる事象が発生し、一部のお客さまで新規発着信が出来ない状態となりました。故障ログを直ちに解析したところ、加入者用データベースサーバのデータストア(大容量ハードディスク装置)との接続経路(iSCSI)でデータビットエラーが発生しており、直ちに予備系への切り替えを実施して書き込みデータのチェックを実行しています。この書き込みデータチェックと修復作業でディスクへの入出力負荷が徐々に増大し、11月19日6:00頃に切り替え後のデータストアでも全ユーザの新規発着信も出来ない状態となりました。

 バックアップデータからデータストアの再構築および、データベースシステム側とデータストア内の論理的なパーティション情報を一致させて、11月19日金曜日14時30分頃システム復旧およびサービス再開しました。

 サービス再開直後から通話集中が原因で発着信がしづらい状況が16:30頃まで継続しましたが、一時的なシステム増強を実施して17:30頃に通常の呼量へと推移し解消しております。

3. 再発防止策について

 今回の発着信故障は、加入者データベースサーバとデータストアとの接続に使われているiSCSIでデータビットエラーが発生し予備系への切り替えを行った際に発生した、データベースシステムで保持している論理的なパーティション情報と、データストア側のデータ格納領域での不整合が原因でした。現在、データベースサーバとデータストアの経路のハードウェア製品を撤廃し、分散オブジェクト型のクラウドストレージの構築を実施しており2021年12月29日に切り替えを予定しております。

4. 時系列(概要)

末尾になりますが、弊社システムの不備により障害を招きました事を、重ねて深くお詫び申し上げます。

以上

====================================================================
クラウドテレコム株式会社 //support.mobabiji.jp/
モバビジサポートセンター
お問い合わせフォーム
//support.mobabiji.jp/contact/
ブラウザフォン(無料通話)
//support.mobabiji.jp/ivr/
====================================================================