新着Pick
368Picks
Pick に失敗しました

選択しているユーザー
災害発生時と重ならずよかったですが、通信手段を断たれることで困る人は多かったでしょう。社会インフラとしての重要性を改めて感じます。
人気 Picker
ドコモの発表によると、IoTのSIMカードの情報や位置情報などを管理しているサーバの新設備へのアップグレード時に発生したものです。

具体的には、
新旧サーバへ切り替えは予行演習を行っているので、失敗していないとみえます。不具合が発生し、旧サーバに戻すところも成功している模様です。
次に、旧サーバの保有している数百万の位置情報などを一斉にアップデートしようとしたため、そこでネットワーク側で輻輳が発生したようですね。

管理サーバの負荷に問題がないが、ネットワークの交換機で輻輳が発生したということでしょう。サーバ担当者からすると想定外。

ネット―ワーク障害はどこか1か所でも発生すると、機器が再送を繰り返すためパケットを大量に発生させ、つぎつぎに障害が波及することがあります。今回は、IoT用の交換機で一部旧型なものがあって、そこが輻輳し大きな障害に発展した可能性があります。
通常このような場合は、故障ではないので、利用制限をして落ち着くのは待ちますね。
サーバー移行で失敗し、切り戻し時にIoT機器からのトラフィックが過剰に入ってしまったことが原因とのこと。IoT機器の位置情報登録ってのは切り戻しでやった行為とのことで人災に近そうです。そもそも切り戻しのテストって移行のテストでも本番系ではなかなかしにくいので、言い方悪いですが想像力がとても大切。仕組みから何が起こり得るかをどこまで想定し、どこまで備えておけるかですね。その意味では想定が甘かったと言わざるを得ない発生原因ですね。ただみずほ銀行などの事例と比べるとかなりしっかりした原因の公開(発生した経緯が納得が行く)がされているので、その意味ではちゃんとしてましたね。危機管理ではアフターケアのやり方一つで印象が大きく変わります。
下記の復旧時のPickで、輻輳についてコメントしたが、やはり発生していたか。
北海道での地震の際の電力不足もそうだが、イベントがあったり一回止まったりなどの要因で、通常の制御範囲を超える需要があると、それがドミノ式に波及していくことがある(重体と似ている)。
https://newspicks.com/news/6269308

一方で、普段当たり前と思っているインフラ関係が、人類の英知が詰まって日常の安定的な運用につながっていることも感じる瞬間。TCPのウィンドウ制御の進化を知ったときに、すごいなぁと思った。
下記などが分かりやすい。そこでも輻輳という言葉が出てきて、インターネットという分散的なネットワークでどうやって自律的に輻輳を防ぐかの仕組みがすごい。
http://www.net.c.dendai.ac.jp/~yutaro/
一般のシステムであれば普通に切り戻して終わるんだろうけど、ドコモのような巨大なトランザクションを扱う事業者は、短時間でも凄まじいデータ量を扱うのでこのような事象も発生するのですね。

サービス設備の切り替えやリリースにどの程度のリスク評価をしているか気になりますね。

あと個人的にはシステム故障(まともにロジックが動作しない不具合とかは別ですが。)に日本人はもうちょっと寛容になってほしいなとも思う。もちろん頻繁にシステム故障でサービス停止はどうかと思うけど、故障はある程度は起こるものだしSLA違反の返金や割引ぐらいでなんとかしてあげてもいいのではと。
今朝EVの充電スタンドが通信エラーで使えなかったんだけど、もしかして組み込み系も障害の影響受けてるかも?
ドコモといえどトラブルを起こすか…。
社会インフラになっている以上、利用者側の自衛も求められるのかもしれみせん。MVNO等でダブルキャリアで、バックアップ回線を持っておくのも一つの手段でしょう。

ダブルキャリアを使おうとすると、複数SIMが使える端末が欲しいところ。くしくも、ドコモだけがAndroid端末で複数SIMが使える端末を出していません。
改善してほしいです。
昨日ちょうど飛行機から降りたタイミングでの通信障害だったため、フライトが影響だと思い込んでいました、、こんな障害珍しいですよね
#キャリアコンサルタント
すわサイバー攻撃かと思いきや、全然違う話でしたね。
非常に詳細な情報開示で、原因がよく分かりました。そしてなにより皆さんのコメントでさらに内容がわかりました。こうして事実の解説をしてくださるコメントの価値を改めて感じます…
株式会社NTTドコモ(エヌティティドコモ、英語: NTT DOCOMO, INC.)は、携帯電話の無線通信サービスを提供する、日本最大手の移動体通信事業者(MNO)である。日本電信電話(NTT)の完全子会社。 ウィキペディア

業績