7月25日の障害における報告となります。この度はご迷惑をおかけし申しわけございませんでした。また、ご報告が遅れたこと深くお詫び申し上げます
(発生時期)
13:53～14:03
(事象)
Hexabase全体でアクセス障害が発生しました。
(原因)
特定プロジェクトにおけるワークスペースへのインポートと考えられます。インポート時にmongodbのindex作成でロックがかかったものと思われます。
(暫定対処)
該当するコアシステムの再起動
(根本対処)
インポート処理そのものの改善対応を行います。
(発生日時)
17:27～17:35
(事象)
Hexabase全体でアクセス障害が発生しました。
(原因)
特定プロジェクトにおける大量のItemListの呼び出しでmysqlのconnectionがmaxになりました。もともと、プログラムにバグがあり、その間データ処理が滞っていたようで、バグFIXと同時に溜まっていたデータが一気に処理されたことで起きた現象となります。
(暫定対処)
原因となったプロジェクトに、大量データ処理の停止依頼
(根本対処)
・大量データ処理の場合の処理時間の長期化
・大量データ処理が来た場合の、Hexabaseからの特定処理の停止処理
根本対処の詳細スケジュールについては追って提示させていただきます。