[STG][Critical] Staging Infrastructure Incident / 開発環境(az.hexabase.com)における障害についてのご連絡

what happend?
Database Incident has occurred. today 2/27 00:22, our clustered reported that one of our database died.
multiple reasons, but could only think of high resources/requests to a high spec, and managed environment.

recovery?
we did our best to recover the persistent volume for the specific database.

backup
our engineers worked diligently recovering, but could only get proper data backups.

next step
As to every environment, we will increase server and data backup integrity and availability.

last
we deeply apologize for the incident. and looking forward to serve you much more better.

開発環境(az.hexabase.com)において、1月下旬以降に登録されたグループ、またはユーザーの情報が欠損される問題が発生しました。現在開発にてご利用いただいてる皆様の環境に影響がある可能性がございます。

発生する事象、および影響範囲は以下の通りです

(対象環境)

  • Hexabase開発環境(az.hexabase.com)
    ※本番環境へは影響ございません

(事象)

  • 1月下旬以降に招待したユーザーがログインできない、または、管理画面からワークスペースを選択できない
  • 1月下旬以降に追加されたグループがなくなっている
  • 直近数週間以内に新規作成したデータベース(datastore)がメニューに表示されない(APIからのデータ取得、更新は可能)
  • データベースの画面項目、アクションに設定した権限情報(見える、みえないなどのチェックボックス設定)が反映されていない

(原因)

  • 権限やメニューを保存するデータベースの一部データ欠損(インフラ障害)

この度はご迷惑をおかけしまして大変申し訳ございません。
進行中の個別プロジェクトにつきましては、個別に状況確認させていただきます。
今後も運用品質の向上や安全性を重視し、このような問題がおこることの無いよう対策を講じてまいります。引き続き、どうぞよろしくお願いいたします。