All systems are operational

Past Incidents

Friday 29th November 2019

Mastodon Mastodon / ES

Un souci est en cours sur l'instance Mastodon. J'essaie de comprendre pourquoi Sidekiq a décidé de ne plus se comporter normalement.

Les erreurs ont commencé à 3h du matin, dans la nuit de jeudi à vendredi.

  • Tout va bien maintenant : ES est reparti, sidekiq fait son boulot et une nouvelle règle d'alerting est en place.

  • Le problème est repéré : l'index ES est passé, sans prévenir, en read only. Mastodon ne pouvait plus s'y connecter et y renseigner les infos d'indexation (recherche).

    Exemple de l'erreur repérée :

    Nov 29 15:49:34 diaspodon bundle[3317]: 2019-11-29T14:49:34.525Z 3317 TID-osfz1ywpl WARN: Chewy::ImportFailed: Import failed for AccountsIndex::Account with: Nov 29 15:49:34 diaspodon bundle[3317]: Index errors: Nov 29 15:49:34 diaspodon bundle[3317]: {"type"=>"cluster_block_exception", "reason"=>"blocked by: [FORBIDDEN/12/index read-only / allow delete (api)];"} Nov 29 15:49:34 diaspodon bundle[3317]: on 1 documents: ["51739"]

    Pour corriger le problème, j'ai repassé l'index en lecture/écriture à l'aide ce lien : https://techoverflow.net/2019/04/17/how-to-fix-elasticsearch-forbidden-12-index-read-only-allow-delete-api/

    RàF : fixer l'alerting pour être prévenu quand ES n'en fout plus une.

  • Thursday 28th November 2019

    No incidents reported

    Wednesday 27th November 2019

    No incidents reported

    Tuesday 26th November 2019

    No incidents reported

    Monday 25th November 2019

    No incidents reported

    Sunday 24th November 2019

    No incidents reported

    Saturday 23rd November 2019

    No incidents reported