...
- Diariamente no horário das 03:10 da madrugada, uma lambda é disparada para coletar as informações de algumas tabelas, e popular a DailyReport. Os dados já estão sumarizados com counts, sums, etc;
- Essa mesma lambda, pega os dados gerados na DailyReport, exporta para CSV e faz upload, para o Google Cloud Storage.
- Já no Google Big Query , existe um Data Transfer configurado para rodar diariamente as 04:00 da madrugada, que pega os dados do CSV do Google Cloud Storage, e joga para a Tabela DailyReport.
- Com esses dados presentes em tabelas do Big Query, criamos os dashboards apontando para essa fonte de dados.
Higienização de DadosDiariamente
Diariamente um cron é executado para higienizar dados das tabelas ApiError, DailyReport, OrdemCommand, OrderConsumption, OrderEvent e OrderStatus, todas limpando registros com mais de 1 dia.
...
Adicionalmente neste mesmo cron é executado um script que verifica para integrações activePolling = true, caso a integração tenha ficado mais de um dia sem sucesso no polling ( Tabela ProviderMerchant.last.SuccessPolling) ela será desativada. Obs.: O polling ocorre a casa 30 segundos.
03. Polling Model
Card documentos |
---|
Informacao | Use esse box para destacar informações relevantes e/ou de destaque. |
---|
Titulo | IMPORTANTE! |
---|
|
...