Linha Microsiga Protheus

Árvore de páginas

 

Limpeza dos dados inseridos no TOTVS Smart Analytics de forma dinâmica.


Informações Gerais 

Linha de Produto:

Microsiga Protheus®

Segmento Executor:Serviços

Módulo:

TOTVS Smart Analytics

Requisito (ISSUE):SERBA003-2734

Objetivo

O Objetivo deste documento, é apresentar uma solução para que a limpeza de dados do TOTVS Smart Analytics, seja dinâmica. Este mecanismo deverá verificar quais apps estão instalados no projeto e efetuar a limpeza (limpeza total ou limpeza de histórico). Outro recurso que deve ser inserido, é a possibilidade de efetuar a limpeza de entidades específicas, elas devem ser informadas através do console de integração de dados.


Definição da Regra de Negócio

 

Rotina

Tipo de Operação

Regras de Negócio

APP_PARAMETERS.txt

Criação

Arquivo contendo a relação de apps disponíveis no TOTVS Smart Analytics. Deve ser colocado no mesmo diretório /data/transform/.

APP_SCANNER.grf

Criação

Analisa um projeto e gera no diretório /data/tmp/ um arquivo CSV denominado PROJECT_APP.csv, contendo os apps instalados. Este arquivo será deletado após a execução dos jobs de limpeza.

DELETE_ALL_PROJECT.grf

Criação

Limpeza total dos dados no Gooddata.

PURGE_HISTORY.grfCriaçãoLimpeza de dados históricos no Gooddata.

 

Procedimento para Utilização

  • Limpeza total do projeto: Efetua a limpeza de todos os datasets do projeto.
    • Acessar o console de integração de dados
    • Criar um agendamento para o graph DELETE_ALL_PROJECT.grf
    • Executar o agendamento criado.
  • Limpeza parametrizada dos dados: Efetua a limpeza apenas das entidades parametrizadas.
    • Acessar o console de integração de dados
    • Criar um agendamento para o graph DELETE_ALL_PROJECT.grf
    • Adicionar um parâmetro para este agendamento:
      • Parameter name: ENTITIES
      • Parameter value: Entidades que deseja efetuar a limpeza. Devem ser informadas dividindo-as por ',':
        • Exemplo: HL2,HL9,HJ4,HJ6
    • Executar o agendamento criado.
  • Limpeza de dados históricos: Utiliza o arquivo fact_parameters.txt como base e tem como objetivo deletar um histórico de dados mais antigo.
    • Acessar o console de integração de dados
    • Criar um agendamento para o graph PURGE_HISTORY.grf
    • Executar o agendamento criado.
  • Limpeza parametrizada dos dados históricos: Efetua a limpeza histórica apenas das entidades parametrizadas.
    • Acessar o console de integração de dados
    •  Criar um agendamento para o graph PURGE_HISTORY.grf
    • Adicionar um parâmetro para este agendamento:
      • Parameter name: ENTITIES
      • Parameter value: Entidades que deseja efetuar a limpeza. Devem ser informadas dividindo-as por ',':
        • Exemplo: HL2,HL9,HJ4,HJ6
    • Executar o agendamento criado.