Histórico da Página

Informações Gerais

Objetivo

Atualmente, o processo de ETL do TOTVS Smart Analytics, lê arquivos com extensão .csv que estão localizados dentro de uma pasta compactada com extensão .zip. Ao incluir o processo do Agent para dentro do Microsiga Protheus, será necessário alterar o projeto do Smart Analytics, para que este leia arquivos dentro de uma pasta compactada com extensão .tar.gz., pois é o tipo de arquivo compactado que o Microsiga Protheus consegue gerar. 

O objetivo deste documento é demonstrar como deverá ser dada essa alteração, de forma que o processo de ETL do Smart Analytics leia tanto pasta no formato .zip, quanto no formato .tar.gz, alterando apenas o valor de dois parâmetros, descritos nos tópicos seguintes.

Definição da Regra de Negócio

<Regra de negócio é o que define a forma de fazer o negócio, o processo definido e/ou as regras que devem ser contempladas. Devem ser descritas restrições, validações, condições e exceções do processo. Caso necessário, incluir neste capítulo também regras de integridade que devem ser observadas no momento do desenvolvimento>.

<Na tabela abaixo informe quais são as rotinas envolvidas, o tipo de operação, a opção de menu e se necessário uma breve descrição das regras de negócio relacionadas a rotina>.

Para tornar possível a leitura de arquivos compactados com extensão .tar.gz, será necessário realizar uma alteração no componente Data Reader de cada graph que realiza a carga das tabelas fatos e dimensões, de forma a demonstrar o caminho para localizar o arquivo final compactado. Atualmente, o caminho aponta para um arquivo final com extensão .zip, e a substituição deste caminho apontará para um destino com uma extensão que será enviada na forma de parâmetros. Portanto, o arquivo parametros.prm, na pasta parameters, incluirá dois novos parâmetros que serão recebidos do Agent do Protheus. Além disso, será necessário propagar estes parâmetros para os graphs que requerem ler seu valor. O graph que realiza o download do arquivo a partir da pasta today na nuvem, chamado DATA_DOWNLOAD, também deverá ser modificado para receber os parâmetros descritos. Todas essas alterações estão detalhadas no quadro acima.

x parametros.prm

x main job: no campo GRAPH PARAMETERS TO PASS do RUN GRAPH - adicionar: FILE_EXTENSION_PREFIX; FILE_EXTENSION

x adicionar o arquivo parametros em todos os graphs

x Em cada Graph de carregar tabela fato existe um componente para APAGAR FATO do tipo RunGraph, adicionar neste componente, os parametros FILE_EXTENSION_PREFIX; FILE_EXTENSION, no campo, GRAPH PARAMETERS TO PASS

Exemplo de Aplicação:

• Criar o campo “% Mínimo Espécie” (AAA_PERESP) onde o usuário informará o % que o aluno pagará em dinheiro. Esse % poderá ser alterado durante a negociação.
• Criar o campo “Referência Mínima para Cálculo” (AAA_REFCAL) onde o usuário informará um dos 4 valores disponíveis para pagamento das mensalidades  como a referência mínima para calcular o débito total do aluno.
• Criar o parâmetro MV_ACPARNE que definirá se as informações de “% Mínimo Espécie” e “Referência Mínima para Cálculo” serão obrigatórias.
• O parâmetro MV_ACPARNE deve ter as seguintes opções: 1=Obrigatório e 2=Opcional. Deve ser inicializado como opcional>.

Tabelas Utilizadas

• SE2 – Cadastro de Contas a Pagar
• FI9 – Controle de Emissão de DARF>.

Opcional

Fluxo do Processo

<Nesta etapa incluir representações gráficas que descrevam o problema a ser resolvido e o sistema a ser desenvolvido. Exemplo: Diagrama - Caso de Uso, Diagrama de Atividades, Diagrama de Classes, Diagrama de Entidade e Relacionamento e Diagrama de Sequência>. 

Image Modified

*  Representa todos os graphs que carregam as tabelas Fatos.

** Representa todos os graphs que carregam as tabelas Dimensões.

A imagem ilustra o fluxo do processo. Se a chamada ao job principal do ETL do Smart Analytics, MAIN_JOB, originar-se do Protheus, por meio da função BIXExecGrf, os parâmetros FILE_EXTENSION_PREFIX e FILE_EXTENSION enviarão os valores "tgz" e "tar.gz", respectivamente. Caso contrário, o processo ainda poderá ser iniciado da forma anterior, executando o arquivo Run.bat. Dessa forma, ambos os parâmetros adotarão seus valores padrão "zip", que está definido no arquivo parametros.prm (pasta parameters). Dando sequência ao fluxo, o MAIN_JOB iniciará a execução dos graphs seguintes, primeiramente o DATA_DOWNLOAD, responsável por realizar o download do arquivo compactado para leitura dos graphs posteriores. Os valores dos parâmetros são enviados internamente, pelo campo "Graph parameters to pass" do componente "Run Graph", e assim o componente consegue encontrar o arquivo para download, podendo ser com extensão .zip ou .tar.gz.

Após o download, inicia-se a carga das tabelas Fatos, sendo que cada tabela é carregada por um graph específico, e cada um deles, também chama um graph responsável por apagar o histórico de dados, chamado DELETE_FACT_TABLE_V3. Em seguida, são executados os graphs responsáveis pela carga das tabelas Dimensões. Todos esses graphs citados, recebem t\mbém obtém os valores dos parâmetros internamente, pelo campo "Graph parameters to pass" do componente "Run Graph"da mesma forma que o anterior, para que dessa forma, o componente responsável pela leitura localize o arquivo CSV desejado, dentro do arquivo compactado, e prossiga com a carga dos dados.