Histórico da Página

Informações Gerais

Objetivo

Atualmente, o processo de ETL do TOTVS Smart Analytics, lê arquivos com extensão .extensão csv que estão localizados dentro de uma pasta compactada com extensão . zip. Ao incluir o processo do Agent para dentro do no ERP Microsiga Protheus, será necessário alterar o projeto do Smart Analytics, para que este leia arquivos dentro de uma pasta compactada com extensão .tar tar.gz., pois é o tipo de arquivo compactado que o gerado pelo Microsiga Protheus consegue gerar. 

O objetivo deste documento é demonstrar como deverá ser dada essa alteraçãodescrever as alterações necessárias, de forma que o processo de ETL do Smart TOTVS Smart Analytics leia, tanto pasta arquivos compactados no formato .zip, quanto no formato . tar.gz, alterando apenas o valor de dois recebendo estes valores por meio de parâmetros, descritos  descritos nos tópicos seguintes.

Definição da Regra de Negócio

<Regra de negócio é o que define a forma de fazer o negócio, o processo definido e/ou as regras que devem ser contempladas. Devem ser descritas restrições, validações, condições e exceções do processo. Caso necessário, incluir neste capítulo também regras de integridade que devem ser observadas no momento do desenvolvimento>.

<Na tabela abaixo informe quais são as rotinas envolvidas, o tipo de operação, a opção de menu e se necessário uma breve descrição das regras de negócio relacionadas a rotina>.

Para tornar possível a leitura de arquivos compactados com extensão tar.gz, além da leitura do zip já existente, será necessário realizar as seguintes alterações:

• No arquivo parametros.prm, localizado na pasta parameters, deverá ser adicionado 2 novos parâmetros FILE_EXTENSION_PREFIX e FILE_EXTENSION, ambos com valor padrão zip.
• No job principal do ETL do Smart Analytics, MAIN_JOB, há uma chamada para cada graph que deverá ser executado durante o processo de carga, por meio do componente Run Graph. Os componentes responsáveis pela chamada de DATA_DOWNLOAD, graphs responsáveis pela carga das tabelas Fatos e graphs responsáveis pela carga das tabelas Dimensões, deverão incluir os parâmetros na propriedade Graph parameters to pass para enviar os valores internamente aos graphs finais.
• Nos graphs que carregam as tabelas fatos, também existe um componente Run Graph responsável pela chamada da exclusão dos dados de um período preestabelecido. Os parâmetros também devem ser passados internamente, da mesma forma como descrito no tópico anterior
• O primeiro graph a ser executado a partir do MAIN_JOB é o DATA_DOWNLOAD, que é responsável pelo download do arquivo compactado para leitura do projeto de ETL do TOTVS Smart Analytics. O caminho para a localização correta deste arquivo de leitura compactado, é definido na propriedade URL to download do componente File Download. Portanto, deverá ser substituído pelo seguinte caminho: https://${USER_PWD_SECURE_DI}@${STORAGE_HOST_WEBDV}/${STORAGE_PATH_TODAY}/TOTVSSMARTANALYTICS.${FILE_EXTENSION}
• Todos os graphs responsáveis pela carga de dados em tabelas Fatos e Dimensões devem sofrer uma alteração no componente Data Reader, de forma a demonstrar o caminho para localizar o arquivo final compactado. Atualmente, o caminho aponta para um arquivo final com extensão zip, e a substituição deste caminho apontará para um destino com uma extensão que será enviada na forma de parâmetros. O caminho deve ser escrito deste modo: ${FILE_EXTENSION_PREFIX}:(${DATA_TMP_DIR}/TOTVSSMARTANALYTICS.${FILE_EXTENSION})#nome_tabela.csv*
• No componente Data Reader, do graph DELETE_FACT_TABLE_V3, alterar o caminho da propriedade FILE URL para: ${FILE_EXTENSION_PREFIX}:(${DATA_TMP_DIR}/TOTVSSMARTANALYTICS.${FILE_EXTENSION})#CONF.csv

Todas essas alterações estão sintetizadas no quadro abaixo:

Para tornar possível a leitura de arquivos compactados com extensão .tar.gz, será necessário alterar no componente Data Reader de cada graph que realiza a carga das tabelas fatos e dimensões, o caminho para localizar este arquivo final compactado. Atualmente, o caminho aponta para um arquivo final com extensão .zip, e a modificação será realizada de forma a apontar para um arquivo em que a extensão é escrita com um parâmetro

x parametros.prm

x main job: no campo GRAPH PARAMETERS TO PASS do RUN GRAPH - adicionar: FILE_EXTENSION_PREFIX; FILE_EXTENSION

x adicionar o arquivo parametros em todos os graphs

x Em cada Graph de carregar tabela fato existe um componente para APAGAR FATO do tipo RunGraph, adicionar neste componente, os parametros FILE_EXTENSION_PREFIX; FILE_EXTENSION, no campo, GRAPH PARAMETERS TO PASS

Exemplo de Aplicação:

• Criar o campo “% Mínimo Espécie” (AAA_PERESP) onde o usuário informará o % que o aluno pagará em dinheiro. Esse % poderá ser alterado durante a negociação.
• Criar o campo “Referência Mínima para Cálculo” (AAA_REFCAL) onde o usuário informará um dos 4 valores disponíveis para pagamento das mensalidades  como a referência mínima para calcular o débito total do aluno.
• Criar o parâmetro MV_ACPARNE que definirá se as informações de “% Mínimo Espécie” e “Referência Mínima para Cálculo” serão obrigatórias.
• O parâmetro MV_ACPARNE deve ter as seguintes opções: 1=Obrigatório e 2=Opcional. Deve ser inicializado como opcional>.

Tabelas Utilizadas

• SE2 – Cadastro de Contas a Pagar
• FI9 – Controle de Emissão de DARF>.

Opcional

Protótipo de Tela

<Caso necessário inclua protótipos de telas com o objetivo de facilitar o entendimento do requisito, apresentar conceitos e funcionalidades do software>.

Protótipo 01

 Image Removed

Opcional

Fluxo do Processo

<Nesta etapa incluir representações gráficas que descrevam o problema a ser resolvido e o sistema a ser desenvolvido. Exemplo: Diagrama - Caso de Uso, Diagrama de Atividades, Diagrama de Classes, Diagrama de Entidade e Relacionamento e Diagrama de Sequência>. 

Opcional

Dicionário de Dados

Arquivo ou Código do Script: AAA – Negociação Financeira / *Versao=CP.2014.12_03*/

(Opcional)

Grupo de Perguntas

<Informações utilizadas na linha Protheus>.

Nome: FINSRF2

(Opcional)

Consulta Padrão

<Informações utilizadas na linha Protheus>

Consulta: AMB

Fluxo do Processo

Image Added

*  Representa todos os graphs que carregam as tabelas Fatos.

** Representa todos os graphs que carregam as tabelas Dimensões.

A imagem apresentada ilustra o fluxo do processo que pode ser iniciado com a chamada ao job principal, MAIN_JOB, originada do Protheus, por meio da função BIXExecGrf. Nesta chamada, os parâmetros FILE_EXTENSION_PREFIX e FILE_EXTENSION enviarão os valores tgz e tar.gz, respectivamente. De modo alternativo, o processo ainda poderá ser iniciado da forma anterior, executando o arquivo Run.bat, onde ambos os parâmetros adotarão valores padrão zip, que está definido no arquivo parametros.prm. Dando sequência ao fluxo, o MAIN_JOB iniciará a execução de todos os próximos graphs, primeiramente o DATA_DOWNLOAD, responsável por realizar o download do arquivo compactado para sua devida leitura pelos graphs consequentes. Os valores dos parâmetros são enviados internamente, pela propriedade Graph parameters to pass do componente Run Graph, e deste modo, o componente consegue encontrar o arquivo para download, podendo ser com extensão zip ou tar.gz (dependendo do que for enviado pelo parâmetro).

Após o download, inicia-se a carga das tabelas Fatos, sendo que cada tabela é carregada por um graph específico, e cada um deles, também chama um graph responsável por apagar o histórico de dados por um período preestabelecido, chamado DELETE_FACT_TABLE_V3. Em seguida, são executados os graphs responsáveis pela carga das tabelas Dimensões. Todos esses graphs citados também obtêm os valores dos parâmetros internamente, da mesma forma que citado anteriormente (propriedade Graph parameters to pass do componente Run Graph), para que desse modo, o componente do graph responsável pela leitura localize o arquivo csv desejado dentro do arquivo compactado (correspondente ao valor do parâmetro enviado), e prossiga com a carga dos dados.

(Opcional)

Estrutura de Menu

<Informações utilizadas na linha Datasul>.

Procedimentos

Programas

Cadastro de Papéis

<O cadastro de papéis é obrigatório para os projetos de desenvolvimento FLEX a partir do Datasul 10>.

<Lembrete: o nome dos papeis em inglês descrito neste ponto do documento, devem ser homologados pela equipe de tradução>.