Histórico da Página
Este documento é material de especificação dos requisitos de inovação, trata-se de conteúdo extremamente técnico. |
---|
Informações Gerais
Especificação | ||||
Produto | Microsiga Protheus | Módulo | - TOTVS Smart AnalyticsMódulo | - |
Segmento Executor | Serviços | |||
Projeto1 | M_SER_BA002 | IRM1 | PCREQ-4093 | |
Requisito1 | PCREQ-9621 | Subtarefa1 | PDR_SER_BA002-56 |
Objetivo
Atualmente, o processo de ETL do TOTVS Smart Analytics, lê arquivos com extensão .extensão csv que estão localizados dentro de uma pasta compactada com extensão . zip. Ao incluir o processo do Agent para dentro do no ERP Microsiga Protheus, será necessário alterar o projeto do Smart Analytics, para que este leia arquivos dentro de uma pasta compactada com extensão .tar tar.gz., pois é o tipo de arquivo compactado que o gerado pelo Microsiga Protheus consegue gerar.
O objetivo deste documento é demonstrar como deverá ser dada essa alteraçãodescrever as alterações necessárias, de forma que o processo de ETL do Smart TOTVS Smart Analytics leia, tanto pasta arquivos compactados no formato .zip, quanto no formato . tar.gz, alterando apenas o valor de dois recebendo estes valores por meio de parâmetros, descritos descritos nos tópicos seguintes.
Definição da Regra de Negócio
<Regra de negócio é o que define a forma de fazer o negócio, o processo definido e/ou as regras que devem ser contempladas. Devem ser descritas restrições, validações, condições e exceções do processo. Caso necessário, incluir neste capítulo também regras de integridade que devem ser observadas no momento do desenvolvimento>.
<Na tabela abaixo informe quais são as rotinas envolvidas, o tipo de operação, a opção de menu e se necessário uma breve descrição das regras de negócio relacionadas a rotina>.
Arquivo
Tipo de Operação
Alteração Realizada
parametros.prm
Adicionar os novos parâmetros:
FILE_EXTENSION=zip
FILE_EXTENSION_PREFIX=zip
Run Graph (Apagar Fato)
Graphs que carregam todas as tabelas (fatos e dimensões)
Alteração
Adicionar o arquivo parametros.prm, em Parameters (Localizado em Outline).???
No campo "File URL", alterar o caminho para o arquivo de leitura:
${FILE_EXTENSION_PREFIX}:(${DATA_TMP_DIR}/TOTVSSMARTANALYTICS.${FILE_EXTENSION})#nome_tabela.CSV*
Para tornar possível a leitura de arquivos compactados com extensão tar.tar.gz, além da leitura do zip já existente, será necessário realizar as seguintes alterações:
- No arquivo arquivo parametros.prm, localizado na pasta parameters do Projeto, deverá ser adicionado 2 novos parâmetros parâmetros FILE_EXTENSION_PREFIX e FILE_EXTENSION, ambos recebendo o com valor "padrão zip".
- No job principal do ETL do Smart Analytics, MAIN_JOB, há uma chamada para cada graph que deverá ser executado durante o processo de carga, por meio do componente componente Run Graph. Os componentes responsáveis pela chamada de DATA_DOWNLOAD, graphs responsáveis pela carga das tabelas Fatos e graphs responsáveis pela carga das tabelas Dimensões, deverão incluir incluir os parâmetros no campo " na propriedade Graph parameters to pass" para enviar os valores internamente aos graphs finais.
- Nos graphs que carregam as tabelas fatos, também existe um componente Run Graph resposável por chamar um outro graph que realiza a deleção dos dados dentro responsável pela chamada da exclusão dos dados de um período pré-estabelecidopreestabelecido. Os parâmetros também devem ser passados internamente, da mesma forma como descrito no tópico anterior
- O primeiro graph a ser executado a partir do MAIN_JOB é o DATA_DOWNLOAD, que é responsável pelo download do arquivo compactado para leitura do projeto de ETL do Smart TOTVS Smart Analytics. Este O caminho para a localização correta deste arquivo , de ora em diante, poderá ter extensão .zip ou .tar.gz. Para correta leitura do arquivo compactado, o caminho para sua localização, no campo "é definido na propriedade URL to download" do componente File Download. Portanto, deverá ser substituído pelo seguinte caminho: https://${USER_PWD_SECURE_DI}@${STORAGE_HOST_WEBDV}/${STORAGE_PATH_TODAY}/TOTVSSMARTANALYTICS.${FILE_EXTENSION}
- Todos os graphs responsáveis pela carga de dados em tabelas Fatos e Dimensões devem sofrer uma alteração no componente Data Reader, de forma a demonstrar o caminho para localizar o arquivo final compactado. Atualmente, o caminho aponta para um arquivo final com extensão . zip, e a substituição deste caminho apontará para um destino com uma extensão que será enviada na forma de parâmetros. 1O caminho deve ser escrito deste modo: ${FILE_EXTENSION_PREFIX}:(${DATA_TMP_DIR}/TOTVSSMARTANALYTICS.${FILE_EXTENSION})#nome_tabela.csv*
- No componente Data Reader, do graph DELETE_FACT_TABLE_V3, alterar o caminho da propriedade FILE URL para: ${FILE_EXTENSION_PREFIX}:(${DATA_TMP_DIR}/TOTVSSMARTANALYTICS.${FILE_EXTENSION})#CONF.csv
Todas essas alterações estão detalhadas sintetizadas no quadro acima.x abaixo:
Arquivo | Componente | Tipo de Operação | Alteração Realizada |
parametros.prm |
x main job: no campo GRAPH PARAMETERS TO PASS do RUN GRAPH - adicionar: FILE_EXTENSION_PREFIX; FILE_EXTENSION
x adicionar o arquivo parametros em todos os graphs
x Em cada Graph de carregar tabela fato existe um componente para APAGAR FATO do tipo RunGraph, adicionar neste componente, os parametros FILE_EXTENSION_PREFIX; FILE_EXTENSION, no campo, GRAPH PARAMETERS TO PASS
Exemplo de Aplicação:
- Criar o campo “% Mínimo Espécie” (AAA_PERESP) onde o usuário informará o % que o aluno pagará em dinheiro. Esse % poderá ser alterado durante a negociação.
- Criar o campo “Referência Mínima para Cálculo” (AAA_REFCAL) onde o usuário informará um dos 4 valores disponíveis para pagamento das mensalidades como a referência mínima para calcular o débito total do aluno.
- Criar o parâmetro MV_ACPARNE que definirá se as informações de “% Mínimo Espécie” e “Referência Mínima para Cálculo” serão obrigatórias.
- O parâmetro MV_ACPARNE deve ter as seguintes opções: 1=Obrigatório e 2=Opcional. Deve ser inicializado como opcional>.
Tabelas Utilizadas
- SE2 – Cadastro de Contas a Pagar
- FI9 – Controle de Emissão de DARF>.
- | Alteração | Adicionar os novos parâmetros: FILE_EXTENSION=zip FILE_EXTENSION_PREFIX=zip | |
MAIN_JOB | Run Graph | Alteração | Na propriedade Graph parameters to pass, incluir os 2 novos parâmetros: FILE_EXTENSION e FILE_EXTENSION_PREFIX. |
Graphs que carregam tabelas fatos | Run Graph (Apagar Fato) | Alteração | Na propriedade Graph parameters to pass, incluir os 2 novos parâmetros: FILE_EXTENSION e FILE_EXTENSION_PREFIX. |
Graph DATA_DOWNLOAD | File Download | Alteração | Na propriedade URL to download substituir o caminho por: https://${USER_PWD_SECURE_DI}@${STORAGE_HOST_WEBDV}/${STORAGE_PATH_TODAY}/TOTVSSMARTANALYTICS.${FILE_EXTENSION} |
Graphs que carregam todas as tabelas (fatos e dimensões) | Data Reader | Alteração | Na propriedade File URL, alterar o caminho para o arquivo de leitura: ${FILE_EXTENSION_PREFIX}:(${DATA_TMP_DIR}/TOTVSSMARTANALYTICS.${FILE_EXTENSION})#nome_tabela.csv* |
DELETE_FACT_TABLE_V3 | Data Reader | Alteração | Na propriedade File URL, alterar o caminho para o arquivo de leitura: ${FILE_EXTENSION_PREFIX}:(${DATA_TMP_DIR}/TOTVSSMARTANALYTICS.${FILE_EXTENSION})#CONF.csv |
Fluxo do Processo
* Representa todos os graphs que carregam as tabelas Fatos.
** Representa todos os graphs que carregam as tabelas Dimensões.
A imagem apresentada ilustra o fluxo do processo
. Seque pode ser iniciado com a chamada ao job principal
do ETL do Smart Analytics, MAIN_JOB,
originar-seoriginada do Protheus, por meio da função BIXExecGrf. Nesta chamada, os
parâmetros FILEparâmetros FILE_EXTENSION_PREFIX
e FILEe FILE_EXTENSION enviarão os valores
"tgz
"e
"tar.gz
", respectivamente.
Caso contrárioDe modo alternativo, o processo ainda poderá ser iniciado da forma anterior, executando o arquivo Run.bat
. Dessa forma, onde ambos os parâmetros adotarão
seusvalores padrão
"zip
", que está definido no arquivo parametros.prm
(pasta parameters). Dando sequência ao fluxo, o MAIN_JOB iniciará a execução
dosde todos os próximos graphs
seguintes, primeiramente o DATA_DOWNLOAD, responsável por realizar o download do arquivo compactado para sua devida leitura
dospelos graphs
posterioresconsequentes. Os valores dos parâmetros são enviados internamente,
pelo campo "pela propriedade Graph parameters to pass
" dodo componente
"Run Graph
", e
assimdeste modo, o componente consegue encontrar o arquivo para download, podendo ser com extensão
.zip ou
.tar.gz (dependendo do que for enviado pelo parâmetro).
Após o download, inicia-se a carga das tabelas Fatos, sendo que cada tabela é carregada por um graph específico, e cada um deles, também chama um graph responsável por apagar o histórico de dados por um período preestabelecido, chamado DELETE_FACT_TABLE_V3. Em seguida, são executados os graphs responsáveis pela carga das tabelas Dimensões. Todos esses graphs
citados, t\mbém obtémcitados também obtêm os valores dos parâmetros internamente, da mesma forma que
o anteriorcitado anteriormente (propriedade Graph parameters to pass do componente Run Graph), para que
dessa formadesse modo, o componente do graph responsável pela leitura localize o arquivo
CSV desejado,csv desejado dentro do arquivo compactado (correspondente ao valor do parâmetro enviado), e prossiga com a carga dos dados.
|
---|
Este documento é material de especificação dos requisitos de inovação, trata-se de conteúdo extremamente técnico. |
---|