Histórico da Página
Processo Incremental
Visão Geral
O processo utilizando Banco Incremental consiste na alteração da ferramenta de ETL para tratar somente as informações incluídas, alteradas e excluídas desde a última extração de informações do produto EMS. Acarretando em uma redução no volume de dados processado a cada execução do ETL.
O processo do Banco Incremental pode ser aplicado para a seguinte lista de Assuntos:
Assunto | Tabela (Stage) |
Faturamento | DIS_DTS_Invoice_Fact |
Devolução de Vendas | DIS_DTS_Sales_Return_Fact |
Previsão de Vendas | DIS_DTS_Forecast_Fact |
Cotas de Vendas | DIS_DTS_Sales_Quotes_Fact |
Vendas | DIS_DTS_Sales_Fact |
Entregas | DIS_DTS_Shipment_Fact |
Produção Realizada | MAN_DTS_Produced_Production_Performance_Fact |
Produção Programada | MAN_DTS_Estimated_Production_Performance_Fact |
Matéria-Prima Programada | MAN_DTS_Estimated_Raw_Material_Fact |
Matéria-Prima Realizada | MAN_DTS_Consumed_Raw_Material_Fact |
Mão-de-Obra Realizada | MAN_DTS_Produced_Work_Force_Perfornance_Fact |
Mão-de-Obra Programada | MAN_DTS_Estimated_Work_Force_Performance_Fact |
GGF Programado | MAN_DTS_Estimated_GGF_Fact |
GGF Realizado | MAN_DTS_Producced_GGF_Fact |
Custo Real | MAN_DTS_Real_Cost_Fact |
Controle de Qualidade | MAT_DTS_Quality_Fact |
Compras | MAT_DTS_Purchase_Fact |
Devolução de Compras | MAT_DTS_Returned_Purchase_Fact |
Recebimento | MAT_DTS_Receiving_Fact |
Estoque - Movimentação Diário | MAT_DTS_Daily_Inventory_Fact |
Estoque - Saldo Diário | MAT_DTS_Daily_Balance_Fact |
Contas a Pagar - Pagamento | FIN_DTS_Payment_Accounts_Payable_Fact |
Contas a Pagar - Emissão | FIN_DTS_Emission_Accounts_Payable_Fact |
Contas a Pagar - Vencimento | FIN_DTS_Due_Accounts_Payable_Fact |
Contas a Receber - Recebimento | FIN_DTS_Payment_Accounts_Receivable_Fact |
Contas a Receber - Emissão | FIN_DTS_Emission_Accounts_Receivable_Fact |
Contas a Receber - Vencimento | FIN_DTS_Due_Accounts_Receivable_Fact |
Cadastro Emitente | Emitente |
Cadastro Item | Item |
A parametrização do processo incremental é feita por assunto, portanto, é possível aplicá-la somente aos assuntos que possuem um volume grande de dados para tratamento pelo ETL.
Pré-requisitos
- Produto EMS2 na release 2.04 ou superior.
- Servidor de RPW instalado e configurado. É indispensável a funcionalidade de RPW para a instalação do Banco Incremental. Caso os senhores não possuam o RPW configurado, favor entrar em contato com nosso suporte da área de tecnologia.
- BI instalado na última versão disponível, marcando todas as opções de atualização de bancos de dados (Observação: clientes que possuem customizações do banco Stage atentar para que a atualização do banco irá alterar as definições das tabelas deste banco para as suas configurações padrões do produto). Consultar no Release notes do BI se a funcionalidade foi liberada.
- Deverá ser criado um banco de dados Progress com o nome de EMSINC. Os scripts para a criação das tabelas necessárias para o banco EMSINC deveram ser solicitadas por meio de ticket para a equipe de expedição de Mídias do Produto Padrão. Este banco deverá ser conectado juntamente com os demais bancos do produto EMS2/EMS5 e principalmente pelas sessões Progress executadas pelo processo extração do BI.
Informações |
---|
Importante: |
Configuração
Para configuração do Processo Incremental, deve-se primeiramente realizar a configuração das rotinas que sincronizam os dados do ERP TOTVS que estão disponíveis no Banco Incremental por meio da seguinte sequência de programas. Para maiores informações, consultar o manual de referência dos programas abaixo no EMS.
cdp/cd2400 - Parametrizar Tab Banco de Dados Incremental
Permite informar quais tabelas serão sincronizadas para o banco incremental, de acordo com assunto desejado, as seguintes tabelas do ERP TOTVS deverão ser selecionadas.
Assunto/Extrator | Tabelas p/ Sincronizar | Pai / Filho | Atributo Temporal |
Faturamento Ems0101
| Nota-fiscal | Pai | nota-fiscal.dt-emis-nota |
it-nota-fisc | Filho | ||
unid-neg-fat | Filho | ||
Devolução de Vendas Ems0102 | Devol-cli | Pai | devol-cli.dt-devol |
Nota-fiscal | Filho | ||
It-nota-fisc | Filho | ||
Previsão de Vendas Ems0103 | pr-venda | Pai | pl-mest-per.dt-ini-per |
pl-mest-per | Filho | ||
Cotas de Vendas | cotas | Pai | cotas.dt-inicial |
Vendas | Ped-venda | Pai | ped-venda.dt-implant |
Ped-item | Filho | ||
Entregas Ems0108 | Ped-ent | Pai | ped-ent.dt-entrega |
Ped-item | Filho | ||
Ped-venda | Filho | ||
unid-neg-ped | Filho | ||
Produção Realizada Ems0201 | movto-mat | Pai | movto-mat.dt-trans |
movto-estoq | Filho | ||
Produção Programada Ems0203 | ord-prod | Pai | ord-prod.dt-termino |
Matéria-Prima Programada Ems0204 | ord-prod | Pai | ord-prod.dt-termino |
Reservas | Filho | ||
Matéria-Prima Realizada Ems0205 | movto-mat | Pai | movto-mat.dt-trans |
ord-prod | Filho | ||
Mão-de-Obra Realizada Ems0207 | movto-dir | Pai | movto-dir.dt-trans |
ord-prod | Filho | ||
Mão-de-Obra Programada Ems0208 | ord-prod | Pai | ord-prod.dt-termino |
oper-ord | Filho | ||
GGF Programado Ems0210 | ord-prod | Pai | ord-prod.dt-termino |
oper-ord | Filho | ||
GGF Realizado Ems0211 | movto-ggf | Pai | movto-ggf.dt-trans |
ord-prod | Filho | ||
Custo Real Ems0213 | pr-it-per | Pai | pr-it-per.periodo |
Controle de Qualidade Ems0301 | ficha-cq | Pai | ficha-cq.dt-inspecao |
unid-negoc-cq | Filho | ||
Compras Ems0303 | ordem-compra | Pai | ordem-compra.data-pedido |
prazo-compra | Filho | ||
pedido-compr | Filho | ||
Devolução de Compras Ems0305 | Recebimento | Pai | recebimento.data-movto |
ordem-compra | Filho | ||
pedido-compr | Filho | ||
prazo-compra | Filho | ||
Recebimento Ems0306 | Recebimento | Pai | recebimento.data-movto |
ordem-compra | Filho | ||
pedido-compr | Filho | ||
prazo-compra | Filho | ||
Estoque - Movimentação Diário Ems0307 | movto-estoq | Pai | movto-estoq.dt-trans |
sl-it-per | Filho | ||
Contas a Pagar - Pagamento Ems0402 | mov-ap | Pai | mov-ap.dt-trans |
Tit-ap | Filho | ||
Contas a Pagar - Emissão Ems0403 | mov-ap | Pai | mov-ap.dt-trans |
Tit-ap | Filho | ||
Contas a Pagar - Vencimento Ems0404 | Tit-ap | Pai | tit-ap.dt-vencimen |
Mov-ap | Filho | ||
Contas a Receber - Recebimento Ems0406 | Mov-tit | Pai | mov-tit.dt-trans |
Titulo | Filho | ||
Contas a Receber - Emissão Ems0407 | Titulo | Pai | titulo.dt-emissao |
Contas a Receber - Vencimento | Titulo | Pai | titulo.dt-vencimen |
Contas a Pagar - Pagamento Ems0502 | movto_tit_ap | Pai | movto_tit_ap.dat_transacao |
tit_ap | Filho | ||
val_tit_ap | Filho | ||
compl_movto_pagto | Neto | ||
Contas a Pagar - Emissão Ems0503 | tit_ap | Pai | tit_ap.dat_transacao |
val_tit_ap | Filho | ||
movto_tit_ap | Filho | ||
Contas a Pagar - Vencimento Ems0504 | tit_ap | Pai | tit_ap.dat_vencto_tit_ap |
val_tit_ap | Filho | ||
movto_tit_ap | Filho | ||
Contas a Receber - Recebimento Ems0506 | movto_tit_acr | Pai | movto_tit_acr.dat_transacao |
tit_acr | Filho | ||
val_movto_tit_acr | Filho | ||
Contas a Receber - Emissão Ems0507 | tit_acr | Pai | tit_acr.dat_emis_docto |
movto_tit_acr | Filho | ||
val_tit_acr | |||
Contas a Receber - Vencimento Ems0508 | tit_acr | Pai | tit_acr.dat_vencto_tit_acr |
movto_tit_acr | Filho | ||
val_tit_acr |
Informações |
---|
Importante: Caso o assunto utilize informações do emitente e/ou item, essas duas tabelas também devem ser parametrizadas no programa cdp/cd2400. |
cdp/cd2401 - Manutenção Tabelas Sincronização
Permite parametrizar informações adicionais sobre as tabelas que serão sincronizadas para o banco incremental. Além da estrutura de tabelas pai/filho que deverá ser sincronizada conforme a tabela acima. Somente serão sincronizadas para o banco incremental as tabelas com marcadas com a opção: Sincronização Ativa. Logo que o programa for iniciado, algumas tabelas já estarão pré-cadastradas, possibilitando ao usuário cadastrar outras tabelas que desejar. A princípio, a extração das tabelas “emitente” e “item” será completa, ou seja, extrairá todo o conteúdo e não somente o incremento do mesmo. No programa cdp/cd2405, pode ser parametrizado os dias retroativo que são os dias que serão contados antes da data da sincronização com o efeito de extrair dados de dias anteriores, atualizando-os. Neste programa também estão os dados detalhados de cada sincronização.
cdp/cd2402 - Sincronização Banco Dados Incremental
Realiza o agendamento de um pedido de execução no servidor RPW para sincronização dos dados do ERP TOTVS para o Banco Incremental. O processo de execução do ETL deve ser agendado para executar após a conclusão do pedido agendado no RPW.
Informações |
---|
Importante: A parametrização de todas as tabelas disponíveis para o banco incremental é automaticamente feita na primeira vez que o usuário executa um dos programas relacionados no processo de parametrização. Deve-se portanto desabilitar a Sincronização das tabelas que não são desejadas através do programa cdp/cd2401, ou não selecioná-las ao criar o pedido de execução no RPW pelo programa cdp/cd2402. |
Depois do processo de configuração do ERP TOTVS, é necessário realizar as configurações nos processos de Extração e Carga (ETL) do produto BI.
Informações |
---|
Importante: Para o funcionamento correto do Processo utilizando o Banco Incremental, durante a execução do setup da ferramenta administrativa para a atualização no produto com o pacote que liberou essa funcionalidade. A opção de Base de Dados deve ser selecionada, para que as novas tabelas possam ser criadas no banco Stage. Consulte o Release Notes para verificar em qual pacote essa funcionalidade foi liberada. |
Processo de Extração
Deve ser alterado os arquivos de configuração de conexão dos bancos Progress (.pf) para conectar o banco incremental juntamente com os demais bancos do produto ERP TOTVS.
Para os itens das tarefas de extração das tabelas relacionadas aos assuntos que se deseja configurar o processo incremental, a opção Processo Incremental deve ser marcado.
Processo de Carga
Para os itens das tarefas de carga das tabelas relacionadas aos assuntos que se deseja configurar o processo incremental, a opção Processo Incremental deve ser marcada.
Informações |
---|
Importante: A opção do processo incremental somente deve ser habilitada para os assuntos que foram parametrizados nas rotinas do EMS2. É importante que as tarefas de Extração e Carga sejam marcadas com a opção incremental, pois o esquecimento de um dos dois itens acarretará em erros nos dados carregados para o BI. O processo incremental não é obrigatório. E pode ser aplicado a somente a um número determinado de assuntos, não obrigando a parametrização para todos os assuntos. |