O Data Warehouse foi projetado e desenvolvido para Oracle Database. Para instalação do produto será necessário a disponibilização de um ambiente Oracle compatível e homologado para criação do repositório. Não se restringe a virtualização do ambiente Oracle Database, desde que, os pré-requisitos e orientações da Oracle sejam completamente atendidos para este tipo de ambiente.
Existem dois cenários possíveis atualmente no qual fica a critério do cliente:
Este cenário possibilita redução de custo ao compartilhar hardware e licença Oracle, sendo indicado apenas quando o repositório for destinado a integração com o Qlik (ou outra ferramenta com característica semelhante) e/ou a consultas de baixa frequência ou baixa demanda de processamento durante o horário produtivo do ERP.
Este cenário exige investimento em hardware e licença Oracle, sendo indicado quando o repositório for destinado a consultas frequentes ou com alta demanda de processamento, além da integração com o Qlik (ou outra ferramenta com característica semelhante).
O repositório poderá estar no mesmo servidor que hospeda o ERP TOTVS - Varejo Supermercados, desde que em owner diferente do owner utilizado no ERP (conforme pré-requisitos), podendo ser na mesma ou em instância separada. Porém, recomenda-se que o repositório de Data Warehouse esteja em ambiente separado do ERP TOTVS - Varejo Supermercados, uma vez que a carga de processamento no repositório do Data Warehouse pode vir a interferir no desempenho do ERP, ficando a critério do cliente e de seu Administrador de Banco de Dados (DBA) definir a melhor estrutura a ser utilizada de acordo com os recursos disponíveis e a intenção de utilização do ambiente.
Estando em ambientes distintos (servidor ou instância), o repositório do ERP deverá ter acesso e permissão de manipulação na base de dados do Data Warehouse por meio de DBLink com nome configurado como CONSINCODW. Se o repositório for hospedado na mesma instância Oracle do ERP, será necessário apenas conceder os devido privilégios de acesso.
A base de implantação pode ser baixada na Central de Downloads.
Os requisitos descritos abaixo são obrigatórios para instalação do repositório do Data Warehouse.
Após a disponibilização do ambiente com os requisitos acima, será realizado a criação do repositório pela equipe TOTVS - Varejo Supermercados ou DBA do cliente.
As informações descritas neste item baseiam-se em boas práticas na administração do banco de dados Oracle para os produtos TOTVS - Varejo Supermercados. Em alguns cenários, as características de ambiente, de equipamento, de volumetria e do número de acessos simultâneos ao servidor, podem exigir recomendações específicas, inclusive da fabricante Oracle. Recomenda-se que a administração do banco de dados Oracle seja feita por empresa ou profissional especializado.
Deverá ser definido pelo cliente um período de histórico retroativo para a execução da carga inicial do repositório do Data Warehouse. Esta primeira carga inicial deverá ser mais demorada que as cargas diárias incrementais. A carga inicial será realizada com acompanhamento da equipe TOTVS - Varejo Supermercados, e posteriormente, ao final das execuções, haverá uma homologação dos dados gerados para verificação de consistências. Uma vez concluída a carga inicial e homologado os dados gerados no Data Warehouse, será então configurada a carga incremental diária.
O processo de atualização do repositório do Data Warehouse será automático, e será executado de acordo com as parametrizações de intervalo pré-definidas pelo cliente. É necessário que estas parametrizações estejam em acordo com as regras de negócio do cliente e processos de encerramento diário do ERP, para que os dados sejam atualizados corretamente e fiquem consistentes no Data Warehouse.
O Gerenciador de Carga integrado ao módulo Gerencial do ERP TOTVS - Varejo Supermercados permite ao administrador do sistema realizar várias funções relacionadas a carga de dados do DW. Para maiores detalhes consulte a documentação do Gerenciador de Carga do DW
Consultar os anexos:
Consultar o anexo:
Tablespaces temporárias: Inicialmente recomendamos alocar um tamanho mínimo inicial de 6 GB para cada uma das tablespaces TEMP e UNDO na base DW. Deve ser monitorada a necessidade de crescimento e realocação de espaço para essas tablespaces. O espaço máximo consumido (marca d’água) varia conforme as características da base dos dados do cliente.
Tablespaces de dados e índices: Deve ser seguido o planejamento de capacidade. O ambiente do Data Warehouse varia de acordo com os Data Marts utilizados e também de acordo com as características do perfil de dados comerciais do cliente para cada uma das áreas implementadas. Para os Data Marts comerciais propostos até o momento, os principais fatores que influenciarão no volume de dados são:
Atualmente, a média de consumo de espaço é de 212 MB por empresa/mês, considerando todos os pacotes disponíveis atualmente e no nível mais detalhado, com base em 18.500 SKU (segmento Varejo).
Para exemplificar, se a empresa possuir 10 unidades e desejar importar 2 anos de histórico de movimentação (venda, compra e estoque) para o Data Warehouse, serão necessários atualmente 51 GB de espaço aproximado para carga inicial, mais o consumo mensal a ser gerado posteriormente, que neste caso seria de aproximadamente 2.1 GB/mês.
Para Carga Inicial:
• Sem Estoque: 92 MB x 10 Empresas x 24 Meses = 22 GB
• Com Estoque: 212 MB x 10 Empresas x 24 Meses = 51 GB
Consumo Mensal:
• Com Estoque: 212 MB x 10 Empresas = 2.1 GB
Considerar também:
A questão de performance de qualquer sistema computadorizado é sempre algo bastante complexo, pois depende do uso e das expectativas do usuário.
Para o caso do desempenho esperado do Data Warehouse TOTVS - Varejo Supermercados, podemos elencar várias questões que influenciam, tais como:
Sobre a questão da escolha do tipo de estrutura de ambiente DW, temos as três opções de cenários:
Sobre a questão de performance em cada cenário, temos vários momentos de uso:
No momento 1, o trabalho é realizado dentro da base do ERP, portanto é indiferente da opção do ambiente não mudará nada. Este momento 1 é a extração diária de dados (ETL), que geralmente roda uma única vez por dia de madrugada, portanto, em teoria, não afetará os usuários diretamente.
No momento 2, que é a continuação do momento 1, também rodando uma vez ao dia (ETL), utilizando o cenário A, temos mais concorrência entre a gravação de tabelas da base ERP e a base DW, e nos demais cenários em tese há ganho de velocidade, porém esse processo roda uma única vez ao dia, então não faz tanta diferença na performance.
No momento 3 em diante já temos ações que dependem dos usuários, e aí quanto mais usuários houver e quanto mais acessarem os dados haverá mais impacto. O fato de estar a estrutura de DW separada do ERP já garante ganhos de performance significativos, eliminando a questão da concorrência de leitura e gravação com o ERP/OLTP e simplificando muito o esforço de consultas. No cenário A já temos esta melhoria de estrutura. Nos cenários B e C melhora um pouco mais, já que temos instancias separadas, onde se pode configurar as partes de memória e blocos do Oracle com configurações mais focadas em prover velocidade de acesso e menos em gravação, visando dar velocidade ao usuário, e no melhor dos mundos o cenário C, onde temos até uma máquina separada. No cenário B e C temos mais facilidade de backup separado também. A desvantagem desses cenários B e C é, obviamente, o custo, pois envolve ter mais uma licença de Oracle e mais um servidor no caso do cenário C, evitando o compartilhamento de recursos de hardware de memória e processamento dos cenários A e B.
No momento 4, vai depender de qual será a ferramenta a ser utilizada para disponibilizar as visualizações para os usuários. Existem algumas ferramentas que trabalham usando as tabelas de fonte de dados (no caso o DW) acessando-as quando precisam, tais como as Análises ABC da TOTVS - Varejo Supermercados. E existem outros tipos de ferramentas que “importam” os dados para uma base de dados interna fechada, que é mantida em memória quando o usuário abre, tais como o Qlik Sense, Tableau ou Microsoft Power Bi, por exemplo. Nestes casos, em teoria, não haveria vantagem nos cenários B e C, pois a carga feita pra dentro dessas ferramentas seria também um processo batch a ser rodado uma vez ao dia. Não gerando mais vantagem em termos os cenários B e C em relação ao A.
No momento 5, é o usuário acessando as análises por meio de ferramentas. Vai depender da ferramenta client. Se for por exemplo, um servidor Tableau ou Qlik Sense, neste caso depende exclusivamente do servidor desta ferramenta pois ele “importa” os dados para sua base interna e se “desliga” da fonte de dados (no caso o DW). Lembrando que essas ferramentas também tem custos elevados em licenças e hardware, exigindo bastante memória em seus servidores. Existem outras ferramentas que usam o banco de fonte de dados, neste caso, fica parecido com o caso do momento 4.
Não é recomendado o uso da versão Express do Oracle para o DW TOTVS - Varejo Supermercados, pois esta versão do Oracle possui uma limitação de tamanho máximo da base de cerca de 12 GB de espaço, 2 GB de RAM e 2 CPUs, conforme a versão atual (parâmetros sujeitos a alterações).