Etapa 1 - Conectividade de rede:

A primeira verificação a ser feita é a de conectividade de rede entre a máquina client e o servidor. Para verificar a conectividade entre o client e o servidor utilize o comando ping.
Acesse o menu executar ou iniciar e digite o comando CMD

Após a exibição do prompt de comando, digite o comando ping <nome do servidor> ou <ip do servidor> e tecle ENTER:

Ex:

No caso acima não houve perda: <0% de perda>

Já no caso seguinte:

Houve a perda de 1 pacote em 4 enviados <25% de perda>. Neste caso será necessário investigar sua rede para avaliar problemas de conectividade.

Caso não exista perda partiremos para as demais verificações:

Etapa 2 - Configurações de protocolos:

Acesse o menu executar ou iniciar e digite o comando cliconfg e tecle ENTER:

A tela deverá ser configurada considerando os protocolos TCP/IP e named pipes ativados e o check Box “ativar protocolo de memória compartilhada”.

Na guia Alias, clique em adicionar:

Com o radio Button marcado named pipes ou pipes nomeados, digite o nome do servidor exatamente conforme a instância do SQL Server.

A criação do Alias do tipo pipes nomeados ficará semelhante ao exemplo abaixo:

Em seguida adicione um Alias apontando para o IP do servidor:

Após selecionar a opção adicionar selecione o radio Button tcp/ip e digite em alias do servidor o IP do servidor. 
Caso a porta padrão do SQL que é a porta 1433 tenha sido alterada, você deverá desmarcar o check Box “Determinar porta dinamicamente” e adiconar o número da porta.

Etapa 3 - Configurações de Firewall:

Ainda na estação cliente verifique as opções de firewall, caso o mesmo não possa estar desabilitado na estação e no servidor crie exceções para as portas 1433 TCP e 1434 UDP.

NOTA: Antes de alterar as opções do firewall da estação, comunique a equipe de redes da empresa para possíveis adequações.

Adicionando uma exceção:

Adicione as portão padrão do SQL Server que são 1433 TCP e 1434 UDP.

Para mais detalhes acesse o seguinte link: https://docs.microsoft.com/pt-br/sql/sql-server/install/configure-the-windows-firewall-to-allow-sql-server-access?view=sql-server-2017

BDE

Ainda na estação acesse novamente o BDE e teste a conexão através do IP e do nome do servidor.
Ao clicar na opção SERVER NAME será exibido um combo box a direita informando os alias criados anteriormente, teste a conexão em ambo

NOTA: Caso utilize o SQL Server 2012 ou superior a conexão deverá ser realizada através da parametrização ODBC conforme link abaixo:
http://tdn.totvs.com/pages/viewpage.action?pageId=412884087

Etapa 4 - Configurações do Servidor:

Além das verificações de firewall já citadas anteriormente, verifique as parametrizações relacionadas ao SQL Server:

Verifique o Método de Autentificação da instância nas Propriedades do Servidor:

Acesse o SQL Configuration Manager:

Em 'Serviços do SQL Server' verifique se o serviço SQL Server está iniciado. Inicie o serviço caso o mesmo esteja parado.

Em SQL Server Network Configuration ou Configuração de rede para o SQL Server .

Clique em protocols for <Nome da instancia> Habilite os protocolos shared memory (Memória compartilhada), TCP/IP, Named pipes(Pipes nomeados) caso os mesmos estejam desabilitados.

Após iniciá-los a instância do banco de dados deverá ser reiniciada. Para reiniciar a instancia acesse novamente a opção SQL Server Services (Servicos do SQL Server) clique com o botão direito em SQL Server e clique em Restart (Reiniciar). Após a reinicialização do serviço teste novamente a conexão.

Etapa 5 - Nova MDI

Acesse o RM.AliasManager.exe (Diretório C:\TOTVS\CorporeRM\RM.Net) e certifique-se que o preenchimento dos campos 'Servidor de Banco' e 'Base de Dados' foram preenchidos corretamente:

Caso necessário acesse o SQL Server Management Studio e verifique os valores apresentados em Server Properties e Database Properties