cara, se só vpn resolve, com certeza é problema ou do roteador ou da provedora, entre em contato com eles.
você pode falar que em um jogo que você joga, que permite entrar em servidores de outras pessoas, que você está tendo um problema relacionado a DNS, que você consegue entrar em um determinado servidor via IP, mas não pelo endereço dele, e dado que isso acontece em mais de um computador na mesma rede, só pode ser problema com o serviço fornecido pela provedora. Adendo que acho melhor você falar isso para a área técnica hahahha, o pessoal do atendimento provável que não entenda nada. Eu tava pensando aqui, faz um teste antes disso, se possível, tenta conectar via 3g, tipo, roteando do seu celular, só para confirmar que não é problema dos PCs mesmo.
Certo, tente entrar em contato com eles, caso não resolva pode estar enviando uma MP diretamente para mim.
Caso resolvido, tópico fechado e tag [Resolvido] Adicionada ao titulo. Obs: Esta mensagem é automática.