Tirando as setas dos seus ícones de atalho

Edite o registro. Escolha o item HKEY_CLASSES_RootLnkfile. Delete a chave IsShortcut.

Uma maneira
mais fácil de se conseguir isso é instalando o programa Powertoys.