Arco, villa Angerer: il declino