von Ditten hadde egen eiendom i Åsgårdstrand, kjøpt av gården Teiens grunn i 1897, i 1898 også en del av stranden nedenfor. Han oppførte et stort hus som var like flott som Munchs hus var lite og primitivt. Men von Ditten hadde ingen lykkelig tid i Åsgårdstrand, og er mest kjent for sine uoverensstemmelser med Edvard Munch.