Nelle immagini panoramiche di Sant’Oreste visto dal crinale del Soratte il Palazzo Caccia, con il prospetto che si affaccia verso la valle del Tevere, spicca come la più grande costruzione del paese, dalla natura massiccia e severa. La facciata rivolta verso il borgo è invece molto più dimensionata e ingentilita da arcate cieche. L’edificio fu completato nel 1589 su progetto del Vignola; il museo ne occupa diverse sale del piano nobile, alcune con volte e pareti affrescate.