Hans von Aufseß entstammte dem alten fränkischen Adelsgeschlecht der Familie von Aufseß, das seinen Stammsitz auf Schloss Unteraufseß in der oberfränkischen Gemeinde Aufseß hat.

Im Juli 1863 erwarb Freiherr Hans von und zu Aufseß (1801-1872), Altertumsforscher und Gründer des Germanischen Museums (heute Germanisches Nationalmuseum) in Nürnberg, das Anwesen. Er legte den großen Park zum Ausruhen, Lesen und Spazierengehen an.