Die Geyerburg wurde erstmals 1441 schriftlich als Sedelhof, Sitz der Ritter, mit Schlösschen erwähnt. Unter den lebhaften Besitzerwechseln wurde es auch im Namen von Kaiser Maximilian erworben. Der Kaiser betraute einen aus der Fuggerfamilie im Jahr 1518 mit einem Neubau. Es wird an dieser Stelle meistens Ulrich Fugger d.Ä. von der Lilie genannt, der jedoch zu dieser Zeit nicht mehr lebte. Dies kann aufgrund der Lebensdaten daher nur sein Bruder und Partner Jakob Fugger gewesen sein. 

Später übernahm es mit Zustimmung Kaiser Karl V eine Augsburger Patrizierfamilie. Schließlich wurde es vom Hochstift Augsburg als Amtsgebäude und Amtsgefängnis genutzt. Der Bau wurde komplett überformt und dient heute der evangelischen Jugendarbeit.