Die Schenken von Greding verkauften 1377 ihre Feste mit Graben und Zubehör an Bischof Rabno. Ob das bischöfliche Schloß an deren Stelle sich erhebt, läßt sich nicht bestimmen. Zur mittelalterlichen Baugeschichte desselben bestehen keine Nachrichten. Daß unter Bischof Martin von Schaumberg gebaut wurde, beweist dessen Wappen am Kastengebäude. Euchar Schenk von Castell ließ einen völligen Neubau aufführen, der 1696 vollendet wurde. Nach Ausweis der Stilformen wurde das Schloß nach Plänen des Hofbaumeisters Jakob Engel errichtet. Die toskanische Regierung überließ 1804 das Schloß dem letzten Eichstätter Fürstbischof Joseph v. Stubenberg zur lebenslänglichen Benützung. Die Bayerische Regierung verwendete es anschließend zur Unterbringung von Ämtern und heute befindet es sich in Privatbesitz.
Das Schloß besteht aus zwei im rechten Winkel zusammenstoßenden Flügeln zu je neun Achsen, die nach Osten und Süden gelegen sind. An der Südostecke springt ein vom Boden aufgehender, polygoner Erker vor. Die Flügel sind dreigeschossige. Die Halbfenster des Erdgeschosses umgeben ungegliederte Steinrahmen. Das Portal liegt am Südflügel über vierstufiger Freitreppe. Die in Stuck ausgeführte Umrahmung besteht aus toskanischen Piastern, die über Triglyphengebälk einen Dreiecksgiebel tragen. Dreifeldrige Türflügel mit Zierstäben. Die Schlagleiste ist als kannelierter Pilaster mit Kapitell gebildet. Schönes Oberlichtgitter.
Die Fenster des Hauptgeschosses haben stuckierte Umrahmungen mit Verdachungen, bei denen Dreiecksgiebel mit Segmentgiebeln wechseln wie an der Eichstätter Residenz. Das dritte Geschoß ist als Halbgeschoß gebildet; stuckierte Fensterumrahmungen mit Ohren. Der Erker folgt in der Fensterbehandlung den Geschossen. Über dem dritten Geschoß Attika mit stehenden Ovalöffnungen in Rechteckblenden. Kupfergedecktes Kuppeldach. Am Erker ist das bemalte Steinwappen des Erbauers eingelassen mit der Inschrift: Jo. Eucharius Dei gratia Eposcopus Eystettensis S. R. I. Princeps has Aedes ex Fundamentis Fieri Fecit Anno Dni 1696.