Am 11. September 1301 verkaufte Konrad, genannt Struma (der Kropf) castrum et oppidum Kipfenberg mit allen Zugehörungen an das Hochstift Eichstätt, sowohl die Eigengüter als die Lehen der Eichstätter Kirche, wie er und seine Voreltern sie ab antiquo besessen. Die Struma waren zuvor Ministerialen der Grafen von Hirschberg gewesen: homines D. Comitis quondam de Hirzperch, wie das älteste Eichstätter Lehenbuch vom Anfang des 14. meldet. Wie weit das Besitzverhältnis der Kropfe zeitlich zurückreicht, steht nicht fest. Der oben genannte Konrad wird von 1277 ab als zu Kipfenberg seßhaft erwähnt.
Eichstätt errichtete, wahrscheinlich nach Anfall der Hirschberger Erbschaft, ein Pflegamt in Kipfenberg. Die Burg diente von da ab den Pflegern als Wohnung. Die Anlage derselben gehört dem späten 12. vielleicht schon dem 13. Jahrhundert an, soweit der Bergfried in Frage kommt. Dass letzterer kein Römerbau ist, wie man früher annahm, braucht heute nicht eigens bewiesen zu werden. In die Zeit des Bergfrieds gehen wohl auch die geringen Reste der Ringmauer zurück, die erhalten blieben.
Das Gundekarianum meldet, dass Bischof Rabno (1365-1383) außer anderen Schlössern und Städten des Bistums auch am Schloss Kipfenberg gebaut habe. Welcher Art diese Bauten waren, lässt sich nicht bestimmen. Vielleicht errichtete er den Zwinger, der um die Ost- und um die halbe Südseite der romanischen Anlage sich herumzieht. Rabnos Nachfolger, Friedrich von Öttingen, hat derselben Qelle zufolge vielerlei Bauten auf unserer Burg ausführen lassen: ab intra totaliter diversis structuris et edificiis inovavit. Öttingens Bautätigkeit scheint zumeist die Wohnbauten betroffen zu haben. Für jeden Fall gehören die Mauertürme an der Nordostecke des Beringes (der Hexenturm und der nahestehende kleinere Turm), ferner der Zwingerturm auf der Felsennase vor der Kapelle gotischer Zeit an. Eine genauere zeitliche Bestimmung ermöglicht sich nicht.
1719 erfährt man gelegentlich, dass der Hofbaumeister Ettl zur Bauinspektion anwesend war.
Bis zur Säkularisation bewohnten die fürstbischöflichen Pfleger das Schloss. 1804 wurde es verkauft, und zwar an mehrere Familien. Die Lithographie von Quaglio, 1819 veröffentlicht, zeigt es noch im Bestand. 1836 mussten die meisten Familien ausquartiert werden, weil die Gebäude teilweise den Einsturz drohten. Sie wurden zum Teil abgebrochen. 1850 erfolgte ein weiterer Abbruch.
Eine photographische Aufnahme um 1869 zeigt den Mauerbestand noch weitgehend erhalten. Im genannten Jahr erfolgte aber der völlige Abbruch. Nur der Bergfried, die Kapelle (als Wohnhaus umgestaltet), der sogenannte Hexenturm und Reste des Beringes blieben erhalten. 1895 kaufte der Privatier Franz Häusler von München die Burg von dem Postboten Schiedermeier. 1914 ging sie in den Besitz der Familie Täschner aus Berlin über. Nach Plänen Bodo Ebhards wurde sie mit wesentlichen Abweichungen von der ursprünglichen Anlage wieder aufgebaut. Vollendung 1925.
Die Burg liegt sehr malerisch auf einer Dolomitkuppe östlich über dem Markt. Den Bering, der ungefähr ein Trapez beschreibt, scheidet ein breiter und tiefer Halsgraben an der Südseite vom Hinterland, die übrigen Seiten erheben sich über Steilabfällen.
An der Südostseite liegt eine ausgedehnte Vorburg mit mehreren Häusern. Eine fast vollständig erhaltene Mauer umgibt sie. Sie ist aus Bruchsteinen errichtet, gehört also dem späteren Mittealter an. Der Torturm an der Südostseite ist nicht erhalten. An der Südwestseite modernisiertes Torhaus mit dem Steinwappen des Bischofs Martin von Schaumberg von 1581.
Zur Hauptburg führt an der Südseite eine neue Holzbrücke, die auf zwei Zwischenpfeilern den Halsgraben überquert. Jenseits des Grabens steigt die Mauer des Zwingers, der die Ost- und Südostseite des Schlosses umgibt, von der Grabensohle auf. Sie springt unmittelbar an der Brücke, an deren Westseite, von der Ringmauer ab und wendet sich mit einer Ecke gegen Osten, um nach kurzem Verlauf nach Norden abzubiegen. Die Mauer stand bis zur Wiederherstellung der Burg an dieser Stelle noch ein Geschoss hoch über dem inneren Burggelände. Der weitere Verlauf nach Norden war weitgehendst zerstört. In der Flucht der Brücke liegt das Tor. Die Zwingermauer hat hier eine risalitartige Verstärkung. Die runde Toröffnung umrahmt eine Rechteckblende für die Zugbrücke. Dieser Bestand ist alt, der weitere Aufbau neu. Über der Türöffnung ist ein Steinwappen des Bischofs Christoph von Westerstetten (1612-1636) angebracht. Es befand sich 1914 an dieser Stelle, also wohl von aller Anfang an. Die Technik der Zwingermauer zeigt unsorgfältiges Bruchsteinwerk, das auf gotische Zeit weist.
Hinter dem Zwinger erhebt sich in kurzem Abstand der romanische Bering. Erhalten war 1914 nur an der Südostecke ein längerer Zug der Ringmauer, etwa 4,00 m hoch, mit einem stichbogigen Tor, das die Zufahrt zum Burghof vermittelte. Die Mauer zeigt Quadertechnik. Sie ist in die Neubauten einbezogen. Im weiteren Verlauf war sie durchgehends nur als Futtermauer für das Burggelände erhalten.
Innerhalb des Beringes erhebt sich nahe der Zufahrt auf einem mäßigen Felsenkegel der gut erhaltene Bergfried. Er ist quadratisch. Den Außenmantel bilden 40-60 cm hohe Buckelquadern; die Innenwände verkleiden glatte Quadern. Die Einsteigöffnung an der Westseite ist rundbogig. Das Verlies unter dem Einsteigegeschoss hatte flache Decke. Schmale Lichtschlitze erhellen das Verlies und das Einsteigegeschoss. Das kurze Obergeschoss des Turmes aus Backsteinen und das Satteldach zwischen Treppengiebeln stammen aus späterer Zeit, vielleicht nach 1703. Im genannten Jahr war der Turm durch Blitzschlag sehr beschädigt worden.
Vom ursprünglichen Bestand war 1914 noch erhalten der Kapellenbau, der auf einer Felsennase über dem Westbering vorspringt.
Dem Kapellenbau liegt weiter gegen Westen ein Zwingerturm aus gotischer Zeit vor. Er hat den Grundriss eines gestelzten Halbkreises. Der Bau ist jetzt umgestaltet.
Erhalten war ferner an der Nordostecke ein Eckturm aus gotischer Zeit, im Volksmund der Hexenturm genannt. Er hat rechteckigen Grundriss mit verschobener Nordseite, an der Südseite einen Vorstoß. Der Turm ist drei Geschosse hoch. An der Ostseite kragen in den Obergeschossen zwei Aborterker vor. Tiefer unten, nahe dem Fuß des Turmes, befindet sich nördlich eine vermauerte Öffnung, umgeben von Rechteckblende. Zu Füßen der Öffnung zwei Kragsteine mit Pfostenlöchern. Wahrscheinlich befand sich hier ein Schlagsteg, der zu einer Vorbefestigung auf der Felsenkuppe vor dem Hexenturm führte. Diese Vorbefestigung ist bei Quaglio noch zu sehen, jetzt aber vollständig verschwunden. Der Turm ist aus Bruchsteinen aufgeführt, die West- und Nordseite aus Backsteinen.
In kurzer Entfernung vom Hexenturm gegen Süden steht an der Ringmauer ein kleiner, quadratischer Turm, zweigeschossig. Er war als Ruine erhalten und wurde restauriert.
An der Zwingermauer sprang ungefähr in der Mitte der Ostflucht ein Halbrundturm aus, der gleich der Mauer daselbst nur rudimentär erhalten geblieben war.
Den älteren Abbildungen, auch den älteren Katasterblättern zufolge, erhoben sich die Wohn- und Nebengebäude der Burg früher unmittelbar über dem Süd-, West- und zum Teil auch über dem Nordbering. Das herrschaftliche Wohnhaus nahm den West- und Nordbering ein. Der Innenhof war von bescheidener Größe. Der Wiederaufbau seit 1914 ummantelte den Bergfried mit dem Wohnbau.
Die Burg ist in Privatbesitz und kann daher nicht besichtigt werden