Das Schloss befindet sich im Dorf Kaltenberg, Gemeinde Geltendorf, etwa 50 Kilometer von München entfernt. 1292 erbaut, ist es heute Eigentum von Luitpold Prinz von Bayern dem Urenkel des letzten bayerischen Königs, Ludwig III.

Die vierflügelige Anlage wurde im Zuge des Umbaus im 19. Jahrhundert erbaut. Der Umbau wurde 1841 von dem damaligen Besitzer Johann Adolph Sommer beauftragt. Der Kernbau des Westflügels geht auf die Landsberger Jesuiten ins 17. Jahrhundert zurück.
Neben dem Torbau fällt besonders der neugotische Bergfried mit seinen kleinen Ecktürmchen ins Auge. Die Fresken mit Motiven aus dem „Codex Manesse“ entstanden erst im Zusammenhang mit den jährlichen Ritterspielen und sind noch teilweise unvollendet.

1954 wurde Schloss Kaltenberg von der Familie der Wittelsbacher gekauft und bis heute bewohnt. Hier hat das königlich bayerische Bier sein Zuhause, für das Schloss Kaltenberg international bekannt ist.

Sie haben Zugang zu dem Innenhof. Brauereiführungen sind wegen der derzeit geltenden Hygienevorschriften leider nicht möglich.