Das auf einem Bergsporn über Schillingsfürst thronende Schloss gibt es in dieser Form erst seit dem 18. Jahrhundert. Vorher hatte dort lange eine Burg gestanden, deren Gestalt sich mehrmals veränderte – jeweils nach heftiger Zerstörung. Dreimal passierte das insgesamt, das zweite Mal am 21. Mai 1525.