Het feodale kasteel van Waleran, hertog van Limbourg, moet al zwaar versterkt zijn geweest, want in 1101 bood het meer dan een maand weerstand tegen het leger van de Duitse keizer Hendrik IV, die het kwam belegeren. Het kasteel van Limbourg, gelegen op het noordelijkste punt van de versterkte stad, torende meer dan 80 meter boven de valleien van de Vesder en de Dolhain uit en domineerde de omgeving. Het was het bolwerk van de vesting. Vijf grote torens namen de hoeken van het kasteel in beslag.In 1504 werd het bijna volledig verwoest door brand. Het werd herbouwd tussen 1519 en 1530. Het verdedigingssysteem werd aangepast dankzij de vooruitgang in de kunst van fortificatie en artillerie. De ruïnes van de opeenvolgende belegeringen verminderden het belang van het kasteel in de verdediging van de vesting.Enkele belegeraars:1578: Alexander Farnese voerde het bevel over het Spaanse leger1632: Nederlandse troepen1635: opnieuw Spaanse troepen1675: het leger van Lodewijk XIV. Voordat hij het kasteel teruggaf aan de Spanjaarden, liet Lodewijk XIV de oude stad ontginnen en vernietigen.1703: Engelse en Nederlandse legers onder leiding van de hertog van Marlborough.1715: Karel VI, keizer van OostenrijkTijdens deze eeuw bleef het kasteel in een staat van ruïne en werd het alleen gebruikt als locatie voor enkele verdedigingsbatterijen. De vesting werd in 1781 definitief buiten gebruik gesteld. In 1783 werd de grond met de ruïnes van het oude kasteel gekocht door de schepen van het Hooggerechtshof, J. J. Ernst. J. Ernst.In de 19e eeuw werd Julien d'Andrimont eigenaar en liet een klein romantisch kasteel bouwen, dat helaas op 28 augustus 1914 door het Duitse leger werd verwoest. Alleen de gebouwen links van de poort bleven gespaard. Na de oorlog ging het eigendom over naar de architect Jean Lejaer, die een pergola installeerde op de plaats van het verbrande kasteel. Guy de Potter, een advocaat, werd later eigenaar. Hij liet de verschillende gebouwen restaureren en het park aanleggen.