Le château féodal construit par Waleran, duc de Limbourg, devait déjà être puissamment fortifié, car en l’année 1101, il opposa une résistance de plus d’un mois à l’armée de l’empereur germanique Henri IV venu l’assiéger. Situé à l’extrême pointe nord de la ville fortifiée, dressé à pic à plus de 80 mètres au-dessus du val de la Vesdre et de Dolhain, le château de Limbourg dominait tous les environs. C’était le point d’appui de la place forte. Cinq grosses tours occupaient les angles du château.En 1504, un violent incendie le détruisit presque totalement. Sa reconstruction dura de 1519 à 1530. Le système défensif fut modifié grâce aux progrès de l’art des fortifications et de l’artillerie. Les ruines accumulées par différents sièges successifs réduisirent de plus en plus l’importance du château pour la défense de la place forte.Quelques assiégeants :1578 : Alexandre Farnèse commande l’armée espagnole1632 : troupes hollandaises1635 : à nouveau les Espagnols1675 : armée de Louis XIV. Avant de remettre à nouveau le château aux Espagnols, Louis XIV fit miner et détruire l’ancien bourg.1703 : armées anglaises et hollandaises commandées par le duc de Marlborough1715 : Charles VI, empereur d’AutricheAu cours de ce siècle, le château demeuré à l’état de ruines servit uniquement d’emplacement à quelques batteries de défense. La place forte fut déclassée définitivement en 1781. En 1783, les terrains couverts de ruines de l’ancien château furent achetés par l’échevin de la haute-cour J. J. Ernst.Au 19ème siècle, c’est Julien d’Andrimont qui en devint propriétaire et fit construire un petit château romantique malheureusement détruit par l’armée allemande le 28 août 1914. Seuls les bâtiments à gauche de la grille furent épargnés. Après la guerre, la propriété passa à l’architecte Jean Lejaer qui installa une pergola à la place du château incendié. Par après Guy de Potter, notaire, devint à son tour propriétaire. Il fit restaurer les différents bâtiments, aménager le parc.