Pod koniec XVIII w. gotycko - renesansowy zamek Oleśnickich i Myszkowskich popadł w tak wielkie zaniedbanie i ruinę, że najpierw został opuszczony, a następnie rozebrany. Jego dokładną rozbiórkę miała zarządzić margrabina Wielopolska, spodziewając się znaleźć skarb ukryty tu rzekomo przez króla szwedzkiego Karola XII po bitwie pod Kliszowem. Z części kamienia zamkowego Wielopolscy zbudowali budynki zespołu pałacowego. Wzgórze Zamkowe dominuje nad miastem. Ze stojącej tu niegdyś potężnej budowli gotycko - renesansowej zachowały się jedynie resztki. Tymi nielicznymi pozostałościami są: dolne partie wieży z głęboką, kwadratową piwnicą, wysunięte na teren suchej fosy; fragment filaru mostowego na zboczu wschodnim; obwarowania ziemne, zamykające górę od północy; dawny mur zwierzyńca, wzdłuż chodnika na Nową Wieś. Na początku lat 60. XX w., na wzgórzu prowadzone były prace archeologiczne pod kierunkiem prof. Adama Miłobędzkiego. W roku 2003 archeolodzy ponownie wrócili w to miejsce, by wykopaliskami wzbogacić wiedzę o nim, a także uczynić je atrakcją turystyczną.