Dominando a paisagem urbana da vila, ergue-se o monumental Castelo, primitiva residência dos duques brigantinos, construído nos finais do século XIII. “O Rei Lavrador (D. Dinis), nas suas visitas aos Agostinhos, de que era particularmente devoto e em cujo mosteiro pousava, ao ver o cómoro do Poente, dominando os carrascais, boa sentinela que poderia ser numa linha defensiva raiana e bom padrasto para a vila criada, pensaria em fortaleza-lo”, ignorando-se entretanto quem foram os seus construtores e em que datas se iniciou e completou a opulenta obra; sabe-se, porém, que em 1297 já tinha alcaide, que foi Soeiro Peres.

É a fortaleza quadrangular de traçado semelhante ao desenho de um projecto conhecido de Leonardo da Vinci. É aliás, nota do historiador calipolense Joaquim Saial, o qual a propósito deste monumento esclarece: “No sítio onde se ergue a actual fortificação renascentista, esteve desde os finais do século XIII até ao início do século XVI o antigo castelo medieval da época de D. Dinis (ampliado no reinado de D. Fernando). Como refere Túlio Espanca este desapareceu na 2ª vintena do século XVI, quando os duques donatários D. Jaime e D. Teodósio I construíram a subsistente fortaleza artilheira, de tipo italiano mas seguindo o modelo das praças africanas e industânicas que os Portugueses haviam introduzido nas suas conquistas ultramarinas”. Tem à sua volta um fosso de sete metros de altura e seis de largura.

Subsistem hoje na cerca das muralhas quatro portas, assim designadas: a de Évora e a da Torre, ambas viradas ao poente; a de Estremoz, aberta para o lado Norte e a de Olivença ou do Sol, na ilharga sul que era também a chamada Porta da Traição. A entrada na fortaleza faz-se hoje através de uma reconstituída ponte levadiça para acesso ao pátio interior, onde está a cisterna do castelo, e aos museus que nas suas dependências se instalaram recentemente. Fora, na antiga e já desaparecida Cerca Velha, obra que se atribui à iniciativa dos duques D. Jaime e D. Teodósio I, existiam as Portas da Esperança, a nascente, a de S. Sebastião, a de Santa Luzia, voltada a Poente.

No interior da cerca nova, a actual, além da igreja matriz de Nossa Senhora da Conceição e dos cemitérios municipais, subsistem alguns antigos arruamentos da planta medieval, onde ainda e podem observar vestígios da arquitectura primitiva como as portas ogivais da que teria sido residência de Nuno Álvares Pereira.

Foi este castelo palco de intensas lutas por ocasião das Guerras da Independência (1383-1385), da Restauração (1640-1665) e da Sucessão de Espanha (1711) tendo sido Vila Viçosa, por mais de uma vez, quartel-general dos exércitos do Alentejo. Além do Condestável, estão ligadas aos feitos militares ocorridos nomes como Álvaro Gonçalves (século XIV), Cristóvão Brito Pereira (século XVII) e Jerónimo do Carvalhal (século XVII).

A Torre de Menagem foi erguida no reinado de D. Fernando, afastada do Castelo. In Vila Viçosa - História, Arte e Tradição e Wikipédia <a href="http://7maravilhasdevilavicosa.blogspot.com/2007/02/castelo-e-torre-de-menagem-de-vila.html">7maravilhasdevilavicosa.blogspot.com/2007/02/castelo-e-to...</a>