Em 1209 já existiriam aqui algumas estruturas habitacionais e militares, estas últimas com amplo controlo visual do vale. Na Idade Média as dificuldades de repovoamento da zona promoveram a atribuição régia de forais, garantindo assim, a defensa de uma fronteira em sobressalto pela pressão do Reino de Leão, que detinha o extenso alfoz da vila fortificada do Sabugal. O foral é-lhe atribuído em 1228, por D. Sancho II, época em que terá sido construído o castelo, ou cidadela. Esta última corresponde a um castelo roqueiro, românico-gótico, com intervenção pontual do período manuelino, enquanto as muralhas, algo anteriores ao castelo, foram construídas tendo por base duas paredes fortes e paralelas, a modo de cofragem, entre as quais se preenchia o espaço com pedra grossa e gravilha. A cidadela, situada no limite sul do perímetro amuralhado, tem uma torre de menagem situada no centro do recinto. De planta quadrada é maciça até à porta e conta com três seteiras. Como dado curioso referir um tabuleiro do Jogo do Moinho esculpido no maciço onde assenta esta torre. Também no interior deste castelo se conserva uma cisterna. O acesso ao interior do castelo é assegurado por uma porta de arco abatido e em parte escavada no afloramento. Sobre ela, e como reforço defensivo, um balcão com mata-cães e, ao lado, as armas reais de D. Manuel I com esferas armilares. São também dignas de menção as troneiras que aí podemos observar (abertura para apoiar o tron, ou bombarda, uma peça de artilharia leve). Popularmente este balcão é apelidado de Varanda de Pilatos. O perímetro amuralhado da vila apresenta um traçado ovalado irregular. Em vários locais a muralha assenta directamente no afloramento rochoso e não possui merlões, ao contrário do que deveria ocorrer com o castelo, tendo-se apenas conservado os da torre de menagem. Apresenta quatro portas que permitiam fazer a ligação com o exterior: Porta da Vila ou Porta do Concelho, Porta Nova, Porta Falsa e a pequena Porta da Traição situada no castelo. Para além da Torre de Menagem existe uma outra torre, a Torre do Facho, de planta quadrada, desprovida de vãos. Entre as particularidades do castelo destacamos a ausência de merlões nas muralhas, e a “vara” e “côvado” (medidas padrão) esculpidas na Porta Nova. Estas antigas medidas medievais, o côvado (67 cm/3 palmos) e a vara (110 cm/5 palmos) foram aqui colocadas para que todos os que aqui viessem à feira utilizassem a mesma medida padrão. Na Época Moderna (séculos XVII-XVIII) começou a desenvolver-se o arrabalde exterior à povoação amuralhada, inicialmente ao longo do caminho para o Sabugal. Posteriormente a povoação disseminou-se pelas vertentes e foi-se afastando das muralhas. Desenvolveu-se relativamente distante do núcleo amuralhado e conserva alguns solares. As tropas napoleónicas passaram por Sortelha e, na sequência dos combates que aqui travaram, dinamitaram uma parte da muralha do castelo. Assim, se estivermos localizados no Largo do Corro, voltados para a Porta da Vila é possível observar, à esquerda desta, uma parte da muralha recentemente reconstruída. O Castelo está classificado, desde 1910, como Monumento Nacional e esta antiga vila foi recentemente valorizada no âmbito do programa das Aldeias Históricas de Portugal.