Em 1209 já existiriam aqui algumas estruturas habitacionais e militares, estas últimas com amplo controlo visual do vale. Na Idade Média as dificuldades de repovoamento da zona promoveram a atribuição régia de forais, garantindo assim, a defensa de uma fronteira em sobressalto pela pressão do Reino de Leão, que detinha o extenso alfoz da vila fortificada do Sabugal. O foral é-lhe atribuído em 1228, por D. Sancho II, época em que terá sido construído o castelo, ou cidadela. Esta última corresponde a um castelo roqueiro, românico-gótico, com intervenção pontual do período manuelino, enquanto as muralhas, algo anteriores ao castelo, foram construídas tendo por base duas paredes fortes e paralelas, a modo de cofragem, entre as quais se preenchia o espaço com pedra grossa e gravilha. A cidadela, situada no limite sul do perímetro amuralhado, tem uma torre de menagem situada no centro do recinto. De planta quadrada é maciça até à porta e conta com três seteiras. Como dado curioso referir um tabuleiro do Jogo do Moinho esculpido no maciço onde assenta esta torre. Também no interior deste castelo se conserva uma cisterna. O acesso ao interior do castelo é assegurado por uma porta de arco abatido e em parte escavada no afloramento. Sobre ela, e como reforço defensivo, um balcão com mata-cães e, ao lado, as armas reais de D. Manuel I com esferas armilares. São também dignas de menção as troneiras que aí podemos observar (abertura para apoiar o tron, ou bombarda, uma peça de artilharia leve). Popularmente este balcão é apelidado de Varanda de Pilatos. O perímetro amuralhado da vila apresenta um traçado ovalado irregular. Em vários locais a muralha assenta directamente no afloramento rochoso e não possui merlões, ao contrário do que deveria ocorrer com o castelo, tendo-se apenas conservado os da torre de menagem. Apresenta quatro portas que permitiam fazer a ligação com o exterior: Porta da Vila ou Porta do Concelho, Porta Nova, Porta Falsa e a pequena Porta da Traição situada no castelo. Para além da Torre de Menagem existe uma outra torre, a Torre do Facho, de planta quadrada, desprovida de vãos. Entre as particularidades do castelo destacamos a ausência de merlões nas muralhas, e a “vara” e “côvado” (medidas padrão) esculpidas na Porta Nova. Estas antigas medidas medievais, o côvado (67 cm/3 palmos) e a vara (110 cm/5 palmos) foram aqui colocadas para que todos os que aqui viessem à feira utilizassem a mesma medida padrão. Na Época Moderna (séculos XVII-XVIII) começou a desenvolver-se o arrabalde exterior à povoação amuralhada, inicialmente ao longo do caminho para o Sabugal. Posteriormente a povoação disseminou-se pelas vertentes e foi-se afastando das muralhas. Desenvolveu-se relativamente distante do núcleo amuralhado e conserva alguns solares. As tropas napoleónicas passaram por Sortelha e, na sequência dos combates que aqui travaram, dinamitaram uma parte da muralha do castelo. Assim, se estivermos localizados no Largo do Corro, voltados para a Porta da Vila é possível observar, à esquerda desta, uma parte da muralha recentemente reconstruída. O Castelo está classificado, desde 1910, como Monumento Nacional e esta antiga vila foi recentemente valorizada no âmbito do programa das Aldeias Históricas de Portugal.

A Antiga Casa da Câmara e Cadeia fica situada no Largo do Pelourinho e a sua construção remonta ao século XVI, tendo em conta as armas manuelinas e a datação atribuída ao pelourinho. O edifício tem dois pisos, sendo o piso inferior a cadeia, onde se conserva a latrina original, e o piso superior a Câmara. A planta, de grande simplicidade, conta com dois compartimentos por piso. Os vãos são de lintel recto sem moldura saliente. Curiosamente, o piso inferior aproveita o pano da muralha. Em 1855 com a extinção do concelho de Sortelha, o edifício foi transformado em escola primária, recentemente desactivada. Actualmente funciona aqui a sede da Junta de Freguesia de Sortelha.

Conta-se que, certa noite, uma hoste de mouros cercou a fortaleza de Sortelha, para recuperar aquele sítio estratégico. No castelo, encontravam-se o alcaide, a sua mulher e a sua filha, uma donzela formosa. - “Que lindo homem!”, exclamou ela, seguindo-o com os olhos - “Que linda mulher!”, pensou o mouro do alto das muralhas. A partir daquele momento, nem um nem o outro deixaram de pensar em encontrar-se. Por isso, o chefe mouro prometeu a liberdade a um prisioneiro cristão, com as condições que ele impôs: - “Falarás a sós com a donzela e abrir-lhe-ás a porta.” A mãe da jovem, que diziam ser feiticeira, apercebeu-se que alguma coisa se passava nessa noite. Os amantes estavam junto às muralhas e beijavam-se. - “Malditos! Eu vos amaldiçoo e vos transformo em pedra!” – gritou a feiticeira. E os dois, abraçados, lábios com lábios, ficaram petrificados. E assim permaneceram, para sempre.

O Bracejo é uma planta filiforme que se apresenta em touceiras, nas zonas de média altitude e em terrenos secos. São um alimento muito apreciado pelos ruminantes, sobretudo os bovinos. Utilizado desde tempos remotos para tecer, o bracejo nasce espontaneamente no campo e é recolhido pelos artesãos para a sua utilização como matéria-prima. Com ajuda de agulha e ráfia, o bracejo permite tecer os mais variados objectos de uso doméstico e decorativo, nomeadamente, esteiras, cestaria, bases várias e aquilo que a imaginação puder criar. Também é vulgarmente utilizado em vassouras, um dos usos ainda em voga.

Nesta região desnudada de árvores e acidentado relevo, abundam as formações graníticas de aspecto bizarro que, modeladas pelo vento e pela chuva, adquirem curiosas fisionomias de conotações fantasiosas decorando e alegrando o cenário envolvente a Sortelha. Muitas delas possuem sugestivos topónimos, e outras, estão associadas a algumas lendas locais. Em Sortelha destaca-se a conhecida Cabeça da Velha, que pela sua fisionomia lembra um rosto envelhecido pela idade.

A calçada medieval conservada desde a Porta Nova, no exterior das muralhas, atravessa o conjunto constituído pelo Antigo Hospital e Igreja da Misericórdia, passando pela Capela de Santiago, estendendo-se por um troço com cerca de 300m de extensão e com uma largura de 5m. A pavimentação deste troço foi efectuada com lajes de granito regulares e provavelmente semelhantes àquelas identificadas ao longo da Rua Direita.