En 1209, existían aquí algunas estructuras residenciales y militares, estas últimas con un amplio control visual del valle. En la Edad Media, las dificultades de repoblación de la zona promovieron la atribución real de fueros, garantizando así la defensa de una frontera en sobresalto por la presión del Reino de León, que poseía el extenso alfoz de la villa fortificada de Sabugal. El fuero fue concedido en 1228, por el rey Sancho II, y es en esta época en la que se construye el castillo, o ciudadela. Esta última corresponde a un castillo roquero, románico-gótico, con intervenciones puntuales de época manuelina, mientras que las murallas, algo anteriores al castillo, se construyeron sobre la base de dos fuertes paredes paralelas, a modo de encofrado, entre las que se rellenó el espacio con piedra gruesa y gravilla. La ciudadela, situada en el extremo sur del perímetro amurallado, tiene una torre del homenaje en el centro del recinto. De planta cuadrada, es maciza hasta la puerta y cuenta con tres saeteras. Curiosamente, hay un tablero del juego del molino esculpido en el macizo sobre el que se asienta esta torre. Asimismo, se conserva una cisterna en el interior de este castillo. El acceso al interior del castillo se realiza por una puerta de arco carpanel parcialmente excavada en el afloramiento. Sobre ella, y como refuerzo defensivo, existe un balcón con matacanes y, a un lado, el escudo real de Manuel I con esferas armilares. También son dignas de mención las troneras (aberturas para apoyar el trueno, o bombarda, una pieza de artillería ligera). Popularmente, este balcón es conocido como Balcón de Pilatos. El perímetro amurallado de la villa tiene un trazado ovalado irregular. En varios lugares, la muralla se asienta directamente en el afloramiento rocoso y no posee merlones, al contrario de lo que debería ocurrir con el castillo, del cual se conservan únicamente los de la torre del homenaje. Tiene cuatro puertas que permitían realizar la conexión con el exterior: Puerta de la Villa o Puerta del Municipio, Puerta Nueva, Puerta Falsa y la pequeña Puerta de la Traición, situada en el castillo. Además de la torre del homenaje, existe otra torre, la Torre do Facho, de planta cuadrada y desprovista de vanos. Entre las particularidades del castillo, destacan la ausencia de merlones en las murallas, y la «vara» y el «codo» (medidas estándar) esculpidos en la Puerta Nueva. Estas antiguas medidas medievales, el codo (67 cm/3 palmos) y la vara (110 cm/5 palmos) se colocaron aquí para que todos los que acudieran a la feria utilizaran la misma medida estándar. En la Edad Moderna (siglos XVII-XVIII), comenzaron a desarrollarse los arrabales externos a la población amurallada, inicialmente a lo largo del camino que llevaba a Sabugal. Posteriormente, la población se extendió por las laderas y se fue alejando de las murallas. Se desarrolló relativamente distante del núcleo amurallado y conserva algunas casas señoriales. Las tropas napoleónicas pasaron por Sortelha y, como resultado de las batallas que aquí se libraron, dinamitaron parte de la muralla del castillo. Así, si nos encontramos en el Largo do Corro, mirando a la Puerta de la Villa, podremos observar, a la izquierda de esta, una parte de la muralla recientemente reconstruida. El castillo está catalogado desde 1910 como Monumento Nacional y esta antigua villa ha sido recientemente valorizada en el marco del programa de las Aldeas Históricas de Portugal.

La antigua casa consistorial y cárcel está situada en el Largo do Pelourinho y su construcción se remonta al siglo XVI, si nos decantamos por el escudo de armas manuelino y la datación adjudicada a la picota. El edificio tiene dos pisos: en el inferior está la cárcel, donde se conserva la letrina original, y el superior alberga el ayuntamiento. La planta, de gran simplicidad, tiene dos compartimentos por piso. Los vanos son de dintel recto sin moldura saliente. Curiosamente, el piso inferior aprovecha el lienzo de la muralla. En 1855, con la disolución del municipio de Sortelha, el edificio fue transformado en una escuela primaria, recientemente desactivada. Actualmente, aquí se encuentra la junta parroquial de Sortelha.

Se cuenta que, cierta noche, una hueste de moros cercó la fortaleza de Sortelha para reconquistar aquel lugar estratégico. En el castillo se encontraban el alcalde, su esposa y su hija, una hermosa doncella. — ¡Qué hombre tan guapo! — exclamó ella, siguiéndolo con la mirada - ¡Qué mujer tan hermosa! — pensó el moro desde lo alto de las murallas. A partir de ese momento, ni uno ni otro fueron capaces de dejar de pensar en un nuevo encuentro. Así pues, el jefe moro prometió la libertad de un prisionero cristiano con las condiciones que él mismo impuso: - Hablarás con la doncella a solas y le abrirás la puerta. La madre de la joven, de la que se decía que era una hechicera, se dio cuenta de que algo pasaba esa noche. Los amantes estaban junto a las murallas y se besaban. — ¡Malditos! ¡Os maldigo y os transformo en piedra! — gritó la hechicera. Y los dos, abrazados, labio con labio, quedaron petrificados. Y así permanecieron, para siempre.

El lastón es una planta filiforme que se presenta en macolla, en zonas de altitud media y en suelos secos. Es un alimento muy apreciado por los rumiantes, especialmente por el ganado vacuno. Utilizado desde tiempos remotos para tejer, el lastón crece espontáneamente en el campo y es recogido por los artesanos para su utilización como materia prima. Con la ayuda de aguja y rafia, el lastón permite tejer una gran variedad de objetos de uso doméstico y decorativo, como esteras, cestas, bases diversas y cualquier otra cosa que se nos pase por la imaginación. También se utiliza comúnmente en escobas, uno de los usos aún en boga.

En esta región, desprovista de árboles y de accidentado relieve, abundan las formaciones graníticas de aspecto bizarro que, moldeadas por el viento y la lluvia, adquieren curiosas fisonomías de connotaciones fantasiosas que decoran y alegran el escenario circundante de Sortelha. Muchas de ellas poseen sugerentes topónimos y otras están asociadas a leyendas locales. En Sortelha se encuentra la conocida Cabeça da Velha (Cabeza de la Vieja), que por su fisonomía se asemeja a un rostro envejecido por la edad.

La calzada medieval, conservada desde la Puerta Nueva, en el exterior de las murallas, atraviesa el conjunto constituido por el Antiguo Hospital y la iglesia de la Misericordia, pasando por la capilla de Santiago, extendiéndose en un tramo de unos 300 m de longitud y con un ancho de 5 m. Este tramo estaba pavimentado con losas regulares de granito, probablemente similares a las identificadas a lo largo de la Rua Direita.