En 1209, il y avait déjà quelques structures résidentielles et militaires à cet endroit, ces dernières offrant un large contrôle visuel sur la vallée. Au Moyen Âge, les difficultés de repeuplement de la zone favorisèrent l’attribution de chartes royales, garantissant ainsi la défense d’une frontière en sursaut sous la pression du Royaume de Léon, qui détenait la vaste périphérie de la ville fortifiée du Sabugal. La charte lui est attribuée en 1228, par Don Sancho II, époque où le château, ou citadelle, a été construit. Cette dernière correspond à un château romano-gothique, avec une intervention occasionnelle de l'époque manuéline, tandis que les murailles, un peu plus anciennes que le château, ont été construites sur la base de deux solides murs parallèles, en forme de coffrage, entre lesquels l'espace était rempli de pierre épaisse et de gravier. La citadelle, située à la limite Sud du périmètre fortifié, possède un donjon situé au centre de l'enceinte. Il est de plan carré, massif jusqu'à la porte et comporte trois meurtrières. Il est curieux de mentionner un plateau du Jeu du Moulin sculpté dans le massif sur lequel se dresse cette tour. Il y a également une citerne à l'intérieur du château. L'accès à l'intérieur du château est assuré par une porte voûtée partiellement creusée dans l'affleurement. Au-dessus, et comme renforcement défensif, se trouve un balcon à mâchicoulis et, sur le côté, les armoiries royales de Don Manuel Ier avec des sphères armillaires. Les embrasures (ouvertures destinées à soutenir les artilleries légères) méritent également d'être citées. Ce balcon est populairement connu comme Varanda de Pilatos (Balcon de Pilate). Le périmètre fortifié de la ville a une forme ovale irrégulière. A plusieurs endroits, la muraille repose directement sur l'affleurement rocheux et ne comporte pas de merlons, contrairement à ce qui devrait se produire avec le château ; seul celui du donjon a été conservé. Il possède quatre portes qui permettaient de communiquer avec l'extérieur : Porte de la Ville ou Porte de la Commune, Porte Neuve, Fausse Porte et la petite Porta da Traição (Porte de la Trahison) située dans le château. Outre le donjon, il existe une autre tour, la Torre do Facho, de plan carré, sans ouvertures. Parmi les particularités du château, nous soulignons l'absence de merlons dans les murs, et les « aune" et "coudée" (mesures étalon) gravées sur la Porte Neuve Ces anciennes mesures médiévales, la "coudée" (67 cm/3 paumes) et l’"aune" (110 cm/5 paumes) ont été placées ici afin que tous ceux qui venaient à la foire utilisent la même mesure étalon. À l'époque Moderne (XVIIe-XVIIIe siècles), son faubourg fortifié a commencé à se développer, dans un premier temps, le long de la route de Sabugal. Plus tard, le peuplement s'est étendu le long des versants et s'est peu à peu éloigné des murailles. Il s'est développé relativement loin du noyau fortifié et conserve encore quelques « solares » (manoirs). Les troupes napoléoniennes sont passées par Sortelha et, suite aux batailles qui s'y sont déroulées, ont dynamité une partie de la muraille du château. Si vous vous trouvez sur le Largo do Corro, tournés vers la Porte de la Ville, vous pouvez observer, à gauche de celle-ci, une partie de la muraille récemment reconstruite. Le Château est classé Monument National depuis 1910 et cet ancien village a récemment été mis en valeur dans le cadre du programme des Villages Historiques du Portugal.

L'ancien Hôtel de Ville et Prison est situé sur le Largo do Pelourinho (Place du Pilori) et sa construction remonte au XVIe siècle, au vu des armoiries manuélines et de la date attribuée au pilori. Le bâtiment a deux étages, l'étage inférieur étant la prison, où se trouvent la latrine d'origine, et l'étage supérieur étant l’Hôtel de Ville. Le plan, d'une grande simplicité, comporte deux pièces par étage. Les ouvertures ont un linteau droit sans moulure saillante. Curieusement, l'étage inférieur est encastré dans la muraille. En 1855, avec la disparition du statut de municipalité, le bâtiment fut transformé en école primaire, récemment désactivée. Actuellement, c'est le siège de la Mairie Annexe de Sortelha.

L'histoire raconte qu'une nuit, une foule de Maures a assiégé la forteresse de Sortelha pour recouvrer cet endroit stratégique. Le château abritait l’Alcade, sa femme et leur fille, une belle jeune fille. - "Quel bel homme !" s'exclama-t-elle en le suivant du regard. - "Quelle belle femme !" pensa le Maure du haut des murailles. À partir de ce moment-là, ni l’un ni l’autre n’ont cessé de penser à se rencontrer. C’est pourquoi le chef Maure a promis la liberté à un prisonnier chrétien, aux conditions qu’il a imposées : - "Tu parleras à la jeune fille, seule, et tu lui ouvriras la porte." La mère de la jeune fille, que l'on disait sorcière, a compris que quelque chose se passait cette nuit-là. Les amoureux étaient debout près des murailles et s'embrassaient. - "Soyez maudits ! Je vous maudis et je vous transforme en pierre !" - cria la sorcière. Et les deux, enlacés, lèvres contre lèvres, furent pétrifiés. Et ils restèrent ainsi, pour toujours.

Le bracejo (avoine géante) est une plante filiforme qui pousse en touffes dans les zones de moyenne altitude et sur des sols secs. C'est un aliment très apprécié des ruminants, notamment des bovins. Utilisé depuis l'Antiquité pour le tissage, il pousse spontanément dans les champs et est cueilli par les artisans pour servir de matière première. Avec l'aide d'une aiguille et de raphia, le bracejo peut être utilisé pour tisser une grande variété d'objets à usage domestique et décoratif, tels que des nattes, des paniers, des socles divers et tout ce que l'imagination peut créer. Il est aussi couramment utilisé dans les balais, l'une des utilisations encore en vogue.

Dans cette région dénuée d'arbres et au relief accidenté, les formations granitiques d'aspect bizarre abondent. Façonnées par le vent et la pluie, elles acquièrent de curieuses physionomies aux connotations fantaisistes, décorant et égayant le paysage qui entoure Sortelha. Beaucoup d'entre elles ont des toponymes suggestifs, et d'autres sont associées à des légendes locales. À Sortelha se trouve la célèbre Cabeça da Velha (Tête de la Vieille), qui, de par sa physionomie, ressemble à un visage vieilli par les années.

La chaussée médiévale, conservée depuis la Porte Neuve, à l'extérieur des murailles, traverse le complexe constitué par l'Ancien Hôpital et l'Église de la Miséricorde en passant par la Chapelle de Saint Jacques, sur un tronçon d'environ 300 m de long et de 5 m de large. Le pavage de ce tronçon a été réalisé avec des blocs de granit réguliers probablement semblables à ceux identifiés le long de la Rua Direita.