En 1209, il y avait déjà quelques structures résidentielles et militaires à cet endroit, ces dernières offrant un large contrôle visuel sur la vallée. Au Moyen Âge, les difficultés de repeuplement de la zone favorisèrent l’attribution de chartes royales, garantissant ainsi la défense d’une frontière en sursaut sous la pression du Royaume de Léon, qui détenait la vaste périphérie de la ville fortifiée du Sabugal. La charte lui est attribuée en 1228, par Don Sancho II, époque où le château, ou citadelle, a été construit. Cette dernière correspond à un château romano-gothique, avec une intervention occasionnelle de l'époque manuéline, tandis que les murailles, un peu plus anciennes que le château, ont été construites sur la base de deux solides murs parallèles, en forme de coffrage, entre lesquels l'espace était rempli de pierre épaisse et de gravier. La citadelle, située à la limite Sud du périmètre fortifié, possède un donjon situé au centre de l'enceinte. Il est de plan carré, massif jusqu'à la porte et comporte trois meurtrières. Il est curieux de mentionner un plateau du Jeu du Moulin sculpté dans le massif sur lequel se dresse cette tour. Il y a également une citerne à l'intérieur du château. L'accès à l'intérieur du château est assuré par une porte voûtée partiellement creusée dans l'affleurement. Au-dessus, et comme renforcement défensif, se trouve un balcon à mâchicoulis et, sur le côté, les armoiries royales de Don Manuel Ier avec des sphères armillaires. Les embrasures (ouvertures destinées à soutenir les artilleries légères) méritent également d'être citées. Ce balcon est populairement connu comme Varanda de Pilatos (Balcon de Pilate). Le périmètre fortifié de la ville a une forme ovale irrégulière. A plusieurs endroits, la muraille repose directement sur l'affleurement rocheux et ne comporte pas de merlons, contrairement à ce qui devrait se produire avec le château ; seul celui du donjon a été conservé. Il possède quatre portes qui permettaient de communiquer avec l'extérieur : Porte de la Ville ou Porte de la Commune, Porte Neuve, Fausse Porte et la petite Porta da Traição (Porte de la Trahison) située dans le château. Outre le donjon, il existe une autre tour, la Torre do Facho, de plan carré, sans ouvertures. Parmi les particularités du château, nous soulignons l'absence de merlons dans les murs, et les « aune" et "coudée" (mesures étalon) gravées sur la Porte Neuve Ces anciennes mesures médiévales, la "coudée" (67 cm/3 paumes) et l’"aune" (110 cm/5 paumes) ont été placées ici afin que tous ceux qui venaient à la foire utilisent la même mesure étalon. À l'époque Moderne (XVIIe-XVIIIe siècles), son faubourg fortifié a commencé à se développer, dans un premier temps, le long de la route de Sabugal. Plus tard, le peuplement s'est étendu le long des versants et s'est peu à peu éloigné des murailles. Il s'est développé relativement loin du noyau fortifié et conserve encore quelques « solares » (manoirs). Les troupes napoléoniennes sont passées par Sortelha et, suite aux batailles qui s'y sont déroulées, ont dynamité une partie de la muraille du château. Si vous vous trouvez sur le Largo do Corro, tournés vers la Porte de la Ville, vous pouvez observer, à gauche de celle-ci, une partie de la muraille récemment reconstruite. Le Château est classé Monument National depuis 1910 et cet ancien village a récemment été mis en valeur dans le cadre du programme des Villages Historiques du Portugal.