Die Burg wurde in 1910 zum Nationaldenkmal erklärt. Ihre geografische Lage ermöglichte die Überwachung des Tales. Möglicherweise existierte hier eine vorrömische Wallburg. Im Mittelalter, um genauer zu sein, im 12. Jahrhundert erfolgte die Neubevölkerung des Gebietes unter der Herrschaft von König Sancho I. und in 1228 erteilte König Sancho II. den Freibrief. Vermutlicherweise wurde die Burg zu dieser Zeit errichtet. Es handelt sich um eine romanisch/gotische Felsenburg, mit punktuellen manuelinischen Details. Die benutzte Technik für den Bau der Mauern war die Errichtung von zwei starken, parallelen Wänden, die danach mit groben Steinen und Kies gefüllt wurden. Die Zitadelle befindet sich außerhalb, zu Süden der Mauern mit einem viereckigen Bergfried im Zentrum des Geländes. Diese hat lediglich eine Öffnung zu Süden (Rundbogenportal), drei Schießscharten und rechteckige Mauerzinnen. Außerdem hat diese zwei Tore: „Porta do Castelo (Burgtor) und „Porta Falsa“ (Falsches Tor). Ersteres präsentiert ein Balkon mit Pechnase und daneben das Wappen von König Manuel I. mit Armillarsphären. Traditionell wird dieser Balkon „Varanda de Pilatos“ (Balkon von Pilatus) genannt. Der ummauerte Umfang der Ortschaft hat einen unregelmäßigen, ovalen Riss. Die Mauer sitzt, in vielen Punkten, direkt auf den Felsen ohne keinerlei Mauerzinnen. Diese hat vier Tore, die der Kommunikation mit dem Außenbereich dienten: „Porta da Vila“ (Haupttor) oder „Porta do Concelho“ (Kreistor), „Porta Nova (Neutor), Porta Falsa (Falsches Tor) und eine andere „Porta Falsa“ bei der Burg. Weiterhin gibt es einen anderen Turm, „Torre do Facho“ (Fackelturm), mit viereckigem Grundriss und ohne jegliche Öffnung. Unter den Besonderheiten der Burg heben wir die Abwesenheit von Mauerzinnen, den runden Festungsturm über dem Wehrgang, Spitzbogen- und Rundbogentore sowie das Standardmaß („vara“ = portugiesische Elle oder „côvado“ = Cubit) auf dem Tor „Porta Nova“ hervor. Diese mittelalterlichen Standardmaße, „vara“ und „côvado“ (portugiesische Ellenmaße), wurden nach Anordnung des Königs dort angebracht. Sie dienten als Maßstab für die hier stattfindenden Märkte. In der Moderne (17.-18. Jahrhundert) begann der Vorort sich außerhalb der ummauerten Ortschaft zu entwickeln, zunächst vom Ausgang der Verbindung nach Sabugal aus. Später verbreitete sich dieser weiter und entfernte sich zunehmend von den Mauern. Der Vorort entwickelte sich relativ weit weg vom ummauerten Siedlungskern und bestand hauptsächlich aus Herrenhäusern. Die Heere Napoleons kamen nach Sortelha und sprengten einen Teil der Burgmauer während der Kriegshandlungen. Wenn wir uns auf dem Platz „Largo do Corro“, gerichtet zum Tor „Porta da Vila“, befinden, können wir links davon einen Teil der Mauer sehen, der vor Kurzem wiedererbaut wurde. Dieses Nationaldenkmal wurde kürzlich im Rahmen des Programms „Aldeias Históricas de Portugal“ aufgewertet.