Die Burg wurde in 1910 zum Nationaldenkmal erklärt. Ihre geografische Lage ermöglichte die Überwachung des Tales. Möglicherweise existierte hier eine vorrömische Wallburg. Im Mittelalter, um genauer zu sein, im 12. Jahrhundert erfolgte die Neubevölkerung des Gebietes unter der Herrschaft von König Sancho I. und in 1228 erteilte König Sancho II. den Freibrief. Vermutlicherweise wurde die Burg zu dieser Zeit errichtet. Es handelt sich um eine romanisch/gotische Felsenburg, mit punktuellen manuelinischen Details. Die benutzte Technik für den Bau der Mauern war die Errichtung von zwei starken, parallelen Wänden, die danach mit groben Steinen und Kies gefüllt wurden. Die Zitadelle befindet sich außerhalb, zu Süden der Mauern mit einem viereckigen Bergfried im Zentrum des Geländes. Diese hat lediglich eine Öffnung zu Süden (Rundbogenportal), drei Schießscharten und rechteckige Mauerzinnen. Außerdem hat diese zwei Tore: „Porta do Castelo (Burgtor) und „Porta Falsa“ (Falsches Tor). Ersteres präsentiert ein Balkon mit Pechnase und daneben das Wappen von König Manuel I. mit Armillarsphären. Traditionell wird dieser Balkon „Varanda de Pilatos“ (Balkon von Pilatus) genannt. Der ummauerte Umfang der Ortschaft hat einen unregelmäßigen, ovalen Riss. Die Mauer sitzt, in vielen Punkten, direkt auf den Felsen ohne keinerlei Mauerzinnen. Diese hat vier Tore, die der Kommunikation mit dem Außenbereich dienten: „Porta da Vila“ (Haupttor) oder „Porta do Concelho“ (Kreistor), „Porta Nova (Neutor), Porta Falsa (Falsches Tor) und eine andere „Porta Falsa“ bei der Burg. Weiterhin gibt es einen anderen Turm, „Torre do Facho“ (Fackelturm), mit viereckigem Grundriss und ohne jegliche Öffnung. Unter den Besonderheiten der Burg heben wir die Abwesenheit von Mauerzinnen, den runden Festungsturm über dem Wehrgang, Spitzbogen- und Rundbogentore sowie das Standardmaß („vara“ = portugiesische Elle oder „côvado“ = Cubit) auf dem Tor „Porta Nova“ hervor. Diese mittelalterlichen Standardmaße, „vara“ und „côvado“ (portugiesische Ellenmaße), wurden nach Anordnung des Königs dort angebracht. Sie dienten als Maßstab für die hier stattfindenden Märkte. In der Moderne (17.-18. Jahrhundert) begann der Vorort sich außerhalb der ummauerten Ortschaft zu entwickeln, zunächst vom Ausgang der Verbindung nach Sabugal aus. Später verbreitete sich dieser weiter und entfernte sich zunehmend von den Mauern. Der Vorort entwickelte sich relativ weit weg vom ummauerten Siedlungskern und bestand hauptsächlich aus Herrenhäusern. Die Heere Napoleons kamen nach Sortelha und sprengten einen Teil der Burgmauer während der Kriegshandlungen. Wenn wir uns auf dem Platz „Largo do Corro“, gerichtet zum Tor „Porta da Vila“, befinden, können wir links davon einen Teil der Mauer sehen, der vor Kurzem wiedererbaut wurde. Dieses Nationaldenkmal wurde kürzlich im Rahmen des Programms „Aldeias Históricas de Portugal“ aufgewertet.

Das ehemalige Gemeindehaus und Gefängnis liegt auf dem Platz „Largo do Pelourinho“ und stammt aus dem 16. Jahrhundert, hinsichtlich des Wappens von König Manuel und der Datierung des Prangers. Das Gebäude hat zwei Etagen, wobei sich im Untergeschoss das Gefängnis und im Obergeschoss das Gemeindehaus befanden. Der Grundriss ist einfach rechteckig, mit zwei Räumen pro Etage. Die Öffnungen haben einen geraden Sturz, ohne hervorstehenden Rahmen. Interessant ist, dass das Untergeschoss in die Mauer hineingebaut ist. Mit der Auflösung des Kreises von Sortelha in 1855 wurde das Gebäude in eine Grundschule umgewandelt, die kürzlich geschlossen wurde. Zurzeit befindet sich diese im Gebäude des Geimenderates.

In dieser Region aus zerklüftetem Gelände und spärlicher Vegetation, gibt es reichliche Granitformationen merkwürdigen Aussehens. Durch den Regen und den Wind modelliert, gewinnen diese kuriose Formate, mit fantasievollen Konnotationen, die die Landschaft rund um Sortelha dekorieren und beleben. Viele davon stehen in Verbindung mit verschiedenen andeutenden Ortsbezeichnungen und sogar mit einigen Legenden. In Sortelha findet man die bekannte „Cabeça da Velha“ (Kopf der alten Frau), die den Namen ihrer Physiognomie, welche an ein veraltetes Gesicht erinnert, zu verdanken hat.

Vom „Porta Nova“ Tor ausgehend, außerhalb der Mauern, in der Nähe des ehemaligem „Misericódia“ Krankenhauses, der „Misericórdia“ Kirche und der „Santiago“ Kapelle, gibt es eine Strecke aus mittelalterlicher Pflasterung mit circa 30 Meter Länge und 5 Meter Breite. Die Pflasterung dieser Strecke besteht aus regelmäßigen Granitblöcken. Dessen Bau ist verbunden mit dem Bau des „Porta Nova“ Tores im Dorf.