Die Familie Payr, Ministerialien der Grafen von Eppan, erbauten im 13. Jahrhundert eine kleine Burg auf einem Felskopf bei Untersirmian. Sie bestand aus einem vierstöckigen Bergfried, einem Palas an der Südseite und einer spätgotischen Burgkapelle. Unter Ritter Jakob von Boymont-Payrsberg kamen im 16. Jahrhundert Wehranlagen, das Eingangstor mit der Jahreszahl 1560 und ein Eckrondell im Norden dazu. Bereits um 1600 wurde die Burg allerdings ihrem Schicksal überlassen und verfiel: Die Familie zog in die modernere und angenehmere Schwanburg im Tal.

Erst als der letzte Graf von Payrsberg 1791 verstarb, wurde der Besitz weitergegeben. Heute ist sie in Privatbesitz. Zur Anlage gehört auch ein Jagdturm in Obersirmian: Er diente vor allem als Aufenthaltsort für die Sommerfrische und für die Jagd. Der Turm prägt seine Umgebung und ist auch im Wappen der Gemeinde Nals enthalten. Der Weg Nr. 9 führt heute in ca. einer Stunde von Nals zu Burg Payrsberg (nicht zugänglich) über der Schlucht des Sirmianer Baches.