Das Schloss war ursprünglich eine Verteidigungsburg und wurde am Ende des 14. Jahrhunderts erbaut. Die Burg wurde danach in verschiedenen Etappen umgebaut und entwickelte sich allmählich bis ins 17. Jahrhundert zu einem Schloss mit hauptsächlich administrativen Aufgaben. Am Ende des 17. Jahrhunderts begann der Verfall des Schlosses. Die Schlossruine ist jetzt zum grössten Teil renoviert und für Besucher geöffnet.
Anmerkung:
Leider konnte ich nichts näheres über den genauen Verwendungszeitraum finden. "Torsaby" wurde zum 31.7.1989 geschlossen, und ab 01.08.1989 in Kastelholm umbenannt. "Normale" Stempel von Kastelholm fanden aber auch nur bis zum Letzttag 24.05.1991 Verwendung.