Man nimmt an, dass der Ort eine Gründung des um 1250 verstorbenen Kuenringers Hadmar IV, genannt „der Bucklige“, ist. Er hatte keine direkten Nachkommen, so dass Harmannsdorf an die Herren von Maissau gelangte, die es als Lehen an ihre Dienstleute weitergaben. 1254 wird ein Bernhard von Ladendorf als Lehensinhaber genannt. In einer weiteren Urkunde wird 1329 ein Chunrat von Hadmansdorf erwähnt. Der 1398 aufscheinende Ritter Alber von Hadtmansdorf war Kämmerer des Herzogs Albrecht V. Damals war der kleine Wehrbau aber nicht mehr im Familienbesitz. Er war im letzten Drittel des 14. Jahrhunderts landesfürstlich geworden und zuerst als Lehen an Ulrich den Tumbrizer gelangt. Auf ihn folgte um 1415 Wulfing der Dachpeckh. Bei den Herren von Dachpeckh (heute: Dappach bei Brunn/Wild) blieb Harmannsdorf bis 1499. Der turmartige Ansitz wurde damals als „Höllturm“ bezeichnet und kann als eine der für die Gegend damals typischen kleinen Wasserburgen (sogenannte Niederungsburgen) angenommen werden. Gespeist wurde der Graben durch den westlichen Ursprungsarm der Schmida. Am Höllturm trafen sich die Grenzen der Landgerichte Eggenburg, Gars und Horn. Ritter Hans Dachpeckh verkaufte den Besitz an seinen Vetter Wigeleus Vellaprunner, der ihn 1503 an die mit ihm verwandten Brüder Christoph und Sebastian Grabner abtrat. Darauf folgten 1528 Wolfgang Steger sowie mehrere andere Besitzer, denen die Herrschaft aber meist nur wenige Jahre gehörten.
Von 1569 an besaß die Familie Pernstorfer die kleine, bereits veraltete Burg. Um 1590 gehörten zur Herrschaft 56 Untertanen. Sebastian Pernstorfer ließ um 1600 basierend auf bestehenden Bauten ein fast quadratisches Renaissance-Wasserschloss errichten. Der Höllturm wurde als Bergfried beibehalten, da man nicht wusste, ob man ihn nicht vielleicht in unsicheren Zeiten wieder brauchen könnte. Mit dem Bau verschuldete sich aber Pernstorfer. Vermutlich wurde die Familie Pernstorfer, die wie der Großteil des Adels und der Landbevölkerung des Waldviertels den Lutherischen Glauben angenommen hatte, zudem den schweren Repressalien der Gegenreformation ausgesetzt. Als Protestanten verloren sie schließlich Schloss und Gut Harmannsdorf, das 1611 vom Fiskus eingezogen wurde.
1627 erwarb Christoph Eggstein von Ernegg die verarmte Herrschaft. Er konnte sie durch Zukäufe verschiedener Güter, wie Zogelsdorf und Kühnring, wieder ausbauen. Besonders die Steinbrüche von Zogelsdorf sollten sich bald als finanzielles Rückgrat der Herrschaft erweisen. Nachfolgende Besitzer waren die Freiherren von Mayerberg und die Barone Heuel. In diese Zeit fällt der Ausbau des mächtigen frühbarocken Schüttkastens im Schlosspark. Seine Blütezeit erlebte Harmannsdorf 1742 bis 1825 unter den Herren von Moser. Um 1760, als die Wehrhaftigkeit der Burg durch die Feuerwaffen längst illusorisch geworden war, ließ Daniel von Moser die Anlage barockisieren und einen französischen Park anlegen. Auf die Moser folgten auf Erbweg ihre Verwandten, die Freiherren von Suttner. 1866 kam es zu größeren Umbauten, wobei der Westtrakt aufgestockt wurde und der Bergfried seinen zinnengekrönten Abschluss erhielt. Zu einem neuerlichen finanziellen Engpass kam es unter Carl Freiherr von Suttner. Bei der 1904 erfolgten Zwangsversteigerung ging als Bestbieter der bisherige Hauptgläubiger, die Sparkasse Innsbruck, hervor. Auf zwei Kurzzeit-Eigentümer folgte 1908 die Baronin Irma von Pach, geb. Reichsgräfin Henckel von Donnersmarck. Sie ließ das Schloss umgehend restaurieren und modernisieren. Die nächsten Schlossbesitzer waren der deutsche Großindustrielle Hans Prym (1916) und der Generaldirektor der Semperit-Werke Marcell Herczeg (1927). Von 1936 bis 1976 waren die Grafen Abensberg-Traun aus dem benachbarten Maissau die Eigentümer.
Die Zogelsdorfer Steinbrüche waren aber im Besitz von Marcell Herczeg verblieben. Als die Familie Abensberg-Traun das Schloss verließ, nahm sie fast die gesamte Einrichtung mit, doch war diese bereits 1945 von russischen Soldaten ausgiebig geplündert worden.
1976 erwarb der Veterinärmediziner Prof. Dr. Erich Glawischnig das Schloss. Er richtete in den Wirtschaftsgebäuden einen Lehr- und Forschungsbetrieb ein und ließ das Hauptgebäude zwischen 1985 und 1991 restaurieren. Seit 2001 ist Mag. Dieter Glawischnig der Eigentümer des Schlosses, das nach wie vor von der Familie bewohnt wird. Es werden laufend Restaurierungen an Schloss, Schüttkasten, Orangerie und Wirtschaftsgebäuden vorgenommen.
Quellen:
ÖNB digital: Ansichtskarte Datierung 1934, Mörtl Verlag, http://data.onb.ac.at/AKON/AK064_431
Burgen-Austria online: www.burgen-austria.com