Dolný taktiež renesančný kaštieľ mal vyryté najstaršie datovanie s rokom 1591, avšak predpokladá sa, že bol postavený na starších základoch. I miestna legenda hovorí, že stavba mala pôvodne pôdorys v tvare L – podľa mena majiteľa Leonarda a neskôr sa prestavila do tvaru písmena T podľa mena Teodóza. Krstné meno Leonard sa v rode Sirmiensis nevyskytlo, ale v predchádzajúcom rode Súľovských áno. Po súľovských zemepánoch kaštieľ vlastnil Jozef Raška a od roku 1906 Mikuláš Szemere z Budapešti, ktorý v Súľove nikdy osobne nebol. Bol to svetobežník, už v mladom veku pracoval ako tajomník viacerých veľvyslanectiev v Európe. Od Mikulášovho syna Štefana kaštieľ v roku 1930 odkúpili dvaja miestni obyvatelia Juraj Ďurajka a Štefan Šefara, ktorý v kaštieli zriadil hostinec. Vo veľkej sále južnej časti sa konali zábavy a divadlá. V kaštieli bola i turistická nocľaháreň. V roku 1995 odkúpil šefarovskú časť kaštieľa Jozef Haroník, druhá časť patrí potomkov Juraja Ďurajku dodnes. Tento kaštieľ zdobilo rovnako ako horný kaštieľ nárožné kvádrovanie a na južnej strane podobne ako evanjelický kostol slnečné hodiny. Kaštieľ je zachovaný takmer v pôvodnom renesančnom stave s drevenými trámovými stropmi, strieľňami v podkroví západného krídla a klenbami v pivniciach. Rokmi zanedbaná údržba sa podpísala pod jeho schátralý stav. Národnou kultúrnou pamiatkou je od roku 1963.

zdroj: Vlastný výskum autorky textu M. Kerešovej.