У 1802 годзе Аляксандр I дазволіў Агінскаму стаць апекуном Францішка Ксаверыя. Для гэтага Міхала адправілі з Пецярбурга ў маёнтак дзядзькі пад Смаргонню.
Першапачаткова сядзіба складалася з драўлянага дома, млына, бровара, маленькага задняга двара і саду з гародам. Акрамя гэтага, маёнтку належалі некалькі корчмаў, сенажаці ля поймы ракі, завод з цэглы і цэлы бор.
Па прыездзе апекуна адразу ж пачалося будаўніцтва палаца пад кіраўніцтвам архітэктараў Міхаіла Шульца і Жозэфа Пусье. Рэзідэнцыя складалася з двухпавярховых павільёнаў з выцягнутымі над імі аднапавярховымі крыламі.
Леанард Хадзько, сакратар Агінскага, намаляваў гравюру пад назвай «Залессе ў Літве. 1822». На ёй адлюстраваны галоўнае пяцідзесяціметровае крыло рэзідэнцыі з калонамі і вялікая цяпліца, якую пабудавалі перпендыкулярна аранжарэі. Паміж ёй і вадзяным млынам стаялі каменныя слупы, замацаваныя дэкаратыўным плотам.
Будаўніцтва было скончана ў 1815 годзе. Сядзіба была пабудавана амаль без падмурка, у класічным архітэктурным стылі. А ў цэнтры палаца размяшчаўся порцік з чатырох калон і гадзіннік з чатырма цыферблатамі на невялікай вежцы. Час адбіваў спецыяльны звон, які знаходзіўся ў шары над вежай.
Унутры палаца было вельмі прасторна, што дазваляла там размясціць не толькі спальныя пакоі, але і мноства гасціных, бібліятэк, кабінетаў, салонаў. А від з бібліятэкі адкрываўся на парк з возерам, куды можна было трапіць праз двайныя шкляныя дзверы.
Парк уяўляў сабой ўзор навамоднага «англійскага» пейзажа. У батанічны сад прывозілі паўднёвыя расліны, якія лічыліся самымі рэдкімі. Праз парк працякалі дзве ракі – Бабрынка і Рудзіца. Яны напаўнялі маляўнічае возера, якое ўяўляла сабой стаў з востравам. Непаўторнасць месцу надавалі срэбныя масты, перакінутыя праз рэчкі, і клумбы з кветкамі, якія вельмі любіў Агінскі.
У гады савецкай улады ў маёнтку быў арганізаваны Дом адпачынку, а ў 1961 годзе – Дом састарэлых. Пазней Смаргонскі сілікатны завод хацеў адкрыць тут санаторый-прафілакторый, але праект не быў рэалізаваны праз недахоп грашовых сродкаў.
Ужо пасля распаду Савецкага саюза актыўна пачалі думаць над стварэннем музея. З-за эканамічнага крызісу планы па рэстаўрацыі месца адклаліся, але гэта не перашкодзіла праводзіць тут святы ў гонар дня народзінаў Міхала Клеафаса Агінскага.
Канчатковая рэстаўрацыя сядзібы пачалася ў 2011 годзе. Урачыстае адкрыццё палаца адбылося 26 верасня 2014 года, а з 2015 года актыўна вяліся працы па аднаўленні парка.
Зараз ёсць выбар з розных варыянтаў баўлення часу ў сядзібе: аглядныя экскурсіі (набіраюцца групы ад 10 да 25 чалавек), тэатралізаваныя спектаклі, заняткі і лекцыі па музейнай справе, вечаровыя канцэрты класічнай музыкі, касцюміраваныя балі для дарослых і дзяцей, выязная ўрачыстая шлюбная рэгістрацыя, паслугі кавярні і гасцініцы, традыцыйнае святкаванне фестываляў да імянін жонкі Міхала – Марыі Нэры, а таксама да дня народзінаў самога кампазітара.
Акрамя гэтага, у сядзібе арганізоўваюцца выставы сучасных мастакоў, спецыяльныя праграмы падчас навагодніх святаў, гістарычна-музычныя гасціныя і гэтак далей.
У музеі-сядзібе Міхала Клеафаса Агінскага Вас заўсёды рады вітаць таленавітыя экскурсаводы з цікавымі праграмамі і гісторыямі з жыцця кампазітара. Тут будзе пазнавальна пабываць людзям усіх узростаў! А ў інтэрнэце можна знайсці мноства відэаролікаў і фатаграфій, якія дакладна падштурхнуць Вас да наведвання маёнтка.