Па дадзеных археалагічных раскопак людзі тут пасяліліся прыкладна 1500 гадоў таму. Гэта былі прадстаўнікі латгальскіх плямёнаў. Каля Х стагоддзя да іх далучыліся славяне-крывічы. Знаходкі паказваюць, што росквіт горада наступіў у ХІ – ХІІІ стст., тут жылі дружыннікі, якія ахоўвалі заходнія рубяжы Полацкага княства, рамеснікі і гандляры. У часы Вялікага Княства Літоўскага Браслаўскі замак кантраляваў шляхі да сталіцы-Вільні. У мэтах павышэння абараназдольнасці ўмацавання былі падрэзаныя схілы, грунт выкарыстоўваўся для насыпания прыгоннага вала па краях горы. Інвентар Браслаўскага замка 1649 года паказвае на сем вежаў, наяўнасць гармат і прыгонных стрэльбаў. Насельніцтва горада складала не больш за 500-800 чалавек. Ўмацаванне неаднаразова бралі прыступам і спальвалі. У ХVI ст. Браслаўскія землі належалі Алене, дачцэ маскоўскага князя Івана ІІІ, жонцы вялікага князя Аляксандра Ягелончыка. Тут яна жыла і памерла пасля смерці мужа. Пасля далучэння да Рэчы Паспалітай Лівоніі, умацаванні страціла сваё абарончае значэнне, замак стаў прыходзіць у заняпад. Людзі сталі жыць ля падножжа гары. Па завяшчанні ўдзячныя браслаўчане тут пахавалі Ст. Нарбута, доктара, які стаў добрым анёлам гэтага горада.