Византийският замък в Ксанти,се намира северно от днешния град, на върха на хълма, и контролирал преминаването във вътрешността на страната. Датира от 12-ти век сл.Хр. и има неправилна трапецовидна форма с акропола на върха на хълма.Запазени са мого участъци от стените, кули, сводове, малки порти и сводести цистерни.