Au Xe siècle, les lusignan étaient déjà en possession de plusieurs " alleux ". Un « grand pont » franchit alors la Vonne au pied du « castrum », espace fortifié, favorisant le développement d’un site urbain...
Si les « hautes murailles et tours épaisses » décrites par Coudrette, au XVe siècle, n’apparaissent plus, la haute ville, elle, en a gardé la forme générale et conserve les vestiges que l’on peut encore apercevoir çà et là. Les murs nord et sud épousent le tracé de l’escarpement naturel allant, respectivement d’est en ouest, de la rue de la fée Mélusine à la rue de l’Echelle de Pierre pour la partie sud et de la place du Bail à la rue de Vauchiron pour la partie nord.