Arrêté le 7 juin de la même année et embarqué pour la France pour la France le 15 juin suivant, Toussaint Louverture destitué de son grade de général de division de Saint Domingue arrive dans ce château datant du Moyen-Âge et transformé en prison d’état au milieu du 18e siècle.
Il n’y sortit jamais ayant rendu dans un cachot froid et humide de ce fort le 7 avril 1803.