Le port de la Rousselle semble exister dès le Moyen Age. Il n'apparaît toutefois pas sur la carte du cours de la Charente datée de 1689. En 1808, il est nommé sur l'état des lieux des ponceaux de halage à établir par l'ingénieur Guérinot, mais n'apparaît pas en tant que tel sur le plan cadastral levé en 1809 (section B2). Il est vraisemblable que les chargements et déchargements de bateaux s'y faisaient alors sans aucun aménagement dédié.

Dans la deuxième moitié du 19e siècle, ce port est constitué d'un terre-plein d'une longueur de 200 mètres, appartenant aux riverains et soumis à la seule servitude de halage. Le négociant M. Martineau, propriétaire de bâtiments situés à l'arrière, fait édifier le long de son terrain, vers 1875, "une petite partie de mur de quai ou de soutènement, d'embarquement et de débarquement des marchandises se faisant au moyen d'une passerelle volante". En 1880, par une pétition, les sieurs Martineau, Andreotti et consorts réclament le dragage du port qui n'est plus accessible qu'en haute marée de vives eaux. Le trafic annuel du port est alors estimé à 500 tonneaux, "on y débarque des bois de tonnellerie, des fourrages pour l'armée, les magasins étant à proximité, et on y embarque des eaux-de-vie." M. Martineau, principal intéressé aux travaux, offre de contribuer pour 500 francs aux dépenses de dragages et s'engage à entretenir ensuite la profondeur acquise. Ces travaux sont acceptés par le ministère des ponts et chaussées sur une longueur de 50 mètres.

En 1897, un rapport du subdivisionnaire David mentionne que le sieur Martineau demande l'autorisation de prolonger le mur de quai, de manière à faciliter l'embarquement de ses marchandises. Sur des photographies des environs de 1900, la plate-forme du port est ceinte de barrières.

Le port est acquis par la Ville au cours du 20e siècle. Le terrain le jouxtant au nord-est est acheté un peu plus tard, et un nouveau quai en béton et métal vient prolonger l'ancien vers 2010 ; une grue permet d'y mettre les embarcations à l'eau.