L'edificazione della Torre San Carlo, appena oltre la foce del fiume Palma, risale al 1639 ad opera di Carlo Tomasi, primo duca di Palma, che ottenne il permesso da Filippo IV di Spagna ed ebbe scopi difensivi stante le continue incursioni dei pirati saraceni sul litorale palmese.

La fortezza fu fornita di armi, attrezzi da guerra e di un adeguato numero di soldati.

Essa s'innalza con un corpo quadrangolare su un basamento a forma di piramide tronca. Vi sono tracce che indicano la presenza di un ponte levatoio e mensoloni sui quali si dovevano poggiare i piombatoi.
 
Accanto alla Torre fu fatta costruire una piccola chiesa, oggi non più esistente, col titolo del Santissimo Rosario, guidata da un cappellano, per la messa dei soldati. Gli apparati difensivi furono mantenuti fino al 1820.