El municipi té dos nuclis diferenciats, Calonge a l’interior a uns 4 Km. de la badia de Palamós i Sant Antoni de Calonge; un nucli que en els últims anys ha crescut de forma espectacular degut al turisme. També hi ha en el municipis tres nuclis més petits: Cabanyes, Sant Daniel i Treumal.
La construcció més característica de Calonge és el castell medieval que data del segle VIII que ha estat una de les fortificacions més grans del Baix Empordà, i que va ésser ordenada la seva construcció pels Comtes de Girona.
Una construcció característica a la part sud de la badia fou la Torre Valentina. La bogeria constructora va fer desaparèixer aquest indret idíl·lic, dempeus avui, només la torre engolida per construccions impersonals.
