En un document de l’any 878, el poble és esmentat com a “Palatii Murorum”; a dins hi havia el castell que pertanyé a la família de Bernat Miquel, el qual fou secretari de Pere El Cerimoniós (1319-1387), i posteriorment els seus descendents, que en serien propietaris fins a finals de l’any 1600.
L’últim senyor de Palau-sator fou el marquès, comte i també militar carlí, Martí de Riquer i Comelles (1820-1888).
Encara avui el poble conserva les formes medievals i part del castell en el seu casc urbà, on hi destaca per sobre de tot, la porta d’entrada; una porta ogival on damunt s’hi aixeca la “Torre de les Hores”, pas obligat per entrar dins el casc antic.