Die Rocca oder Castello von Carmignano thront seit über tausend Jahren über dem Ort: Der Bastion wird erstmals im Jahr 998 in einem Dokument von Otto III. von Sachsen erwähnt, das den Besitz dem Bischof von Pistoia übertrug. Aufgrund ihrer strategischen Lage im politisch-militärischen Kontext des Mittelalters war die Festung Gegenstand ständiger Kämpfe zwischen Pistoia, Florenz und Prato: Von hier oben kann man die gesamte Ebene zwischen den drei Städten überblicken.
Nach der erfolgreichen Verteidigung gegen eine Belagerung durch Truppen von Prato und Florenz im Jahr 1154 wurde das Schloss 1228 erstmals von den Florentinern zerstört. Als die Festung 1242 in den Besitz von Pistoia zurückkehrte, wurde sie wiederaufgebaut und in den frühen 1300er-Jahren erneut an Florenz verkauft, das die Rocca und die Burgmauern erneut schleifen ließ. Nach einer erneuten Phase unter der Herrschaft von Pistoia (1315–1324) fiel das Schloss wieder an Florenz, wurde jedoch von Castruccio Castracani belagert und erobert, der es bis 1328 als eigene Festung nutzte, bevor es endgültig in florentinischen Besitz zurückkehrte.
Die Festung von Carmignano ist über einen Fußweg zu erreichen (ausgehend von der Kirche San Michele, in der die berühmte Visitazione (Heimsuchung) von Pontormo aufbewahrt wird), der den mit Olivenbäumen bewachsenen Hügel hinaufführt, von dem aus man einen schönen Blick auf Montalbano hat. Von den mittelalterlichen Mauern rund um die Rocca sind nur noch einige wenige, teilweise rekonstruierte Reste erhalten, wie der Campano mit seinem Glockenturm und der Uhr, während im Zentrum ein mittelalterlicher Turm, der Maschio della Rocca, steht.