Sorto in posizione strategica per controllare il passo omonimo, il borgo di Serravalle Pistoiese conserva ancor oggi una struttura urbanistica di chiara impronta medievale, dominata dai resti delle due fortezze, quella occidentale e quella più antica orientale. Prima dominio pistoiese, poi lucchese e poi, dopo alterne vicende, fiorentino dal 1351, l'esistenza del castello è attestata fin dal 1148, ma nell'aspetto in cui appare oggi è sostanzialmente trecentesco.
La fortezza castrucciana, chiamata anche "Rocca Nuova" per distinguerla dalla parte più antica delle fortificazioni di Serravalle, fu costruita dai Lucchesi dopo la conquista del Castello da parte di Morello Malaspina nel 1302, e portata a termine da Uguccione della Faggiola e poi da Castruccio Castracani.
Il castello, a pianta grossomodo triangolare, sorge all'estremità occidentale dell'abitato, caratterizzandone il profilo con i due bastioni angolari a base quadrata (uno dei quali anche accessibile, con un po' di prudenza) e la bella torre esagonale in conci ben squadrati restaurata a metà degli anni Novanta. Dalla parte opposta del paese svetta invece, seppur priva del coronamento, la massiccia Torre del Barbarossa in pietra calcarea, maschio della antica rocca del XII secolo costruita dai Pistoiesi nel 1177 per controllare il passaggio del valico. In antico, le due fortificazioni erano collegate tra loro dal camminamento di guardia della cinta muraria, e i resti del perimetro difensivo e delle torri della rocca orientale erano ancora ben visibili alla fine del Settecento.
Dell'antica cinta muraria di Serravalle rimane oggi solo un breve tratto, nel quale si conserva anche la "Porta della Gabella". Da qui si può scendere verso il piccolo borgo di Gabella Vecchia, antico posto doganale ai piedi del castello.
