L’ area di Castiglione è densamente abitata fin dall’ età romana. Il villaggio con porto di Le Paduline-Serrata Martini erroneamente identificato con la mansio di Salebrone sulla via Aurelia, è in realtà il porto Ad lacum Aprilem citato dall’ itinerario marittimo. La località era di vitale importanza strategica, posta all’ imbocco del Prile e lungo una importante strada romana di raccordo dei porti tirrenici, seppure non identificabile con l’ Aurelia-Aemilia Scauri. Il superamento della foce del Prile era permesso nel medioevo da un traghetto. I dati archeologici confermano una frequenza fino a tutto il VI secolo. Successivamente sul fianco del colle che guarda verso il mare è una necropoli di età longobarda databile al pieno VII. Assieme a Buriano, Campagnatico, una non meglio identificata curtis de Flacianum (ma ubicabile presso Casoni del Terzo ad ovest di Roselle, in pianura), C. è un possedimento pontificio che il Papa tenta di rivendicare nella prima metà dell’ VIII secolo (vedi Buriano). Qui tuttavia erano confluiti gli interessi chiusini, come attesta la falsa donazione di Ludovico il Pio al monastero di S. Antimo dell’ 814, in cui viene donata piscaria a mare medietate cum medietate de ipsa curte vel casas ad ipsa Piscaria pertinentes, que fuerunt de publico civitatis clusine. L’ economia di C. deriva essenzialmente dallo sfruttamento delle risorse ittiche del Prile e dalle saline il cui uso è attestato fino al 1386 quando vennero abbandonate. Poiché la zona era di vitale importanza strategica, il debole vescovato rosellano-grossetano non ebbe mai qui grandi proprietà. Nel privilegio di Clemente III, infatti, la sola proprietà citata è una cappella. La pieve, citata dal 1051 è tra i beni confermati da Arrigo III a S. Antimo e una bolla di Anastasio IV del 1153 la definisce pieve. In questo documento si confermano i diritti già conferiti da papa Giovanni XV nel 992, pertanto la chiesa doveva esistere almeno nel X secolo. Nel XII secolo i Lambardi di Buriano avevano usurpato diritti su C. che versava in stato di degrado come attesta il diploma di Rainaldo di Dassel del 1163. Fece seguito l’ influenza pisana che terminò solo con la conquista fiorentina di Pisa. Dopo alterne vicende il castello ed il suo territorio passarono in feudo privato a Eleonora di Toledo, moglie di Cosimo I dei Medici. Il castello ha subito, come molti altri della Maremma, profonde ristrutturazioni nel rinascimento a causa delle mutate tecniche poliorcetiche e della rinnovata importanza strategica di alcuni punti fortificati, soprattutto lungo la costa e nell’ interno sovanese. Il castello deve avere origine altomedievale come testimonia indirettamente la necropoli longobarda rinvenuta lungo il crinale del colle, verso ovest. In questo caso la risalita dal vicino abitato di pianura a Le Paduline-Serrata Martini databile fino a tutto il VI secolo, sembra motivato da ragioni strategiche. Castiglione potrebbe infatti essere uno dei castelli bizantini dislocati lungo la costa.La profonda ristrutturazione rinascimentale ha portato la costruzione dei bastioni circolari e della rocca triangolare sulla sommità.