Il castello di Livorno è citato per la prima volta in una pergamena dell’anno Mille. Sappiamo che aveva una torre quadrata e un muro che lo difendeva su tre lati. Fuori dal castello si tovava la chiesa di Santa Maria con borgo annesso. Durante la guerra tra Pisa e Genova venne raso al suolo dall’esercito lucchese alla fine del XIII secolo. Lentamente venne ricostruito dai Pisani e cinto da mura merlate, le mura del Gambacorti, a fine Trecento. Nel XV secolo venne acquistata prima dai Genovesi che ne potenziarono le difese e infine dai Fiorentini nel 1421 i quali apportarono le ultime migliorie difensive.