In der Landvermessung, die Tommaso Soderini 1464 den „Beamten“ des Grundbuchamtes der Republik Florenz vorlegte, wurde festgestellt, dass Wein und Öl die wertvollsten Produkte des Anwesens waren. Mit dem Bau der Keller, deren gewölbte Struktur auf ihre Nutzung zur Weinproduktion hinweist, wurde im Jahr 1124 begonnen. In dieser Epoche gehörte das Schloss einer der bedeutendsten Bankiersfamilien von Florenz, den Bardi, die in der zweiten Hälfte des 19. Jahrhunderts gegründet wurde Im 13. Jahrhundert begann man mit der Erweiterung der Festung durch den Bau von Umfassungsmauern und Zinnen im typischen Welfenstil der damaligen Zeit. Das Schloss blieb im Besitz der Bardi, bis es Anfang des 15. Jahrhunderts an die Familie Soderini überging, eine der politisch einflussreichsten Familien in Florenz. Es waren die Soderini, die für den Umbau des mit Türmen versehenen Herrenhauses von Gabbiano in Fattoria verantwortlich waren, der bereits Ende des 15. Jahrhunderts abgeschlossen war, wie aus der Beschreibung in der „Landvermessung“ hervorgeht, die 1480 vom Vater von Pier Soderini, Tommaso, vorgelegt wurde. an das Grundbuchamt „Beamte“ des Grundbuchamtes der Republik Florenz. Im Laufe des Jahrhunderts kamen immer wieder Neubauten hinzu, wie sich aus dem Mauerwerk, das verschiedene Phasen der Entwicklung erkennen lässt, ableiten lässt, bis es zu einem großen viereckigen Gebäude umgebaut wurde, das zugleich eine Art private Festung darstellte Ausgestattet mit vier zylindrischen Türmchen, die die Ecken verstärken. Während sie sich im Besitz der Soderini befand, wurde die Burg in ein Bauwerk umgewandelt, das dem heutigen eher ähnelte, wobei im Jahr 1505 runde Türme an den vier Ecken der Burg errichtet wurden, die den französischen architektonischen Einfluss zeigten. Als der Kampf der Soderini gegen die Medici im 16. Jahrhundert dazu führte, dass sie zu Rebellen erklärt und aus Florenz verbannt wurden, blieb die Burg für lange Zeit verlassen. Erst im 17. Jahrhundert, als die Soderini in ihre Heimat zurückkehren konnten, erwachte die Burg zu neuem Leben, wie die Inschrift auf einer Sandsteintafel über der Eingangstür bezeugt. Unter den beiden Wappen der Sorderini ist Folgendes eingraviert: „FRANC. SODERINUS SENAT.GASP.F.RURIS HUIUS IN FAMIGLIA RESTITUTOR SUB.A MDCLII“ Über den Wappen steht das von Pier Soderini anlässlich seiner Wahl zum Gonfalonier oder Fahnenträger diktierte Motto mit der Aufschrift „IUS UT PALMA FLO“ („Iustus ut palma fl orebit“). Ab dem 19. Jahrhundert führten die Familien, denen das Anwesen gehörte, verschiedene Restaurierungsarbeiten durch, wobei sie die Merkmale des architektonischen Komplexes des Schlosses vollständig respektierten. In dem dem Schloss angegliederten Gebäudekomplex befindet sich die Privatkapelle im neoklassizistischen Stil, die im 19. Jahrhundert im Besitz der Familie Del Turco erbaut wurde, wie aus einer Inschrift im Inneren der kleinen Kirche aus der Restaurierungsarbeit im Jahr 1957 hervorgeht von den Lemmi.