Dieses Schloss, das vielmehr das Aussehen einer Burg hat, ist nicht nur wegen ihrer einzigartigen Lage und ihrer schönen Umgebung sehr berühmt, sondern auch wegen der vielen geheimen Legenden, die in ihrem Park und ihren Mauern fruchtbaren Boden gefunden haben. Auf dem felsigen Ausläufer, bis vor wenigen Jahrhunderten eine kleine Insel wegen des zwei Meter höher liegenden Meeresspiegels, lebten vor 2000 Jahren Feen, denen im dritten Jahrhundert ein kleiner Tempel gewidmet war. Davon zeugt eine im Bogengang des Schlosses eingemauerte Gedenktafel , die vom Archeologen Paolo Orsi als „einzigartig in ihrer Art in der römischen epigraphischen Relität“ definiert wird. Später wurde die magische und religiöse Funktion des Schlosses durch eine militärisch-strategische Funktion ersetzt und anstelle des Tempels wurde eine geheime Festung errichtet, die über lange Zeit hinweg zum Streitgegenstand der örtlichen Herrscher wurde. Das Schloss, das man heute besuchen und bewundern kann, ist das Ergebnis des Umbaus, den Bernhard von Cles im 16. Jahrhundert veranlasst hatte. Er diente zu jener Zeit als Wohnresidenz der Fürstbischöfe und wurde als solche von ihnen sehr geschätzt, insbesondere von der Familie Madruzzo. Und es war ausgerechnet Carlo Emanuele Madruzzo, der letzte Fürstbischof der Dynastie (es waren insgesamt vier Fürstbischöfe, die die Diözese 120 Jahre lang regierten), der mit einer geheimnisumwobenen Legende verbunden ist. Laut dieser Legende hätte er seine Nichte Filiberta und seinen Bruder Vittorio vergiftet und er hätte eine Liebesgeschichte mit Claudia Particella gehabt, aus deren Gemeinschaft mehrere Kinder hervorgegangen wären. Die Strafe Gottes für das skandalöse Verhalten des Fürstbischofs ließ nicht lange auf sich warten. Eines Abends überquerten Claudia und ihr Bruder den See mit einem Boot und als dieses umkippte, ertranken beide im See. Es heißt, dass man bei Vollmond noch die unruhigen Geister der beiden Ertrunkenen über den kleinen See schweben sehen kann.
Das Schloss ist derzeit ein Restaurant und beherbergt Ausstellungen und Konferenzen zu lokalen Produkten.