So Aufsehen erregend diese Bauten zu ihrer Zeit gewesen sein mögen, so verheerend wirkten sie sich auf die Staatsfinanzen aus. Als der Graf 1715 die Bauabrechnung erhielt, hatte er insgesamt 39.044 Taler verbaut. Wie gewaltig diese Summe war, erkennt man beim Vergleich einiger Einzelposten. So erhielt der festangestellte Schiffer ein Jahresgehalt von zunächst 24, später 52 Talern, eine lederne Hose kostete damals 2 Taler, ein Stuhl für den Falkenkrug 1 Taler und das Maß Bier 8 Pfennige.
Über die Jahre hin hatte der Graf den gesamten Staatsetat in seine Bauvorhaben gesteckt. Er schoss zwar erhebliche Beträge aus seinem privaten Einnahmen hinzu, der Rest aber entstammte staatlichen Einnahmequellen. Immer neue Steuern wurden den Untertanen auferlegt. Bei Verfehlungen zog man erstaunliche, grausam überhöhte Strafgelder ein.
Aber das war noch nicht alles. Auch nach Fertigstellung der Bauten fielen hohe Instandhaltungskosten an, da die Anlagen offenbar dauernd vom Zerfall bedroht waren. In die Schiffe drang immerzu Wasser ein, so dass sie kostspielig überholt werden mussten. Die Schleusenkammern erwiesen sich schon bald als undicht und man musste sie bereits 1709 mit 51 Pfund Leder abdichten. Diese Reparaturen wurden regelmäßig wiederholt, wobei man Pech und Teer verwendete. Auch die Brücken mussten fortwährend ausgebessert werden, sowie der die Berlebecke zum See aufstauende Damm, denn er wurde immer wieder von Wühlmäusen untergraben.
Trotz aller Geldnot unterließ es der Graf nie, bei Feiern und Festen mit der Pracht seiner Bauten zu prahlen. Bei einem üppigen Festmahl wandte sich Zar Peter der Große, der sich 1716 zur Badekur in Bad Pyrmont aufhielt, an den Grafen mit den hintergründigen Worten: Euer Liebden sind zu groß für Euer kleines Land!
Als Friedrich Adolf 1718 starb und sein Sohn Simon Heinrich Adolf das Amt übernahm, wurden die Wasserfahrten alsbald eingestellt. Allerdings war Simon Heinrich Adolf keinesfalls bereit, den maroden Staatshaushalt durch Sparsamkeit zu sanieren, sondern es wurden weiterhin prächtige Empfänge gegeben und glänzende Feste gefeiert. Eines dieser Feste wurde dem großen Gewächshaus zum Verhängnis und indirekt auch der gesamten Anlage Friedrichstal. Am 2. Oktober 1729 fing ein Tannenzweig Feuer, das sich rasend schnell ausbreitete, und binnen weniger Stunden blieben von der Neuen Orangerie nur rauchgeschwärzte Grundmauern übrig.
Mit der Zerstörung der Orangerie begann der Verfall der gesamten Anlage. Die beiden künstlichen Inseln wurden beseitigt und das Tal in eine Grasfläche verwandelt. Sie heißt noch heute Inselwiese. Die vier Türme auf der rechteckigen Insel wurden abgetragen. Die sparsamen Lipper verwendeten die Baumaterialien an anderen Stellen. Beim Schloss findet man heute einige der 84 kleinen Säulen, die einst die Mauer im Großen Garten krönten. Ein Brunnenbecken findet man heute auf dem Schlossplatz. Viele der fremdländischen Gewächse, die die Gärten in Pflanzbehältern schmückten, wurden sorgsam gepflegt und erreichten ein hohes Alter. Doch während des harten Kriegswinters 1940/41, als die fürstlichen Gewächshäuser aus Brennstoffmangel nicht geheizt wurden, gingen sie sämtlich ein. Die Schleusen überließ man ihrem Schicksal, die Pracht der Grotte verfiel schnell. Als sie 1850 zum Fürstlichen Mausoleum umgebaut wurde, waren von der Muschelverkleidung nur noch Reste übrig.