Erbaut um 1350 zum Burghaus der Erzbischöfe von Trier. 1551 durch einen Lehnsvertrag von Erzbischof Johann V. an Niclas von Wiltberg übergeben. Es erfolgten 1616 mehrere Umbauten zu einem Schloss mit Haubendächern und prächtigen Kugeltürmen. In dem mehreckigen Türmchen findet man eine Steinwendeltreppe zu den oberen Stockwerken.
1676 bis 1698 wurde der Flügelanbau zum Torbogen der Stadtmauer fertiggestellt. Die schweren Eichentore in der Durchfahrt der Wiltburg zeugen davon heute noch.
Seit 1845 befindet sich das Gebäude in Privatbesitz, aufgeteilt in mehrere Parzellen.
Am 13. Februar 1889 zerstörte ein Großbrand das Dachwerk inklusive der Kugeltürme und den Innenteil der Schlossanlage.
1934 wurde die Kelterhaus-Ruine an der rechten Seite des Aufstiegs zur Michaelskirche abgerissen. Die gesamte Außenanlage weist eine Unterkellerung auf, die sich bis zur Bachstraße ausdehnte.
Der Keller wird vom Weingut Anton Hammes genutzt und kann im Rahmen von Weinproben besichtigt werden.