Der Eltzer Hof erstreckt sich von der Rosen- bis zur Martins- und Leergasse. Als Herzstück gilt das bis 1580 errichtete Haupthaus, das im Übergangsstil von der Spätgotik zur Renaissance direkt an die Stadtmauer angebaut wurde. 1744 wurde das Gebäude barock überformt. Zu dem Ensemble gehören unter anderem das Kavaliershaus aus der zweiten Hälfte des 17. Jahrhunderts, das Kutscherhaus von 1660, zwei Mainzer Stiftsgebäude, Wirtschaftsgebäude, ein großer Garten und ein Kellersystem. Die Grafen zu Eltz, deren Stammburg die Burg Eltz an der Mosel ist, übernahmen den Adelshof 1629 und bezogen 1753 den Martinsturm in das Anwesen ein.