La maison aux colonnes est bâtie sur les vestiges de la porte Viennoise, détruite en 1802-1804 après l’effondrement accidentel de l’une de ses tours. L’histoire rapporte que l’une des quatre colonnes du portail d’entrée a été trouvée dans les fondations de la porte. On y voit en effet un médaillon avec les initiales du premier propriétaire, entouré de soleils, de disques et de bucranes ornées de guirlandes de fleurs. Il subsiste également, au rez-de-chaussée à droite du portail, un pan de mur arrondi de la deuxième tour qui encadrait la porte Viennoise.