Jusqu’en 1867, la préfecture et la mairie étaient abritées dans le même bâtiment : l’ancien hôtel du duc de Lesdiguières, en lisière du Jardin de ville.
La nécessité de séparer les deux fonctions soulève alors un débat houleux entre notables sur la localisation d'un nouvel édifice pour accueillir la préfecture. Doit-elle s’installer dans la vieille ville où dans la « nouvelle ville » où s'implantent le muséum, la bibliothèque, le musée de peinture, les facultés et les douanes ? Les défenseurs de la ville ancienne proposent de détruire l’hôtel de Lesdiguières, avec la treille de Stendhal et l’enceinte romaine, pour construire la préfecture. Finalement, les tenants de la nouvelle ville l’emportent : la mairie reste au Jardin de Ville, dans l’hôtel du Connétable, tandis que la préfecture est construite sur la place d’Armes.
Édifié entre 1861 à 1866 par l’architecte parisien Charles Questel, le bâtiment présente une majestueuse façade en pierre calcaire du sud de la Drôme imitant l’architecture d’un hôtel particulier du 17e siècle. Face à la ville ancienne, le bâtiment occupe tout le côté sud de la place. Il arbore entre les fenêtres du premier étage les nombreux bustes de figures et de personnalités de l’histoire grenobloise et dauphinoise : Bayard, Lesdiguières, Condillac, Barnave, Mounier, Vaucanson, etc.
La préfecture est inscrite et classée partiellement au titre des monuments historiques depuis 1998.