Comme l'indique la plaque de fondation, en juillet 1765 commencent les travaux du château. Charles Wailly en est l'architecte. Devant un corps de bâtiment qui relie deux ailes parallélépipédiques, et entre elles, s'élève, à l'est, un odeum ou temple d'Apollon, et à l'ouest (du côté des remparts de Dijon), un salon des Muses. La décoration évoque le dieu des arts et du soleil, présidant naturellement aux divisions de l'année, aux saisons et aux mois : le sculpteur François Attiret fait six statues de composition représentant les quatre saisons et Melpomène et Thalie. Elles ornent le péristyle de Montmusard où Attiret a également sculpté, dans l'intérieur, douze beaux bas-reliefs d'après les dessins de François Devosge. Devosge qui fait le projet de plafond pour le dôme du salon circulaire : il représente Apollon entouré des Muses sur le sommet de l'Hélicon. Les écoinçons représentent des scènes de la vie du fils de Zeus et de Lêto, dessinées aussi par Devosge.
Une fois le château achevé, Jean-Philippe, Premier Président, organise alors des réceptions et des fêtes somptueuses que rapportent les chroniques de l'époque.

Claude-Philibert Fyot de La Marche, le père de Jean-Philippe, meurt en 1768. Son héritage est insuffisant pour combler le déficit énorme et rembourser les dettes accumulées pour la construction du château tant auprès de l'Hôpital Général que des parlementaires dijonnais. Jean-Philippe doit abandonner son temple des Muses. Las de lutter pour un édifice maintenant terminé et qu'il ne peut plus entretenir, sans doute malade, il démissionne de sa charge de Premier Président en avril 1772, dans laquelle lui succède Charles de Brosses. Jean-Philippe Fyot de La Marche meurt le 10 octobre 1772.
Ses biens reviennent à ses sœurs, à son oncle et à son neveu. Sa sœur Marie-Madeleine hérite le domaine de Montmusard. Elle vend aussitôt le château et son parc à Jacques Demay, négociant très fortuné de Arc-les-Gray. La fille de Jacques Demay en hérite en 1779. Son fils aîné, Claude-Hubert Antony reçoit Montmusard en 1784 à la mort de ses parents, transforme le château et son parc en propriété de rapport. Il mure une partie des ouvertures et vend la coupole en plomb en 1793. Il fait démolir les deux tiers de l'édifice vers 1795 et transforme en corps de logis le passage entre les deux anciennes ailes. Le château adopte alors un plan en forme de T. 
Après différentes successions, la propriété est malheureusement morcelée dès 1867. Vendus pas parcelles, amputés de la partie sud lors de l'installation de la ligne de chemin de fer et de la gare Porte-Neuve, parcs et jardins disparaissent. A leur emplacement est né un quartier nouveau. Seul subsiste un terrain boisé de moins de trois hectares (délimités par les anciennes allées devenues des rues) et le moignon du château qu'accompagnent aujourd'hui des bâtiments scolaires (école Saint-Dominique, rue Claude Bouchu) (voir Notes).

Notes :
A la mort de J.B. Ernest Grasset, le 16 septembre 1875, la propriété échoie à l'un de ses fils qui la cède à la société Saint-Stanislas qui la revend en 1881. Elle passe alors entre les mains de MM. Bilié et Ferry avant d'être acquise en 1909 par Denis-Charles Debost dont la famille la possède jusqu'en 1926. Elle appartient aujourd'hui à la société civile immobilière de Saint-Dominique qui y gère une école privée. Les restes de l'ancien château servent d'habitation et de bureaux à quelques religieuses. Les deux salons ont été transformés pendant un temps en salles de classe tandis que la chapelle a été installée dans l'ancienne cuisine couverte de voûtes d'arêtes.

Source : Les cahiers du vieux Dijon, n°6, Le château de Montmusard, Yves Beauvalot, 1978.