Les spinaliens imposent à l’Evêque une certaine autonomie qu’ils garderont jusqu’à l’indépendance de la cité.

Au XVéme siècle, Charles VII, Roi de France, promet de laisser son indépendance à la cité sous condition que les habitants se soumettent à lui. La forteresse d’Épinal est alors modernisée.

Vers 1465, le fils de Charles VII, Louis XI cède la ville au maréchal de Bourgogne. Les habitants refusent de se soumettre et la ville est assiégée pendant trois mois. La forteresse subit de nombreux dégâts.

En 1466, la cité revient sous le giron des Ducs de Lorraine et donc de l’Empire.

En 1473, l’Évêque de Metz fait alliance  avec les ducs de Bourgogne pour récupérer la cité et sa forteresse et deux années plus tard Charles le Téméraire attaque la ville dans le but de l’occuper. Il en sera expulsé par les habitants quelques mois plus tard aidés par le Duc René II.

Durant ces quelques années de tranquillité qui suivent le château est modernisé avec des canonnières, un pont en bois, un pont-levis et  création de tours de guet.

En 1600, le château d’Épinal est en piteux état est doit à nouveau être restauré notamment les toitures et les charpentes.

En 1626, le plan Bellot voit le jour afin d’équiper le château d’un fournil et de fortifications renforcées, réalisées en gré rose des Vosges.

En 1633, la ville cède sans résistance à l’occupation du Maréchal français Caumont-la-Force.

 C’est probablement à ce moment que le bastion quadrangulaire ouest est construit en avant de la « plate forme qui regarde la ville. En effet, une décharge d’artillerie menaçait ainsi les Spinaliens, secrètement fidèles au duc Charles IV. Le duc de Lorraine Charles IV reprend la ville et le château. La ville en l’an 1636 et après les épidémies de peste, ne compte plus que 1000 habitants. L’année suivante, le duc s’empare à nouveau de la place par surprise. De cette année et ce durant 3 ans, Epinal s’investit dans les préparatifs de guerre : la plupart des faubourgs est rasée pour permettre l’érection de puissantes levées de terre. Au sud de la ville, entre Moselle et Porte d’Ambrail, des demi-lunes et des redans furent édifiés pour protéger les hautes murailles contre le tir d’artillerie. C’est sur ce secteur que portèrent les assauts du maréchal de Créqui (1670). Les portes d’Ambrail et du Grand Moulin furent murées. Moulins, foulons, gaucheux et papetiers disparurent au cours des opérations militaires. En l’an 1641, le duc de Lorraine reniant le traité signé par lui-même à Paris, remet la ville et le château en état de défense. C’est à cette date que la toiture du donjon est supprimée pour en faire une plate-forme. Cette même année, la ville capitule face aux Français après une furieuse canonnade, le château, défendu par le baron d’Husbache, tenait bon : il fallut employer la sape et la mine qui ouvrirent une brèche dans la courtine nord, où l’assaillant se rua. Les assiégés se réfugièrent dans le donjon, mais pris au piège, ils finirent par se rendre. Le maréchal François du Hallier s’en empare alors. En 1645, des palissades de bois sont établies sur la brèche.

Par la suite, entre 1649 et 1656, c’est une levée de terre qui sera accumulée dans la cour et dont la hauteur atteignait les quatre mètres. Elle engloutit à la fois les ruines de la salle neuve adossée au bastion, la rampe, les restes de la palissade, le premier remblai et le corps de garde. En 1649, le maréchal de La Ferté remit le siège devant Épinal, mais la place fut si vigoureusement défendue par les colonels lorrains qu’en dépit de la large brèche ouverte dans la muraille par l’artillerie française, le maréchal doutant du succès préféra se retirer, les troupes lorraines reprennent la ville avec l’aide des habitants. A partir de 1653, troisième occupation française jusqu’au traité de Vincennes de février 1661, la municipalité prêtant allégeance au roi Louis XIV sous la menace. Cette même année, la population reçoit l’ordre de détruire les fortifications de la ville (c’est peut-être à cette date que le bastion ouest est rempli de sable).

Le 19 septembre 1670, les troupes françaises s’emparent de Nancy, le duc Charles IV se retire à Épinal, défendue par le Comte de Tornielle et la garnison lorraine. Après 18 jours de siège, le maréchal français de Créquis reprend la ville, et le château capitule le 28. Pour donner l’exemple au reste de la Lorraine, la ville est condamnée à payer trente mille francs barrois et à détruire ses fortifications et son château à ses frais : la ville comportait 18 tours, 7 tours de portes 8 tours et deux portes en petite ville (Rualménil) 14 tours au château, et 1 700 mètres de muraille. La ville cesse d’être une place forte et stratégique. Elle se francise progressivement. Elle reste ducale jusqu’en 1766 par le rattachement de la Lorraine à la France. Les murs de la ville sont partiellement supprimés, souvent intégrés aux habitations qui s’y agglutinent ; les portes des Grands-Moulins, de Saint-Goëry, d’Ambrail et d’Arche sont supprimées entre 1723 et 1778 tandis que celle du Boudiou est rasée au 19e siècle juste avant que Mérimée ne la classe monument historique.