Maquette du château de Philippe Auguste au rez-de-chaussée de la tour.

L'ouvrage, commencé en 1204, faisait partie d’un vaste programme de construction lancé par le souverain sur l'ensemble de son domaine. Idéalement situé sur la colline Bouvreuil, le château dominait la ville, permettant ainsi de contrôler la population rouennaise. Achevé en 1210, il fut l'un des plus grands que Philippe Auguste ait fait bâtir durant son règne. Sa forme polygonale aurait été influencée par les ruines sous-jacentes d'un amphithéâtre gallo-romain datant du 2e siècle après J.-C.
Le château est tenu par un capitaine, personnage de haut rang auprès duquel se trouve une petite garnison. Il est le siège administratif de la province, regroupant l'Echiquier de Normandie (transformé en Parlement de Normandie au XVIe siècle), le Baillage et la Vicomté de Rouen. Il sert aussi de résidence royale.
Le château Bouvreuil fut le théâtre d’événements historiques majeurs durant la Guerre de Cent Ans (1338-1453). Le 23 décembre 1430, après sa capture, Jeanne d'Arc fut emprisonnée par les anglais dans ce qui était alors lieu de résidence du jeune roi d'Angleterre Henri VI. Elle fut placée dans la tour dite « de la Pucelle », dont il ne reste que des fondations, et fut mise en présence des instruments de torture dans ce qui est aujourd’hui la tour dite « Jeanne d’Arc ».

Le 10 novembre 1449, Charles VII entre dans Rouen. Symboliquement, il fait peindre ses armoiries au-dessus de la porte d'entrée du château. Cependant, à la fin du XVe siècle, fortement endommagé par la guerre de Cent Ans et manquant de place pour loger l'ensemble des services, l’édifice cessa d’être entretenu.

Durant les guerres de religion, le château fut à nouveau bombardé. Sa destruction débuta en 1591. Au XVIIe siècle, Henry IV renonça à l'idée de reconstruire une nouvelle forteresse et céda les terrains à des notables pour y construire des hôtels particulier