Vers 1870, la Ville de Trois-Rivières projetait d'aménager un parc public dans le quadrilatère formé par les rues Royale, Saint-Olivier, Gervais et Bureau. Mais, en 1874, près de la moitié de cet espace fut vendu au prix de 232,50$ pour la construction de l'école Saint-Philippe; le restant fut cédé en 1909 à la Fabrique de la nouvelle paroisse Saint-Philippe (c'est sur ce terrain que furent construits l'église et le presbytère).
Le 30 juillet 1908, un mois après le grand feu de Trois-Rivières (22 juin 1908), la majorité des francs-tenanciers du quartier Saint-Philippe adressa une requête à l'évêque, Mgr François-Xavier Cloutier, demandant l'érection d'une nouvelle paroisse.
Le 29 octobre 1908, on commença déjà à creuser le terrain acquis pour la construction de la nouvelle église dont les fondations devaient reposer non pas sur le roc mais sur le sol sablonneux. Les travaux furent confiés à Georges Morissette et à Héon, Roy et McLeod, suivant des plans des architectes Daoust et Lafond.
Quelques jours plus tard, l'évêque de Trois-Rivières bénit la pierre angulaire du nouvel édifice cultuel, pierre angulaire qui était celle de l'ancienne église paroissiale Immaculée-Conception de Trois-Rivières (qui avait été posée solennellement le 11 juillet 1710 par l'intendant Antoine-Denys de Raudot), incendiée quelques mois plus tôt, et qui avait été retrouvée dans les ruines le 31 octobre 1908. La plaque de plomb gravée fut remplacée par une nouvelle portant l'inscription en latin:
"Année du Seigneur Mil neuf cent huit, sous le glorieux pontificat de Pie X,
François-Xavier Cloutier étant évêque des Trois-Rivières et Édouard VII, roi
de l'Empire britannique. Cette pierre fut d'abord placée le onze juillet 1710
dans les fondements de l'église paroissiale de l'Immaculée-Conception qui a
été détruite dans un incendie le 22 juin 1908. Elle a reçu une nouvelle
bénédiction liturgique et elle a été placée dans les fondements de l'église
Saint-Philippe des Trois-Rivières par Monseigneur l'évêque, le 15
novembre 1908".
Au revers, plusieurs noms furent inscrits: Lord Grey, gouverneur général du Canada; Wilfrid Laurier, premier ministre du Canada; L.-P. Normand, maire de Trois-Rivières; J.-B. Comeau, curé; Louis Denoncourt, procureur; Jacques Bureau, député à Ottawa; J.-A. Tessier, député à Québec.
C'est le 1er mai 1909 que Mgr Cloutier signa le décret canonique érigeant la paroisse Saint-Philippe. Puis, le 7 novembre suivant, il se rendit inaugurer solennellement la nouvelle église. Le 21 du même mois, nouvelle visite de l'évêque pour la bénédiction des trois cloches. Il y revint encore, le 12 mars 1911, pour bénir les orgues.De style roman, l'église Saint-Philippe mesure 213 pieds de longueur sur 70 pieds de largeur, 114 au transept. Sa décoration, par le peintre-décorateur trifluvien Louis-Eustache Monty (qui a aussi décoré la chapelle conventuelle du Précieux-Sang) ne fut achevée que beaucoup plus tard, soit en 1927. Monty y exécuta 34 œuvres: 22 tableaux représentant des scènes de l'Évangile et qui constituent en quelque sorte "un catéchisme en images". Puis il y ajouta quatre tableaux de la sainte Vierge, trois autres de saint Joseph, un du Sacré-Cœur et quatre médaillons de saints.
Le 6 janvier 1928, l'évêque auxiliaire de Trois-Rivières, Mgr Alfred-Odilon Comtois, bénit une statue de saint Philippe ainsi que les 34 tableaux du peintre-décorateur trifluvien Louis-Eustache Monty dont venait d'être dotée l'église. Ces oeuvres s'ajoutaient aux œuvres d'art qui avaient été sauvées de l'église paroissiale Immaculée-Conception de Trois-Rivières en 1908 et qui sont conservées depuis dans l'église Saint-Philippe, notamment la peinture représentant "L'Assomption de la Vierge" du frère récollet Luc (Claude François, 1614-1685) , et les trois tableaux du copiste Joseph Légaré ("Le Ravissement de Saint Paul", "La Vision de Saint Roch" et "Saint Pierre en prison"), toutes classées "biens culturels" par le ministère de la Culture du Québec en mars 1975.
Plusieurs belles pièces d'orfèvrerie, aussi réalisées pour l'église paroissiale de Trois-Rivières et sauvées de l'incendie de 1908, se trouvent dans l'église Saint-Philippe: deux calices en argent, deux ciboires en argent, un encensoir, un magnifique ostensoir en forme de soleil rayonnant, un bénitier en argent fabriqué par Ayotte en 1760, auxquelles il faut ajouter deux croix de procession, une lampe de sanctuaire et plusieurs statues.
D'autres travaux de décoration furent effectués en 1958 par un peintre dont l'histoire n'a pas retenu le nom.
En 1976, près de 67 ans après sa construction, l'église Saint-Philippe laissait paraître des signes d'une grande fatigue. Un examen de l'ingénieur Pierre Lacoursière et de l'architecte Jean-Louis Caron démontra en effet que des travaux majeurs s'imposaient. À cause de la faiblesse du sol et des fondations de l'édifice (un seul rang de brique sur 80 pieds de hauteur), le haut du mur de la façade était incliné vers l'intérieur tandis que le centre était poussé vers l'extérieur; les tours des clochers étaient instables et trop lourdes pour leur support, de même que le transept qui s'enfonçait d'un pied vers l'intérieur. Pour éviter l'écroulement, il était urgent et nécessaire, en plusieurs endroits, de remplacer la brique par un matériau plus léger.
Les grands travaux débutèrent au printemps 1977. Toute la brique recouvrant la façade, au-dessus de la corniche, de même que celle des tours des clochers et des murs du transept fut enlevée et remplacée par un revêtement en acier de couleur brune. Les huit fenêtres des tours furent également recouvertes. Estimés initialement à 75 000$, les travaux coûtèrent 200 000$ en 1980. D'autres travaux, pour encore 200 000$, furent exécutés de 1980 à 1984.
