Le 19 mars 1874, le Collège des Trois-Rivières devient officiellement le Séminaire diocésain. L’institution, officiellement laïque au départ mais dirigée par des prêtres, déménage du Platon dans des locaux plus vastes rue Laviolette. En construction depuis 1870, selon les plans des abbés Charles-Olivier Caron (1816-1893) et Louis Richard (1838-1908), le bâtiment sera surnommé le Séminaire à tourelles à cause de celles que l’on retrouve aux quatre coins du bâtiment. (source: Les Faiseurs d'histoire).
Le 13 novembre 1929, un incendie ravage la plus vieille partie du séminaire qui datait de 1870, le pire incendie depuis 1908. Trois jeunes prêtres furent sauvés des flammes, et si la chapelle et le Grand séminaire survécurent, on déplora la perte du musée et de la bibliothèque qui renfermait plus de 30,000 volumes. On estime à environ 15,000 le nombre de personnes qui ont assisté aux moments les plus "mémorables" de l'incendie, notamment l'effondrement des tourelles et des cheminées. (source: La Presse, 14 novembre 1929, p. 13).
Le séminaire à tourelles avait sa façade sur la rue Ste-Geneviève, et son côté gauche sur des Champs (Laviolette).
