La grande maison des serviteurs du Séminaire Saint-Joseph était bâtie juste derrière le "séminaire à tourelles", sur l'emplacement de l'actuelle résidence du séminaire. Elle fut démolie en 1900 et remplacée par une maison à comble français pour servir de couvent aux Sœurs de la Sainte-Famille.
Le 1er octobre 1795, les Ursulines de Trois-Rivières louèrent à rente foncière à F. de …