Tout au long de l'année 1905-1906, les Ursulines désiraient négocier avec Rémy Dufresne pour l'échange ou l'achat de son terrain et de ses deux petites maisons presque contiguës au pensionnat de brique, en prévision de la construction de leur École normale. Le 16 septembre 1904, le Conseil municipal de Trois-Rivières avait d'ailleurs tenu une séance spéciale au sujet du détournement de la rue Saint-Benoît et de ce qui restait de la rue Sainte-Hélène, au sud de la rue Saint-Charles (Hart). Les religieuses désiraient en effet acheter la partie de la rue Saint-Benoît en face des maisons Dufresne et faire dévier la rue Sainte-Hélène sur leur terrain pour la faire abouter à la rue Saint-Benoît. En fait, elles proposaient de prolonger un peu plus au nord la rue Sainte-Cécile (qui s'arrêtait alors à la rue Saint-Benoît) et de la faire tourner vers l'ouest pour aboutir à la rue Sainte-Hélène, puis de fermer le tronçon de la rue Saint-Benoît à l'ouest de la rue Sainte-Cécile. En février 1907, les religieuses tentèrent à nouveau de négocier avec Dufresne par l'intermédiaire de Napoléon Deschesnes à qui elles demandaient d'acquérir la propriété pour 2100$ et de la transporter ensuite au nom des Ursulines. Mais les négociations échouèrent. En septembre, elles se virent forcées d'accepter les exigences de Dufresne (3000$ comptant), vu qu'il leur était "impossible de continuer convenablement une École normale sans avoir cette propriété".
En juin 1851, l'Association mercantile, le corps des pompiers, les élèves de l'école …