Het huidige Tongerlohuys dateert uit 1762 en werd ontworpen door de Zuid-Nederlandse architect Somers in opdracht van de abdij van Tongerlo. Het gebouw lijkt op andere norbertijner pastorieën in de Belgische Kempen: een hoofdvleugel geflankeerd door twee lagere zijvleugels en een voornaam aandoende gracht. Wie nu het Tongerlohuys binnenstapt, ziet in het interieur nog verwijzingen naar de vroegere functie van het pand. Zo is het originele stucwerk in de voormalige huiskapel nog intact met voorstellingen van de Heilige Geest en de Drieëenheid. Ook zijn de voormalige bewoners nog aanwezig door hun portretten: deken Derikx en Godefridus Hermans, de bouwheer van de pastorie.
Tot 1971 werd het Tongerlohuys bewoond door Norbertijnen, die vanwege hun witte toog ook wel witheren werden genoemd. De orde der Norbertijnen werd in 1120 gesticht door de edelman Norbertus van Gennep, kanunnik te Xanten. De banden tussen de abdij van Tongerlo in de provincie Antwerpen en het zuidwestelijke deel van Noord-Brabant dateren uit deze tijd. De abdij van Tongerlo was in 1120 opgericht. Door een schenking kreeg de nog jonge abdij goederen en pachtrechten in Nispen. Ook kreeg de abdij het recht om pastoors van Nispen aan de bisschop voor te dragen. De abdij van Tongerlo had al een aantal parochies in bezit. De parochie Nispen omvatte het gebied van het huidige Roosendaal en Zegge, maar ook de dorpen Essen, Kalmthout, Nieuwmoer, Achterbroek en Wildert. Dit gebied was een dunbevolkte streek met moerassen en heidevelden. Onder leiding van de abdij werd de landbouw ontwikkeld en werd een begin gemaakt met de ontginning van veengronden. In 1266 vroegen de bewoners van Kalsdonk, Langdonk en Hulsdonk toestemming aan de bisschop van Luik om een eigen kapel te stichten. Twee jaar later werd dit verzoek ingewilligd. Midden tussen de drie gehuchten, op de plaats waar nu de Sint-Janskerk staat, werd een kapel gesticht. De nieuw gestichte kerk werd aanvankelijk gewijd aan Onze Lieve Vrouw, ook de patroonheilige van de abdijkerk van Tongerlo en de parochiekerk in Nispen. Evenals in Nispen benoemden de Norbertijnen pastoors uit hun kloostergemeenschap. In Roosendaal sprak men over witte en zwarte kapelaans. De witte kapelaans waren Norbertijnen met hun kenmerkende witte toog, zwarte kapelaans waren door het bisdom benoemde geestelijken.
In 1572 werd Roosendaal door de Geuzen bezet. Hoewel de pastoor, de geestelijken en de kerkmeesters de kerk hardnekkig verdedigden, konden ze niet voorkomen dat de stad in brand werd gestoken. De kerk, het stadhuis en ruim honderd huizen gingen in vlammen op. Ook in 1583, 1590 en 1600 brandde de kerk af. Na de Vrede van Munster in 1648 werd openlijk katholiek zijn door de overheid verboden. Katkolieken werden tweederangsburgers en moesten hun kerk afstaan aan de protestanten. In elke plaats mocht maar een pastoor en een kapelaan worden benoemd en tot 1795 mochten katholieken geen openbaar ambt uitoefenen. Toch moet de invloed van Tongerlo tot in Den Haag voelbaar zijn geweest, want in 1762 werd in de Molenstraat een nieuw imposant gebouw gebouwd: het Tongerlohuys. Pas in 1971 verliet de laatste Norbertijn deze pastorie. In 1979 werd de parochie overgedragen aan het bisdom Breda en daarmee kwam een eind aan de eeuwenlange band tussen Roosendaal en Tongerlo.
(Bron: Witheren en zwarte turf, zeven eeuwen Norbertijnen in West-Brabant, door A. Nieuwlaat en P.J. Klapwijk, 1997)