Die Vorstadt Freyung wird im Osten von einem repräsentativen Gebäude aus dem 17. Jahrhundert abgeschlossen, das von 1806 bis 1968 elf Pfarrherren und danach bis 1978 einer Familie als Domizil diente. Nach kurzem Leerstand fassten 1979 die Kirchenverwaltung und der Pfarrgemeinderat den Beschluss, das Gebäude zu einem Pfarr- und Jugendheim umzubauen.
Die Geschichte des Hauses beginnt vermutlich bereits im 14. Jh. Durch Um,- An- und Ausbauten in der Zeit von etwa 1600 bis zum letzten Drittel des 18. Jahrhunderts erhielt der Bau sein heutiges Aussehen. Die Dominanz in Verbindung mit seiner exponierten Lage des herrschaftlichen Baus ist im Kontext seiner früheren Bedeutung verständlich. Es war bis zur Auflösung des alten Reiches zu Beginn des 19. Jh. Amts- und Wohnsitz des leuchtenbergischen Stadtrichters. Nach dem großen Stadtbrand vom Juli 1800, bei dem auch der Pfarrhof in der Rosengasse den Flammen zum Opfer fiel, erwarb 1804 die Kirche das ehemalige Stadtrichterhaus und baute es zu einem Pfarrhof um. Mit der Übernahme der Pfarrei durch die Pfreimder Franziskaner, die ihren Wohnsitz im naheliegenden Kloster behielten, stand die künftige Nutzung offen. Das Thema "Jugendheim" wurde nun wieder aktuell.
Mit dem seit den 1950- und 1960er Jahren erlebten Aufschwung der organisierten Jugendarbeit war die Suche nach geeigneten Räumen für Aktivitäten und Gruppenarbeiten ein stets präsentes Problem. Zwar hatte man schon 1954 den ehemaligen Pfarrstadl an der Nordwand der Pfarrmauer zu einem Jugendheimsaal umgebaut, doch konnte er nach 25 Jahren den geforderten Ansprüchen nicht mehr gerecht werden. Ein 1974 gegründeter Arbeitskreis "Jugend- und Sozialzentrum Pfreimd", dem Vertreter des Stadtrates, der Kirchenverwaltung und des Pfarrgemeinderates angehörten, ging nun verstärkt daran, das Jugendheimprojekt zu verwirklichen. Nach einem langen und beschwerlichen Weg voller Probleme und Schwierigkeiten konnte schließlich im Jahr 1980 mit den aufwändigen Umbau- und Sanierungsarbeiten begonnen werden.
Im Oktober 1981, nachdem in Anlehnung an den ehemaligen Gebäudeprospekt an der Außenfassade die farblich abgesetzten Verzierungen und Lisenen wieder angebracht waren, waren die Außenanlagen abgeschlossen. Auch die Inneneinrichtungsarbeiten waren zu diesem Zeitpunkt soweit fortgeschritten, dass einer Einweihung des Pfarr- und Jugendheims
nichts mehr im Wege stand. Am Sonntag, dem 29. November 1981 fand die feierliche Weihe des Gebäudes statt.
Seither das Jugendheim für Vereine und Gruppierungen mit kirchlichem Hintergrund ein gern genutzter Anlaufpunkt. Die vielen Räumlichkeiten incl. Ausstattung bieten in Kombination mit der Außenanlagen die ideal Vorraussetzungen z. B. für Gruppenstunden, Musikproben, Sitzungen, Sportangebote uvm.
