L’imposante bâtisse a été construite à partir de 1861 par la congrégation de Saint-Viateur, elle-même fondée en 1831 par le père Louis Querbes (1793-1859), curé de la paroisse de Vourles pendant 37 ans.
La congrégation de Saint-Viateur, était constituée de clercs chargés de l’enseignement et de l’éducation des jeunes (catéchèse et liturgie). L’Institution Louis Querbes était destinée à recevoir son Juvénat.
La construction fut lente et son achèvement eut lieu en 1899…
En 1903, au moment de la séparation de l’Eglise et de l’Etat, les biens de la congrégation furent confisqués par l’Etat et vendus aux enchères. Les frères émigrèrent en Belgique.
En 1947 le bâtiment fut racheté par la congrégation et le Petit Séminaire (Juvénat) des Clercs de Saint Viateur s’installe à nouveau dans les locaux. Le recrutement fléchit à partir de 1965 et quelques années plus tard, des élèves externes ou demi-pensionnaires de la localité sont admis.
En 1971, avec l’évolution des vocations, l’Institution s’ouvre à un plus large public et notamment aux filles. Le collège est depuis cette date, un collège privé sous contrat avec l’Etat.
La Maison Comte, qui date vraisemblablement du XVIème siècle, est Incluse dans les bâtiments du collège Louis Querbes.