La superbe collection léguée en 1906 par le juge Baby constitue l'un des fleurons de la Bibliothèque. Il a rassemblé aussi bien des incunables, des récits de voyage, des brochures touchant tous les aspects de la vie au Canada et des livres très rares. Il a également collectionné des monnaies, des médailles. La collection comporte également un impressionnant fonds d'archives conservé à la Division des archives de l'Université de Montréal.  Dans ce fonds, se retrouve le testament olographe du juge Baby dans lequel il lègue sa « bibliothèque historique composée d'ouvrages canadiens traitant sur le Canada en particulier ou sur l'Amérique en général ».

La Collection Baby, l’une des plus importantes collections d’archives et d'imprimés sur l’histoire du Canada, a été officiellement inscrite le 15 février 2007, en vertu de la Loi sur les biens culturels, au Registre des biens culturels dans la catégorie bien historique par le ministère de la Culture et des Communications du Québec. Le classement est le statut le plus important que peut se voir décerner un bien culturel. Exceptionnellement accordé à une collection d’archives et de livres rares, ce statut lui procure des avantages tels que des mesures de protection quant à sa conservation et une visibilité accrue par l’inscription au registre des biens culturels.

En 1858, alors que l'intérêt pour notre histoire se développe considérablement, Louis-François-Georges Baby, alors jeune avocat, participe avec Hospice-Anthelme Verreau et Raphaël Bellemare à la fondation de la Société historique de Montréal patronnée par Jacques Viger. C'est une époque florissante pour la bibliophilie et Me Baby devenu juge se mettra à collectionner avec ferveur imprimés et archives ayant trait à l'histoire canadienne. Il se procure des ouvrages très rares tels que : le magnifique exemplaire des Singularitez de la France Antarctique d'André Thévet, 1558; le Catéchisme du diocèse de Sens imprimé à Québec en 1765, considéré comme le premier livre imprimé au Canada; l'ouvrage Historiæ canadensis de François Du Creux publié en 1664 à Paris décrivant les missions des Jésuites et la vie des « sauvages »;  de captivants récits d'exploration du Nouveau Monde et de la Nouvelle-France avec Ramusio, Purchas, Joannes de Laet, Lescarbot, Sagard, Hennepin, Lahontan, Charlevoix, Weld et Vancouver, pour n'en citer que quelques-uns.

La collection Louis-François-Georges-Baby possède peu de périodiques, mais d'innombrables brochures imprimées au Canada, feuillets, pamphlets rarement conservés et par le fait même d'une valeur inestimable pour les chercheurs. Les sujets les plus divers de la vie canadienne y sont regroupés : agriculture, éducation, milice, jurisprudence, politique, littérature, mélanges historiques, scientifiques et religieux. La plupart des séries s'étendent de la fin du 18e siècle jusqu'au début du 20e siècle, mais portent principalement sur le 19e siècle. La plus importante est certainement celle du Canada Politique qui compte 94 volumes, regroupe 789 titres et touche à toutes les grandes questions qui ont agité la vie politique canadienne et québécoise, de 1790 à 1904. Enfin, un ensemble de documents iconographiques complètent la collection.