L'oratorio di S. Cristoforo fu edificato intorno al 1380 da Niccolò Trissino, che si occupava nello stesso periodo anche del restauro e dell'ampliamento della cappella dedicata a San Clemente Papa.
Con la ricostruzione del 1741, cui fecero seguito interventi di restauro nel corso dell'Ottocento, l'oratorio fu intitolato alla Vergine, alla quale fu consacrato anche l'altare maggiore.
Sopra questo venne allora sistemato l'affresco raffigurante la fuga in Egitto, tramandatoci come "La Madonna di S. Cristoforo", originariamente posto all'esterno.
La chiesa aveva infatti due altari: uno all'interno dedicato a S. Cristoforo ed uno all'esterno alla Vergine.