D. Mateus de Oliveira Xavier era irmão do Dr. Aniceto de Oliveira Xavier, médico que se fixou em Castelo de Vide e aqui casou com Maria Severiana Murta Xavier.

Natural de Vale da Urra, Freguesia de Vila de Rei, D. Mateus, muito afeiçoado a Castelo de Vide, passava aqui, em casa do irmão, algum do tempo que o seu alto ministério lhe permitia.