Foi discípulo do mestre Antonio Fernández. En 1951 ingresou na Escola Superior de Belas Artes de San Fernando (Madrid) pensionado pola Deputación de Pontevedra e o Concello de Tomiño (Pontevedra). En 1955 é pensionado por "El Paular" de Segovia e concédenlle o premio de estado "Carmen del Río" da Academia de San Fernando. En 1956 cursa estudios de pintura na Escola de Belas Artes de Munich. Ó principio dos anos sesenta reside durante algún tempo en Ourense, onde formou parte do grupo que Vicente Risco denominou "Os Artistiñas". Nos anos 1967-68 fundou, con outros artistas, a "Estampa Popular Galega", unha mostra itinerante polas vilas galegas. Cultivou un impresionismo de carácter lírico e evocador. Colorista rico, a un tempo intenso e delicado, constrúe as súas paisaxes cunha pincelada de coidado grafismo, case caligrafía. É dos pintores que entende que o tema é a desculpa para pintar, para recrearse na luz e na cor.
Desde 1954 realizou exposicións nas principais cidades españolas. Ademais, expuxo en Canadá, México, Portugal e Venezuela. En 1994, o Centro Cultural Caixavigo acolle unha exposición antolóxica súa na serie "Grandes Artistas Galegos", en 1995 expón na "Nova Sala de Exposicións" de Caixavigo e na galería "Faunas" de Madrid e no ano 2000 realiza a súa última exposición en Mondariz-Balneario. As súas obras figuran no Museo de Belas Artes da Coruña, Museo Municipal de Lugo, Museo Municipal de Ourense Museo Provincial de Pontevedra, "Museo Quiñones de León" de Vigo, Museo "Carlos Maside" de Sada (A Coruña), Museo "Bello Piñeiro" de Ferrol, Parlamento de Galicia, Xunta de Galicia, diferentes concellos galegos, Universidade de Santiago de Compostela, colección "Zona Franca de Vigo", etc. As súas obras están, ademais, representadas en coleccións privadas de Alemaña, Bélxica, Brasil, Canadá, España, Holanda, Portugal, Estados Unidos, Venezuela e Zimbabwe.
En 1956 obtivo o premio "Sésamo" polo cadro "Praza de Santo Domingo". En 1966 tomou posesión como membro da Real Academia de Belas Artes de Galicia. Foi membro do padroado do "Pedrón de Ouro", do Comité Asesor Artístico de Caixanova e do padroado do Museo "Quiñones de León" de Vigo como asesor artístico. Foi un dos impulsores da "Fundación Mondariz Balneario" e director da súa bolsa de paisaxe (hoxe denominada "Beca de Paisaxe Xavier Pousa"). A súa bibliografía pódese encontrar, entre outros, en: Plástica Gallega (1981); Pintura Contemporánea en Galicia (1987); Diccionario de pintores y escultores españoles del siglo XX (1994); Gran Enciclopedia Gallega, Colección Caixavigo, pintura-escultura-dibujo (1995); Colección de Arte Galega, Museo Quiñones de León (1995); Os Pousas de Pousa (2000); Artistas Galegos, Pintores (realismo) (2001) e Gallegos; Homenaxe a Xavier Pousa (2002).