Cuando tenía cinco años, su familia se traslada a A Coruña y allí estudia el Bachillerato. Después se traslada a Santiago, donde estudia Medicina. Completa sus estudios en ciudades como Viena, Colonia, Copenhague, París... En un hospital de Viena conoció a una chica de origen húngaro, llamada Olga, con la que se casaría.Hacia 1938 vuelve a España y trabaja en varios hospitales. Fue miembro de la Real Academia Española de la Lengua y de la Academia de Medicina.
El doctor Rof Carballo publicó el primer libro en lengua castellana sobre Patología psicosomática en 1949. Escribió además otros libros como El hombre a prueba. Cerebro interno y mundo emocional, Cerebro interno y sociedad, Disproteinemias, Entre el silencio y la palabra, Urdidumbre afectiva y enfermedad, Medicina y actividad creadora, Violencia y ternura, Biología y psicoanálisis, Teoría práctica y psicoanalítica...En gallego escribió también el libro Mito e realidade da terra nai, que comprende cuatro ensayos titulados Os demos do Bosco, O problema do sedutor en Kierkegard, Proust e Rilke, A Santa Compaña y Mito e realidade da terra nai.Además escribió otro ensayo en gallego titulado Os mitos celtas e a personalidade galaica.