Hijo de D. Felipe Fernández, uno de los fundadores de la Gaceta de los Tribunales, nació en Madrid el 25 de diciembre de 1825. Cuando tenía menos de dos años se trasladó con su familia a Cuba donde permaneció varios años. Cuando regresaron a la península ibérica vivieron en Santiago de Compostela donde terminó los estudios elementales. En 1841 ingresó en la Escuela de Ingenieros de Minas de Madrid, en la que obtuvo el título de Ingeniero segundo a la edad de 19 años (1844). Tras su ingreso en el cuerpo de Ingenieros de Minas en 1844, pidió un cese voluntario de su actividad durante ocho años (1845-1853) que dedicó a viajar por diferentes países de Europa, completando su formación en diversos aspectos de la minería, en especial en los ferrocarriles mineros. Inaugurado el primer ferrocarril de la península ibérica (Barcelona-Mataró) en 1848, en dicho año se autorizó la construcción del ferrocarril minero de la cuenca carbonífera asturiana hasta el puerto de Gijón y en 1850, D. Manuel Fernández de Castro inventó un sistema de señales eléctricas para prevenir choques y descarrilamientos, que tuvo una gran acogida, hasta el punto que fue comisionado a diversos países para estudiar los sistemas de seguridad de ferrocarriles. En 1857 publicó su obra Electricidad y camino de hierro donde recoge su experiencia en los sistemas de seguridad de los ferrocarriles.

En 1857 fue designado Jefe de Minas de la Isla de Cuba donde permaneció hasta 1872, realizando múltiples investigaciones sobre los más diversos aspectos de la geología, la paleontología y la minería, dirigiendo además el Diario de la Marina. Elaboró el primer mapa geológico de la isla de Cuba. Estudió los abastecimientos de aguas y los desagües de varias ciudades, entre ellas La Habana. Analizó los huracanes vividos por él en Cuba y las medidas para mitigar sus efectos. Estudió los yacimientos de oro, de hierro y de yeso de la isla. Sus trabajos más conocidos son los del campo de la paleontología, en especial los relacionados con el estudio de los grandes mamíferos fósiles encontrados en la isla, que compara con los descritos en el continente americano y encuentra una gran similitud entre los fósiles del Terciario más reciente y del Cuaternario, con lo que afirma que la isla estuvo unida al continente americano hasta tiempos geológicos recientes. En 1862 ingresó como miembro numerario de la Academia de Ciencias médicas, físicas y naturales de La Habana.

A su regreso a la península en 1872 tomó posesión de una plaza de la Junta Superior Facultativa de Minería y un año después (1873) pasó a ocupar la dirección de la Comisión del Mapa Geológico de España, que desempeñó durante más de veinte años, con categoría de Inspector General del cuerpo de Ingenieros de Minas. Creada la citada comisión en 1849 tuvo una vida inicial de tan escasa actividad que fue creada de nuevo en 1870. D. Manuel Fernández de Castro consiguió un nuevo decreto, de Amadeo de Saboya (1873), potenciando su actividad y que marcó el inicio de una fase de gran desarrollo de la geología española. Entre 1873 y 1894 se elaboraron y publicaron múltiples mapas geológicos provinciales a escala 1:400.000. En 1879 se publicó el primer mapa geológico de España y Portugal a escala 2.000.000. Finalmente entre 1889 y 1892 se publicó el primer Mapa Geológico de España a escala 1:1.500.000, que sirvió de base de la Carta Geológica de Europa de la misma escala. Inició en 1874 la publicación del Boletín de la Comisión del Mapa Geológico de España que actualmente se sigue publicando con el nombre de Boletín Geológico y Minero. Entre 1884 y 1885 presidió la comisión científica encargada de estudiar el gran terremoto de Andalucía, de trágico recuerdo, haciendo propuestas interesantes sobre la necesidad de establecer normas de construcción específicas en áreas que puedan ser afectadas por terremotos.

Fue elegido senador en 1879 y reelegido cuatro legislaturas, en representación del distrito de Santa Clara de Cuba, participando activamente en la elaboración de varias leyes, entre ellas la de la abolición de la esclavitud.

Fue miembro del Consejo Superior de Agricultura, de la Academia de Ciencias de Barcelona, del Consejo de Instrucción Pública y de la Junta Consultiva del Instituto Geográfico y Estadístico. Estuvo en posesión varias condecoraciones entre ellas la Gran Cruz de Isabel la Católica, la cruz y encomienda de Carlos III y la Cruz de la Legión de Honor francesa. Tesorero de esta Real Academia (1886-1892).