Nació en 1928 en Opatija, cuando esta ciudad era de Italia (hoy es de Croacia), en el seno de una familia pudiente y culta. Su padre, médico, y su madre, siquiatra. Antes de fijar su residencia definitiva en Francia, en 1955, Frank Horvat vivió en Italia, Suiza, Inglaterra, Pakistán, India y Estados Unidos.