De familia de pintores, Arrúe estudió en Bilbao, Barcelona, París y Milán. En 1908 regresó a su tierra natal para dedicarse a la enseñanza de dibujo de la figura en la Escuela de Artes y Oficios, dedicándose a exponer en años sucesivos, tanto en su patria como en Francia y en Argentina. En aquel año cofundó la revista El Coitao, donde publicó ilustraciones, y participó en La Baskonia con ilustraciones y caricaturas en los años veinte. Desarrolló en paralelo una gran afición por los toros que llevó a lidiar varias novilladas.
Entre los años 1926 y 1931 fue colaborador en prensa madrileña, en El Sol, Crisol o El Liberal, realizando historietas e ilustraciones al tiempo que trabajaba en cartelismo y publicidad. Una vez desatada la guerra, Arrúe participó en un tebeo propagandístico contra los rebelde sublevados titulado El Pionero, ocupándose de dibujar las aventuras de un chico, Pedrochu, creado a imitación del Tintín de Hergé.
Debido a sus actividades y a sus vinculaciones, fue detenido en Santander en 1937 cuando intentaba huir hacia Francia. Estuvo preso dos años y después, represalidado, se retiró con su familia a Areta (Llodio) para desarrollar su vida como pintor con menor intensidad. Siguió pintando y exponiendo pero no se conocen más historietas suyas.
En 1973, la Sala de Cultura de la Caja de Ahorros Provincial de Álava de Llodio organizó una retrospectiva de su obra y en 1977 la Sala de Exposiciones del Banco de Bilbao, rindió homenaje a los hermanos Arrue mostrando obra de los cuatro. José murió aquel año a los 91 años de edad en Llodio.