Goldberg se formó como ingeniero en Berkeley y trabajó en la red de alcantarillado de San Francisco durante un tiempo, pero dejó este trabajo por el de dibujante de humor. En el comienzo de su carrera publicó viñetas en San Francisco Chronicle, San Francisco Bulletin, New York Evening Journal y New York Evening Mail. Para este últimó creó comic strips como: Foolish Questions, Lunatics I Have Met, They All Look Good When You're Far Away o Boob McNutt, la cual se publicó entre 1915 y 1934.
Su serie más conocida sería Inventions of Professor Lucifer Gorgonzola Butts, consistente en invenciones cómicas de artilugios sorprendentes y ridículos. Curiosamente, no fue muy larga, puesto que se desarrolló en el semanario Collier's Weekly entre enero el 26 de enero de 1929 y el 26 de diciembre de 1931. Goldberg continuó produciendo viñetas de este tipo a la par que otras series nuevas durante los años treinta, como Phoney Films, Boobs Abroad, Bobo Baxter o Lala Palooza, entre otras. En 1948 le fue concedido el premio Pulitzer por sus cartoons de carácter político publicados en New York Sun.
Fue uno de los fundadores, en 1945, de la National Cartoonist Society, siendo presidente de la misma en 1946. El principal premio otorgado por esta institución, el Reuben Award, se llama así en su honor. Recibió su propio premio en 1967 y, póstumamente, en 1980, el Gold Key Award.
También fue redactor, escultor y diseñador publicitario (por ejemplo, para Pepsi Cola). Escribió guiones de cine, como el de la película Soup to Nuts, y llegó a protagonizar un cortometraje biográfico: Rube Goldberg's Travelgag, dirigido por Leslie Roush.