De bariton werd geboren in Besoijen als zoon van de eigenaar van schoenfabriek Groenen (daarna Vesters, later Anita). Hij volgde zijn zangstudie in Amsterdam (bij Joseph Tijssen), Milaan en Stuttgart.
Zijn operadebuut maakte hij in 1913 in het Stadttheater van Mainz als de Hollander in Wagners opera Der fliegende Holländer. Van 1914 tot 1917 zong hij achtereenvolgend in het Stadttheater (Operahuis) van Hamburg, aan de Hofoper van Wenen en aan de Berliner Hofoper.
Zijn Nederlandse debuut maakte hij pas in 1919. Behalve in opera's was Jos Groenen enkele malen in Nederland als concertzanger te beluisteren.
Hij maakte ook grammofoonopnames voor het label Polydor. Vanaf 1917 tot aan het eind van zijn carrière in 1944 was hij vast verbonden aan de Staatsopera van Hamburg waarvan hij erelid werd en waar de bariton met de mooie, volle, krachtige en goedgeschoolde stem zeer geliefd was bij het publiek.
Na zijn zangersloopbaan bleef hij in Hamburg wonen, tot aan zijn dood.