Ele fundou em 1882 o Quarteto Rosé, com o qual Brahms esteve associado em seus primórdios e que foi o primeiro a divulgar grande parte de sua música de câmara.

O professor Rosé dirigiu a Filarmônica de Viena até 1938, quando os nazistas entraram em Viena e ele foi obrigado a renunciar devido à sua ascendência judaica.

Após escapar por pouco do internamento, ele foi para a Inglaterra e comemorou seu octogésimo aniversário com um concerto. 

O Professor Rosé celebrou seu quinquagésimo aniversário como membro da Ópera Estatal de Viena em junho de 1931. Nessa ocasião, recebeu uma alta condecoração do governo austríaco em uma cerimônia na casa de ópera.

Ele foi um grande intérprete de quase toda a música de câmara de Brahms composta após 1880 e introduziu a maioria dos quartetos de cordas de Dvořák a Schoenberg.

Embora seu quarteto de cordas fosse inigualável na interpretação dos mestres clássicos, ele também era um maestro de orquestra extremamente talentoso.

Nascido em Yassy, ​​Romênia, estudou com Karl Goesler no Conservatório de Viena a partir dos 10 anos de idade. Aos dezoito, foi nomeado primeiro violinista e spalla da Orquestra da Ópera Imperial de Viena, então sob a direção de Wilhelm Jahn (1835 – 1900).

Iniciou suas turnês de concertos em 1889 e, de 1890 a 1896, foi spalla em Bayreuth. Posteriormente, lecionou no Conservatório de Viena, onde ocupou uma cátedra.

Chegou aos Estados Unidos em 1928 para participar com seu quarteto do Festival de Música de Washington.

O professor Rosé casou-se com uma irmã de Gustav Mahler.

Com sua morte, um dos poucos elos restantes com Viena no auge de sua música foi rompido.