Nascido em Nova York, o Sr. Rushmore frequentou as escolas públicas da cidade e o City College, então conhecido como New York College, graduando-se em 1876. Estudou direito no escritório de Beardslee & Cole e foi admitido à Ordem dos Advogados em 1879, logo depois formando a sociedade Fullerton & Rushmore, que durou até 1890. Em seguida, o Sr. Rushmore juntou-se ao escritório de Simon H. Stern. Mais tarde, o Sr. Bisbee tornou-se sócio. Os escritórios da firma ficavam no número 20 da Rua Pine.

Em 1906, o Sr. Rushmore foi um dos candidatos indicados pelo judiciário para a Suprema Corte. Em 1915, recusou uma nomeação para o Tribunal de Apelações. Por muitos anos, foi um advogado de destaque em julgamentos, reconhecido por seu conhecimento das leis bancárias e de títulos negociáveis. Foi, durante um longo período, advogado da New York Clearing House Association, do Chase National Bank, do Bank of the Manhattan Company e de outras grandes corporações financeiras. Nos últimos anos, passou grande parte do seu tempo em sua residência de campo, Carmore, em Woodbury, Condado de Orange, Nova York.

O Monte Rushmore, nas Black Hills de Dakota do Sul, hoje um monumento nacional, recebeu esse nome em homenagem ao Sr. Rushmore. Ele foi para as Black Hills a trabalho, representando os proprietários de algumas empresas de mineração, quando ainda era um jovem advogado, e seu trabalho o manteve lá por alguns meses. O pico que Gutzon Borglum (1867 — 1941) transformou em monumento não tinha nome na época, e os moradores da região o batizaram em homenagem ao jovem advogado, enviando-lhe posteriormente um mapa com seu nome ali aplicado. Quando o presidente Coolidge inaugurou o monumento, o Sr. Rushmore foi convidado a participar das cerimônias, mas sua saúde o impediu de fazer a viagem.

O Sr. Rushmore era membro das associações de advogados nacionais, estaduais, municipais e do condado, bem como da Loja Maçônica Kane, F. e AM. Seus clubes incluíam o Century, o Metropolitan, o Union League, o Tuxedo e o Metropolitan de Washington.