A Irmandade de Nossa Senhora dos Homens Pretos foi constituída no início do século XVIII, no altar da Igreja Matriz consagrado à Virgem do Rosário.
Uma capela foi construída pela Irmandade entre os anos 1700 e 1705, mas precisou ser reedificada para evitar o desabamento.
A reconstrução da capela começou aproximadamente em 1862, com poucos recursos financeiros, até que 20 munícipes fizeram associação com a Irmandade para auxiliarem nas obras.
A igreja já tomava a forma atual em 1879, quando as reformas estavam adiantadas, até que foram finalizadas em 1882.
A Paróquia de Nossa Senhora do Rosário foi criada em 7 de janeiro de 1925, por determinação do bispo de Taubaté, Dom Epaminondas Nunes de Ávila e Silva, e como 1º pároco, o padre Evaristo Campista César.
A paróquia conhecida como Igreja do Rosário, passou por algumas reformas que não mudaram o padrão arquitetônico colonial paulista, marcado por linhas sóbrias e harmoniosas das construções sacras. O interior da igreja possui o estilo denominado como Barroco Paulista.
A praça em frente a paróquia recebeu posteriormente o nome “Praça Barão do Rio Branco”, mas ainda é conhecida com o nome original “Largo do Rosário”.
A igreja é a segunda paróquia criada em Taubaté, que atrai interesses dos estudiosos da arquitetura sacra tradicional do Vale do Paraíba.