Alimentée par la source de Tarrette, la fontaine des quatre Goulettes était pendant longtemps le seul point d’eau public potable de la ville.
La fontaine, déjà présente au XVème siècle, était construite avec des bassins en bois demandant un entretien fréquent.
Il a été décidé, en 1708, de reconstruire à neuf le bassin en choisissant la pierre de taille. La chèvre fut posée au milieu du bassin et était décorée d’une boule à son sommet. La construction fut achevée fin 1708.
Moins de quarante ans plus tard, la fontaine perdant ses eaux fut désignée comme vétuste. Ce sont Claude Andrier et Laurent Bastian qui, suite à une proposition de reconstruction similaire à la fontaine d’origine, ont été choisis pour la reconstruire. Leurs noms figurent encore à ce jour sur la fontaine.