De Visbanken aan weerszijden van het water van de (Binnen-)Gouwe dateren uit 1588. Hier was al in de vijftiende eeuw de vismarkt gevestigd.  De banken werden in 1600 overdekt en in 1676 verbouwd. Hun huidige vorm,  twee overdekte galerijen met natuurstenen zuilen van de Dorische orde, kregen de banken vermoedelijk pas in 1706. Bij de laatste verbouwing moet ook het Commissarishuisje met gebosseerd metselwerk en tentdak tot stand zijn gekomen. De commissaris inde de plaatselijke accijnzen op vis. Volgens een keur uit 1652 was de noordelijke galerij langs de Lage Gouwe gereserveerd voor de Goudse vishandelaren, en die aan de Hoge Gouwe voor vishandelaren van elders. De vishandelaren die van buiten de stad kwamen betaalden een hogere accijns dan de Goudse handelaren.