Het oudste Tolhuis
Over het Tolhuis dat aan het huidige voorafging hebben wij weinig informatie. Het zal niet buitengewoon indrukwekkend zijn geweest; het op de achtergrond gelegen Kasteel was dat wel. In 1577 echter, na de overname van de stad door de Geuzen, werd het slot door de Goudse bevolking afgebroken, waarna een groter Tolhuis noodzakelijk werd. In 1581 traden de Staten van Holland in de grafelijke rechten, zodat de tolgaarder een staatsdienaar was geworden. Gedurende een lange reeks van jaren oefende deze hier zijn functie uit.
De eerste modernisering
In 1606 deed Pieter Cornelisz de Lange als tolgaarder zijn intrede. Hij betrok het pand samen met zijn vrouw, zes kinderen en een dienstbode hetgeen ongetwijfeld de nodige ruimte vroeg. Hij moderniseerde het interieur en creëerde daarmee een representatief onderkomen. Hier was Hugo de Groot, in zijn functie van advocaatfiscaal van het Hof van Holland, met zijn gevolg meermalen te gast. In 1623 werd de naast het Tolhuis gelegen poort geheel vernieuwd.
Totale verbouwing
Omstreeks 1630, toen Tolgaarder Johan Gijsbertsz Sas hier zijn functie vervulde, vond er een grote verbouwing plaats. Blijkens een rekening uit 1631 kreeg de Goudse timmerman Lendert Harmansz een bedrag van 3900 pond betaald vanwege geleverd materiaal en arbeidsloon. Gezien het bedrag dat hiermee gemoeid was, ging het om een aanzienlijke verbouwing. De kern en de oostvleugel werden vrijwel geheel vernieuwd. De fraaie plafondschilderingen dateren uit die periode. Een uit 1631 daterende gevelsteen met het wapen van Holland getuigt van de bouwactiviteiten.
Een aanzienlijke functie
Dat het tollenaarschap tot een lucratieve functie uitgegroeide, blijkt uit het feit dat de tollenaars in de achttiende eeuw tot de meest vooraanstaande Goudse regenten behoorden. Zo was de in 1746 als tollenaar aangetreden Bartolomeus de Moor van Immerzeel jarenlang burgemeester van de stad. Zijn belangstelling voor de Nederlandse letterkunde bracht hem in contact met de verlichte schrijfster Betje Wolff. Zij was verschillende malen te gast op het Tolhuis.
Einde van de grafelijkheidstollen
Bij de Bataafse Omwenteling in 1795 werden de grafelijkheidstollen opgeheven. Vanaf dat jaar werd het Tolhuis door het rijk particulier verhuurd. Het gebouw had sindsdien geen bijzondere betekenis meer. Zelfs dreigde het in 1938 ten offer te vallen aan het verkeer. Krachtige pleidooien voor behoud van het karakteristieke pand van onder meer de toen geheten ‘Oudheidkundige Kring Die Goude’ deed het gemeentebestuur van dit voornemen afzien. De Sluiswachterwoning bood nog jarenlang onderdak aan de havenmeester van Gouda.
Aanleg Nieuwe Veerstal
In 1954 veranderde de situatie doordat de Nieuwe Veerstal voor het Tolhuis en de Sluiswachterwoning werd aangelegd, waarbij de Havensluis werd vervangen door een duiker. Dit betekende het einde van de doorvaart door de stad. Het Tolhuis en de Sluiswachterwoning raakten langzaam maar zeker in verval. Gelukkig kwam hieraan een einde toen eerst eind 1987 het Tolhuis en vervolgens begin 1988 de Sluiswachterwoning werden aangekocht door het schildersbedrijf Prevoo BV met als doel de panden in te richten als kantoor. De restauratieplannen werden met voortvarendheid ter hand genomen zodat in het voorjaar van 1989 de werkzaamheden van start konden gaan. Het betrof een uiterst gecompliceerde restauratie. Een ingesteld onderzoek wees uit dat veel stijlen uit verschillende eeuwen door elkaar liepen. Zo waren er twee kamers uit 1631, een kamer uit 1850 en diverse beschilderde plafonds uit de 17e eeuw. In september 1990 is het geheel gerenoveerde gebouw in gebruik genomen.