St. Olavs Klub ble stiftet 18. september 1799, men mye tyder på at klubben er eldre. I klubbens formålsparagraf står det "Ved selskapelig sammenslutning å skaffe medlemmene adspredelse og hygge". Klubben har i dag 400 medlemmer, og det er "ekspektanseliste (venteliste)". Faste møtedager er bl.a. Mandagsklubben til lunsj hver mandag, Carambole (Biljard) hver onsdag formiddag og hver første og siste torsdag i måneden. Det spilles Bridge hver onsdag aften, og Poker en gang i måneden.
Det er skrevet to bøker om klubbens historie: Til 125-års jubileét i 1924 "St. Olavs Klub 1799-1924", av Overettssakfører O. Chr. Orning, og til 200-års jubileét i 1999 "Klubben i Drammen", skrevet av Jo Sellæg.
På slutten av 1700-tallet, og begynnelsen på 1800-tallet ble det stiftet herreklubber i Norge. Herreklubbene var basert på engelske herreklubber (Gentlemen's Clubs), og ble etablert i norske byer hvor det var mye eksport/import, altså byer med nærhet til sjøen. Flere av klubbene hadde også "reisende medlemmer", dvs. medlemmer som oppholdt seg i byen for en kortere periode.
I Norge har vi herreklubber i disse byene: Oslo, Drammen, Tønsberg, Sandefjord, Fredrikstad, Halden, Kristiansand, Haugesund, Stavanger, Bergen, Trondheim og Tromsø. Klubbene har mange fellestrekk, som kortspill, biljard, og ellers mange selskapligheter.
De norske herreklubbene er meget kongevennlige. I St. Olavs Klub er det et eget Kongeværelse med portrettmalerier av Oscar II, Håkon VII, Olav V, og kong Harald V. Ved inngangen til hvert nytt år blir det sendt nyttårshilsen til Kongen, som besvares til klubbens nyttårsfest i januar. Kongen og Dronningen har også besøkt klubben. St. Olavs Klub er Stiftelsen Børsgården sin eldste leietager fra 1871, da Børsen var ferdig etter bybrannen i 1866.