De Drommedaris, ook wel Ketenpoort genoemd, stamt uit 1540. Het gebouw maakte deel uit van de stadsmuur die Enkhuizen in die tijd omringde. Daarnaast was het een verdedigingstoren die waakte over de havens van de stad en uitzicht gaf op de toenmalige Zuiderzee.

Waar het gebouw zijn naam aan heeft te danken is niet eenduidig. Waarschijnlijk vond de bevolking van Enkhuizen dat het gebouw iets weg had van een dromedaris, want die bijnaam stamt al uit de begintijd. Het is ook mogelijk dat het gebouw is vernoemd naar het VOC-schip met de gelijknamige naam dat gebruikt werd door Jan van Riebeeck toen hij Kaap de Goede Hoop ontdekte.

De stadsmuur werd afgebroken toen de stad werd vergroot tot zijn huidige vorm met aarden wallen. Ook de havens werden aanzienlijk vergroot. De Drommedaris bleef echter het havengebied domineren met zijn kanonnen, samen met andere verdedigingswerken.
Zo’n honderd jaar na de eerste bouw en na de 80-jarige oorlog tegen de Spanjaarden, is De Drommedaris in 1649 opgehoogd tot zijn huidige hoogte. Het waarom is niet helemaal duidelijk. Naar alle waarschijnlijkheid had het iets te maken met het kunnen inhangen van het inmiddels beroemde carillon.

Lange tijd diende het gebouw als gevangenis en opslagruimte, maar het huisvestte ook in het begin van de vorige eeuw het eerste telegraaf- en postkantoor van de stad (met dichtgemetselde poort).

Sinds 1959 is de Drom, zoals het door vaste bezoekers genoemd wordt, in gebruik als cultureel centrum, café en jeugdherberg.

De Drommedaris werd per 1 juli 2011 gesloten in afwachting van een grote renovatie. De werkzaamheden zijn gestart in het voorjaar van 2013. De heropening wordt verwacht in het voorjaar van 2015.