水城门清真寺始建于清朝同治初年，因地处东关水城门口而得名。始建于清同治初年，清光绪21年（1896年）遭兵燹被毁，1922年重建，是西宁伴游东关地区比较古老的清真寺之一。

1958年宗教改革时，寺院被西宁市城东区铅丝社占用，直到1980年才将寺院部分房屋归还给清真寺。

1983年重建，新修了礼拜大殿，二层共十四间房屋及两座唤醒楼，北建砖混结构三层楼一栋，东建砖混结构二层楼房一栋，南建砖混结构二层楼房一栋和土木结构平房二间。整个清真寺采用了传统的中国古典式建筑风格，大殿古朴典雅、宏伟壮观。唤醒阁为5层楼高仿古建筑，与大殿整体风格相呼应。