南关清真大寺始建年代较为久远。明朝末年，原寺地址在银川南关外“拱北”亭，规模较小。1916年将寺址迁入南关内，建成一座具有古典风格的大寺。60年代寺院在动乱中被毁殆尽。1981年广大穆斯林募资在今址重建。

重建的南关清真大寺主殿建筑高26米，坐西朝东，寺院面积约1万平方米。主殿为圆形拱顶两层，上层是大殿、阳台，方形大礼拜殿可容纳1300多人做礼拜。下层有宽敞的沐浴室、小礼拜殿、女礼拜殿、阿拉伯语学免费伴游网校、阿訇卧室、办公室、会客室等，皆以回廊相连。

楼顶正中耸立着一大四小的绿色穹隆装饰，大的居于中央，直径9米，顶端高悬新月，小的直径3米，分布在楼顶四角，远眺，绿色圆顶闪闪发光，十分壮丽。主楼前有通向上层的阶梯，两侧种植花圃。殿前中部为一座直径15米的喷水池，四周花木扶疏，两边各建有30米高的“宣礼塔”。寺院内还种植了许多珍贵的松柏和各种树木、花卉。整个建筑布局严整，结构紧凑，规模宏伟。

南关清真大寺以其别具一格、典雅庄重的特点，以及浓郁的伊斯兰建筑艺术风格，成为自治区重点对外开放的宗教活动场所和旅游景观之一。近年来，有90多个国家及地区的领导、使者、友人来访。许多海外穆斯林亦到此参观做礼拜。