世界上第一个穆斯林礼拜的地方是麦地那的先知穆罕默德的故居，当时穆罕默德领导穆斯林在这里做礼拜，一个相当大的院子，中间只有一座小房屋，是穆罕默德的住宅，院子一边树立着一排枣椰树干做的柱子，在柱子和墙之间，覆盖着用枣椰树叶做的凉棚，穆斯林们可以在凉棚荫影下做礼拜，防止曝晒的阳光，穆罕默德在站在房间的门廊里领导做礼拜。

     以后清真寺都是仿照这种方式，世界上第一座清真寺是麦加的库巴清真寺，据说是穆罕默德亲自率领人们用四天时间就建成的，《古兰经》中称这座寺是“从头一天起就以虔敬为基础而修建的清真寺”。 清真寺内不得供奉任何雕像、画像和供品，只有围绕的柱廊，中心一个大拱顶，主要的墙要向着麦加的方向，墙中间有一个凹下的龛，叫做米海拉布，是指示穆斯林礼拜方向的。龛中有一座带阶梯的高台，是在主麻日时，为伊玛目站在上面带领诵读《古兰经》用的，叫敏拜尔，诵读古兰经时不得有音乐和歌唱。底下一般铺有地毯，因为穆斯林需要赤脚礼拜。

     清真寺外面或一进门地方有自来水或喷泉，要求穆斯林净手脸后才能礼拜。有的清真寺有木隔壁或隔间，以前是为参加礼拜的领袖防止被暗杀，使他们能在其中礼拜，现在有时作为男女分隔用。以前清真寺不允许女性入内，现在比较开明的国家也允许女性参加礼拜，但一般所有的清真寺都不允许非穆斯林入内，认为他们是不洁净的。

     由于《古兰经》要求穆斯林每日要做五次礼拜：日出时、正午、下午、日落和夜晚，在古代没有时钟的情况下，很难掌握统一的时间，因此在清真寺外见有宣礼塔，每到礼拜时间，要有大嗓门的人在塔上大声呼唤，有的大清真寺四周有许多宣礼塔，一般为四个，朝着四方。

     现代都装有扩音器，不再用人，扩音器音量大，因此有的现代建造的清真寺只有一个宣礼塔。在世界不同地区的清真寺建筑也不太相同，但内部基本一致。中国内地的原有的清真寺都已经采用中国传统的木结构建筑，和其他寺庙相似，唯一区别是采用绿色屋顶，（佛教寺庙用黄色或灰瓦屋顶），西北的清真寺在屋脊上还装有三个立着的花柱，中间一个在顶上有伊斯兰教新月标志。

      内地由于穆斯林人口不多，常聚居在一处，清真寺一般没有宣礼塔，西北有的清真寺有建造像佛塔一样结构的宣礼塔，不过顶上装饰有新月。现代新建的清真寺也采用国际流行的大拱顶结构。穆斯林在清真寺内礼拜时要排成长排，跪拜俯伏，以额触地，因此世界各地的穆斯林所用的帽子都没有帽沿，如果戴着有帽沿的帽子，要将帽沿转向脑后，否则不能将额触地。