وكان رسول الله صلى الله عليه وسلم يصلي فيه صلاة العيدين وصلاة الاستسقاء، لذلك سمي بالمصلى أو، مصلى العيد، وأطلق عليه العامة اسم: الغمامة.
بني المسجد في ولاية عمر بن عبد العزيز رضي الله عنه على المدينة أي ما بين عام 86 هـ - 93 هـ ، ثم جدده السلطان حسن بن محمد بن قلاون الصالحي قبل عام 761هـ، ثم أجريت له إصلاحات في عهد السلطان إينال عام 861هـ، قام بعدها السلطان عبد المجيد الأول بتجديده تجديداً كاملاً ظل إلى عصرنا الحالي عدا بعض الإصلاحات في عهد السلطان عبد الحميد وبعض الإصلاحات في العهد السعودي.
من ينظر إلى هذا المسجد من بعيد ويرى مآذنه يظنه مسجد الرسول صلى الله عليه وسلم لكثرة مآذنه وارتفاعها.
في مدخل المسجد ترى لوحة خضراء جميلة كتب عليها بخط جميل: مسجد الغمامة، ويتميز هذا المسجد بقبابه الكثيرة الجميلة.
أما أقواسه الخارجية؛ فإنها تحفة معمارية قلَّ نظيرها، بنيت بالحجارة الغامقة اللون تفصل بينها خطوط بيضاء.، أما في الداخل، فالأقواس الجميلة، توحي بروعة الفن الهندسي الذي صممها واليد الصناع التي نفذتها.