وکان رسول الله صلى الله علیه وسلم یصلی فیه صلاة العیدین وصلاة الاستسقاء، لذلک سمی بالمصلى أو، مصلى العید، وأطلق علیه العامة اسم: الغمامة.
بنی المسجد فی ولایة عمر بن عبد العزیز رضی الله عنه على المدینة أی ما بین عام 86 هـ - 93 هـ ، ثم جدده السلطان حسن بن محمد بن قلاون الصالحی قبل عام 761هـ، ثم أجریت له إصلاحات فی عهد السلطان إینال عام 861هـ، قام بعدها السلطان عبد المجید الأول بتجدیده تجدیداً کاملاً ظل إلى عصرنا الحالی عدا بعض الإصلاحات فی عهد السلطان عبد الحمید وبعض الإصلاحات فی العهد السعودی.
من ینظر إلى هذا المسجد من بعید ویرى مآذنه یظنه مسجد الرسول صلى الله علیه وسلم لکثرة مآذنه وارتفاعها.
فی مدخل المسجد ترى لوحة خضراء جمیلة کتب علیها بخط جمیل: مسجد الغمامة، ویتمیز هذا المسجد بقبابه الکثیرة الجمیلة.
أما أقواسه الخارجیة؛ فإنها تحفة معماریة قلَّ نظیرها، بنیت بالحجارة الغامقة اللون تفصل بینها خطوط بیضاء.، أما فی الداخل، فالأقواس الجمیلة، توحی بروعة الفن الهندسی الذی صممها والید الصناع التی نفذتها.