این مسجد که در برخی از نسخه‌ها و کتابها از آن به عنوانمسجد جامعنیز یاد شده، بازمانده مسجد عظیم و گسترده و کم نظیری است که در دوره‌های مختلف اسلامی بویژه دوره سلجوقی شکل گرفته و تا اوایلدوره صفوی آباد بوده‌است. اینکه از چه تاریخی این مسجد بر روی آثار پیش از اسلام ساخته شده اطلاعی در دست نیست اما بررسی‌هایی که هیات کاوشگری ایرانی انجام داده‌است نشان می‌دهد این مسجد در قرون اولیه اسلامی ساخته شده‌است. مسجد دوره‌های سلجوقی و ایلخانی بسیار گسترده تر و عظیم تر و وسیع تر از بنای مکعبی فعلی بوده و بنای سرپای موجود صرفاً گنبدخانه و ایوان مسجد بزرگ را تشکیل می‌داده‌است. تک منار استوانه‌ای شکل آجری آن از یادگارهای زمان سلجوقی است. مرور زمان باعث شده‌است اجزای بنا تا حدی که امروز دیده می‌شود ویران شود. همچنین به دلیل تصرفاتی که افراد در حریم و تپه به عمل آورده‌اند و منازلی که روی دامنه آن احداث شده، به تدریج از وسعت این مسجد کاسته‌است و مساحت آنرا به اندازه کنونی تقلیل داده‌است.
این مسجد آخرین بار در دورانایلخانیمورد مرمت قرار گرفته‌است. کاوشهای باستان‌شناسی که برای شناخت مختصات تاریخی بنا از سال ۱۳۶۷ توسطسازمان میراث فرهنگیشروع شده، پس از خاکبرداری از لایه‌های خاک و برچیدن قبرهای متاخر، سرستون‌های آجری و قسمتی از دیوار شبستان مسجد عتیق را که متعلق به دوره ایلخانی بوده از خاک بیرون آورد که تاریخ روشن مسجد و چگونگی الحاقات و تکامل آنرا طی ادوار مختلف تا حدی مشخص نمود و قرار است نتایج این تحقیق توسط هیات علمی تدوین و مشخص گردد. وجود آجرهای مستعمل در این بنا، تزیینات کاشیکاری و گچبری و نقش مهرها در بندکشی و فواصل آجرها قابل مقایسه با سایر بناهای دوره سلجوقی درآذربایجاناست. علت اصلی انهدام و خرابی مسجد، زلزله شدیدی بوده که موجب تخریب این بنا شده‌است. تعمیرات که درقرن هفتم، قسمت اساسی بنا و گنبد آن صورت گرفته‌است.
شکل گیری و نقشه مسجد جمعه اردبیل بر خلاف مساجد دوره سلجوقی که اغلب به صورت چهار ایوانی بنا می‌شده ساخته شده‌است. این موضوع یکی از مختصات استثنایی پلان مسجد جمعه اردبیل محسوب می‌شود. در زیر تالار اصلی مسجد، به منظور تسهیل عبور و مرور مردم و دسته‌ها و اجتماعات، دهلیزها و راهروهایی به صورت شبکه‌ای منظم و محاسبه شده ساخته شده‌است که در فاصله هر دو متر به صورت چهار راهی متقاطع این ممعبرها دیده می‌شوند و بلندی هر یک از این راهروهای زیرزمینی ۱۹۰ سانتی متر و دارای ۸۰ سانتی متر پهنا می‌باشد.
بنای اصلی مسجد که هم اکنون محوطه مکعبی آن سرپاست، در دوره آبادانی دارای گنبدی بوده کهگریوگنبد آن دارای ترکیبهای متعدد منشوری بسیار زیباست که قطاربندی با تزیینات کاشی معرق دارد و کاربندی زیر گنبد نیز بدین شکل بوده که در هر یک از گوشه‌های این مربع سه کنج با لچکیهای بزرگی ساخته شده که هریک دارای دو روزن مستطیلی شکل برای نورگیری و کسب روشنایی برای محوطه محراب بوده‌است.
محوطه اصلی و مربع شکل مسجد در قسمت غربی و شرقی دارای تاقنماهای متعدد است که در هر بدنه تعداد آنها سه دهنه‌است که در میان هر یک از تاقنماها راهروهای باریکی به صورت معبر به قسمت‌های مختلف مسجد از جمله به نمازخانه و شبستان بزرگ راه پیدا می‌کند. ایوان مجاور گنبدخانه هم اکنون به صورت مسجدی دایر، مورد استفاده اهالی محل است که با همان شبکه راه‌های زیرزمینی از طرف جنوب به محوطه محراب و از طرف بدنه غربی و شرقی به راهروهای زیرزمینی منتهی می‌شود. پوشش فعلی مسجد به صورت سقف تیر پوشی مسطح با استفاده از سه ردیف پایه ستون‌های سه تایی می‌باشد که در زمانقاجارساخته شده‌است. به هر حال در این تعمیرات هرگز به تخریب گریو گنبد و بقایای تزیینی آن اقدام نشده‌است.
مسجد جمعه اردبیل به مرور زمان صدمات زیادی خورده‌است که آخرین و جدیدی‌ترین آن در سال ۱۳۵۷ بوده که در طی آن در جریان ساخت و توسعه امتدادخیابان سیمتری، بخش زیادی از تپه تاریخی از بین رفت و بدنه شرقی محوطه محراب مسجد دچار شکستگی و رانش شد. هم اکنون این مسجد به دلیل قرار گرفتن در مسیر حرکت وسایط نقلیه سنگین در معرض لرزش و فرسایش هر چه بیشتر قرار دارد و خطر تخریب و فرسودگی آنرا تهدید می‌کند
باشگاه خبرنگاران