Голямата джамия е необичайна сред джамиите в Западна Африка с това, че мястото, на което е построена, преди това не е било свещено, а там е имало дворец. Повечето останали джамии са построени на местата на конични кирпичени или каменни съоръжения,  символизиращи духовете на предците. Някои изследователи на ислямската архитектура считат, че впоследствие тези форми са интегрирани в архитектурата на джамиите в Мали, като Голямата джамия е най-известният пример.На мястото има джамия от построяването на първоначалната сграда, поръчано от Кои Кунборо през 1240 г., още преди разцвета на Джене при империите Мали и Сонгай. Амаду Лобо, който превзема Джене през Тукулорската война, нарежда оригиналната джамия да бъде разрушена през 1834 г.. Той счита, че първоначалната сграда, която е преустроен дворец, е прекалено пищна. Единствената оцеляла част е ограденото гробище на местните видни личности. Копие на оригинала е завършено към 1896 г., но впоследствие отново е разрушено, за да бъде построена сегашната сграда.Строителството на сегашната Голяма джамия започва през 1906 г. и вероятно е завършено през 1907 или 1909 г.. Строителството е ръководено от водача на зидарската гилдия в Джене, Исмаила Траоре. По това време Джене е част от колонията Френска Западна Африка и французите вероятно оказват политическа и икономическа подкрепа за строителството, както на джамията, така и на близката мадраса.Стените на Голямата джамия са изградени от печени на слънце глинени тухли, наричани ферей и глинен хоросан. Покрити са с мазилка от глина, която придава гладкия изваян вид на сградата. Стените са дебели между 41 и 61 см. Дебелината е различна в различните части на стената — по-високите участъци са по-дебели, за да поддържат по-голямото тегло. Снопове палмови клони са вградени в сградата, за да намалят напукването, предизвиквано от рязката промяна във влажността и температурата, както и за да се използват като готово скеле за годишните ремонти. Стените изолират сградата от топлината през деня и до вечерта поглъщат достатъчно топлина, за да поддържат джамията топла през нощта. Улуците от керамични тръби се издават навън от покрива и насочват водата далече от стените.Молитвената стена кибла на Голямата Джамия е обърната на изток към Мека и гледа към градския пазар. Централен елемент на киблата са трите широки четвъртити минарета, издаващи се от главната стена, поддържана от осемнайсет контрафорса. Всяко минаре има вити стълби, стигащи до покрива, завършващи с коничен купол с щраусово яйце на върха.Половината от джамията е покрита с покрив, а другата представлява открит молитвен двор. Покривът се поддържа от деветдесет дървени колони във вътрешната молитвена зала. Вентилационните отвори на покрива са покрити с керамични капаци, позволяващи издигането на топлия въздух от сградата и проветряването на вътрешността. Молитвеният двор се намира зад покритата част и е ограден от север, запад и юг със стени. Той е ограден с аркада от вътрешната страна на стените. Вътрешната стена на аркадата е накъсана от дъговидни отвори с височина 15 м, позволяващи преминаването между двора и аркадата.Повредите от водата, най-вече при наводнения, са основно съображение за Траоре при планирането на строежа. Годишното прииждане на река Бани превръща Джене в остров, а необичайно високи води дори заливат части от града. Голямата джамия е построена на издигната платформа с площ около 5600 м², която досега я предпазва и от най-силните    наводнения.      Джамията  е един от най-важните ислямски образователни центрове в Африка през Средновековието. Хиляди ученици изучанат Корана в мадрасата на Джене. Историческият квартал на Джене, заедно с джамията, са обявени през 1988 г. от ЮНЕСКО за част от Световното културно и природно наследство. Макар че има много джамии, по-стари от сегашното ѝ превъплъщение, Голямата джамия остава най-забележителния символ както на град Джене, така и на Мали.