Мешіт орталық үкіметке тәуелсіз Египеттегі Аббасидтердің басшысы Ахмед ибн Тулунның (868-884) нұсқауымен салынған. Тарихшы әль-Макриздің белгілеуіне сәйкес мешіт  құрылысы 876 жылда басталған, ал аяқталған уақыты сол кезден бері сақталған кірпіште жазылғандай біздің заманымызға дейін 265 жыл я 879. 

Мешіт Джабал Яшкур («Ризашылық төбесі») атты шағын төбешікте соғылған болатын. Бір аңыз бойынша дүниежүзілік су тасқынынан соң Нұх халқының кемесі Арарат  тауында емес, дәл осы жерде тоқтаған. 

Үлкен ғибадат орны болған мешіт Тулунид әулиетінің әкімшілік орталығы қызметін атқарушы Ибн Тулуна әль-Катаидің орталық нүктесі болу керек. Мешіт басында Ибн Тулуна сарайымен көрші болатын және минбармен қосылған есігі тіке мешітке кіруге мүмкіндік берді. Аль-Катаи Х ғасырда қиратылған, ал сол уақытта аман қалған ғимарат – мешіт. 

Ибн Тулуна мешіті аббасидтік сәулет үшін қарапайым саммарандық үлгіге ие. Мешіт ғимараты төтрбұрышты қоршалған алаңда орналасқан. Оның әрбір тұсында жабық бөлмелер бар. Ең үлкен бөлме қыбыла жақта орналасқан.

Бастапқыда мешіттің дәретке арналған фонтаны ішкі және сыртқы қабырға арасында орналасқан болатын. Биік күмбезді шатыры бар негізгі дәрет алу орны ХІІІ ғасырда сұлтан Ладжинның ауласында соғылған.

Мешіт мұнарасы атақты Самарр (Ирак) мұнарасы сияқты бұрмалы баспалдақтармен қоршалған. Аңыздарға сүйенсек, ерекше мұнараның жобасын Ибн-Тулунның өзі ойлап тапқан. Ол бірде жақындарымен отырғанда байқаусызда өз саусағын қайырып алады. Одан не істеп жатқанын сұрағанда Ибн-Тулун ұялып, мұнараның жобасын ойластырып жатқандай жауап береді.