Ketika para pelayan gereja melihat peristiwa tersebut, mereka melaporkan kepada rajanya (yaitu Abrahah) dan mengatakan kepadanya bahwa sesungguhnya yang melakukan peristiwa tersebut tiada lain adalah kaki tangan orang-orang Quraisy, karena mereka marah dan tidak suka dengan adanya gereja ini yang dianggap menyaingi kepunyaan mereka. Maka Abrahah bersumpah bahwa dirinya benar-benar akan menuju ke Ka’bah di Mekah dan benar-benar akan menghancurkannya batu demi batu hingga rata dengan tanah.
Muqatil ibnu Sulaiman menyebutkan bahwa ada seorang pemuda dari kalangan Quraisy memasuki gereja besar di Yaman itu, lalu ia membakarnya, sedangkan di hari itu cuaca sangat panas, maka dengan mudahnya gereja itu terbakar hingga ambruk. Karena peristiwa itulah Abrahah bersiap-siap menghimpun bala tentaranya dalam jumlah yang sangat besar. Lalu ia berangkat dengan pasukannya itu dengan maksud agar tiada seorang pun yang dapat menghalang-halangi niatnya. Selain dari itu ia membawa seekor gajah yang besarnya tak terperikan, diberi nama Mahmud; gajah tersebut sengaja dikirim oleh Raja Najasyi kepadanya untuk tujuan tersebut. Bahkan menurut pendapat lain, selain gajah Mahmud itu ada delapan gajah lainnya; dan menurut pendapat yang lainnya lagi dua belas ekor gajah; hanya Allah-lah Yang Maha Mengetahui.
Gajah tersebut akan dijadikan sebagai sarana untuk merobohkan Ka’bah, misalnya mengikat semua sisi Ka’bah dengan rantai, lalu mengikatkannya pada leher gajah, maka gajah akan menariknya dan tembok Ka’bah akan runtuh sekaligus dalam waktu yang singkat.
Ketika orang-orang Arab mendengar keberangkatan Abrahah dengan pasukannya yang bergajah itu, maka mereka merasakan adanya bahaya yang amat besar akan menimpa diri mereka. Dan mereka merasakan bahwa sudah merupakan keharusan bagi mereka membela Bait mereka dan mengusir orang-orang yang bermaksud jahat terhadapnya.
Maka bangkitlah seorang lelaki dari kalangan penduduk Yaman yang terhormat dan terbilang sebagai pemimpin mereka untuk mengadakan perlawanan terhadap Abrahah. Orang tersebut bernama Zu Nafar, maka ia menyerukan kepada kaumnya dan orang-orang Arab lainnya untuk memerangi Abrahah dan berjihad melawannya demi membela Baitullah, karena Abrahah bermaksud akan merobohkannya dan meratakannya dengan tanah.
Seruannya itu mendapat sambutan yang hangat dari mereka, lalu mereka berperang melawan Abrahah dipimpin oleh Zu Nafar, tetapi pada akhirnya Zu Nafar kalah. Ini tiada lain karena kehendak Allah (Subhanahu wa Ta’ala) yang bertujuan akan memuliakan Baitullah dan mengagungkannya. Zu Nafar ditawan, tetapi Abrahah memaafkannya dan membawanya pergi bersama ke Mekah.
Dan ketika perjalanan Abrahah sampai di tanah orang-orang Khas’am, ia dihalangi oleh Nufail ibnu Habib Al-Khas’ami bersama kaumnya, yang memeranginya selama dua bulan. Tetapi pada akhirnya Abrahah berhasil mengalahkan mereka dan menawan Nufail ibnu Habib; pada mulanya Abrahah bermaksud membunuhnya, kemudian ia memaafkannya dan membawanya serta ke Mekah sebagai penunjuk jalannya di negeri Hijaz.
Ketika perjalanan Abrahah sampai di dekat Taif, maka para penduduk Taif datang menyambutnya dan bersikap diplomatis dengannya karena takut dengan rumah peribadatan mereka yang mereka beri nama Al-Lata, karenanya Abrahah menghormati mereka. Dan mereka mengirimkan Abu Rigal untuk pergi bersamanya sebagai penunjuk jalan.
Ketika perjalanan Abrahah sampai di Al-Magmas —yaitu di suatu tempat yang terletak tidak jauh dari Mekkah— ia turun beristirahat, sedangkan bala tentaranya merampas semua ternak penduduk Mekah dan sekitarnya atas perintah Abrahah sendiri. Dan di antara ternak unta yang dirampas terdapat dua ratus ekor unta milik Abdul Muttalib. Dan tersebutlah orang yang diserahi oleh Abrahah untuk memimpin perampasan ternak itu adalah komandan pasukan terdepannya yang dikenal dengan nama Al-Aswad ibnu Maqsud, lalu ia dikecam oleh sebagian bangsa Arab melalui bait-bait syairnya, menurut apa yang diriwayatkan oleh Ibnu Ishaq.
Abrahah mengirimkan Hannatah Al-Himyari ke Mekah dan memerintahkan kepadanya supaya kembali membawa orang Quraisy yang paling terhormat. Dan Abrahah menyampaikan kepadanya bahwa dia datang bukan untuk memerangi kamu, terkecuali jika kamu menghalang-halanginya dari Baitullah. Maka datanglah Hannatah ke Mekah, lalu ditunjukkan kepadanya rumah Abdul Muttalib ibnu Hasyim, lalu ia menyampaikan kepadanya apa yang dikatakan oleh Abrahah. Maka Abdul Muttalib mengatakan kepadanya, “Demi Allah, kami tidak berniat untuk memeranginya, juga kami tidak mempunyai kekuatan untuk itu. Ini adalah Baitullah yang disucikan dan merupakan bait (rumah) kekasih-Nya, yaitu Ibrahim. Maka jika Dia mempertahankannya, sudah wajar karena ia adalah rumah-Nya yang disucikan. Dan jika Dia membiarkan antara bait-Nya. dan Abrahah, maka tiada kemampuan bagi kami untuk mempertahankannya.”
