בבית אביו המקובל האלוקי רבי סלימאן אליהו זיע"א, שהיה מגדולי חכמי ירושלים ונחשב בין הצדיקים הקדושים העוסקים בתורת הקבלה ובסודות הפנימיים של התורה והנהגת העולם. אמו של הרב, הרבנית הצדקנית מרת מזל עליה השלום, אף היא אישיות מיוחדת היתה, אשת חיל ובעלת מידות טובות, כל מעשיה מלאים ביראת שמים ובחן וחסד. והגדולה שבשאיפותיה, שבעלה הצדיק יוכל להתעלות בדרכו המיוחדת וצאצאיה ילכו בדרכי יושר.

הרבנית מזל היתה ממשפחתו של אותו צדיק וקדוש, רבם של כל בני הגולה ומנהיג יהודי בבל, הגאון הקדוש רבי יוסף חיים זכותו תגן עלינו, הנודע על שם ספרו 'בן איש חי'. אמה של הרבנית מזל, שהיתה בת אחותו של ה'בן איש חי', גדלה בביתו ולמדה הרבה מדרכיו. ברבות השנים, היו חכמי ירושלים עולים ובאים אל ביתה, כדי לשאול מפיה הלכות ומנהגים כפי שראתה בבית הדוד הגדול. אחיה של הרבנית מזל – דודו של הרב – היה הגאון רבי יהודה צדקה זצוק"ל, ראש ישיבת 'פורת יוסף'.

אביו של הרב, רבי סלימאן אליהו, גדל בבית עשיר מאד בבגדאד ובצעירותו לא חינכוהו לתורה ולמצוות, אלא יעדו לו תפקיד בכיר בחיי המסחר והבנקאות, והוריו אף רשמוהו לאוניברסיטה היוקרתית ביותר בלונדון, כדי שישתלם בחכמות העולם ויהיה סוחר מצוין. מעט לפני הזמן בו היה אמור לצאת ללונדון, נקלע לבית המדרש הגדול של חכמי בגדאד ולבו הלך שבי אחר לימוד התורה. בתוך תקופה קצרה, גמר בדעתו לזנוח את כל התוכניות, ליטוש את החלומות על העושר והנסיקה הכלכלית, ולהמיר את חיי ההבל בחיים של תורה וקדושה. בהדרכתו ובעצתו של ה'בן איש חי', עלה לארץ ישראל והקים ביתו עם הרבנית מזל, ובתוך כמה שנים תפס מקומו בכותל המזרח של חכמי ירושלים, שימש כראש ישיבת המקובלים 'עוז והדר' שפעלה בתוך ישיבת 'פורת יוסף' שבעיר העתיקה.

ישיבת 'פורת יוסף' הוקמה בהוראתו ולפי הדרכתו של ה'בן איש חי', באופן שמבית הכנסת ובית המדרש שלה יכלו לראות את רצפת הר הבית. היה זה מקום תורה קדוש מאין כמותו, בו התרכזו חכמי ירושלים הספרדים ואלו הרביצו תורה והעמידו תלמידים מופלגים בחכמה. במשך עשרות בשנים, רובם המכריע של ראשי הישיבות, הרבנים והדיינים, היו בוגרי ישיבת 'פורת יוסף'.

קדושה וטהרה, אצילות וזוך, נועם ומתיקות שרו על חצר ישיבת 'פורת יוסף', שהקיפה את הבנין הגדול שהיו בו היכלי תורה, חדרי שיעורים לבחורים וכיתות לילדים, וגם עשרים דירות שבהן התגוררו חכמי הישיבה. באחת הדירות התגוררה משפחתו של רבי סלימאן אליהו, ושם נולד הרב, באותו מקום קדוש ששכינה שרתה עליו.

בשנים ההן, היתה פרנסתה של משפחת אליהו מצויה, מפני שרבי סלימאן קיבל משכורת מהישיבה וגם היו באים אליו גויים ומבקשים שיתרגם להם מכתבים, שכן היה מהיחידים בירושלים שידע שפות זרות ברמה כה גבוהה. לתקופה, שכר הנציב העליון הבריטי את שירותיו של רבי סלימאן ומינהו כמזכירו האישי, אבל לאחר זמן קצר נאלץ להיפרד ממנו, מפני שרבי סלימאן לא הסכים לקצר את זמן התפילה ולוותר על חלק משיעורי התורה כדי לעמוד לשירותו של הנציב.

אבל כשהגיע הרב לגיל תשע, חלה אביו ונפל למשכב, מאור עיניו כבה והוא לא היה מסוגל להרביץ תורה בישיבה ולעשות מלאכה קלה ומכניסה. בתוך זמן קצר השתנה אורח החיים בבית והעניות תפסה את מקומה של הרווחה. במעט הכסף שנותר, רכשו תרופות ושילמו לרופאים שניסו לרפא את הצדיק. וכאשר תם הכסף, נאלצה הרבנית מזל לצאת לעבודה קשה וגם אז לא השתכרה יותר מפרוטות מעטות. אבל האוירה בבית לא התחלפה. אוירת הקדושה והטהרה לא פגו וקול התורה לא נדם. חכמי הישיבה היו באים, איש-איש בתורו, יושבים לצד מיטתו של רבי סלימאן והוגים עמו ברזי הקבלה.

שנתיים לאחר מכן, כשהיה הרב כבן אחת עשרה וחצי, בראש השנה תש"א, הסתלק רבי סלימאן אליהו לגנזי מרומים ובאותו יום הובילוהו לקבורה בסמיכות ממש לציון קדשו של המקובל האלוקי רבי שלום שרעבי זכותו תגן עלינו, במרומי הר הזיתים. באותו יום אמרה הרבנית מזל לילדיה: "דעו, כי בראש חודש טבת נצטרך לעקור מהדירה ולחפש לנו מקום אחר". כך היתה התקנה בישיבת 'פורת יוסף', שאם נפטר אחד החכמים המתגורר בדירת הישיבה, על משפחתו לפנות את הדירה בתוך שלושה חודשים.

מכאן ואילך, תדע המשפחה שנים קשות של עוני ומחסור, רעב ומצוקה. לעומת דירת שני החדרים המרווחים, עם החצר הנאה והנוף הרוחני, שבה התגוררה עד לפטירת האבא הצדיק, נאלצו להתגורר בדירה קטנה וצרה. כה קטנה היתה הדירה, שאפילו מקום למיטות בשביל כל הילדים לא היה בה. בלילה, היו פורסים מזרונים על הרצפה, וגם אז לא היה מקום למזרון עבור כל ילד. גם הפרנסה לא היתה מצויה, ובקושי הצליחה האמא להחיות את נפש עולליה.

אבל הנער מרדכי התגבר והתמודד. הוא התעלם מהרעב ולימד את עצמו להתמקד בעיקר, בלימוד התורה ובעבודת ה'. באותן שנים הוא עזב את ה'כותאב' (= תלמוד תורה) ונכנס ללמוד בישיבת 'פורת יוסף', ובתוך תקופה הפך ליקירם וחביבם של כל חכמי הישיבה, שהיו ממלאים פיהם שבח והלל על היניק וחכים, שעדיו לגאון ולתפארת. חלק היללו את כשרונותיו העילויים, תפיסתו המהירה והחדה, זכרונו המופלא והסדר המובהק שהוא משליט באוצר ידיעותיו. אחרים העלו על נס את התמדתו המופלגת ושקידתו שלא ראו כמותה. ויש ששיבחו את אצילות מידותיו, טוב לבו ונועם הליכותיו, עזרתו לזולת ורגישותו המדהימה לכל אדם. והיו שתיארו את אומץ רוחו, נחישותו והתמדתו ויתר תכונות המנהיגות שכבר אז ניכרו בו.

בשנות בחרותו, כבר היו מכנים אותו 'חכם מרדכי' ומחשיבים אותו בין רבני הישיבה, ואף היו שואלים אותו שאלות בהלכה. ראשי הישיבה, ובראשם הגאון רבי עזרא עטייה זצוק"ל, חיבבו אותו במיוחד והחשיבו אותו בין התלמידים המובהקים ביותר. ההתמדה העצומה שכמותה לא ראו, הריכוז החזק שבו היה עוסק בתורה בלי לשנות תנוחה במשך כמה שעות, הגאונות והעמקות שבצבצו מכל שיח תורני שלו – כל אלו העמידו אותו במדרגה גבוהה מאד.

כשהיה הרב כבן תשע עשרה, פרצה מלחמת השחרור וירושלים בותרה לשני חלקים. העיר העתיקה נפלה בידי אויבי ישראל, הירדנים, והישיבה הגדולה חרבה והועלתה באש. יחד עם החכמים והתלמידים, גלה הרב למשכנה החדש של הישיבה, בבית הכנסת 'צופיוף' שבשכונת הבוכרים, אבל ההתמדה לא נפגמה ומסירות הנפש לחיי תורה רק הלכה והתעצמה.

באותן שנים, התחיל הרב להוסיף ללימודי העיון בגמרא גם את לימוד ההלכות למעשה. לא יצאו שנים רבות ושמו הלך לפניו, עד שהיו כולם צופים ומתנבאים שעתיד חכם מרדכי להיות מגדולי הרבנים בדורו.

ואכן, במרוצת השנים הבאות הלך הרב והעפיל ממדרגה למדרגה, מתפקיד לתפקיד, מבית דין לבית דין, עד שהיה חבר בית הדין הגדול בירושלים ולאחר מכן התעטר במשרה הרמה מכולן – הראשון לציון, הרב הראשי לישראל ונשיא בית הדין הגדול.