בקיץ תשס"א נישא לפרידה ברכה (גודמן) בת הרב אברהם יוסף סרעברו. ועבר להתגורר במודיעין עילית לתקופה קצרה. הרב דויטש אב לשבעה ילדים והתגורר בשכונת סנהדריה המורחבת בירושלים.
במשך תקופה כיהן גם כראש ישיבה בישיבת אמרי צבי במודיעין עילית (נסגרה), תפקיד שעזב לאחר חילוקי דעות של הנהלת הישיבה עם רבי יוסף שלום אלישיב. במקביל שימש באותה תקופה כרב בבית הכנסת אהל מנחם במודיעין עילית.
נודע בבקיאותו בספרי שו"ת רבים, והוא מועסק הוא על ידי מכונים שונים כגון מכון ירושלים, המאור, אורייתא ועוד, כמבקר ומייעץ. הוא ערך חלק מספרי רבי אהרן קוטלר "משנת רבי אהרן".
עוסק בלימודו גם באותם החלקים שממעטים לעסוק בהם במסגרת הלימוד הנהוג בישיבות, כגון סדרי זרעים, טהרות וקדשים. הוא משמש כראש כולל בכולל שבו עוסקים בשעות אחר הצהריים בלימוד חלקים אלו בעיון, וכן מוסר מידי ערב שיעור דף היומי, ומידי מוצאי שבת מוסר שיעור בעיון בו הוא מקיף את עיקרי הסוגיות של הדף היומי שנלמדו באותו שבוע. כמו כן, הוא מוסר חבורות בביתו לעתים קרובות לבחורים מישיבות בריסק ופוניבז'.
ישיבת באר מרדכי
ערך מורחב – ישיבת באר מרדכי
בקיץ ה'תשע"ח הקים כולל אברכים בשכונת בית וגן בירושלים. מיד לאחר מכן נפתחה לצדה ישיבת באר מרדכי בשכונת נחלאות (כיום במודיעין עילית). שם הוא מכהן כראש הישיבה ומוסר שיעורים ושיחות. הישיבה מנתה בתחילה כ־30 בחורים בני בגילאי ה"קיבוץ", מישיבות פוניבז', חברון, חדרה, גרודנא ועוד. בשנת תשע"ט נפתח רישום לבני שיעור א'. נכון לשנת תשפ"ג, מונה הישיבה כ־110 בחורים וכ-20 אברכים.
פעילות
עם אחיו רבי אשר דויטש
לצד פעילותו התורנית היה הרב דויטש שותף לפעילות ציבורית. הוא היה ממייסדי ההתארגנות הליטאית אב"ת (התאחדות בני תורה) שקדמה להקמת מפלגתדגל התורה, היה אחד ממקורביו הבולטים של הרב שך ומונה על ידו למספר תפקידים ציבוריים. הוא עמד במשך שנים בראש ועדת הרבנים ("הוועדה הרוחנית") של העיתוןיתד נאמן וכן בראשות ועדת הרבנים של דגל התורה, ודבק בקו השקפתי שהתווה הרב שך.
לאחר פטירת הרב שמואל אוירבך הוקמה מועצת גדולי עולם התורה, הממשיכה את דרכו של רבי שמואל אוירבך, בה נתמנה לשמש כחבר, והיה לאחד ממנהיגי הפלג הירושלמי.
תלמידיו
פרק זה טעון עריכה. אנא תרמו למכלול ועזרו לערוך אותו. ייתכן שתמצאו פירוט בדף השיחה. הסיבה היא: ככל הנראה לא כולם תלמידים מובהקים וחלקם כנראה לא ראויים לאזכור.