רציעת עבד

מתוך ה'מגדלות מרקחים': אם אמר יאמר העבד אהבתי את אדני את אשתי ואת בני לא אצא חפשי (כא ה) הנה קי"ל דאין עבד עברי נרצע עד שיאמר אהבתי וגו', כמבואר בקידושין (כב.). ולכאורה לפי"ז עבד עברי אלם שאינו יכול לומר אהבתי את אדוני, אינו נרצע. ויש לעיין איך הדין אם הוא חרש המדבר ואינו שומע, ולכאורה יכול...

אשמח לשמוע את דעת הרבנים, בעדיפות למקורות.