הלכות ק"ש תפילה התיישב בתוך ד' אמותי בשמו"ע, מה עלי לעשות

[בעל דבר]

לפעמים אני מתפלל במקום מסוים, ובאמצע שאני מתפלל שמו"ע, מתיישב יהודי באופן קבוע מלפני בתוך ד' אמותי, ועובר על דברי השו"ע (סי' קב סע' א). היהודי לא זקן או חולה, אלא בעה"ב שלא יודע או שמזלזל באיסור זה
שאלתי היא, מה עלי לעשות, האם עלי לקצר את תפילתי כדי שההוא יעבור פחות איסורים? או שמא יש עיצה אחרת?