עיי' ש"ך חו"מ סי' י"ז ס"ק י"ג, ובנתיבות שם ס"ק י"ח ובסמ"ע שם ס"ק כ"ג, שכתבו לבאר ד' השו"ע דיהו בעיניך כרשעים היינו כשיש הכחשה ביניהם כך שודאי א' משקר, ולכן כ' הספר חסידים שאסור להסתכל בפניהם והוא ה"יהו כרשעים". ובזה מובנים שם ד' הרמ"א דכ"ז דווקא כשיש ביניהם הכחשה.