יצר הרע

בחגיגה (טז.) דרש ר' יהודה ברבי נחמני מתורגמניה דריש לקיש מאי דכתיב (מיכה ז, ה) אַל תַּאֲמִינוּ בְרֵעַ אַל תִּבְטְחוּ בְּאַלּוּף, אם יאמר לך יצר הרע חטוא והקב''ה מוחל לך אל תאמין בו, שאין רַע אלא יצר הרע, שנאמר כי יצר לב האדם רע, ואין אלוף אלא הקב''ה שנאמר אלוף נעורי אתה. [ומבאר במהרש"א: מדכתיב...

שמעתי פעם בשם אחד מגדולי הדורות, שעיקר יצר הרע לבנים זה ביטול תורה, ולנשים זה צניעות. יש מקור לעניין זה?