טלית קטן

המשנה ברורה בהלכות שבת כתב: "וטוב שלא ילבש בשבת מכל מה שלבש בחול". שמעתי בשם אחד הפוסקים שזה כולל כיפה וטלית קטן. מדוע רוב העולם לא מקפיד בזה?