הלכה מפי מעשה

מדוע אין למדין הלכה מפי מעשה. בגלל חוסר ידיעת הפרטים או בגלל טעמים אחרים? בפרט שמצאנו בש"ס שמעשה הוא אסמכתא ראויה וחזקה לקבוע על פיו הלכה אז מה ההבדל?