נולד לרב אהרן ורבקה, משפחתו הייתה משפחת רבנים נודעת, בין אחיו: הרב יחיאל הלר, רבן של ערים רבות בליטא ומחבר "עמודי אור"; הרב ישראל הלר, רבה של קיידנוב; הרב מאיר הלר, רבן של טרקאי וקסטוקוביץ ובסוף ימיו דיין בווילנה.
למד אצל רבי דוד טביל ממינסק, תלמידו של רבי חיים מוולוז'ין, ואצל אחיו הרב יחיאל הלר. בעת לימודיו בווילנה הכיר את רבי ישראל מסלנט ששכנע אותו ברעיונות תנועת המוסר. לאחר נישואיו לחיה פרל בתו היחידה של הצדיק הליטאי המפורסם בשם "ר' אליעזר מגרודנה", ישב ללמוד תורה בסמוך לבית הורי אשתו בגרודנה במשך שמונה עשרה שנים. הוא התמנה כמגיד מישרים של הקהילה היהודית הגדולה בגרודנה ושימש בתפקיד זה עד שנת ה'תרכ"ד, אז התקבל כרב בעיר פלאנגה, משרה שבה החזיק עשר שנים.
בשנת ה'תרל"ד, התמנה כרב העיר טלז, משרה שבה החזיק עד שנת ה'תרל"ט. הוא חיפש פרנסה אחרת כדי להיפטר מעול הרבנות וכבר בשנת 1878 השיג מינוי כמגיד מישרים של וילנה רבתי. הוא נסע לווילנה והחל לכהן בתפקידו החדש, אך כשחזר לטלז כדי לקחת את משפחתו לווילנה חלה במחלה קשה שאילצה אותו להתפטר מן המשרה החדשה ולהתמסר לטיפול בבריאותו. הוא נפטר בטלז ביום כ"ג בסיוון ה'תר"ם.
