אתה יוצא מנקודת הנחה שגזילה היא סוג של נזק, שהגזלן אחראי על חסרון שיש לאדם אחר, כי ממנו ובגללו הוא בא.
וזה לא דבר פשוט כלל וכלל, שיש לדון שגוזל הרי הוא כמי שקנה את החפץ בעל כרחו, וכיון שקיבל (יותר נכון - נטל) את החפץ יתחייב בתשלומיו.
ובפרק בן סורר נחלקו אם בשעה שגזל היה מחוייב מיתה שיש בזה דין קלב"מ, אם הוא רק כלפי תשלומים כשנאנס החפץ, או גם כלפי חיוב השבה דהחפץ עצמו. ודעת רש"י בביאור הענין שם שלדעת מי שפטור גם מהשבה היינו משום שגם השבת החפץ עצמו אינה אלא מדין תשלומין, ורק שהתחייב הגזלן לשלם בחפץ עצמו אם יכול, ואם כן היכא שיש לו קלב"מ פטור מלהשיב גם את החפץ בעצמו. הרי שיש חיוב לשלם לבעל הבית על החפץ גם כשהחפץ עוד קיים.
ומלבד זה יש לדון בטענתך שמרגע שנאנס זה כבר לא בסיבתו של הגזלן, שלכאורה יש לדון שמרגע שבא החפץ ליד הגזלן הרי הבעל הבית תובע את זה ממנו, ומה שנאנס עכשיו זה כבר עסק של הגזלן, לבעל הבית עצמו אין את החפץ כבר משעת הגזילה וזה הנזק היחיד שהוא מכיר, אין לו עסק עם האונס והאונס הוא עסק של הגזלן. למה הדבר דומה, למי שהבריח תרנגולת לחבירו, ובא מישהו והרגה, שהנזק אצל בעל הבית הוא הבריחה ולא אכפת ליה מה שקרה אחרי שכבר אין לו את החפץ. (אמנם אפשר ששם הוי רק גרמא, אבל הרעיון הובן)
ויש לדון בזה עוד בהרבה מאד סברות ופלפולים, ודינים אלו כמעט שאין להם סוף ועל כל סברא אפשר לומר סברא הפוכה ולהיפך.... וכמעט כל סברא שאומרים מסתדרת עם דעת איזה ראשון כלשהו כי רבו בזה המחלוקות והלשונות והניסוחים בין הראשונים.