أخ له أرادوا يوسف. روى أنهم لما استخرجوا الصاع من رحل بنيامين نكس إخوته رؤوسهم حياء، وأقبلوا عليه وقالوا له: ما الذي صنعت؟ فضحتنا وسودت وجوهنا، يا بنى راحيل ما يزال لنا منكم بلاء، متى أخذت هذا الصاع؟ فقال: بنو راحيل الذين لا يزال منكم عليهم البلاء، ذهبتم بأخى فأهلكتموه، ووضع هذا الصواع في رحلي الذي وضع البضاعة في رحالكم.
واختلف فيما أضافوا إلى يوسف من السرقة، فقيل: كان أخذ في صباه صنما لجده أبى أمه فكسره وألقاه بين الجيف في الطريق. وقيل: دخل كنيسة فأخذ تمثالا صغيرا من ذهب كانوا يعبدونه فدفنه. وقيل: كانت في المنزل عناق أو دجاجة فأعطاها السائل. وقيل كانت لإبراهيم عليه السلام منطقة يتوارثها أكابر ولده، فورثها إسحاق ثم وقعت إلى ابنته وكانت أكبر أولاده، فحضنت يوسف- وهي عمته- بعد وفاة أمه وكانت لا تصبر عنه، فلما شب أراد يعقوب أن ينتزعه منها، فعمدت إلى المنطقة فحزمتها على يوسف تحت ثيابه وقالت: فقدت منطقة إسحاق، فانظروا من أخذها، فوجدوها محزومة على يوسف، فقالت: إنه لي سلم أفعل به ما شئت، فخلاه يعقوب عندها حتى ماتت فأسرها إضمار على شريطة التفسير، تفسيره أنتم شر مكانا وإنما أنث لأن قوله أنتم شر مكانا جملة أو كلمة، على تسميتهم الطائفة من الكلام كلمة، كأنه قيل: فأسر الجملة أو الكلمة التي هي قوله أنتم شر مكانا والمعنى: قال في نفسه: أنتم شر مكانا، لأن قوله قال أنتم شر مكانا بدل من أسرها. وفي قراءة ابن مسعود: فأسره، على التذكير، يريد القول أو الكلام. ومعنى شر مكانا أنتم شر منزلة في السرق، لأنكم سارقون بالصحة، لسرقتكم أحاكم من أبيكم والله أعلم بما تصفون يعلم أنه لم يصح لي ولا لأخى سرقة، وليس الأمر كما تصفون.