استالین پس از اسارت پسرش به این جمله بسنده کرد: «او حتی عرضه این را نداشت که به خودش شلیک کند.» یاکوف دو سال نخست دوران اسارت را در اردوگاههای اسرای جنگی در آلمان سپری کرد.
روز ۱۴ آوریل ۱۹۴۳ یاکوف که در حال پرسه در حیاط اردوگاه بود ناگهان خطاب به نگهبانان فریاد زد: «شلیک کنید.» و سپس به سوی آن سیم خاردار دوید. یکی از نگهبانان به نام کنراد هارفیخ به سوی او شلیک کرد و او را کشت.