آفتابنیوز : رفیقدوست در جلد دوم کتاب خاطراتش نوشته است:
زمانی که من به سمت وزارت رسیدم، می خواستم ساختمان لانه جاسوسی را به وزارت سپاه تبدیل کنم. در این زمان نزد امام خمینی (ره) رفتم و از ایشان اجازه خواستم که وزارتخانه را در محل سفارت سابق آمریکا تشکیل بدهم که ایشان در پاسخ به من فرمودند«برای چه می خوای آنجا بروی ؟ مگر قرار است ما هزار سال با آمریکا ارتباط نداشته باشیم؟»