کاروانسرای خواجه نظر (عباسی) یکی از ۹۹۹ کاروانسرای ساخته شده در زمان شاه عباس صفوی می باشد .
تاورنیه فرانسوی این کاروانسرا را دیده و می نویسد :
خواجه نظر یکی از ارامنه معتبری بود که از جلفا خارج شد و چون در تجارت ترقی کرد و نزد شاه عباس کبیر و جانشین او شاه صفی اعتبارات حاصل نمود ، او را کلانتر ملت ارامنه کردند و به افتخار وطن اصلی خود جلفا ۲ کاروانسرای بزرگ در آنجا بنا کرد که هنوز در طرفین رودخانه باقی هستند ۱۰۰۱۰۰۰ اکو در آنجا خرج کرد ، اما این دو بنای عالی به واسطه فوت بانی ناتمام ماندند .
جیمز کاروی نیز این بنای تاریخی را دیده و یاد می کند :
در این نکته کاروانسرای بزرگی به واسطه یکی از ارامنه به نام کوجیا نظر (خواجه‌نظر) با هزینه گزافی بنا شده که متاسفانه رو به خرابی می رود و کس نیست که به تعمیر آن اقدام کند و فقط چند تن ارمنی در آن سکونت دارند.
در ۵ کیلومتری جلفا کاروانسرای ویرانه ای وجود دارد که بنای آن در زمان شاه عباس کبیر با هزینه خواجه نظر ارمنی از مقربان درگاه شاهی به عمل آمده ، وی از ارامنه ای بود که در زمان شاه عباس به اصفهان به اجبار کوچانده شدند و در آنجا کارش بالا گرفت و مورد عنایت شاه واقع شد ثروت ومکنت کلانی به هم رسانید و با اجازه شاه بر روی ویرانه های زادگاه خود کاروانسرای بزرگی از سنگ و آجر بنا کرد تا مسافرانی که از آب ارس می گذرند شبی را در آنجا استراحت کنند و سحر گاه راهی سوجیا یا شجاع امروزی شوند .
عبدالعلی کارنگ می نویسد :
ویرانه کاروانسرای خواجه نظر ارمنی معروف به شاه عباسی واقع در ساحل رود ارس قرار دارد که این کاروانسرا به نام کاروانسرای جلفا معروف است .