در بین بقعه سیدرضا و شمال کاروان سرای شاه عباسی لاسگرد، یکی از معروفترین قلعههای شهرستان سمنان به نام دژ لاسگرد در دوران قبل از اسلام به ویژه در زمان اشکانیان، احتمال میرود این قلعه در زمان اشکانیان بنا شده باشد. این قلعه مستحکم که با خشتهای خام بزرگ ساخته شده تا اواسط دوره قاجاریه پابرجا بود و پس از این تاریخ رو به ویرانی نهاد.
اطراف ارگ، گودالی عمیق و عریض است که به صورت باغچه در آوردهاند و عایدات آن به موقوفات حضرت رضا(ع) در مشهد اختصاص دارد. آنچه اکنون از این قلعه عظیم مانده گذرگاههای زیرزمینی سه طبقهای است که به همه به یکدیگر راه دارند.