পাহাড়পুর আশ্রমটি ছিল ২২ একর জমির উপর প্রতিষ্ঠিত। এর বাইরে চারদিক ঘিরে ছিল ১৬ ফুট পুরু একটি দেওয়াল। দেওয়ালের গায়ে ছিল ১৭৭টি কক্ষ। প্রত্যেকটির আয়তন ছিল ১৪′x১৩.৫০′। কক্ষগুলোর সামনে ছিল একটা ৯ ফুট বিস্তৃত বারান্দা।

আশ্রমটির উচ্চতা ছিল ৭২ ফুট এবং এটি তিন স্তরে নির্মিত হয়েছিল। যে দেয়াল দ্বারা আশ্রমটি বেষ্টিত ছিল সে-দেয়ালের উপরে সাজানো ছিল একসারি ৬৩টি পাথরের মূর্তি। এ মূর্তিগুলোতে ব্রাহ্মণ ধর্মের ছাপ সুস্পষ্ট ছিল। মূর্তিগুলোর উপরের দিকে টেরাকোটার চিত্র ছিল। চিত্রগুলোতে ছিল লোকশিল্পের ছাপ। পাথরের ভাস্কর্য মূর্তিগুলোতে যে শুধুমাত্র লোকশিল্পের ছাপ ছিল তা-ই নয়, এগুলোতে ছিল রামায়ণ ও মহাভারতের প্রভাব ও শ্রীকৃষ্ণের জীবনীকেন্দ্রিক চিত্র।

আশ্রম গাত্রে যে-সকল চিত্র অঙ্কিত ছিল তার মধ্যে টেরাকোটা শিল্পের প্রধান্য অধিকমাত্রায় বিদ্যমান। খনন কার্যের মাধ্যমে ২০০০ হাজার টেরাকোটা চিত্রের প্লেট পাওয়া গেছে।

ঐতিহাসিক মূ্ল্যবান এবং স্থাপত্যের উৎকর্ষ বিচারে পাহাড়পুর বৌদ্ধ বিহারের গরিমা অতুলনীয়। এখনকার বৌদ্ধ বিহারের গঠন-সৌষ্ঠবে যে মন্দির-স্থাপত্যের মহিমা পরিব্যাপ্ত তা সারা বিশ্ব পরম বিস্ময়ের সাথে স্বীকার করে। মন্দির স্থাপত্যের এই মহিমান্বিত শৈলী ধীরে ধীরে সুদূর পূর্বদেশে বিস্তারলাভ করে। পাহাড়পুর প্রাচীন বাংলার স্থাপত্য গরিমার একটি জ্বলন্ত প্রতীক।