১৫ শতকে ঈসা খান সোনাগাঁয়ে বাংলার প্রথম রাজধানী স্থাপন করেন। বিলাতি থানকাপার বিলাট থেকে পূর্বে মেঘনা হয়ে পশ্চিমে শীতলক্ষ্যা এবং দেশ থেকে এসেছে মসলিন। শীতলক্ষ্যা ও মেঘনা ঘাট প্রতিদিন পালতোলা নৌকায় ভরা থাকত। এই সময়ে, ইস্ট ইন্ডিয়া কোম্পানির বাণিজ্যিক কার্যক্রম এবং স্থায়ী বন্দোবস্তের ফলস্বরূপ, পানামা সিটি একটি নতুন ইউরোপীয়-অনুপ্রাণিত ঔপনিবেশিক শৈলীতে নির্মিত হয়েছিল। পরবর্তীতে এই পোশাক ব্যবসার দখল নেয় নীল বাণিজ্য। ব্রিটিশরা এখানে একটি নীল বাণিজ্য কেন্দ্র স্থাপন করে।

ডব্লিউ. ডব্লিউ. হান্টারহান্টারের মতে, সুলতানি আমলে পানাম ছিল সোনারগাঁওয়ের রাজধানী। কিন্তু পানামাতে সুলতানি আমল থেকে খুব কমই কোন স্থাপত্য অবশিষ্ট আছে, তাই এই বক্তব্যের সত্যতা ভালভাবে প্রদর্শিত হয় না। এ ক্ষেত্রে জেমস টেলর বলেন, সোনারগাঁওয়ের প্রাচীন শহর ছিল পানামা। এই তত্ত্বের সাথে কোন বাস্তবিক বিরোধ নেই। শহরটি দ্বিতল এবং একতলা ঔপনিবেশিক শৈলীতে সমৃদ্ধ। যাদের বেশিরভাগ বাড়ি ১৯ শতকের (১৮১৩ খ্রিস্টাব্দের ফলক সহ)। পানামা ছিল মূলত ধনী হিন্দু বণিকদের বসতি। বণিকদের ব্যবসা ঢাকা ও কলকাতার মধ্যে ছড়িয়ে পড়ে। তারা এই শহর গড়ে তুলেছে।

১৬১১ খ্রিস্টাব্দে মুঘলদের দ্বারা সোনারগাঁও অধিগ্রহণের পর, রাস্তা ও সেতু নির্মাণের কারণে পানাম এলাকা সরাসরি রাজধানী শহরের সাথে যুক্ত হয়। পানাম পুল (বিলুপ্ত), দুলালপুর পুল এবং পানামনগর সেতু এবং তিন দিকে খালের অবস্থান নির্দেশ করে যে পানাম, সোনারগাঁও একটি উপশহর ছিল। বাংলার স্বাধীন রাজা ঈসা খান এই শহরের মধ্য দিয়ে হেঁটেছিলেন। সুলতানি আমল থেকেই এখানে বাংলার সংস্কৃতি গড়ে ওঠে।

পানামায় টিকে থাকা ঘরগুলোর মধ্যে ৫২ টি বাড়ি দাঁড়িয়েছে। পানাম রোডের উত্তর পাশে ৩১ টি এবং দক্ষিণ পাশে ২১ টি বাড়ি রয়েছে। বেশিরভাগ বাড়িই আয়তাকার, উত্তর থেকে দক্ষিণে প্রসারিত এবং এক থেকে তিনতলা উঁচু। ঔপনিবেশিকতা ছাড়াও, বাড়িগুলির স্থাপত্যে স্থানীয় কারিগরদের কারুকার্যের সাথে মুঘল, গ্রীক এবং গান্ধার স্থাপত্য শৈলীর একটি চমৎকার সংমিশ্রণ দেখা যায়। প্রতিটি বাড়ি কার্যকারিতা, কারুকাজ, রঙের ব্যবহার এবং নির্মাণ কৌশলের ক্ষেত্রে উদ্ভাবনী শৈলীতে পরিপূর্ণ। ইট দিয়ে, ঢালাই লোহার সমর্থন, পাখা এবং গ্রিল ব্যবহার করা হয়। মেঝেতে লাল, সাদা এবং কালো মোজাইক রয়েছে। প্রায় সব বাড়িতেই খিলান ও ছাদের মাঝে নীল ও সাদা প্যাটার্ন থাকে। উপরন্তু, ঘরগুলির নকশা এবং ঢালাই লোহার কাজ নিখুঁত। বিশেষজ্ঞরা বিশ্বাস করেন যে এই ঢালাই লোহার কাজগুলি ইউরোপীয় কাজের সমতুল্য। এর সাথে যোগ হয়েছে সিরামিক টাইলসের রূপান্তর। প্রতিটি ঘর দুটি ভাগে বিভক্ত: অভ্যন্তরীণ এবং বহিরাগত। বেশির ভাগ বাড়িতেই চত্বরের ভিতরে খোলা প্যাটিওস রয়েছে।