রাজ্জাক বাংলা প্রদেশের (বর্তমানে বাংলাদেশ) শরীয়তপুর জেলার ডামুড্যা উপজেলার দক্ষিণ ডামুড্যা গ্রামের একটি মধ্যবিত্ত ব্যবসায়ী পরিবারে পিতা আলহাজ্ব ইমামউদ্দিন এবং মাতা বেগম আকফাতুন নেছার ঘরে জন্মগ্রহণ করেন। তার শৈশবের স্বপ্ন ছিল তার গ্রামকে একটি আদর্শ গ্রামে গড়ে তোলা যেখানে সবাই সমৃদ্ধ হবে এবং সলভ হবে।[উদ্ধৃতি প্রয়োজন]

রাজ্জাক 1958 সালে ডামুড্যা মুসলিম হাই স্কুল থেকে মাধ্যমিক স্কুল সার্টিফিকেট পরীক্ষা এবং 1960 সালে ঢাকা কলেজ থেকে উচ্চ মাধ্যমিক স্কুল সার্টিফিকেট পরীক্ষায় উত্তীর্ণ হন, তারপর তিনি ঢাকা বিশ্ববিদ্যালয়ে ভর্তি হন এবং রাষ্ট্রবিজ্ঞানে বিএ (সম্মান) পাস করেন এবং 1964 সালে তিনি রাষ্ট্রবিজ্ঞানে ভর্তি হন এবং এমএ পাস করেন। পরে তিনি এলএলবি পাস করে ১৯৭৩ সালে আইনজীবী হিসেবে ভর্তি হন।

রাজ্জাক 1973 সালে ফরিদা রাজ্জাককে বিয়ে করেন এবং নাহিম রাজ্জাক এবং ফাহিম রাজ্জাকের পিতা।