আব্দুর রহিমের জন্ম ১৯২৭ সালের ২১ নভেম্বর দিনাজপুর জেলায়। মাদ্রাসা শিক্ষায় শুরু হয় তার প্রথম পাঠ। ১৯৪২ সালে জুনিয়র পরীক্ষায় উত্তীর্ণ হয়ে রাজশাহী হাই মাদ্রাসা (বর্তমান : হাজী মুহম্মদ মুহসীন সরকারি উচ্চ বিদ্যালয়) হতে মেট্রিকুলেশন পাশ করেন। ১৯৫০ সালে ১ম বর্ষে ভর্তি হন রাজশাহী কলেজে। সেখান থেকে ভর্তি হন কারমাইকেল কলেজে। সেখান থেকে উচ্চ মাধ্যমিক সম্পন্ন করার পর ১৯৫৬ সালে রাজশাহী কলেজ থেকে বি এ পাশ করে তিনি ঢাকা বিশ্ববিদ্যালয়ে আইন বিভাগে ভর্তি হন। ১৯৫৯ সালে এল এল বি ডিগ্রি অর্জন করেন তিনি। ১৯৬০ সালে আইনজীবী হিসেবে দিনাজপুর বারে আইন পেশা শুরু করেন। ছাত্র থাকা অবস্থায় পাকিস্তান বিরোধী স্বাধিকার আন্দোলনে যোগ দেন। রাজশাহী কলেজের ছাত্র থাকা অবস্থায় ঐতিহাসিক ভাষা আন্দোলনের সকল কর্মসূচিতে অংশ নেন। কলেজের শহীদ মিনার নির্মাণে তিনি অগ্রণী ভূমিকা রাখেন। ১৯৫৪ সালের যুক্তফ্রন্ট নির্বাচনে তিনি হোসেন শহীদ সোহরাওয়ার্দীর সাথে নির্বাচনী কাজ করেন।

১৯৭১ সালে পাকিস্তানি হানাদার বাহিনী দিনাজপুর আক্রমণ করার পর জেলায় মুক্তিযুদ্ধ সংগ্রাম পরিষদ গঠন করা হয়। এতে আব্দুর রহিমকে আহ্বায়ক করা হয়। মুজিবনগর সরকার গঠনের পর তিনি পশ্চিম জোন-১ এর চেয়ারম্যান নিযুক্ত হন। সে সময়ে মুক্তিযুদ্ধকালীন পাকিস্তানি বাহিনীর বিরুদ্ধে কয়েকটি প্রত্যক্ষ সংগ্রামে নেতৃত্ব দেন তিনি। ঐ সময়ে সামরিক ট্রাইব্যুনাল রাষ্ট্রদ্রোহিতার অভিযোগে তাকে কারাদন্ডাদেশ প্রদান করে। স্বাধীনতার অব্যবহিত পরে যুদ্ধবিদ্ধস্ত বৃহত্তর দিনাজপুর অঞ্চল পুনর্গঠনের কাজ শুরু হলে আব্দুর রহিম ত্রাণ ও পুনর্বাসন কমিটির চেয়ারম্যান হিসেবে দায়িত্ব পালন করেন।

আব্দুর রহিম বঙ্গবন্ধু শেখ মুজিবুর রহমান সহ অন্যান্য নেতার বিরুদ্ধে দায়ের করা ঐতিহাসিক আগরতলা ষড়যন্ত্র মামলার লিগ্যাল এইড কমিটির সদস্য ছিলেন। তিনি ১৯৭০ সালে দিনাজপুর সদর ও চিরিরবন্দর (আংশিক) থেকে প্রাদেশিক পরিষদের সদস্য নির্বাচিত হন। পরবর্তীতে ১৯৯০ সালে তিনি জাতীয় সংসদ সদস্য নির্বাচিত হন। স্বাধীনত বাংলাদেশের সংবিধান প্রণয়ন কমিটির অন্যতম সদস্য ছিলেন। স্বাধীনতাত্তোর বাংলাদেশ আওয়ামী লীগের কেন্দ্রীয় কমিটির সহ-সভাপতি হন তিনি। তিনি দিনাজপুর জেলা আওয়ামী লীগ কমিটির সভাপতি, জেলা আইনজীবী সমিতির সভাপতি, বাংলাদেশ আওয়ামী লীগের কেন্দ্রীয় কমিটির সদস্য এবং উপদেষ্টামন্ডলীর সদস্য হিসেবেও দায়িত্ব পালন করেন।

দিনাজপুর ডায়াবেটিস হাসপাতাল, চক্ষু হাসপাতাল, রেড ক্রিসেন্ট হাসপাতাল এবং মুক্তিযুদ্ধে নির্যাতিতা নারীদের জন্য পুনর্বাসন কেন্দ্র প্রতিষ্ঠাসহ নানা ধরনের সামাজিক ও সাংস্কৃতিক সংগঠনের সঙ্গে যুক্ত ছিলেন এম আব্দুর রহিম।

আব্দুর রহিম দুই ছেলে ও চার মেয়ের পিতা। বড় ছেলে হলেন বিচারপতি এম এনায়েতুর রহিম এবং ছোট ছেলে হলেন সংসদ সদস্য ইকবালুর রহিম।