অর্থ মন্ত্রণালয়ের আর্থিক প্রতিষ্ঠান বিভাগের এক প্রজ্ঞাপনের মাধ্যমে কাজী আব্দুর রহমান উপব্যবস্থাপনা পরিচালক হিসেবে রাষ্ট্র মালিকানাধীন রূপালী ব্যাংকে যোগদান করেছেন। এর আগে তিনি রাজশাহী কৃষি উন্নয়ন ব্যাংকে উপব্যবস্থাপনা পরিচালক হিসেবে দায়িত্ব পালন করেন।
তিনি ১৯৯৮ সালে ব্যাংকার্স রিক্রুটমেন্ট কমিটি (বিআরসি)-এর মাধ্যমে সিনিয়র অফিসার হিসেবে রূপালী ব্যাংকে যোগদানের মধ্য দিয়ে তাঁর কর্মজীবন শুরু করেন।
দীর্ঘ ২৫ বছরের কর্মজীবনে তিনি বিভিন্ন সময়ে শাখা ব্যবস্থাপক, জোনাল ম্যানেজার, বিভাগীয় প্রধান এবং মহাব্যবস্থাপক হিসেবে রূপালী ব্যাংকের স্থানীয় কার্যালয়ে সততা, নিষ্ঠা ও সফলতার সাথে দায়িত্ব পালন করেন।
কাজী আব্দুর রহমান বিআইবিএম, বাংলাদেশ ব্যাংকসহ দেশে ও বিদেশে অনুষ্ঠিত বিভিন্ন প্রশিক্ষণ, কর্মশালা, সেমিনার ও সিম্পোজিয়ামে অংশগ্রহণ করেন। তিনি বাগেরহাট জেলার ফকিরহাট উপজেলাধীন সৈয়দমহল্লা গ্রামের এক সম্ভ্রান্ত মুসলিম পরিবারে জন্মগ্রহণ করেন।