Namun, ketika menjadi khalifah, semua kenikmatan itu dia tinggalkan. Jabatan itu telah mengubah hidupnya. Ketika menjadi khalifah, justru dia bersikap zuhud, menjauhi kemewahan dan hiasan dunia. Dia sangat menghayati setiap rincian tanggung jawabnya hingga bersikap keras pada diri dan keluarganya. Tampaknya, dia ingin menebus gaya hidupnya yang bergelimang harta dan kenikmatan sebelum menjadi khalifah, dengan kesederhanaan rakyatnya. Sampai, dia pun menolak menaiki kendaraan Khilafah untuk menghindari kebesaran dan kemewahan. Tidak hanya terhadap dirinya, istri dan anak-anaknya pun tak luput dari sikap yang sama (at-Thabari, Tarikh al-Umam wa al-Mulk, VI/552-553).
Semuanya itu bukan tanpa sengaja. Sikap, atau tepatnya pilihan kebijakannya itu berdampak besar pada Khilafah Umayyah ketika itu. Umar berkeyakinan, jika tekad dan komitmen dia sebagai penguasa Muslim tersebut benar dan lurus, disertai rasa tanggung jawab yang tinggi pada ummat Islam di hadapan Allah SWT, maka dia yakin akan mampu meluruskan berbagai kondisi menyimpang dan mengembalikan mereka yang melakukan pelanggaran ke jalan yang lurus. Di antaranya, dia mengembalikan baiat yang diperoleh melalui wiratsah (penunjukan) kepada kaum Muslim, selanjutnya dia meminta mereka untuk membaiat siapa saja yang mereka kehendaki dengan suka rela (bi ar-ridha wa al-ikhtiyar). Namun, mereka tetap menginginkan seorang Umar bin Abdul Aziz untuk menjadi Khalifah mereka.
Keyakinan, sikap dan kebijakannya itu diikuti dengan tindakan nyata. Umar bin Abdul Aziz jauh dari sikap sombong para penguasa (raja); zuhud terhadap kekuasaan, dan tidak bersikap tamak (ambisius). Boleh jadi, karena jabatan yang disandangnya, yaitu Khilafah itu mendatanginya, bukan dia yang mencari jabatan itu. Umar berhasil mengembalikan sosok para Khulafaur Rasyidin sebelumnya pada dirinya.
Dalam pidato pengangkatannya, dia menyatakan, “Wahai manusia, tidak ada Kitab setelah Alquran. Tidak ada Nabi setelah Muhammad SAW. Aku bukanlah hakim, tetapi hanya pelaksana. Aku bukanlah ahli bid’ah yang membuat perkara baru, tetapi hanya melanjutkan. Orang yang melarikan diri dari imam (penguasa) yang zalim, bukanlah zalim, kecuali imam yang zalim itulah justru orang yang melakukan maksiat. Ingat, tidak ada ketaatan kepada makhluk dalam melakukan maksiat kepada al-Khaliq.” Dalam riwayat lain dituturkan, “Aku bukanlah orang terbaik di antara kalian, tetapi aku adalah orang yang paling berat bebannya. Ingat, tidak ada ketaatan kepada makhluk dalam melakukan maksiat kepada al-Khaliq..” (Ibn Sa’ad, at-Thabaqat al-Kubra, V/340).
