Kako prenosi ta agencija, on je postao profesionalni diplomata 1976. godine. Bio je ambasador Rusije u Severnoj Koreji od 2001. do 2006. godine, a kasnije je obavljao funkciju šefa konzularnog odeljenja Ministarstva spoljnih poslova.

Karlov je bio ambasador Rusije u Turskoj od 2013. godine.