Wieloletni pracownik radzieckiego aparatu policyjnego (od 1921 r. w Ogólnorosyjskiej Nadzwyczajnej Komisji do Walki z Kontrrewolucją i Sabotażem - WCzK, a od 1922 r. w Zjednoczonym Państwowym Zarządzie Politycznym - GPU), w 1938 r. objął stanowisko ludowe­go komisarza spraw wewnętrznych (*NKWD). Jego pierwszym zada­niem było przezwyciężenie chaosu wywołanego wielką czystką lat 1937-38.

Uważał, że eksterminacja więźniów w łagrach stanowi marno­trawstwo siły roboczej (w 1940 r. w Związku Radzieckim były praw­dopodobnie 53 obozy, 425 kolonii pracy poprawczej i 50 kolonii dla młodocianych, w których więziono 1 668 200 ludzi; inni historycy oce­niają, że w 1939 r. w łagrach było ponad 3,5 min ludzi) i dlatego doprowadził do pewnej poprawy wa­runków życia w nich (większe racje żywnościowe, możliwość otrzymy­wania paczek od rodzin itp.). Kierowany przez niego resort orga­nizował masową eksterminację lud­ności cywilnej (obywateli radziec­kich i polskich) oraz jeńców wojen­nych (*Katyń); z jego polecenia od 1939 r. deportowano ludność polską z terenów zajętych przez wojska ra­dzieckie na mocy układu *Ribben-trop-Mołotow oraz przeprowadzano przymusowe przesiedlenie Tatarów Krymskich, Czeczeńców i innych mniejszości narodowych, w czasie których setki tysięcy ludzi zmarło. 30 lipca 1941 r. wszedł w skład Państwowego Komitetu Obrony. W 1945 r. został mianowany mar­szałkiem Związku Radzieckiego.

Po śmierci Stalina usiłował przechwy­cić władzę; występował jako zwo­lennik reform gospodarczych (m.in. wstrzymał realizację kilku wielkich, a całkowicie nieopłacalnych inwe­stycji), liberalizacji życia w ZSRR, domagał się amnestii dla 90% wię­źniów, samodzielności republik ra­dzieckich, co stało się głównym po­wodem zawiązania spisku przez in­nych czołowych przedstawicieli władzy: Nikitę Chruszczowa i Gie-orgija Malenkowa. 26 czerwca 1953 r. został aresztowany w czasie posiedzenia prezydium Komitetu Centralnego, prawdopodobnie osą­dzony i skazany na karę śmierci ja­ko „wróg partii i narodu" w grudniu tego roku. Wg innych relacji (np. głównego uczestnika tych wydarzeń Nikity Chruszczowa) został zastrzelony, gdyż w czasie aresztowania usiło­wał bronić się.