1964年10月，赫鲁晓夫被他的战友们搞下台。赫鲁晓夫下台后，米高扬代表当局向他宣布退休后的待遇：退休金每月500卢布，配专车；目前的别墅和列宁山上的宅邸均归他终生使用（实际上三周之后即让他迁出宅邸，三个月之后又让他迁出别墅）；警卫和侍者不变，但人员全部换掉。
据卫士讲，赫鲁晓夫住在后来的彼得罗沃—达利涅耶别墅，实际上处于软禁状态。确实必要时方可获准外出，例如去格拉诺夫斯基大街医院或者中央临床医院。每当他表示想去某个地方，卫士当即向领导转达，通常都遭到拒绝。赫鲁晓夫也没有多少可去的地方。当局给他配了一辆吉姆车，另有一辆伏尔加备用。
直到去世前几年，赫鲁晓夫才被允许“远足”，例如参观花展之类。实际上没有人来拜访赫鲁晓夫，家庭成员的客人均需经过仔细的检查。勃列日涅夫很害怕赫鲁晓夫，没有人相信他会善罢甘休，无所作为。当局把每一个来访者都当成潜在的通讯员。
赫鲁晓夫临终前两三年，很少去剧院或者去马涅日看展览，时不时地有客人登门拜访。1970年，孙女尤丽娅把歌唱家维索茨基带来，在别墅呆了一整天。一些政要来拜访前国家首脑，如南斯拉夫大使米丘诺维奇、匈牙利共产党领导人亚诺什·卡达尔和美国副总统尼克松则均被当局拒之门外。尼克松甚至已经到达赫鲁晓夫在市内旧马厩胡同的住宅，却有人对他说赫鲁晓夫此时“突然”不在莫斯科。
1968年，当局把赫鲁晓夫叫到苏共中央去，逼迫他把正在写的回忆录交给中央，赫鲁晓夫对他们说：“你们可以把我抓进监狱，也可以没收我的笔记。这些你们今天都可以干，可是我坚决抗议。我受到软禁。你们的卫队监视我的一举一动：不是卫队，是看守。你们还违反宪法，整个别墅都安上了窃听器。连茅房也不放过。把人民的钱花在偷听放屁上头。”
1971年9月11日，赫鲁晓夫去世。苏联领导人想尽一切办法，让葬礼无声无息地悄悄举行。计划上午报纸登去世的消息，10点钟在中央临床医院举行告别仪式，12点在新圣母公墓安葬。公墓平常都对外开放，这天却以“打扫卫生”为名关门大吉。公墓附近地铁入口处的大厅也已关闭。整个地区都由民警和内卫部队包围起来。卫士阿列克谢·萨利尼科夫尽管供职于精锐的克格勃第九局，却无法靠近公墓，去向那个同他一起度过8年时光的人告别：“他们连已经过世的赫鲁晓夫也害怕……”