马修死后，玛丽陷入了很长时间的一段消沉期，她每天无所事事，似乎心灵也已经随着马修死去。然而时光的脚步不会因为谁的悲伤而停下，唐顿依然是那个楼上楼下忙忙碌碌的唐顿。一家之长罗伯特还是要操心唐顿的营收问题，而老太太也要关心她的孙女们，二小姐还在寻找她的幸福，汤姆则逐渐融入这个大家族，马修的母亲也必须走出丧子之痛。托马斯依旧在仆人的世界里兴风作浪，似乎没有接受之前的教训；几个女仆和男仆的感情也陷入了纠葛，甚至安娜和贝茨的感情也并非一帆风顺......随着时代的进步，唐顿落后的庄园管理方法亟待改变，而玛丽是否能继承马修的遗愿，继续他未完的事业呢？而面对他人的追求，玛丽又该作何选择？
