1927年是中国革命史上一个重要的转折点，以蒋介石为代表的国民党右派公然脱离革命阵营并残酷镇压革命力量，轰轰烈烈的大革命从高潮转入低谷。面对这血雨腥风，在革命队伍内部，有的人退缩了，有的人彷徨了，有的甚至投向了反革命阵营。然而，正是在这危难时刻，从苏联中山大学留学归来不久，当时正担任西安中山军事学校政治处处长的邓小平却毅然回到设在武汉的中共中央，担任政治秘书。
白色恐怖笼罩下的武汉形势日益危急，中共中央经过反复讨论，最终决定迁至上海。
当时的上海是帝国主义殖民侵略的重要基地，外国官员、商人、民族资本家、各类政治派别分子，乃至各种地痞流氓都聚集于此，形势错综复杂，人口流动频繁，这十分有利于中共中央机关的掩护。同时，上海又是中国的经济中心，发达的工商业造就了一支力量可观的工人阶级队伍。在五四运动、五卅运动和此后的三次工人武装起义中，上海的工人阶级已显示出强大的实力，而且中共中央曾长期设在上海，有着很好的革命基础。
1927年9月底10月初，中共中央各机关从武汉陆续迁至上海，邓小平也随同中共中央来到了上海。这是邓小平第二次到上海了。1920年9月，当时年仅16岁的邓小平就是从上海踏上了赴法勤工俭学的道路。7年后，再次来到上海的邓小平已经是一名将共产主义作为毕生追求的坚定的革命者了。
迁至上海后，为了改变国共合作破裂后全党涣散的局面，中国共产党对党组织进行了全面的恢复、整顿和重建。其中一项重要措施就是组建了中共中央秘书处，下设文书、内交、外交、会计和翻译五科，主要负责文件的印发收管、中央机关各部门之间的情报和文件的传递、中央与全国各地党组织的交通联络等工作，在党组织的恢复、整顿和重建中担负着至关重要的责任。
1927年12月，中共中央将这个重要的责任交给了当时年仅23岁的邓小平。
在上海，为了便于在敌人的眼皮底下开展工作，中共中央采取了许多保密措施。为了秘密工作的需要，中央领导同志之间，都互不知道他人的住址，并且要不断地变换居住地点和姓名。像周恩来这样的重要人物，几乎每隔一个月或半个月就要更换一次住处。
党的各级机关也分布在小店铺、居民住宅等普普通通、毫不起眼的房屋中。如当时党中央的一个秘密机关就设在闹市中心四马路(现在的福州路)天蟾舞台后面的一家经营土布土纱的小商铺中，楼下是一家“生黎医院”；与共产国际的接头机关是一家古董店，这样外国人往来就不容易引起怀疑。
而作为中共中央秘书长，邓小平不仅掌握着所有中央负责同志和各处中央机关的地址，而且要每天往来于各个秘密机关之间，接待来自各地的秘密交通人员，处理各地党组织的文件和情报，传达中共中央的指示。一旦稍有不慎，不仅会有生命危险，更会危及中央机关和各级党组织。
因此，邓小平时时刻刻都十分小心谨慎，就连穿着也特别注意。到租界去的时候，就穿缎子袍子，或马褂，到平民住的地方去，就穿工人服装，尽量不引人注意。正如后来邓小平自己所说的， “我们在上海作秘密工作，非常的艰苦，那时吊起脑袋干革命。我们没照过相，连电影院也没去过”。
对此，邓小平的胞弟邓垦印象尤为深刻。他后来回忆道，当时他来到上海求学，临走的时候，父亲嘱咐他到上海之后去找找他的哥哥邓小平。于是，他到了上海之后就开始寻找邓小平。但由于是初次来到上海，情况不熟悉，语言也不通，熟人也不多，找了很久都没有着落。因此，他最后决定到《时事新报》上刊登了一条寻人启事。上面写道，邓希贤(邓小平原名邓希贤)兄，我现在已经到了上海，住在某处，希望你见报后来找我。有一天下午，他正与几个四川老乡和同学在一间小房子里聊天，忽然有一个人进来敲门，问你们这里有没有一个叫邓先修(邓垦的原名)的?当时他非常纳闷，后来一下子想到了在报纸上刊登寻人启事的事，再仔细看了看进来的这个人，终于认出了眼前就是他苦心寻找的哥哥邓小平。因为邓小平离家赴法国勤工俭学时，他才七八岁，隔了13年了，变化很大，但对邓小平隐约还有些印象。于是，他马上答道，他就是邓先修。邓小平就对他说，好好好，你登了个报我们知道了。你收拾收拾跟我走，马上跟我走。不仅你自己要搬，你那三个同学都要搬，全部离开这个地方。后来邓小平告诉他，因为那时国民党特务常用这种方法抓人，用亲戚的名义登报，结果你去找就会碰到特务。所以，看到他在报上登的寻人启事后，邓小平化了装，到他登报的地址附近了解一番，打听那里有没有几个四川人在读书，其中有没有一个叫邓先修的。经过了仔细侦察之后，才最终决定与他见面的。
即使是这样小心谨慎，邓小平在上海的近两年中也曾多次遇险，其中有两次真可以说是只差毫厘之间。
一次是1928年4月5日在上海爱文义路望德里1239号半(现在的北京西路1060弄内)罗亦农的住所。那天，邓小平与当时担任中共中央政治局常委的罗亦农接头。办完事后，他刚从后门离开，巡捕就从前门进入罗亦农的住处，逮捕了罗亦农。邓小平出门后，看见前门一名扮成鞋匠的特科同志向他悄悄用手一指。邓小平就知道罗亦农出事了，立刻快步离开。从邓小平离开，到罗亦农被捕，前后只差了一分钟的时间。后来，罗亦农被叛徒出卖，英勇就义。
还有一次是在邓小平的住处。当时，邓小平与妻子张锡瑗，和周恩来、邓颖超夫妇住在一起。后来，巡捕发现了周恩来的住处，要来搜查。由于当时特科事先得到了情报，并及时通知了周恩来，因此住在这里的同志都安全地撤退了。但邓小平当时恰好不在家，没有接到通知。当邓小平回来敲门时，巡捕还在屋内搜查。幸亏搜查的人中有一名特科的内线，他故意答应了一声要来开门。机警的邓小平一听门内的声音不对，立刻转身就走。直到半年后，他连那个弄堂也不敢经过。
多年后，邓小平还常常提到这两次危险的经历，“这是我遇到的最大的两次危险。那个时候很危险啊!半分钟也差不得”。
当然，上海留给邓小平的不仅仅是严酷的革命斗争，也有温馨甜蜜的回忆。
1928年刚过年不久，邓小平与张锡瑗在上海喜结良缘。张锡瑗与邓小平既是莫斯科中山大学的同学，又是一同在中共中央秘书处工作的同事。据当时在中共中央工作的同事们回忆，张锡瑗个子不高，人长得很漂亮，白净的脸，很秀气，人温柔得很。
为了庆贺这对新人，中央的同志们还特地在上海广西中路一家叫聚丰园的四川馆子里办了酒席。周恩来、邓颖超、李维汉、王若飞这些并肩工作、战斗的战友们都参加了宴席，向这对新人表示衷心的祝贺。1929年夏，邓小平奉组织派遣，告别新婚不久的妻子张锡缓，秘密前往广西领导革命斗争。
一年后，就在邓小平从广西回沪汇报工作期间，张锡瑗由于难产在上海宝隆医院不幸去世，当时年仅24岁。几天以后，可能是由于难产的关系，孩子也死了。
此时，广西前方的革命形势已不容耽搁，邓小平来不及亲手掩埋妻子和孩子，便又匆匆赶回广西，但他的心中一直牵挂着张锡瑗。
1949年上海解放后，当时担任华东局第一书记、二野政委的邓小平一进城就开始寻找张锡瑗的墓地。因为战乱，日本人又在江湾公墓那里动土修机场，许多烈士的墓地都找不到了。后来，在当时埋葬张锡瑗的中共中央工作人员李强的帮助下，邓小平终于找到了张锡瑗的墓地。当时邓小平和夫人卓琳一起前去查看时，发现那里都被水淹了。于是邓小平叫人把张锡瑗的遗骨取出来，放在一个小棺木中，将其和当时找到的苏兆征的遗骨，都安放在邓小平他们在上海居住的励志社的楼下。不久，邓小平根据中央的命令离开上海，挥戈进军大西南。张锡瑗和苏兆征的棺木，一直安放在上海励志社的旧址里，直至1969年被安葬在上海烈士陵园(现已更名为龙华革命烈士陵园)
如今，张锡瑗安详地静卧在龙华烈士陵园的青松翠柏之中，在那朴素的墓碑上，镶嵌着她留在世上唯一的一张照片。
多年之后，邓小平仍深深地怀念着张锡瑗。据邓小平的女儿毛毛回忆，有一次，邓小平沉思般地说道，“张锡瑗是少有的漂亮”。
在担任中共中央秘书长以后，邓小平有机会列席党中央的各种高级会议，看到全国各地的工作报告，了解全国革命形势的发展，并参与党的一些重大决策过程。这不仅使他的工作能力有了全面的锻炼和提高，也促使他开始对大革命失败后，中国革命究竟该走向何方这样一些深层次的问题进行思索。
正是在担任中共中央秘书长期间，邓小平开始关注毛泽东、朱德、陈毅等人在井冈山领导工农武装，开辟革命根据地的斗争道路。对此，他后来曾经谈到，“还是我在上海当中央秘书长的时候，陈毅来中央汇报红四军的工作，才知道了好多情况。这也是一种学习呀”。