1963年，乔石上调至中共中央对外联络部任职，历任研究员、副局长、局长、副部长、部长等职务。在中联部，乔石做卡片是一绝。当时，积累资料主要靠做卡片，像开中药铺。乔石的业务很强，做的卡片非常细致，除直接涉及业务的之外，马恩列斯和毛泽东的著作，也都摘抄整理成卡片，而且字写得很好。

中联部老干部多，其中不少是搞地下工作出身，因此，文革期间受到了很大的冲击。乔石等都被关进中联部的“南小楼”隔离审查，之后下放“五七干校”。
1971年1月，耿飚调任中联部部长，在其努力下，中联部被打倒的干部逐步“解放”，乔石等人都被调回来了。1978年2月，乔石被任命为中联部副部长。当时主持中联部工作的是常务副部长李一氓。
李一氓是参加过北伐和南昌起义的老资格革命家，也是文化人，兴趣广泛，思想开放。他很器重乔石，认为他为人稳重，有理论修养。乔石对李一氓也十分尊重，并且受他的影响很大。两个人都很喜欢和擅长书法。乔石的书法有自己独到的风格，在中联部内外都很出名，这种修养，使他少了官气多了儒雅。

1982年4月，时任中联部部长姬鹏飞离任，由于副部长吴学谦调任外交部第一副部长(当年11月任部长)，乔石继任了中联部部长。
文革前，同中共有政党关系的外国共产党和工人党有80多个，“文革”期间，由于主管中联部的康生推行“支左反修”，和中共保持联系的政党只剩10个。80年代前期是中共政党外交的转折时期。邓小平连续多次会见外国政党领导人，胡耀邦提出开创党的对外联络工作的新局面，中央书记处前所未有地几次讨论中联部的工作。
1982年9月中旬，乔石在中共十二届一中全会上当选为中央书记处候补书记，但仍兼中联部部长。

当时，中央政治局委员大多数年事已高，党和国家的重大决策一般都由中共中央总书记胡耀邦领导中央书记处做出，报中央政治局后，再负责贯彻实施。中央书记处成员中，候补书记乔石和郝建秀是最年轻的，胡耀邦戏称他们是拼命三郎“石秀”。
胡耀邦很欣赏乔石，认为他有干劲、理论修养好。两人的性格正好相反，一个外向，一个内向；一个讲话充满激情，一个比较寡言少语。我觉得用中国的老话说，应该叫“相辅相成”吧。记得听乔石说过，他要一直保持低调，不说大话，不说空话，不说过头话，不走极端。