被安置在这个岗位,杨照辉也忍受着单调乏味,因为手头几乎没人,也没有事可做。有一段时期,他是留在延安的惟一的美国人。大雨让住地的院子长满野草,杨照辉担心这个地方太难看,于是让几个人把草拔掉。他饲养的几只小鸡在共产党人的农场中也长成大公鸡,这让他非常高兴。他有充裕的时间,让妻子寄来成套的飞机模型,他能组装起来,逗附近的孩子们玩。他开始撰写1936年红军长征的历史。当1946年9月他被重新分配任务时,他已经采访了一些参加过红军长征的人。
就个人层面而言,共产党人和驻守在延安的美国人的关系是很友好的。尤其是杨照辉,他汉语说得很流畅。然而,美国人知道,决定成为新中国领导者的人与美国的关系有多么紧张。1946年10月上旬,共产党人贴出一条标语,中国人把它叫做"美国人从中国滚出去",张贴着宣传美国人在中国的恶行的"可怕和令人毛骨悚然"的标语。这场运动7月已经开始,在下半年不断升级。
然而,尽管关系不断恶化,仍然有社交接触,有不同种类的娱乐和宴会,直到最后一个人离开"迪克西"。这包括联络组举办感恩节的宴会,有几个重要的中国人和美国记者参加。在1946年底的圣诞节,美国人和中国人举行了一个晚会和晚宴,对中国共产党和延安地区的美国人表示感谢。毛和朱两家人以及其他共产党要人也参加了,元旦时也举行了晚宴相互感谢。
杨照辉同共产党人一起打过几次桥牌,他说,他们是热情的初学者。杨照辉还把他妻子寄来的玩具和布娃娃送给经常来这里玩的共产党人的孩子。联络组的其他人也给共产党人的小孩玩具。在杨照辉给妻子的一封信中,他说:毛泽东的小女儿李讷非常聪明,一点儿也不娇气。一天晚上,小李讷坐在杨照辉的腿上一边看电影,一边吃西瓜,西瓜汁不停地流下来。由于李讷经常在太阳底下玩,头发晒黄了,李讷的妈妈把她的头发剃光了,说这样头发再长就黑了。
只要"迪克西使团"一直在发挥作用,他们就坚持与共产党员保持友好的关系。当执行部于1947年2月5日正式关闭时,美国人还帮助共产党人从北平和南京撤回延安。飞机继续为这里提供服务。新闻记者和其他人员照样有来有往。在这些人中,从北平来的主要联络官参观了延安,与中国领导人一起吃了午餐,并在延安转了转。
3月1日,"迪克西"剩下的美国人与中国人一起去打鸟。那晚,中国人做了晚饭招待他们。尽管决定这作为与联络组的告别晚宴,但是他们收到从北平来的信件,命令他们继续待下去,直到国统区的所有共产党人全部被空运回延安。接下来的几天里,飞机载着共产党、新闻记者和上万吨共产党的货物、医药物品、联合国救济和工作中心(UNRWA-UnitedNationsReliefandWorksAgency)的医生到达延安。这些飞机一般是在当天到达延安后就离开延安,但是如果飞机当天不走,机组人员就在"迪克西使团"的大院里过夜。
1947年3月8日,所有记者和联合国救济和工作中心的医生离开了延安。两天后,因为国民党军队袭击陕甘宁边区,朱德将军宣布这一地区处于完全紧急状态。他通知美国人,延安机场预计在3月11日被毁掉,建议那天运输机早点儿起飞。因为这架飞机是联络组与外界联系的惟一渠道,塞尔斯上校决定这次把联络组移到南京。作为最后一次任务,他安排为共产党人广播在中国东北被共产党人抓住的瑞格(Rigg)少校和助理武官科林斯(Collins)上尉何时到达哈尔滨。叶剑英将军发布了恰如其分的命令通知司徒雷登大使:这两个官员在到达哈尔滨后立刻被释放。
1947年3月11日上午8点,所剩无几的延安联络组成员全部飞往南京。他们的离去宣告第二次世界大战期间美国与中国共产党之间的直接接触结束了。飞机在延安上空盘旋时,他们从飞机舷窗观望地面。正如所预想的那样,他们看到共产党人在机场上挥手欢呼送行。