还是在1277年的11月初，南宋军民在严寒的袭击下，数十万军民和几千艘战船被迫停泊在珠海横琴岛。此时正值隆冬，尽管这里已经地处中国最南端的区域，不似北国的冬天那般天寒地冻，却也风寒水急。原以为这样的严冬，在这个近乎天涯海角的地方歇息，能暂时避开元军的追杀，却想不到在此停泊没有多久，便有一支元军的先头部队向宋军船队发起了小规模进攻。 　　对垒之下，宋军初战得胜。可就在敌军败退后，宋军忽然发现自家的粮草已有所不足，面对海天一色的大海和随时可能再次打上来的追兵，军心开始涣散。恰在这时，元将哈喇歹、宣抚梁雄飞率领元军船队来到香山县继续追剿宋军，张世杰等人一面对抗着元军，一面守护着赵昰撤到了横琴井澳，也就是今天横琴深井村的附近。 　　当御舟船队行至深井村以北的“大井角”时，海面上忽然飓风乍起，掀起了小山一般的巨浪，转眼间宋军水师无数船只在汹涌的怒涛中上下浮沉翻滚。一片混乱之中，海面上竟然燃起了熊熊大火。原来有的船只因为油灯不稳引发了大火，点燃了船帆。而宋军的战船为了减轻海上的风急浪颠，又大多用铁链连接在了一起，这样一船起火后，火借风势就迅速蔓延到了其它的船上。顿时，整个深井湾海面上燃起了一片火海，南宋军民烧死溺死者过半。混乱中，就连赵昰所乘的御舟也没有能逃脱厄运，年仅十岁的端宗小皇帝在风浪的颠簸中竟然掉入水里几乎溺死。虽然身为天潢贵胄，但毕竟是十岁的稚童，得救后的端宗，因为受到了严重的惊吓，卧床不起，身体再也没能恢复过来…… 终于，风浪逐渐平息下来了。宋军统帅就近把船队泊靠在了井澳。这时士兵们已经是饥寒交迫，疲惫不堪，直到十多天后军队才重新整顿成形，然后在横琴一带的山上砍伐树木，一来修理受损的船只，二来也为小皇帝赵昰搭建了一座临时的行宫以便休养。不成想刚刚在此处停留了十多天，元军统帅刘深便率领着大批海军追击到了大横琴东面的十字门。 为了保卫赵氏残留的这一血脉，为了大宋能再复兴天下，殿前司苏刘义将端宗赵昰、卫王赵昺以及杨太妃等皇族从大横琴的井澳转移到小横琴的谢女峡，枢密副使张世杰等人在大小横琴、九澳、凼仔及妈阁山的高地上布置好了步军的炮手和火箭手，然后张世杰亲自指挥着宋军将战船列阵于十字门东南面，与元海军会战于十字门海域。 按十字门海战这一版本的说法，这是“宋军泛海南迁以来首次和元海军在海上正面冲突”。元军挟胜利之威，恨不能将宋军残余力量一举化为齑粉，而宋军事关生死存亡，众志成城齐心克敌。双方在十字门海域鏖战既久，伤亡都十分惨重。混战中元军在十字门东南海域的七星洲一带，抓住了卫王赵昺生母的弟弟俞如珪。已经身负重伤的元军元帅刘深看到俞如珪，误以为是俘获了小皇帝赵昰，惊喜若狂，自以为立下了不世之功；同时又看到元军因为没有步骑的配合，始终无法攻破谢女峡密集的石炮和飞火枪的射击，从而下令收兵而归。宋军在十字门海战中虽然取得了短暂的胜利，但也付出了沉重的代价。元军退却后，宋军也不敢在此地长久停留了，于景炎三年（1278年）二月撤离了十字门，在张世杰的带领下向西去了硇洲。