在南北朝时期，北周的将领杨坚自立为皇帝，建立了隋朝。当时长江以南还有一个皇帝，名叫陈后主，他非常腐败，整天沉迷于享乐，对国家大事不闻不问。即使国家处于灭亡的边缘，他仍然大兴土木，建造宫殿。
有一次，陈后主派人去湘州采集木材，但是这些装载木材的船只在漂到安徽牛渚矶的水域时全部失事了。事后，当地的渔民帮助将这些木材打捞上来。
当有人将此事告诉杨坚时，他非常愤怒。他说：“我不能被一条如衣带般狭窄的江水所束缚，而不去拯救陈后主治下的百姓们。”他的臣子们都纷纷附和道：“陛下说得太对了，陈后主过于奢侈腐化，导致国家力量渐弱，百姓怨声载道。只要我们的大军一到，陈朝必会土崩瓦解。”
随后，杨坚派出了五十万大军，分成五路攻打陈朝，最终一举灭亡了陈朝。
如今，“一衣带水”这个成语被用来形容相隔较近的邻国或地区，它们之间的距离只有一条如衣带般狭窄的水域，便于相互交流。