连云港地区因为有渔盐舟楫之利，自古以来就很有名。夏商时期，这里属于东夷，被称为人方东夷、人方国、隅夷。周武王伐纣成功后，由于大肆分封功臣，原来被称为东夷的东部地区开始逐步开发，到了秦代的时候，这里已经成了东海郡了。从北齐、北周开始，连云港地区就被称为海州。
古海州建在沭河入海口的龙苴，临沭河，滨东海，是一座非常美丽的滨海滨河城市。盛唐的时候海州有十八万人口，占当时全国四千万人口的近二十分之一，到北宋时期，古海州就象一颗熠熠闪光的明珠，镶嵌在海州湾边。大诗人苏东坡到海州后忍不住发出“欲弃妻孥守市寰”、“欲济东海县，恨无石桥梁”的感慨。
可惜到南宋时期，由于南宋与金发生战争，偏安一方的南宋统治者和前线带兵元帅张浚错误估计了形势，在韩世忠部将王胜海州大捷的前提下，竟然昏头昏脑地放弃了重镇海州这个战略要地，拆毁了海州城，将所有海州人移民到了镇江。
蒙元时期，海州成了蒙古人的牧场，几无人烟。一直到明朝中后期，海州一带的城镇才又渐成规模。清初的时候，满清统治者实行裁海和海禁，为了防止晚明王朝和台湾郑氏水师利用海湾和河口发动进攻和占领云台山作根据地，就用巨木在河口、海道打桩封锁口岸。短短二三十年间，宽阔的古海州和南云台山之间的海峡就淤积成陆，港口越来越远了。
但是，清中叶以后，由于连云港得天独厚的港口优势，既通航通商，渔盐发达，又北依淡水河湖，便于生产生活，这里又慢慢发展起来。清末到民初，连云港又成了商家追逐热土。特别是陇海铁路修建后，铁路通到连云港，港口在新浦后河底和大港，泊位在老窑，货运、客运贸易繁荣，连云港就成了苏北对外贸易的通道。
1934年6月1日，江苏省长陈果夫主持召开省委员会第662次会议，通过了《省政府决议规划连云港埠市政案》。市政案指出：“兹陇海铁路东端，已达于本省灌云县老窑镇，连云海港第一期工程亦将完竣。故港埠市政之规划刻不容缓，准将临洪河以南，烧香河以北，东西连岛以西，及新浦、板浦以东，水陆区域，均由土地局组队，测量土地状态，并派员办理土地查报，限三月办竣，再定新市区规围。”
在做一系列先期工作之后，1935年1月18日，陈果夫主持省委员会第718次会议，会议决定：“连云港埠设置普通市，定名为连云市。其水陆区域暂以临洪口以南，烧香河以北，东至东西连岛，西沿临洪河新浦、板浦以东为范围。先设市政筹备处，由建设、民政两厅，从速拟具组织规程投交委员会。”
江苏省的关于连云港埠设市的意见报中央政府后，民国政府民政部认为不够设市条件。按1930年5月国民政府颁布的市《组织法》规定，省辖市的条件是：
一是人口在30万人以上。二是人口在20万人以上，所收营业税、牌照费、土地税每年合计占该地总收入的一半以上。二者必居其一。
按连云港埠当时的情况，人口只有10万左右，税收也不多，的确与《组织法》中规定设市条件相差甚远。但行政院审议时认为，连云港埠为滨海重镇，港口建设初具规模，东陇海线已通至老窑。港口建成后，中国中西部物资有了便捷的出海口，港埠之市政规划，基础设施建设已刻不容缓。因此，在1935年11月，国民政府批准设立连云市。
陈果夫一心想建连云市，聘请了美国康奈尔大学硕士、福建人赖涟出任连云市市政筹备处长，在1935年4月就开始测量土地、搞城市规划。
这赖涟曾经负责过南京城的重建规划，把南京城建设的当局和市民都满意。接受筹建任务后，赖涟雄心勃勃，一心要把连云市建设成至少在经济和交通上，超过沿海以南的上海和以北的青岛的滨海大城市。因此，他提出老窑为港区，墟沟为住宅风景区，大浦为工业区，黄九埝一带为市政中心和高业区。
至于建设用地，筹备处制定了符合连云港实际的土地行政法规。大概内容是：市区内土地经地主报价后，政府发行同额的地价券，将全市土地收买过来。这些土地待建港完成、商贸发展后，地价必然上涨，然后再由政府卖出。这样，除可还清地价券外，增盈部分用来成立市政府和市政建设经费。这种法规开了以后政府通过经营土地筹集建设资金的先河。
可惜日本鬼子要来了，国民政府不得不停止了建设连云市的计划，把赖涟的规划锁进了保险柜。
这个时候，连云市还是纸上的概念，连个市长都没有来得及任命。港埠周围的东海县、灌云县、赣榆县、沭阳县属于江苏省第八行政督察区。
历史上，连云港是在1939年初陷落的。由于刘一民的横空出世，历史发生了变化，日军为了实施徐州会战，派第六师团从连云港登陆，击败守军，沿陇海路西进夹击徐州。此时由于青岛被攻占，日军徐州一带部队的补给只有通过连云港进行，港口船只云集，一时间倒显得少有的热闹。
刘一民率教导师主力南下后，就隐蔽在莒县南部、临沭南部和赣榆北部的苏鲁边界地区。
这段时间，日军虽然向鲁中、泰沂山区和鲁南发动疯狂进攻，但刘一民不为所动，率领主力隐蔽休整。他在等时机，等多田骏和岗部直三郎两支大军涌向鲁中