说来徐州曾经属于山东这个说法并不是最近几十年才出现的。明代传奇小说《金瓶梅》剧情中就多次提到徐州，比如第二十六回的回目就有《来旺递解徐州》。在《金瓶梅》小说中徐州是山东的一个府，所以才会有山东的犯人压解到徐州的说法。为何明代的小说中把徐州说成山东的一个府？其实这是有深层历史原因的。
明代徐州的详细沿革就在本文不交待了，反正徐州主要归南京直辖。南京又被称为南直隶。自从明永乐皇帝迁都北京后，南京旧的中央官署被保留。但是理论上，南北直隶并不是真正完全意义上的行政区。比如明朝实行的承宣布政使司，提刑按察使司，都指挥使司在南直隶并不完全具备。很多行政职能被分到相邻或其他省来管理。比如建于明正德六年（公元1511年）的徐州兵备道就归寄衔山东管理。而明代后期的兵备道在地方方兼有行政职能。这也让人误徐州曾经属于山东。《金瓶梅》干脆直接说徐州是山东的一个府。 上图为明代徐州兵备道柳城（今广西壮族自治区柳州市）莫与齐书丹的“云龙山”。莫与齐后来官居山东布政使。
南北直隶这种似为行政区又不全是的状况在清代完全得到改观。清代将南直隶改为江南布政使司，后来又分江苏、安徽布政使司，算是分省而治了。 一直到民国，徐州一直属于江苏省管辖，当然日伪时期短暂的淮海省当属特例。
不过淮海战役的结局让徐州再次出现行政区划的变化。1948年12月1日，解放军正式解放徐州。徐州到底该属于哪里管辖呢？这就要我们看下当时的局势。1948年底，苏北徐州解放，加上其他苏北原有的部分解放区，江苏省绝大部分城市仍然为国民党统治地区。这时候徐州不可能划入江苏省管辖。所以徐州当时暂时划入山东省代管是历史的必然。
1953年1月，江苏省人民政府成立，徐州市由山东省划回江苏省。
总结一下，徐州自明初行政区划上就属于江苏及其前身。淮海战役胜利后的1948年底到1953年1月共4年时间因为江苏省没有成立所以由山东省代管。