先说秋香，据孟森在《心史丛刊》等书中说：秋香姓林，名奴儿，又名金兰，秋香则是她的号。亭中人氏，出身官宦人家。因是独养女儿，故被父母视作掌上明珠。秋香自幼聪明伶俐，熟读诗书，且酷爱书画艺术。可惜未到及笄之年，父母就不幸双亡，她由伯父领养。不几年。伯父见秋香已长成姿色娇艳的窈窕淑女，便带她到南都金陵。当时的南都，腐败不堪，秋香因生活所迫，只得在声色场中作官妓。美貌聪慧，冠艳一时。又从史廷直、王元文学画，笔墨清润淡雅。
后来，秋香脱籍从良；有老相好想和她再叙旧情，她画柳于扇，题诗婉拒："昔日章台舞细腰，任君攀折嫩枝条。如今写入丹青里，不许东风再动摇。"可知，历史上确有秋香其人，且和唐伯虎同是生活在明代中叶；不过她至少要比唐伯虎大二十岁。秋香虽在金陵高张艳帜，但她二人之间实难发生风流韵事。倒是祝枝山不知在什么场合见到秋香扇面，写了一首七绝："晃玉摇金小扇图，五云楼阁女仙居；行间看过秋香字，知是成都薛校书。"