卓王孙生于西汉初期蜀郡临邛（今四成都邛崃县）的一户冶铁世家，祖先是赵国有名的冶铁商，以冶铁致富。秦灭六国之时，其祖父辈被强迫从山东迁至蜀郡临邛，同时带去了先进的冶铁技术。到汉初，由于西汉王朝对一切经济活动采取了自由放任政策。所谓“开关梁，驰山泽之禁”，正如《盐铁论》所说的，殷实之家“一家聚众或至千余人，大抵尽收放流人民也，远去多里，弃坟墓，依倚大家，聚深山穷泽之中”。“放流人民”即在土地兼并之下失业的农民，许多就是靠招收这些无业游民经营盐铁致富。秦灭六国时，卓王孙的祖父辈迁至蜀郡临邛，同时带去了先进的冶铁技术。到汉初，由于西汉王朝对一切经济活动采取了自由放任政策。所谓“开关梁，驰山泽之禁”，正如《盐铁论》所说的，殷实之家“一家聚众或至千余人，大抵尽收放流人民也，远去多里，弃坟墓，依倚大家，聚深山穷泽之中”。“放流人民”即在土地兼并之下失业的农民，许多就是靠招收这些无业游民经营盐铁致富。

卓王孙与当地县令王吉多有往来。某日，卓王孙在家宴请王吉，司马相如也在被请之列。席间，免不了要作赋奏乐。司马相如得知卓王孙之掌上明珠文君美貌非凡，更兼文采，于是奏了一首《凤求凰》。卓文君也久慕司马相如之才及相貌，遂躲在帘后偷听，琴中之求偶之意如何听不出。两个人互相爱慕。

但受到了卓王孙的强烈阻挠，没办法，两人只好私奔。后回到成都，家徒四壁生活窘迫，文君就把自己的头饰当了。回到临邛开了一家酒铺，卓文君亲自当垆卖酒，消息传到其父耳中，卓王孙既丢面子又没办法，还是面子重要，只得送了一大笔钱给他们。 有史书说司马相如追求卓文君只为卓王孙之财，但我们已无法考证。