蘇武是漢武帝時(shí)的中郎將，出使過(guò)匈奴，被匈奴單于拘禁在北海邊牧羊十九年，寧死不屈。匈奴單于還曾把蘇武先后遣送到好幾個(gè)地方去牧羊，不讓他有一點(diǎn)與漢朝聯(lián)系的機(jī)會(huì)。傳說(shuō)，現(xiàn)在的揚(yáng)芬港就是當(dāng)初蘇武放過(guò)羊的地方。

那時(shí)候，這里離海邊很近，荒無(wú)人煙，一年四季風(fēng)雪不斷，十分寒冷。單于為了免除后患，就打算把蘇武活活餓死在這里，不但不給他吃的喝的，還挑選了一群骨瘦如柴的小羊羔，讓他放養(yǎng)，說(shuō)如果不把這些羊羔養(yǎng)得膘肥體壯，就把蘇武殺死。

起先，蘇武沒(méi)有吃的就嚼氈毛，掘鼠洞里的草籽，渴了就吃雪，冷了就臥在那些小綿羊身邊取暖，蘇武始終沒(méi)有屈服。當(dāng)時(shí)正是冬天，野地里只有一些剩下的干草根，羊群根本沒(méi)法活下去，眼看著小羊羔一天比一天瘦。

有一天，蘇武困了，剛想躺下來(lái)，發(fā)現(xiàn)身邊多了一只自己從沒(méi)見(jiàn)過(guò)的老綿羊，它滿身的白毛，沒(méi)有一根雜毛，可腦袋卻是黑的。老綿羊伸出舌頭舔了舔蘇武的手，轉(zhuǎn)身就走，蘇武很是奇怪，就在后面跟著，可是怎么也追不上，人快羊也快，人慢羊也慢。到了一塊土坡后面，老綿羊“咩咩”叫著，在原地轉(zhuǎn)了幾圈，不見(jiàn)了。蘇武左找右找，找不著，正納悶，聞見(jiàn)身邊有一股肉香。一回頭，見(jiàn)土坡上擺著烤熟的羊肉和干糧。蘇武忙沖天拜了三拜，知道這是神靈在保佑自己。

這天夜里，下了一宿的小雪。冰雪融化后，地上冒出小草。第二天蘇武醒來(lái)一看，自言自語(yǔ)說(shuō)：“這草要是再長(zhǎng)高一些就好了?！毙〔菹衲苈?tīng)懂話似的，馬上又長(zhǎng)高了好多，方圓幾十里的土地草木茂盛，任羊兒怎么吃也不見(jiàn)少，小羊羔漸漸地肥壯起來(lái)。單于覺(jué)很得奇怪，但沒(méi)一點(diǎn)辦法，就又把蘇武送到更加荒涼的北海邊牧羊。

蘇武走后，這里的羊糞已差不多堆積如山了。后來(lái)到了元朝，有位叫張保安的蒙古族人定居在這兒，開(kāi)始有了人家，把這里稱為“羊糞崗”，成了揚(yáng)芬港的前身。清末，一位叫張大壯的舉人曾在揚(yáng)芬港舊街西頭天齊廟門前立過(guò)一塊石碑，上刻“蘇武牧羊之地”。當(dāng)?shù)厝藗兎昴赀^(guò)節(jié)都要?dú)⒇i宰羊祭拜蘇武。

乾隆年間，乾隆皇帝南巡，乘龍舟游到“羊糞崗”，住在村東頭的行宮里。這里有護(hù)村河環(huán)繞東淀，蘆葦搖曳，荷花盛開(kāi)，十里飄香，花香稻香彌漫在行宮內(nèi)外。乾隆見(jiàn)此情景，稱贊說(shuō)：“好一個(gè)太平昌盛村?！辈](méi)有看到羊糞，覺(jué)得“揚(yáng)芬”倒名副其實(shí)，立刻給這個(gè)村改名“揚(yáng)芬港”。于是“羊糞崗”變成了現(xiàn)在的“揚(yáng)芬港”。