單于派衛(wèi)律審問(wèn)虞常，讓蘇武在旁邊聽著。衛(wèi)律先把虞常定了死罪，殺了；接著，又舉劍威脅張勝，張勝貪生怕死，投降了。

　　衛(wèi)律對(duì)蘇武說(shuō)：“你的副手有罪，你也得連坐。”

　　蘇武說(shuō)：“我既沒有跟他同謀，又不是他的親屬，為什么要連坐？”

　　衛(wèi)律又舉起劍威脅蘇武，蘇武不動(dòng)聲色。衛(wèi)律沒法，只好把舉起的劍放下來(lái)，勸蘇武說(shuō)：“我也是不得已才投降匈奴的，單于待我好，封我為王，給我?guī)兹f(wàn)名的部下和滿山的牛羊，享盡富貴榮華。先生如果能夠投降匈奴，明天也跟我一樣，何必白白送掉性命呢？”

　　蘇武怒氣沖沖地站起來(lái)，說(shuō)：“衛(wèi)律！你是漢人的兒子，做了漢朝的臣下。你忘恩負(fù)義，背叛了父母，背叛了朝廷，厚顏無(wú)恥地做了漢奸，還有什么臉來(lái)和我說(shuō)話。我決不會(huì)投降，怎么逼我也沒有用。”

　　衛(wèi)律碰了一鼻子灰回去，向單于報(bào)告。單于把蘇武關(guān)在地窖里，不給他吃的喝的，想用長(zhǎng)期折磨的辦法，逼他屈服。

　　這時(shí)候正是入冬天氣，外面下著鵝毛大雪。蘇武忍饑挨餓，渴了，就捧了一把雪止渴；餓了，扯了一些皮帶、羊皮片啃著充饑。過(guò)了幾天，居然沒有餓死。

　　單于見折磨他沒用，把他送到北海（今貝加爾湖）邊去放羊，跟他的部下常惠分隔開來(lái)，不許他們通消息，還對(duì)蘇武說(shuō)：“等公羊生了小羊，才放你回去。”公羊怎么會(huì)生小羊呢，這不過(guò)是說(shuō)要長(zhǎng)期監(jiān)禁他罷了。

　　蘇武到了北海，旁邊什么人都沒有，唯一和他作伴的是那根代表朝廷的旌節(jié)。匈奴不給口糧，他就掘野鼠洞里的草根充饑。日子一久，旌節(jié)上的穗子全掉了。

　　一直到了公元前８５年，匈奴的單于死了，匈奴發(fā)生內(nèi)亂，分成了三個(gè)國(guó)家。新單于沒有力量再跟漢朝打仗，又打發(fā)使者來(lái)求和。那時(shí)候，漢武帝已死去，他的兒子漢昭帝即位。漢昭帝派使者到匈奴去，要單于放回蘇武，匈奴謊說(shuō)蘇武已經(jīng)死了。使者信以為真，就沒有再提。

　　第二次，漢使者又到匈奴去，蘇武的隨從常惠還在匈奴。他買通匈奴人，私下和漢使者見面，把蘇武在北海牧羊的情況告訴了使者。使者見了單于，嚴(yán)厲責(zé)備他說(shuō)：“匈奴既然存心同漢朝和好，不應(yīng)該欺騙漢朝。我們皇上在御花園射下一只大雁，雁腳上拴著一條綢子，上面寫著蘇武還活著，你怎么說(shuō)他死了呢？”

　　單于聽了，嚇了一大跳。他還以為真的是蘇武的忠義感動(dòng)了飛鳥，連大雁也替他送消息呢。他向使者道歉說(shuō)：“蘇武確實(shí)是活著，我們把他放回去就是了。”

　　蘇武出使的時(shí)候，才四十歲。在匈奴受了十九年的折磨，胡須、頭發(fā)全白了。回到長(zhǎng)安的那天，長(zhǎng)安的人民都出來(lái)迎接他。他們瞧見白胡須、白頭發(fā)的蘇武手里拿著光桿子的旌節(jié)，沒有一個(gè)不受感動(dòng)的，說(shuō)他真是個(gè)有氣節(jié)的大丈夫。