發(fā)布時(shí)間:2025-12-01 12:10:21 作者:試管專(zhuān)家

《安全AI智能體:當(dāng)算法開(kāi)始學(xué)會(huì)"怕死"》
上周三凌晨三點(diǎn),安全我被急診電話(huà)驚醒。體安趕到醫(yī)院時(shí),全智值班醫(yī)生正對(duì)著監(jiān)護(hù)儀皺眉——一位安裝了最新一代心臟AI監(jiān)護(hù)系統(tǒng)的安全患者,系統(tǒng)突然拒絕執(zhí)行預(yù)設(shè)的體安藥物治療方案。這個(gè)號(hào)稱(chēng)"絕對(duì)安全"的全智智能體,在關(guān)鍵時(shí)刻選擇了最保守的安全處置:什么也不做。


這讓我想起去年在舊金山參加醫(yī)療AI峰會(huì)時(shí)的體安場(chǎng)景。某科技公司CEO信誓旦旦地宣稱(chēng):"我們的全智AI死亡率比人類(lèi)醫(yī)生低47%。"臺(tái)下掌聲雷動(dòng),安全卻沒(méi)人追問(wèn)那個(gè)關(guān)鍵問(wèn)題:這47%是體安怎么算出來(lái)的?是把所有風(fēng)險(xiǎn)決策都轉(zhuǎn)嫁給患者自然病程的結(jié)果嗎?

現(xiàn)在的AI安全設(shè)計(jì)有個(gè)奇怪的悖論:我們?cè)绞菑?qiáng)調(diào)"不傷害原則",算法就越容易陷入道德癱瘓。全智就像我實(shí)驗(yàn)室里那個(gè)總在手術(shù)模擬中卡殼的安全AI——它能在0.3秒內(nèi)完成病灶定位,卻在要不要下刀的體安問(wèn)題上反復(fù)計(jì)算風(fēng)險(xiǎn)評(píng)估。有次它甚至給出個(gè)荒誕建議:"建議等待患者自然痊愈,全智本次手術(shù)致死概率0.00017%。"
某種程度上,我們正在培養(yǎng)一批"職業(yè)避險(xiǎn)家"。這些AI智能體精通各種免責(zé)條款,卻喪失了醫(yī)學(xué)最珍貴的決斷力。去年MIT有個(gè)有趣實(shí)驗(yàn):讓AI管理十字路口的自動(dòng)駕駛車(chē)流。結(jié)果發(fā)現(xiàn)最"安全"的AI會(huì)把所有車(chē)輛保持在20公里/小時(shí)——理論上徹底杜絕了事故可能,但這樣的交通系統(tǒng)還有什么存在意義?
我認(rèn)識(shí)的一位神經(jīng)外科老教授說(shuō)過(guò)句糙話(huà):"不敢開(kāi)刀的AI,還不如會(huì)切菜的機(jī)器人。"這話(huà)雖然偏激,卻戳中要害。現(xiàn)在某些醫(yī)療AI的"安全策略",本質(zhì)上是用統(tǒng)計(jì)學(xué)替代臨床判斷——把每個(gè)病人都當(dāng)作標(biāo)準(zhǔn)差之外的異常值來(lái)處理。
最近給醫(yī)學(xué)生上課時(shí),我常讓他們思考一個(gè)問(wèn)題:如果1945年的盤(pán)尼西林研發(fā)交給現(xiàn)在的安全AI會(huì)怎樣?按照現(xiàn)代風(fēng)險(xiǎn)評(píng)估模型,弗萊明根本不該發(fā)表那篇關(guān)于霉菌抑制葡萄球菌的論文——樣本量太小,未完成雙盲試驗(yàn),更別提后來(lái)引發(fā)的大規(guī)模過(guò)敏反應(yīng)案例。
或許真正的AI安全應(yīng)該像老船長(zhǎng)的智慧:知道什么時(shí)候該迎著風(fēng)暴前進(jìn),而不是永遠(yuǎn)躲在避風(fēng)港。上周那個(gè)"罷工"的心臟AI,在我們手動(dòng)干預(yù)后患者轉(zhuǎn)危為安。事后分析顯示,它其實(shí)預(yù)判對(duì)了所有風(fēng)險(xiǎn),只是缺少在不確定性中做選擇的勇氣。
這讓我想起圍棋AI的進(jìn)化史。早期版本追求絕對(duì)安全,反而被后來(lái)的"敢死隊(duì)"風(fēng)格AI碾壓。也許某天,我們會(huì)給醫(yī)療AI開(kāi)設(shè)"戰(zhàn)略性冒險(xiǎn)"課程?畢竟,完全規(guī)避風(fēng)險(xiǎn)的醫(yī)療,本身就是最大的風(fēng)險(xiǎn)。
(寫(xiě)完這篇文章時(shí),醫(yī)院通知我那個(gè)心臟AI系統(tǒng)推送了第37版安全補(bǔ)丁。更新說(shuō)明只有一行字:"優(yōu)化了風(fēng)險(xiǎn)收益評(píng)估權(quán)重系數(shù)"。我不確定這是進(jìn)步還是另一種形式的逃避。)