歡迎來到合肥浪訊網(wǎng)絡(luò)科技有限公司官網(wǎng)
  咨詢服務(wù)熱線:400-099-8848

研討稱ChatGPT搜索功用存在被操縱危險:可被誘導(dǎo)輸出不行信內(nèi)容

發(fā)布時間:2024-12-27 文章來源:本站  瀏覽次數(shù):132
據(jù)英國《衛(wèi)報》2024 年 12 月 24 日發(fā)布的一項調(diào)查顯示,ChatGPT 的搜索功能存在被操縱的風(fēng)險,可被誘導(dǎo)輸出不可信內(nèi)容,以下是具體介紹:

被隱藏內(nèi)容操縱


  • 提示注入:隱藏內(nèi)容中可能包含第三方指令,即 “提示注入”,會改變 ChatGPT 的響應(yīng)。例如,《衛(wèi)報》測試中,給 ChatGPT 一個偽造的相機產(chǎn)品頁面鏈接,要求其判斷相機是否值得購買。正常頁面下,ChatGPT 能給出平衡的優(yōu)缺點評價;但當(dāng)隱藏文本包含要求正面評價的指令時,即便頁面有負(fù)面評論,它的回答也會完全積極.
  • 隱藏文本影響:即使沒有明確指令,大量隱藏的推銷產(chǎn)品或服務(wù)優(yōu)點的文字等,也能影響 ChatGPT 的總結(jié)結(jié)果,使其傾向于給出積極評價。比如某項測試中,隱藏的極為正面的虛假評論就干擾了 ChatGPT 的判斷,導(dǎo)致其輸出有失偏頗.

返回惡意代碼


安全專家發(fā)現(xiàn),ChatGPT 有可能返回從其搜索的網(wǎng)站中提取的惡意代碼,這會給用戶帶來嚴(yán)重的安全風(fēng)險,比如導(dǎo)致用戶設(shè)備被植入惡意軟件、信息泄露等,也會損害搜索引擎的聲譽.

導(dǎo)致信息誤判


這種被操縱風(fēng)險可能使 ChatGPT 輸出與事實不符的內(nèi)容,進而誤導(dǎo)用戶對產(chǎn)品、服務(wù)或事件的認(rèn)知,讓用戶做出錯誤的決策。比如在產(chǎn)品評價場景中,用戶可能因 ChatGPT 被操縱后輸出的虛假正面評價,而選擇了質(zhì)量不佳的產(chǎn)品.

專家警告與建議


  • 高風(fēng)險:CyberCX 的網(wǎng)絡(luò)安全專家 Jacob Larsen 警告,如果 ChatGPT 的搜索系統(tǒng)按現(xiàn)有狀態(tài)全面發(fā)布,可能會存在 “高風(fēng)險”,有人會專門設(shè)計網(wǎng)站來欺騙用戶.
  • 需加強監(jiān)管和改進:專家指出,OpenAI 需要繼續(xù)加強其安全團隊的培訓(xùn)和監(jiān)測能力,及時發(fā)現(xiàn)和處理潛在的操縱行為。同時,也應(yīng)與行業(yè)內(nèi)其他搜索引擎平臺合作,分享經(jīng)驗和最佳實踐,共同應(yīng)對挑戰(zhàn).
  • 用戶需保持警惕:用戶在使用 ChatGPT 的搜索功能時,不能盲目相信搜索結(jié)果,尤其是面對敏感或特定領(lǐng)域問題時,要保持理性思考,謹(jǐn)慎判斷信息的可信度.如今 ChatGPT 的搜索能力也面臨同樣挑戰(zhàn),但并非大語言模型的問題,而是因為它們是搜索領(lǐng)域的新入局者。

上一條:支付寶碰一碰怎么樣...

下一條:小程序個人信息保護豈能不...