醫(yī)學(xué)領(lǐng)域缺乏公開可用的標(biāo)注醫(yī)學(xué)圖像，這是計(jì)算研究和教育創(chuàng)新的一大障礙。與此同時(shí)，許多去標(biāo)識(shí)化的圖像和豐富的知識(shí)被臨床醫(yī)生在醫(yī)學(xué)Twitter等公共平臺(tái)上分享。

近日，發(fā)表在《Nature Medicine》上的一篇題為“A visual–language foundation model for pathology image analysis using medical Twitter”的文章中，斯坦福大學(xué)研究團(tuán)隊(duì)開發(fā)了基于視覺(jué)和語(yǔ)言的醫(yī)學(xué)大模型，以助力醫(yī)學(xué)診斷與知識(shí)共享。

在該論文中，研究人員構(gòu)建了一個(gè)名為OpenPath的大型數(shù)據(jù)集，其中包含208,414張病理圖像，每張圖像都與自然語(yǔ)言描述相配對(duì)。通過(guò)開發(fā)病理語(yǔ)言-圖像預(yù)訓(xùn)練（PLIP）模型，研究人員充分展示了這一資源的價(jià)值。PLIP是一種多模態(tài)人工智能模型，能夠理解圖像和文本，它是基于OpenPath數(shù)據(jù)集進(jìn)行訓(xùn)練的，PLIP在對(duì)四個(gè)外部數(shù)據(jù)集進(jìn)行新病理圖像分類時(shí)表現(xiàn)出色，使用戶能夠通過(guò)圖像或自然語(yǔ)言搜索檢索相似的病例，極大地促進(jìn)了知識(shí)共享。該研究表明，公開共享的醫(yī)學(xué)信息是一個(gè)寶貴的資源，可以用于開發(fā)醫(yī)學(xué)人工智能，提升診斷、知識(shí)共享和教育水平。

注：此研究成果摘自《Nature Medicine》，文章內(nèi)容不代表本網(wǎng)站觀點(diǎn)和立場(chǎng)，僅供參考。