[每日中文朗读] LLM 的“母语”是什么?

要約

英語を中心としたコーパスで訓練された多言語LLMは、内部言語として英語を使用している可能性がある。

LLMの動作メカニズムを理解するために、EPFLの研究者らはLlama 2を対象に実験を行った。

実験の結果、Llama 2内部の「共通語」は英語ではなく、概念であることが判明した。しかし、これらの謎の文字は明らかに英語に偏った概念である。
原文: 新浪 IT之家 新智元 2024/6/3 7
llama2

本文(ピンイン)

【新[xīn]智[zhì]元[yuán]导[dǎo]读[dú]】在[zài]以[yǐ]英[yīng]语[yǔ]为[wéi]主[zhǔ]的[de]语[yǔ]料[liào]库[kù]上[shàng]训[xùn]练[liàn]的[de]多[duō]语[yǔ]言[yán] LLM,是[shì]否[fǒu]使[shǐ]用[yòng]英[yīng]语[yǔ]作[zuò]为[wéi]内[nèi]部[bù]语[yǔ]言[yán]?对[duì]此[cǐ],来[lái]自[zì] EPFL 的[de]研[yán]究[jiū]人[rén]员[yuán]针[zhēn]对[duì] Llama 2 家[jiā]族[zú]进[jìn]行[xíng]了[le]一[yī]系[xì]列[liè]实[shí]验[yàn]。

大[dà]语[yǔ]言[yán]模[mó]型[xíng]的[de]「母[mǔ]语[yǔ]」是[shì]什[shén]么[me]?

我[wǒ]们[men]的[de]第[dì]一[yī]反[fǎn]应[yìng]很[hěn]可[kě]能[néng]是[shì]:英[yīng]语[yǔ]。

但[dàn]事[shì]实[shí]果[guǒ]真[zhēn]如[rú]此[cǐ]吗[ma]?尤[yóu]其[qí]是[shì]对[duì]于[yú]能[néng]够[gòu]听[tīng]说[shuō]读[dú]写[xiě]多[duō]种[zhǒng]语[yǔ]言[yán]的[de] LLM 来[lái]说[shuō]。

对[duì]此[cǐ],来[lái]自[zì] EPFL(洛[luò]桑[sāng]联[lián]邦[bāng]理[lǐ]工[gōng]学[xué]院[yuàn])的[de]研[yán]究[jiū]人[rén]员[yuán]发[fā]表[biǎo]了[le]下[xià]面[miàn]这[zhè]篇[piān]工[gōng]作[zuò]来[lái]一[yī]探[tàn]究[jiū]竟[jìng]:


论[lùn]文[wén]地[dì]址[zhǐ]:https://arxiv.org/ pdf / 2402.10588

项[xiàng]目[mù]地[dì]址[zhǐ]:https://github.com/ epfl–dlab / llm–latent–language

作[zuò]者[zhě]以[yǐ] Llama2 为[wèi]对[duì]象[xiàng],向[xiàng]我[wǒ]们[men]展[zhǎn]示[shì]了[le]具[jù]有[yǒu]多[duō]语[yǔ]言[yán]能[néng]力[lì]的[de] Transformer,是[shì]如[rú]何[hé]思[sī]考[kǎo]问[wèn]题[tí]的[de]。

像[xiàng]「羊[yáng]驼[tuó]」这[zhè]种[zhǒng]在[zài]英[yīng]语[yǔ]区[qū]下[xià]长[zhǎng]大[dà]的[de]娃[wá],他[tā]的[de]「多[duō]语[yǔ]言[yán]」到[dào]底[dǐ]是[shì]本[běn]质[zhí]属[shǔ]性[xìng],还[hái]是[shì]仅[jǐn]仅[jǐn]套[tào]了[le]个[gè]翻[fān]译[yì]的[de]壳[ké]?

这[zhè]对[duì]于[yú]人[rén]们[men]理[lǐ]解[jiě] LLM 的[de]运[yùn]行[xíng]机[jī]制[zhì]至[zhì]关[guān]重[zhòng]要[yào]。


要[yào]探[tàn]究[jiū]大[dà]模[mó]型[xíng]的[de]内[nèi]心[xīn]世[shì]界[jiè],虽[suī]然[rán]听[tīng]起[qǐ]来[lái]有[yǒu]点[diǎn]复[fù]杂[zá],但[dàn]实[shí]际[jì]上[shang]一[yì]点[diǎn]也[yě]不[bù]简[jiǎn]单[dān]。

研[yán]究[jiū]人[rén]员[yuán]在[zài]这[zhè]里[lǐ]化[huà]繁[fán]为[wèi]简[jiǎn],使[shǐ]用[yòng]特[tè]定[dìng]的[de]提[tí]示[shì]来[lái]保[bǎo]证[zhèng]输[shū]出[chū]的[de]唯[wéi]一[yī]性[xìng],同[tóng]时[shí]把[bǎ] Llama–2–7B 的[de] 32 层[céng]输[shū]出[chū]全[quán]部[bù]提[tí]取[qǔ]出[chū]来[lái] —— 一[yī]层[céng]一[yī]层[céng]一[yī]层[céng]地[dì]剥[bō]开[kāi]她[tā]的[de]心[xīn]。


于[yú]是[shì],我[wǒ]们[men]能[néng]在[zài]上[shàng]图[tú]清[qīng]楚[chǔ]地[dì]看[kàn]到[dào],羊[yáng]驼[tuó]在[zài]得[dé]到[dào]中[zhōng]文[wén]翻[fān]译[yì](「花[huā]」)时[shí]的[de]整[zhěng]个[gè]推[tuī]理[lǐ]过[guò]程[chéng]。

Transformer 将[jiāng]输[shū]入[rù] token 进[jìn]行[xíng]逐[zhú]层[céng]映[yìng]射[shè],最[zuì]终[zhōng]预[yù]测[cè]出[chū]下[xià]一[yī]个[ge] token,中[zhōng]间[jiān]那[nèi]些[xiē]我[wǒ]们[men]大[dà]概[gài]能[néng]理[lǐ]解[jiě]或[huò]者[zhě]不[bù]能[néng]理[lǐ]解[jiě]的[de]字[zì]符[fú]串[chuàn],就[jiù]是[shì] LLM 使[shǐ]用[yòng]的[de]「内[nèi]部[bù]语[yǔ]言[yán]」。

显[xiǎn]然[rán],在[zài]中[zhōng]间[jiān]层[céng]的[de]「思[sī]考[kǎo]」环[huán]节[jié],羊[yáng]驼[tuó]用[yòng]的[de]是[shì]偏[piān]向[xiàng]于[yú]英[yīng]语[yǔ]的[de]某[mǒu]种[zhǒng]神[shén]秘[mì]文[wén]字[zì]。这[zhè]里[lǐ]需[xū]要[yào]强[qiáng]调[diào]一[yī]下[xià],这[zhè]是[shì]羊[yáng]驼[tuó]的[de]自[zì]发[fā]行[xíng]为[wéi],因[yīn]为[wèi]提[tí]示[shì]中[zhōng]压[yà]根[gēn]就[jiù]没[méi]有[yǒu]一[yì]点[diǎn]英[yīng]语[yǔ]!


比[bǐ]如[rú]上[shàng]图[tú]是[shì]其[qí]中[zhōng]的[de]一[yí]个[gè]实[shí]验[yàn],构[gòu]建[jiàn]了[le]法[fǎ]语[yǔ]翻[fān]译[yì]中[zhōng]文[wén]的[de]提[tí]示[shì],且[qiě]限[xiàn]制[zhì]了[le]正[zhèng]确[què]答[dá]案[àn]只[zhǐ]需[xū] 1 个[gè] token(花[huā])。

而[ér]下[xià]图[tú]的[de]统[tǒng]计[jì]显[xiǎn]示[shì]:在[zài] Llama2 的[de]大[dà]部[bù]分[fèn]前[qián]向[xiàng]传[chuán]递[dì]中[zhōng],正[zhèng]确[què]中[zhōng]文[wén] token(蓝[lán]色[sè])的[de]概[gài]率[lǜ]远[yuǎn]低[dī]于[yú]英[yīng]文[wén]翻[fān]译[yì](橙[chéng]色[sè])的[de]概[gài]率[lǜ]。中[zhōng]文[wén]只[zhī]在[zài]最[zuì]后[hòu]两[liǎng]层[céng]中[zhōng]占[zhàn]据[jù]主[zhǔ]导[dǎo]地[dì]位[wèi]。


为[wèi]了[le]方[fāng]便[biàn]大[dà]家[jiā]观[guān]察[chá],作[zuò]者[zhě]还[hái]将[jiāng]嵌[qiàn]入[rù]在[zài]高[gāo]维[wéi]空[kōng]间[jiān]中[zhōng]的[de]路[lù]径[jìng]的[de]可[kě]视[shì]化[huà](实[shí]际[jì]是[shì] 8192 个[gè]维[wéi]度[dù],这[zhè]里[lǐ]使[shǐ]用[yòng] 2D 展[zhǎn]示[shì])。

从[cóng]输[shū]入[rù]到[dào]输[shū]出[chū],轨[guǐ]迹[jī]以[yǐ]红[hóng]色[sè]开[kāi]始[shǐ],以[yǐ]紫[zǐ]色[sè]结[jié]束[shù]。我[wǒ]们[men]可[kě]以[yǐ]看[kàn]到[dào],这[zhè]些[xiē]路[lù]径[jìng]基[jī]本[běn]都[dōu]是[shì]先[xiān]绕[rào]道[dào]英[yīng]语[yǔ],然[rán]后[hòu]才[cái]返[fǎn]回[huí]正[zhèng]确[què]的[de]中[zhōng]文[wén]。


不[bù]过[guò],这[zhè]是[shì]否[fǒu]确[què]实[shí]表[biǎo]明[míng] Llama2 先[xiān]用[yòng]英[yīng]文[wén]进[jìn]行[xíng]推[tuī]理[lǐ],然[rán]后[hòu]将[jiāng]再[zài]其[qí]翻[fān]译[yì]成[chéng]中[zhōng]文[wén]?

作[zuò]者[zhě]表[biǎo]示[shì],比[bǐ]这[zhè]更[gèng]微[wēi]妙[miào]一[yì]点[diǎn]。那[nèi]些[xiē]看[kàn]起[qǐ]来[lái]像[xiàng]英[yīng]语[yǔ]的[de]中[zhōng]间[jiān]嵌[qiàn]入[rù]实[shí]际[jì]上[shang]对[duì]应[yìng]于[yú]抽[chōu]象[xiàng]概[gài]念[niàn],而[ér]不[bú]是[shì]具[jù]体[tǐ]的[de]英[yīng]文[wén] token。

所[suǒ]以[yǐ],一[yī]方[fāng]面[miàn],Llama2 内[nèi]部[bù]的[de]「通[tōng]用[yòng]语[yǔ]」不[bú]是[shì]英[yīng]语[yǔ],而[ér]是[shì]概[gài]念[niàn];但[dàn]另[lìng]一[yī]方[fāng]面[miàn],这[zhè]些[xiē]神[shén]秘[mì]字[zì]符[fú]又[yòu]显[xiǎn]然[rán]是[shì]偏[piān]向[xiàng]于[yú]英[yīng]语[yǔ]的[de]概[gài]念[niàn]。

因[yīn]此[cǐ],在[zài]语[yǔ]义[yì]上[shàng],而[ér]非[fēi]纯[chún]粹[cuì]的[de]词[cí]汇[huì]意[yì]义[yì]上[shàng],英[yīng]语[yǔ]确[què]实[shí]可[kě]以[yǐ]被[bèi]视[shì]为[wéi]羊[yáng]驼[tuó]的[de]「母[mǔ]语[yǔ]」。

网[wǎng]友[yǒu]:我[wǒ]早[zǎo]就[jiù]发[fā]现[xiàn]了[le]

有[yǒu]网[wǎng]友[yǒu]表[biǎo]示[shì]:恕[shù]我[wǒ]直[zhí]言[yán],不[bù]仅[jǐn]仅[jǐn]是[shì]羊[yáng]驼[tuó]系[xì]列[liè],基[jī]本[běn]上[shàng]所[suǒ]有[yǒu] LLM 都[dōu]是[shì]这[zhè]样[yàng]。


「对[duì]于[yú]以[yǐ]英[yīng]语[yǔ]为[wèi]母[mǔ]语[yǔ]的[de]人[rén]来[lái]说[shuō],这[zhè]可[kě]能[néng]会[huì]令[lìng]人[rén]惊[jīng]讶[yà],但[dàn]对[duì]于[yú]其[qí]他[tā]人[rén]来[lái]说[shuō],这[zhè]种[zhǒng]倾[qīng]向[xiàng]性[xìng]是[shì]可[kě]见[jiàn]的[de],只[zhǐ]不[bù]过[guò]有[yǒu]时[shí]多[duō],有[yǒu]时[shí]少[shǎo]。」

「有[yǒu]时[shí]我[wǒ]会[huì]想[xiǎng] LLM 为[wèi]什[shí]么[me]要[yào]这[zhè]样[yàng]回[huí]答[dá],然[rán]后[hòu]我[wǒ]意[yì]识[shí]到[dào]这[zhè]个[gè]答[dá]案[àn]在[zài]英[yīng]语[yǔ]中[zhōng]更[gèng]有[yǒu]意[yì]义[yì]。」

「这[zhè]在[zài]诗[shī]歌[gē]中[zhōng]更[gèng]是[shì]显[xiǎn]而[ér]易[yì]见[jiàn]的[de]。LLM 写[xiě]诗[shī]很[hěn]漂[piào]亮[liàng],但[dàn]通[tōng]常[cháng]没[méi]有[yǒu]押[yā]韵[yùn] —— 如[rú]果[guǒ]你[nǐ]把[bǎ]它[tā]翻[fān]译[yì]成[chéng]英[yīng]语[yǔ],就[jiù]押[yā]韵[yùn]了[le]。」

另[lìng]一[yī]位[wèi]网[wǎng]友[yǒu]表[biǎo]示[shì],这[zhè]是[shì]大[dà]模[mó]型[xíng]带[dài]来[lái]的[de]偏[piān]见[jiàn],要[yào]小[xiǎo]心[xīn]了[le]。


「英[yīng]语[yǔ]和[hé]中[zhōng]文[wén]最[zuì]终[zhōng]将[jiāng]成[chéng]为[wéi] LLM 提[tí]示[shì]和[hé]输[shū]出[chū]的[de]最[zuì]佳[jiā]语[yǔ]言[yán],而[ér]随[suí]着[zhe] LLM 的[de]应[yìng]用[yòng]范[fàn]围[wéi]越[yuè]来[lái]越[yuè]广[guǎng]泛[fàn],世[shì]界[jiè]其[qí]他[tā]语[yǔ]言[yán]将[jiāng]更[gèng]加[jiā]边[biān]缘[yuán]化[huà]。」

模[mó]型[xíng]表[biǎo]达[dá]空[kōng]间[jiān]的[de]探[tàn]索[suǒ]

当[dāng]嵌[qiàn]入[rù]逐[zhú]层[céng]转[zhuǎn]换[huàn]时[shí],它[tā]们[men]会[huì]经[jīng]历[lì] 3 个[gè]阶[jiē]段[duàn]:

1. 输[shū]入[rù]空[kōng]间[jiān]:模[mó]型[xíng]消[xiāo]除[chú]分[fēn]词[cí]器[qì]带[dài]来[lái]的[de]影[yǐng]响[xiǎng]。

2. 概[gài]念[niàn]空[kōng]间[jiān]:嵌[qiàn]入[rù]进[jìn]入[rù]一[yí]个[gè]抽[chōu]象[xiàng]的[de]概[gài]念[niàn]空[kōng]间[jiān]中[zhōng]。

3. 输[shū]出[chū]空[kōng]间[jiān]:概[gài]念[niàn]被[bèi]映[yìng]射[shè]回[huí]原[yuán]本[běn]的[de]表[biǎo]达[dá]形[xíng]式[shì]。


模[mó]型[xíng]

实[shí]验[yàn]专[zhuān]注[zhù]于[yú] Llama–2 系[xì]列[liè]语[yǔ]言[yán]模[mó]型[xíng]。Llama–2 系[xì]列[liè]模[mó]型[xíng]在[zài]多[duō]语[yǔ]言[yán]语[yǔ]料[liào]库[kù]上[shàng]进[jìn]行[xíng]训[xùn]练[liàn],语[yǔ]料[liào]库[kù]主[zhǔ]要[yào]由[yóu]英[yīng]语[yǔ]主[zhǔ]导[dǎo](占[zhàn] 89.70%)。

不[bù]过[guò]考[kǎo]虑[lǜ]到[dào]总[zǒng]体[tǐ]训[xùn]练[liàn]数[shù]据[jù]的[de]大[dà]小[xiǎo](2 万[wàn]亿[yì]个[gè] token),即[jí]...

単語(ピンイン)

研[yán]究[jiū]人[rén]员[yuán]research worker
一[yī]系[xì]列[liè]a series ofa range ofrangesequencesuccessionstringroundbatteryconstellationtailparade
语[yǔ]言[yán]模[mó]型[xíng]language model
我[wǒ]们[men]的[de]ours
很[hěn]可[kě]能[néng]like as notbe likely towelleasilypresumablyvery likelyinclinedin all probability
尤[yóu]其[qí]是[shì]in especialin particularnotablyabove allthe more somost of allto crown all
多[duō]种[zhǒng]语[yǔ]言[yán]multilingualMultilingualismMultiple languagesmultilanguage
洛[luò]桑[sāng]LausanneRothamstedEHLLausaneLaussane
理[lǐ]工[gōng]学[xué]院[yuàn]institute of technologypolytechniccollege of science and engineeringpoly
语[yǔ]言[yán]能[néng]力[lì]Language abilitylinguistic competence

中国語

Posted by revolution-x