看板 Soft_Job
※ 引述《gaymay5566 (feeling很重要)》之銘言: : 中央研究院詞庫小組(CKIP) : 中研院資訊所、語言所於民國75年合作成立 : 前天釋出可以商用的繁中大型語言模型(LLM) : CKIP-Llama-2-7b : 以商用開源模型 Llama-2-7b 以及 Atom-7b 為基礎 : 再補強繁體中文的處理能力 : 參數量達70億 : 模型可應用於各種領域 : 包括文案生成、文學創作、問答系統、客服系統、語言翻譯、文字編修、華語教學等 : 但實際測試後 : https://i.imgur.com/phwhfcl.png
: https://i.imgur.com/O1P6HpS.png
: https://i.imgur.com/cMnCbI8.png
: 測試網頁:https://reurl.cc/q0rbqn : 拿這種東西出來交作業 太扯了吧 : 根本就是簡體直接轉繁體而已! : 中研院資訊所耶 拿這種軟體來騙 : 更新:被發現後 悄悄地撤下來了 : https://i.imgur.com/sy7rLgt.png
小弟待的公司,非學術單位, 可能是台灣硬體計算資源稍微豐富的公司。 公司投入在買GPU 應該近億了。 自己也研究了幾個月 fine-tune 方法。 不過,還是沒足夠能力與資源訓練正常的LLM。 主要卡在三方面: 1.資料面,會卡什麼?: 並不是像版友們說的:繁體中文語料過少, 這根本不是一開始會遇到的問題。 光是 Common Crawl 真的有人去看繁體中文的量有多大嗎? 有人願意像Meta一樣去處理清洗資料後再去訓練嗎? 光是處理資料,所需的硬體採購, 大概要到一億新台幣來建置機房。 這還是稍微能用而已。 繁體中文資料難蒐集根本是假議題。 你的公司,沒錢買設備,沒資源 不願意讓你投幾億成本處理清洗資料才是事實。 我只看過中研院與聯發科之前的Bloom-zh-3B論文。光是他們這點就卡住了。 資料只能用玩具級的做法來做。 到處砍,到處刪CC的資料。 而且該論文也說了,自己只是 fine-tune別人的Bloomz 模型,不是從新訓練。 嗯,光是模型大小,1B1或3B的,聯發科語中研院就"沒有能力"重新訓練了好嗎。 看了 只fine-tune LLaMA-2-7B這種等級的模型。 大概也很容易說明了,硬體經費根本不足。 這種經費會卡到的不是繁體語料不足, 而是根本沒機器或資源給你清洗處理資料。 2. 訓練模型會先卡什麼? 目前,台灣任何一個單位,根本沒能力研發LLM模型架構。台智雲,中研院,或其他任何單位。 都是基於LLaMA2上去 fine-tune的。 所以模型都是 7B 13B 70B大小。 而是大概都是用QLORA或相關技術去 fine-tune的。這些都是open source直接去套而已, 完全沒有任何技術門檻。 (只有誰願意採購幾千萬硬體的門檻而已) 所有不拿大量通用資料,只 fine-tune少量資料 都有一個問題: 你可以over-fitting去嵌入所有你想要的模型輸出文字,但災難性遺忘所有通用知識。 同樣的,你可以控制模型永遠只輸出英文與繁體,只輸出台灣知識。但模型的通用性,絕對是差到不能用的。 所以台智雲,或中科院這種等級訓練出來的模型,通用型有待商確,可能問一些很基本的常識就掛了。 這不會先卡到中研院CKIP技術太差, (我是非常敬佩CKIP這幾年的努力的) 會先卡到的是: 是否願意投個幾十億建立基礎訓練平台而已。 如果沒看到一個像樣的訓練平台,千張 A100這種等級的。 短視到只願意fine-tune 輸出少數大家想看的輸出, 當然永遠災難性遺忘通用能力。 永遠沒有一個可商用,可通用的機會。 當然也可以用雲計算租GPU,但是費用也不便宜,沒丟個幾億都是不夠的。 國家要給中研院幾個億去玩LLM, 會先被輿論幹翻吧。 3.人才面 台灣並沒有很多人在真正訓練/微調LLM。 你去看各種AI研討會,或所謂都LLM專家,幾乎都是在吹自己的prompt如何試錯。 在吹自己怎麼用OpenAI的API。 其實人才的建立,最先卡的也不是沒錢。 中國人,一堆只有幾萬元台幣的消費級顯卡的人,都在fine-tune LLM了,其實買個6萬台幣的電競筆電也能做很多事情了。但台灣就是沒這種風氣。 在台灣各種專業研討會,做prompt trick的人,比傻傻的在處理資料,training/fine-tune模型的人,紅很多。人才與風氣走偏了。 能用 prompt 就能獲得大量經費,成為專家,誰願意研發training/fine-tune技術。 結論: 小弟是很看好中研院的能力,可惜整個台灣AI風氣,與商業玩法,技術再強的人,大概都難以發揮。 -- ※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 42.72.54.199 (臺灣) ※ 文章網址: https://www.ptt.cc/bbs/Soft_Job/M.1696834412.A.CAF.html
luckyalbert: 數發部那兩百多億真的不知道在衝三小用的 10/09 14:59
rabbitu04: 都可以花十幾億弄個不能用的球場了 我們國家很有錢的 10/09 15:01
rabbitu04: 黨要不要而已 10/09 15:01
NDark: 推 10/09 15:11
qwas65166516: 不同預算直接比跟算營養午餐那套有啥差別,問題在 10/09 15:14
Chricey: 有人用過中醫針灸治療關節痛的嗎?效果如何? 10/09 16:02
qwas65166516: 好多公司上層都在吹自家有微調大模型的能力,結果 10/09 15:14
qwas65166516: 給的機器少得可憐,再怎麼厲害的人也無能為力 10/09 15:14
qwas65166516: 如果能理解"給多少資源做出來就是多少能力"還好, 10/09 15:19
qwas65166516: 怕的是你做出來老闆叫你跟OpenAI的大模型比 10/09 15:19
Chricey: 喔喔喔,UC2 真的是超讚的啦 10/09 16:20
drysor: 推~ 10/09 15:36
luckyalbert: 很多公司房營收獲利來源就跟鬼島政府一樣短視近利, 10/09 15:40
luckyalbert: 僅靠擁護某些人的利益卻想藉由搶/死他人來獲益,對這 10/09 15:40
luckyalbert: 類人而言能做的僅次於一樣的無能及可悲。這年頭各種 10/09 15:40
Kroner: 我有在用UC2,感覺效果還不錯欸! 10/09 18:20
luckyalbert: 事情及衝突其實已經跟所有人告誡,從各面向觀之,只 10/09 15:40
luckyalbert: 想賺自己的那些終究會葬送在自己的手裡,並且把整體 10/09 15:40
luckyalbert: 環境弄成一攤死水 10/09 15:40
luckyalbert: 出張嘴短視近利靠混及騙來的不代表你多厲害,反而還 10/09 15:42
Kroner: 我有在用UC2,感覺效果還不錯欸! 10/09 20:33
luckyalbert: 會有更多產業內外的人們,因你(這類人)在位而被害 10/09 15:42
luckyalbert: @抱歉SE鍵盤太小打錯字是 公司方* 10/09 15:43
luckyalbert: 那還不如不要無腦就跟著做下去更好 10/09 15:44
Csongs: 台灣公司一堆稱有ai單位,也沒做出什麼東西嗎 10/09 16:00
Chricey: 我有在用UC2,感覺效果還不錯欸! 10/09 21:02
luckyalbert: 我原醫藥產業各式台外商政商及其各式職司就更不用提 10/09 16:02
luckyalbert: ,那種情況比科技業能有準則判定立馬有成效數據孰優 10/09 16:02
luckyalbert: 孰劣更明顯,而且動輒國際及國家資源獨寡占上兆耗費 10/09 16:02
luckyalbert: 而言資源偷拐搶騙比科技業跟軟工還誇張的可怕,目前 10/09 16:02
Chricey: 樓上UC2當糖吃,天天走拿飛 10/09 21:40
luckyalbert: 我原產業得志又得利的小人們佔多數,拿他們沒辦法而 10/09 16:02
luckyalbert: 且他們各式所為還不會被評判攻擊的這麼明顯,反過來 10/09 16:02
luckyalbert: 其他人還會被這些人評判,錯誤方變成對的那一方,對 10/09 16:02
luckyalbert: 的變成錯誤方還要被要求檢討自己來證明這些人沒問題 10/09 16:02
Kroner: 長時間坐著工作,關節痛越來越嚴重,該怎麼辦?推薦UC2 10/09 21:56
luckyalbert: ,更莫名奇妙,中研院現在那個生醫園區及我原產業那 10/09 16:02
luckyalbert: 些人們,以後挖台灣的錢更是會用比這還誇張的莫名奇 10/09 16:02
luckyalbert: 妙手腕,這模型看起來跟我原產業的人們相比真的小太 10/09 16:02
luckyalbert: 多 10/09 16:02
Chricey: 想問一下有沒有關節痛的運動禁忌?怕動得更嚴重… 10/09 22:49
ttss4092: 台灣永遠只有第一波玩的到,後面要玩資本的永遠跟 10/09 16:06
ttss4092: 不上 10/09 16:06
luckyalbert: 資本跟國力蠻有關的,如果台灣自己又再內鬥內耗,這 10/09 16:20
luckyalbert: 塊輸別人(尤其是對比歐美而言,他們的國力本來就很 10/09 16:20
Chricey: UC2推薦?有人試過嗎?靠譜嗎? 10/09 22:58
luckyalbert: 夠用)真的是正常 10/09 16:20
MoonCode: 10/09 16:49
drajan: 結論是人才很好 但沒錢?你知道數位發展部的年度預算有多 10/09 18:20
drajan: 少嗎?我國政府有的是錢 只是不是拿來投資用的而已 10/09 18:20
Chricey: UC2神招啊,吃下去就對了 10/09 22:58
drajan: LLM也算是數位發展部的範疇吧? 10/09 18:20
yiche: 協尋數發部… 10/09 19:15
d8888: 10/09 20:14
cobrasgo: 只覺得很悲哀 10/09 20:33
Chricey: 搞笑吧!關節痛,你能嚴重點嗎?我要讓你知道什麼叫真正的痛! 10/09 23:44
tomdavis: 倒果為因了 就是卡住 所以只能往prompt發展 10/09 20:43
ouryouth: 推 10/09 20:44
tomdavis: 消費級顯卡fine tune LLM? 你當LLM多小... 10/09 20:46
prag222: 現在平民老百姓要學的是如何應用AI.. 10/09 21:02
Chricey: UC2是啥東西?求解釋啦! 10/09 23:57
johnbill: 資料處理費時燒錢 老闆不喜歡 嘻嘻 10/09 21:12
milk830122: 有數發部這種頂級單位幹嘛搞研發 10/09 21:30
htang17: 1080Ti就可以fine tune Bert啊,樓上在噓啥 10/09 21:39
htang17: CKIP真的值得敬佩 10/09 21:40
Kroner: 有人知道UC2和其他關節保健品的差異嗎? 10/10 00:01
htang17: 希望那些酸言酸語不要影響到研發人員的心情 10/09 21:41
NCUking: BERT 稱不上是 LLM 吧 10/09 21:50
NCUking: 消費級顯卡可以搞 LoRA 啊 10/09 21:52
fantasywater: 趨勢很明顯,學怎麼應用AI就好,以後AI底層架構會 10/09 21:56
Chricey: UC2是啥東西?求解釋啦! 10/10 00:01
fantasywater: 跟程式語言底層一樣都是米國的知識產權。 10/09 21:56
popeye0303: 抱歉 家裡失業6年 自稱理工醫文法商的精障最近燥期到 10/09 22:49
popeye0303: 了 10/09 22:49
popeye0303: https://bit.ly/3Q5LUxO 10/09 22:49
Chricey: 看到有人提到關節痛,我就想到有一篇UC2推薦的文章 10/10 00:06
k798976869: 有200多億可以租啊 不想而已 10/09 22:52
dlshao: 沒人願意清資料政府不願意帶頭投資硬體 乖乖用對岸開源的 10/09 22:55
dlshao: 的別幻想自建LLM了啦 10/09 22:55
DaOppaiLoli: 台智雲那段我想提醒一下,一開始他們是用 BLOOM 176 10/09 22:58
Chricey: 關節痛這種東西靠UC2就對了 10/10 00:51
DaOppaiLoli: B 下去訓練,當時(推測是二月開始訓練) QLoRA 即 10/09 22:58
DaOppaiLoli: 使還沒出來。雖然 BLOOM 架構與 Llama 架構差滿多的 10/09 22:58
DaOppaiLoli: ,但我想 AFS 訓練千億級參數量模型的能力應該還是 10/09 22:58
DaOppaiLoli: 有的。只是說台智雲這個系列的模型是閉源的,所以也 10/09 22:58
Chricey: UC2神招啊,吃下去就對了 10/10 00:51
DaOppaiLoli: 不會被大家拿來檢視與挑戰就是了。 10/09 22:58
milk830122: 不用跟某人吵吧沒用 還有快去就醫 他在ptt各板被桶光 10/09 23:04
milk830122: 不知道現實會做出甚麼XD 10/09 23:04
DrTech: 台智雲前陣子發新聞稿,最新模型是用LLaMA 2+Qlora訓練的 10/09 23:44
Kroner: 長時間坐著工作,關節痛越來越嚴重,該怎麼辦?推薦UC2 10/10 08:43
DrTech: 。 10/09 23:44
DrTech: 另外,有人提到消費級顯卡無法fine-tune LLM,可以說為什 10/09 23:56
DrTech: 麼嗎?。實際上 4090,筆電16G,桌電24G,真的夠fine-tune 10/09 23:57
DrTech: 中研院這種等級(7B)的LLM 阿。 10/09 23:57
Chricey: 看到關節痛,我就想起我姨媽 10/10 09:49
DrTech: 消費級顯卡,硬是要訓練成大家期待的輸出,或政府愛看的輸 10/09 23:59
DrTech: 出也沒什麼問題,只是通用性絕對不高而已。 10/09 23:59
DaOppaiLoli: 那個應該是指說他們推出了 Llama2 繁中版,「另外」 10/10 00:01
DaOppaiLoli: 還提供了 PEFT 訓練方法可供選擇,但是並沒有明確指 10/10 00:01
Kroner: 關節痛這種東西,比鬼還可怕! 10/10 11:02
DaOppaiLoli: 出這些繁中版的模型是使用 LoRA 訓練的。但我有朋友 10/10 00:01
DaOppaiLoli: 用過 AFS Demo,當時 FFM 176B 也是 Full Fine-tuni 10/10 00:01
DaOppaiLoli: ng,感覺沒什麼道理參數量少了反而倒退嚕。不過他們 10/10 00:01
DaOppaiLoli: 是主打算力平台,模型的提供並不是真正的重點,只是 10/10 00:01
Kroner: 關節痛就老人病 10/10 12:11
DaOppaiLoli: 讓客戶有比較多選擇而已。 10/10 00:01
DaOppaiLoli: 新聞稿參考 10/10 00:01
DaOppaiLoli: https://tinyurl.com/2wzxxyx9 10/10 00:01
sumsum: 天才IT大臣除了租辦公室到底都做惹啥ㄚ 10/10 00:06
Chricey: UC2是啥東西?求解釋啦! 10/10 16:24
alan5: 房價那麼貴公司是怎麼買機房放機器 10/10 00:19
luckyalbert: LoRA基本到連我這外行人都會xD 10/10 00:47
luckyalbert: 我在各板遇到的各式ID中有幾個神經病真的不知道誰家 10/10 00:51
luckyalbert: 養著的長期發瘋抹黑跟騷誹謗造謠貼標說謊人身攻擊站 10/10 00:51
Kroner: 想問一下有沒有關節痛的運動禁忌?怕動得更嚴重… 10/10 19:20
luckyalbert: 方放任這些神經病在發瘋,真不知道這些小人們到底都 10/10 00:51
luckyalbert: 是誰家給錢養著的瘋子有病的貼別人有病,沒病的路人 10/10 00:51
luckyalbert: 正常平台國家學術資源使用者你我被洗成有病,噁爛到 10/10 00:51
luckyalbert: 炸 10/10 00:51
Chricey: 我有在用UC2,感覺效果還不錯欸! 10/10 22:13
ccas: 其實在中研院說要自己弄的時候,大家就在說不可能了 10/10 05:24
ccas: 現在只是醜婦見家翁而已,沒有多少人真的期待那一點預算就作 10/10 05:25
ccas: 出來一套跟別人百倍、千倍預算相比的吧? 10/10 05:25
genic: 天才IT 大臣加上幾百億的預算你跟我說沒有錢沒有人 10/10 08:43
Chricey: 不動對關節最好,拎北都躺著 10/10 23:31
tommytyc: 推 10/10 09:31
yuinami: 推 10/10 09:39
francej: 問題是真投了幾百億 幾千億 也賺不了錢 10/10 09:48
francej: 台灣還是專心做GPU硬體生產就好 10/10 09:49
Kroner: 我阿嬤說吃豬腳補關節,豬腳吃起來 10/11 07:45
francej: 與其把資源放在搞沒錢途的AI 還不如把錢投注在硬體架構 10/10 09:50
francej: 要說聯發科哪天能分杯羹Nvidia的市場 還比較能想像 10/10 09:53
Lhmstu: 把數發的200億移過來用不就好了?200億應該夠了吧 10/10 10:30
DellSale999: 這才是台灣的價值 10/10 11:02
Chricey: 剛開始吃UC2,期待 10/11 13:16
GrayHS: 黨不喜歡有人說實話 10/10 11:05
w28103566: 先裝潢再說 10/10 11:08
WaterLengend: 有錢但是不分你啊 10/10 12:06
markbex: 推說明 AI基礎建設就是砸錢 政府有沒有決心去推很重要 10/10 12:11
Chricey: 我有在用UC2,感覺效果還不錯欸! 10/11 14:36
jack529: 現在的政府不用想了吧,國家從上到下都在短視近利 10/10 12:32
k798976869: 不用幻想文組法律系當頭的政府有啥撈快錢之外的目標惹 10/10 16:24
k798976869: 啦 經濟部還想補助中小ic設計商先進製成總經費8億 是 10/10 16:24
k798976869: 要笑死人 老人只能玩蓋蚊子館撈錢啦 10/10 16:24
Kroner: 關節痛睡覺就能治了,吃什麼UC2 10/11 15:45
Belieeve: 推分析,另真的不管錢投在哪裡就是會有帳號冒出來罵翻, 10/10 16:48
Belieeve: 看推文就知道 10/10 16:48
markbex: 每次提到「政府」就有人來亂酸...好好討論不行嗎 10/10 19:03
milk830122: 好好面對現實不行嗎 為什麼會有人講政府又不是無中生 10/10 19:20
Kroner: 關節痛這種東西靠UC2就對了 10/12 12:39
milk830122: 有 10/10 19:20
fallcolor: clean data需要億級硬體設備可以分享一下原因嗎 10/10 21:12
fallcolor: 是後處理的資料存儲問題嗎 10/10 21:12
alex780312: 在公司內很難說服主管像中國那樣做資料集和開源模型 10/10 22:13
Kroner: 長時間坐著工作,關節痛越來越嚴重,該怎麼辦?推薦UC2 10/10 22:13
alex780312: ,然後別人一推出新模型就開始瞎緊張,完全沒有長期 10/10 22:13
alex780312: 規劃的能力 10/10 22:13
opencat: 對岸有國產搜尋引擎或問答平台 比較容易累積資料 10/10 23:27
opencat: 台灣的玩法應該是不會重頭弄 只能外包請人做資料審查 10/10 23:31
Chricey: 求推薦UC2,樓下請提供三家 10/10 23:31
cancelpc: 蛋塔一樣,外面紅啥,政府就跟著喊,然後補助一堆學院, 10/11 06:26
cancelpc: 大量產出紙上作業的人 10/11 06:26
greenx: 看xx部 台灣不缺你說的這點小錢 用在哪而已 10/11 06:40
neo5277: 這很台灣 10/11 07:45
Kroner: 剛開始吃UC2,期待 10/11 07:45
ko363630: 推分析 鬼島有鬼島的玩法 10/11 10:21
sssyoyo: 200億拿去點麵線、裝潢、出國考察也不願意投資未來最重要 10/11 10:31
sssyoyo: 的AI,這就是鬼島玩法 10/11 10:31
IMBonjwa: 不同意樓上。原Po第二點就有提到 10/11 13:16
Kroner: 求推薦靠譜的復健診所,小弟關節治好再來跪謝! 10/11 13:16
IMBonjwa: 是否跳進這個燒錢的軍備競賽而排擠其他項目,才是真的 10/11 13:19
IMBonjwa: 命題 10/11 13:19
elves: 所以有人說得出兩百多億具體端了什麼成果嗎 10/11 13:41
francej: 真的很難想像 台灣本土LLM 能賺到甚麼錢 10/11 14:36
Kroner: 關節痛就老人病 10/11 14:36
francej: 對岸不會用 歐美日也不會想用 只能島內自己用 10/11 14:37
francej: 這樣講起來 200億拿去點麵線 至少能讓肚子吃飽 是還比較 10/11 14:38
francej: 實在 10/11 14:38
hoesi: 實在個雕,點麵線已經有現成的外送app,你做一樣定位的東 10/11 15:45
Kroner: 剛開始吃UC2,期待 10/11 15:45
hoesi: 西幹嘛 10/11 15:45
ko363630: 點外送不是就有現成app了? 10/11 16:21
Mchord: 就是因為有現成的他們才想做啊XD 10/12 10:03
knme: 推推 之前碩班做相關研究 後來因硬體資源不足就乖乖去業界 10/12 12:39
Chricey: 求推薦靠譜的復健診所,小弟關節治好再來跪謝! 10/12 12:39
knme: 學術單位做研究本來就是針對某環節進行優化改善而已 10/12 12:40
wayne0530: 同意,問題是真的有商業價值嗎? 10/14 00:15
hillhsu: 一直扯數位部,到底是有多低x?? 10/17 18:04