ニュー速VIP yusuke

中国、革命的AI「1ビット脳」を発表、既存GPUはすべてゴミに [422186189]

元スレ

1 ：hage(茸) [JP]：2024/02/29(木) 08:34:52.48 ID:PRp2fWw60.net ?PLT(12015)
sssp://img.5ch.net/ico/folder1_03.gif
Microsoftの中国チームがとてつもないLLMをリリースした。それが「BitNet 1.58Bits」だ。

もともとMicrosoftはかねてから「1ビット量子化」の研究を続けて来た。しかし、32ビット浮動小数点での計算が主流な時代にはあまりに野心的で荒唐無稽なプロジェクトに見えていたのは否めない。しかし、現在、大規模言語モデル(LLM;Large Language Model)は8ビット、4ビットで量子化されるのが当たり前になり、量子化しても性能劣化はある程度まで抑えられることも知られるようになった。

昨年10月に発表した「BitNet」は、多くの人々が他のことに気を取られていてほとんど話題にならなかった。
そんな中、満を持して発表された1ビットLLMの性能に関するレポートは、衝撃的と言っていい内容だ。論文のタイトルも堂々と「The Era of 1-bit LLM(1ビットLLMの時代)」としている。

彼らが発表したグラフを引用しよう。

https://wirelesswire.jp/2024/02/86094/

143 ：名無しさん＠涙目です。：2024/02/29(木) 19:43:27.64 ID:uzcQ3XfU0.net

それがどれくらいなの？

175 ：名無しさん＠涙目です。(静岡県) [US]：2024/03/02(土) 13:13:41.99 ID:kPFbgQg80.net

>>132
「汚いドヤ街にポスターが大量にある
怪盗ロワイヤルってまだあんのかな?

96 ：名無しさん＠涙目です。：2024/02/29(木) 12:32:24.08 ID:fie8beJ/0.net

>>8
サイド7でガンダムのコクピットに座ったキラがものすごい勢いでCPUハッキングしたが
ガンダムが命令を理解できなくて全部SYNTAX ERRORで何も変わらなかった

36 ：名無しさん＠涙目です。(東京都) [CN]：2024/02/29(木) 09:04:50.65 ID:WIv+pynP0.net

>>26
当然偉大な習近平同志の功績に

151 ：名無しさん＠涙目です。：2024/02/29(木) 21:12:24.74 ID:RArt0ssX0.net

>>6
>ちょっと何言ってるか分からない
これに関しては同感
ほんとわからんわ

109 ：名無しさん＠涙目です。(ジパング) [CN]：2024/02/29(木) 13:03:05.08 ID:AYKN6MMD0.net

中国だからなあ、

16 ：名無しさん＠涙目です。(庭) [US]：2024/02/29(木) 08:47:42.64 ID:UV+VMIZb0.net

>>8
ゆっくり僧正実現化の目処が立ったんじゃねぇの？

83 ：名無しさん＠涙目です。：2024/02/29(木) 11:23:45.14 ID:HeHOIPqT0.net

おいおい、まじかよ…
NVIDIA大暴落必至じゃねーか
シナとは言えMicrosoftってところがヤバすぎる
ガチで特異点に到達したかも

59 ：名無しさん＠涙目です。(東京都) [US]：2024/02/29(木) 09:59:08.40 ID:S2AZsdEC0.net

>>38
違う
機械学習でいう量子化ってのは膨大なデータをそのまま演算すると
手間がでかすぎてやってらんないから簡略化して精度下げて
負荷の少ない演算で近似させること
ソースで言ってる8bitとか4bitとか1bitてのはその丸めこみの精度の度合い
要するにこの論文の内容はメチャメチャ入力の精度下げて計算簡単にしても
結果の精度はかわらんようなプロセス考えましたわ！ってこと

26 ：名無しさん＠涙目です。(神奈川県) [US]：2024/02/29(木) 08:57:08.08 ID:jH8g4U+z0.net

このMS中国の成果ってアメリカと中国どっちの利になるの？

178 ：名無しさん＠涙目です。(光) [US]：2024/03/02(土) 13:29:45.09 ID:OtN66s/X0.net

>>57
実際華やかな感じなの来てるな
ストーリーかなんかじゃないかなぁ

73 ：名無しさん＠涙目です。：2024/02/29(木) 10:37:10.65 ID:xwc7xZlT0.net

お前らも1ビットやろ

174 ：名無しさん＠涙目です。(SB-Android) [GB]：2024/03/02(土) 13:10:14.17 ID:x3l7K6rS0.net

>>158
エナプの良心扱いだったじゃん

149 ：名無しさん＠涙目です。：2024/02/29(木) 20:38:43.94 ID:DJp8zfJ/0.net

だからほぼいないってこと
若者は支持してんのって予備校とかのレベル

22 ：名無しさん＠涙目です。(庭) [US]：2024/02/29(木) 08:52:15.44 ID:Jt/CO9gH0.net

スレタイだけ見て「ギャッハー中国ダッセー！！」となっちゃうのが世間一般にいわれる1ビット脳
ってことだな

85 ：名無しさん＠涙目です。：2024/02/29(木) 11:31:15.16 ID:UwnJYt4t0.net

>>83
Microsoftがどんだけ失敗作を世に出したか知らないのか

6 ：名無しさん＠涙目です。(庭) [ﾆﾀﾞ]：2024/02/29(木) 08:38:05.01 ID:+QXeJQmg0.net

ちょっと何言ってるか分からない

120 ：名無しさん@：2024/02/29(木) 15:03:41.09 ID:m4XisJ8s0.net

中国共産党の検閲ある限り
どんな技術も無意味よ

27 ：名無しさん＠涙目です。(ジパング) [US]：2024/02/29(木) 08:58:23.82 ID:Zuogb+5y0.net

ちい

49 ：名無しさん＠涙目です。(庭) [ﾆﾀﾞ]：2024/02/29(木) 09:22:42.76 ID:+QXeJQmg0.net

1と0、それに付け加えて-1を扱うらしい

172 ：名無しさん＠涙目です。：2024/03/02(土) 12:51:14.86 ID:1vYs4hFz0.net

コロナなんて

29 ：名無しさん＠涙目です。(千葉県) [GB]：2024/02/29(木) 08:59:30.82 ID:Czw9syAi0.net

1ビット脳って敵か味方かでしか判断できないおまいらのことじゃないのか

127 ：名無しさん＠涙目です。(やわらか銀行) [US]：2024/02/29(木) 17:55:17.14 ID:pALAIwhK0.net

これ
数ヶ月に一度くらい

118 ：名無しさん＠涙目です。：2024/02/29(木) 14:57:35.08 ID:S+Yra8AU0.net

「今現在「とかいうバカ言葉使うヤツの記事

70 ：名無しさん＠涙目です。：2024/02/29(木) 10:33:09.62 ID:2a6e0Ta+0.net

ものすごいこと言ってるように聞こえるけど

要は画像生成するときに白黒透明しかないモノクロ画像生成するのに
フルカラー用のプログラム使うと無駄が多いけど
最初から白黒透明しか計算しない1.5bit処理の専用プログラムで計算すれば早いしエラーも少ないよって事

そりゃそうだろ
当然ここまで言うとわかるだろうが
1.5bit処理は全ての4bit 8bit処理を代替できない

あくまで1.5bitで処理できる限定的な計算のみ
4bit 8bitより優位　という話

119 ：名無しさん＠涙目です。：2024/02/29(木) 15:02:52.21 ID:uiWB3SCw0.net

チーズビットおいしいよ

102 ：名無しさん＠涙目です。：2024/02/29(木) 12:54:01.58 ID:1qIH04cN0.net

>>1
1bit脳パヨクおじいちゃん大勝利

51 ：名無しさん＠涙目です。(ジパング) [CN]：2024/02/29(木) 09:27:25.74 ID:7qTEDirm0.net

>>8
ララァ、見える！私にも敵が見える

86 ：　：2024/02/29(木) 11:35:25.14 ID:i4W+Is5I0.net

>>1
いちびってんのう？

177 ：名無しさん＠涙目です。(山形県) [CO]：2024/03/02(土) 13:25:47.56 ID:qnA+YHog0.net

>>8
塩足らん

More from my site

RECOMMENDこちらの記事も人気です。