Contents - 目次（もくじ）
【学習中】1ビットLLM：BitNet b1.58を試したい
【近況状況】
1ビットLLMの時代 – BitNet b1.58に挑戦中：The Era of 1-bit LLMs
視聴時間：3分03秒
【論文】The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits
1ビットLLM – BitNet b1.58の論文：
The Era of 1-bit LLMs: All Large Language Models are in 1.58 Bits – Microsoft Research et al（v1：27 Feb 2024 ）| arxiv
（1ビットLLMの時代：すべての大規模言語モデルは1.58ビットです 2024年2月27日公開 – マイクロソフトリサーチ 他）
1ビットLLM – BitNet b1.58の追加論文：
microsoft/unilm：bitnet/The-Era-of-1-bit-LLMs__Training_Tips_Code_FAQ.pdf – Mar 20, 2024 | GitHub
（1ビットLLMの時代： トレーニングのヒント、コード、FAQ – 2024年3月20日公開）
1ビットLLMの存在を知る
2024年3月初旬に知りましたが、マイクロソフトリサーチの研究者らによって公開された
・1ビットLLM – BitNet b1.58
というものが大規模言語モデル（LLM）界隈で、注目されているようでした。
調べてみると、1ビットLLMというのは、情報量を削減する量子化の手法のようでした。
1ビットというと
・「0」か「1」
のどちらかの値のことを想像していましたが、論文で紹介されている「BitNet b1.58」という1ビットLLMの変種の手法では、LLMの重みのパラメータを
・「-1」「0」「1」
の3つの値で、表現するようです。
論文では、Llamaに比較して処理が高速でGPUメモリの使用量が削減されたとのことでした。
また、1ビットLLMの秘めた能力を引き出すために、新しいタイプのハードウェアの研究開発の呼びかけも実施しているようです。
現状のLLMというとGPU一択ですが、GPUに変わる何か新しいタイプのモノということかと思われますので、今後の進歩や普及によっては、ビジネス的にも衝撃を与える可能性を秘めているのもしれませんね。
（GPUに変わるゲームチェンジャーの予感）
「BitNet b1.58」を実際に動かせないかと、プログラムを探しては、挙動を確認しています。
1ビットLLMを一から作成すると思われるプログラムを改変して動かしてみていますが、プログラムによっては、開発途中であったり、Google Colaboratoryの無料プランでは、厳しいものもあるようでした。
1ビットLLM関連のプログラムを動かしては
「 いったい、このプログラムで今自分が何をやっているのか？」
と内心思っています。
1ビットLLMに関しては、まだまだよく分からないですが、カスタムデータセットを使って、「BitNet b1.58」でLLMを作成すると思われるプログラムで学習を開始することができましたが、これが、かなり時間がかかりそうです。
これからしばらくの間、色々なプログラムを検証しながら、1ビットLLMの世界を探求しようかと考えています。
今後、いつまでに、どのような形で世の中にアウトプットできるかは、現時点で未知数ですが、現状の自分の開発環境でも可能であれば、いつか、何かしらの形で、「BitNet b1.58」関連の日本人のAI初学者向けのチュートリアルを作成したいと考えています。
まだまだ、大規模言語モデルの領域に関しては、気軽に試すには壁を感じる今日この頃ではありますが、自分のような低スペックのパソコン環境の個人でも、Google Colaboratoryなどのクラウドを環境を活用することで、ちょっとしたAI開発を楽しめる時代になってきているので、技術の進歩に感謝です。
以上で、今回の現状の学習状況の報告になります。
今後のこのサイトのコンテンツもお楽しみに♪
【進捗状況】1ビットLLMへ向けて
【BitNet b1.58の基盤技術BitLinearを活用した画像認識のチュートリアル】
チュートリアルコード（2024年3月11日公開）
：【1ビットの時代 – MNIST編】BitNet b1.58の基盤技術BitLinearで手書き数字画像認識
1ビットLLMへ向けては、まだまだ先ですが、とりあえずスタートは切れました。
チュートリアル動画（2024年3月11日公開）
：【1ビットの時代 – MNIST編】1ビットLLM BitNet b1.58の基盤技術BitLinearで手書き数字画像認識 – Image Recognition with BitLinear by RehabC – デジタルで、遊ぶ。（YouTube）
【BitNet b1.58・BitNetなどのニューラルネットワークの学習精度を比較できるMNISTのチュートリアル】
チュートリアルコード（2024年3月16日公開）
：BitNet-Comparison-MNIST.ipynb（The MIT License）| Google Colaboratory
チュートリアル動画（2024年3月16日公開）
：【1ビットの時代 – MNIST編】BitNet b1.58（1.58-bit）・ BitNet（1-bit）・Denseの学習結果を比較してみよう – Comparison of BitNet
今後の作成状況に応じて、ここにチュートリアルへのリンクを追記していきます。
【素晴らしいプログラム発見も…断念】1ビットLLMを作りたい：BitNet b1.58
【断念】1ビットLLMの時代
BitNet b1.58 有益なプログラム発見するも…無念：The Era of 1-bit LLMs
視聴時間：2分51秒
公開日：2024年4月6日
【動画で紹介しているプログラム】
Hajime-Y/BitNet-b158（Apache-2.0 license）| GitHub
Hugging Faceに公開してくださっているLLMを1bit LLMに変換できるプログラムです。
Google Colaboratoryの無料プランでは実行は難しいようでしたが、有料プランに加入できる方は動かせるのではないかと思われます。
素晴らしい情報とプログラムを公開してくださった日本人の方に感謝ですね。
by 子供プログラマー
日本語LLMをファインチューニングし自分だけのカスタム対話型AIに挑戦
：日本語LLMのファインチューニング入門 – 自作・Hugging Face公開データセット対応
気軽にチャットAIが始められるおすすめの拡張機能です。会員登録やログイン不要で使えるチャットAIもあります。
：【使い方】ChatHub入門 – チャットAIをはじめよう