【開発中】LLMのファインチューニングのできる日本人向けに使えるチュートリアルコード
【進捗状況】
LLMのファインチューニングをしてみたい – オープンソースの大規模言語モデル利活用へ向けて
視聴時間：3分32秒
大規模言語モデルの現状
2023年の末からChatGPTをはじめとした
・大規模言語モデル（LLM：Large Language Model）
を触り始めましたが、専門領域や各業界の特化型の生成AI（文章生成AI・対話型AI・アシスタントAI）を作るには、
・独自にトレーニングが必要
ということが、なんとなく分かってきました。
ただ、大規模言語モデルを一から自分で作るには、
・莫大な量の「GPUメモリ」と「時間」
が必要なため、個人や小規模の企業などで大規模言語モデルを一から作成することは、現時点では現実的ではないようでした。
また、ChatGPTを使う場合には、毎月の費用がかかってしまうことや、対話内容がChatGPTのクラウド上にいくことに対して、抵抗感を感じる方も、中にはいるのではないかと思いますので、オープンソースで公開されている大規模言語モデルを活用したい方もいるのではないかと思います。
LLMのファインチューニングという選択肢
情報を調べていくと、もともとあるオープンソースの大規模言語モデルを活用して、モデルの微調整のトレーニングを行う、
・ファインチューニング（Fine Tuning）
という方法が、現実的であるということが分かってきました。
2024年1月初旬から、国内外の大規模言語モデルのファインチューニングに関する情報やチュートリアルコードを調べていましたが、
・オリジナルデータセットを使ってファインチューニングをする方法が分からない…
という難題にぶつかり、途方に暮れていました。
ファインチューニングに関する、その他の懸念事項としては、基本的には、
・GPUメモリが数十GB単位で必要
なようでしたので
「 現状の自分の環境では試すことができないのか… 」
と、落胆していましたが、
・GPUメモリの消費量を減らす工夫もある
とのことで、Google Colaboratoryの無料枠で使える
・T4 GPU
でも試すことができるかもしれないフレームワークのコードと、毎晩、格闘をしていました。
ただ、Hagging Faceからデータセットを参照する方法から、自分で作成したオリジナルデータセットに変更すると、どうしてもエラーとなってしまうため、何度か諦めては、投げ出し、また、時間を空けて再挑戦することを、しばらくの期間繰り返していました。
ようやくLLMのファインチューニングに成功！
嬉しいことに、ようやく、試行錯誤の結果、とりあえずファインチューニングのコードを、Google Colaboratory上で実行できるようになりました。
LLMのファインチューニングのためのチュートリアルコードや、チュートリアル動画などを公開するには、まだまだ、検証することや、自分のような大規模言語モデルの初学者の方にとっても、分かりやすいチュートリアルコードを作るために、学ぶこともありそうですので、しばらく時間はかかるかもしれませんが、作成し次第公開したいと思いますので、お楽しみにしていてください。
LLMのファインチューニングの応用
オープンソースの大規模言語モデルをファインチューニングする方法が、なんとなくわかることで、
「 日本の大企業や大学から公開されてきている日本語に対応させた大規模言語モデルを、自分の専門分野の利活用につなげられないか？」
と考えられるようになり、使える引き出しの幅が広がるのではないかと思います。
LLMのファインチューニングのチュートリアル
・チュートリアルコード：（2024年1月24日公開）
オリジナルデータセット対応のGoogle Colaboratoryのチュートリアルコード：
My-Dataset-LLM-FineTuning-for-Japanese-AI-Beginners.ipynb（Apache-2.0 license）| Google Colaboratory
Hugging Faceの公開データセット対応のGoogle Colaboratoryのチュートリアルコード：
HF-Dataset-LLM-FineTuning-for-Japanese-AI-Beginners.ipynb（Apache-2.0 license）| Google Colaboratory
・チュートリアル記事：（2024年1月24日公開）
日本語LLMのファインチューニング入門 – 自作・Hugging Face公開データセット対応
・チュートリアル動画：（2024年2月4日公開）
【現代の魔法】日本語LLMのファインチューニング入門 – How to Fine Tunning Japanese LLM for Generative AI Beginners by RehabC – デジタルで、遊ぶ。（YouTube）
by 子供プログラマー
気軽にチャットAIが始められるおすすめの拡張機能です。会員登録やログイン不要で使えるチャットAIもあります。
：【使い方】ChatHub入門 – チャットAIをはじめよう