書籍紹介：「つくりながら学ぶ！LLM 自作入門 (Compass Booksシリーズ)」

「つくりながら学ぶ！LLM 自作入門 (Compass Booksシリーズ)」は、LLMの自作の入門書籍です。今回、この本を購入してざっくりと読んでみたので感想を書きたいと思います。

つくりながら学ぶ！LLM 自作入門 とは

LLMの入門書ではない

「つくりながら学ぶ！LLM 自作入門 とは」というタイトルを見て、入門書籍と感じるかもしれませんが、この本はLLM入門ではありません！LLM自作入門です。

ということで、初心者向けの本というわけではないので注意が必要です。

書籍の対象は、「LLMの仕組みを理解し、独自のモデルを一から構築する方法を学びたいと考えている機械学習の愛好家、エンジニア、学生」ということでかなり敷居が高いジャンルの本なので注意してください。

とりあえず、LLMを作ろう！という書籍です。

書籍の内容

目次は以下の通りです。ざっと目次を眺めるだけで学習の手順が網羅されているように見えます。PyTorch入門も入っているので、必要最低限のPytorchの関数などの説明も入ってそうです。また、ゼロから作るだけでなくLoRAにも付録で触れているようです。

知識としてLLMの構築、学習の流れは理解していますが、実際にゼロから学習はやったことはないんですよね。そもそも、学習させるだけのリソースを個人が用意するのは厳しいです。

以下、実際に書籍を最初から最後まで通して読んだ感想です。

感想

とりあえず、ざっくり読んでみました。

１章は軽め、２章はトークナイザーの話、３章はAttentionの話。結構きっちり説明していていい感じです。４章はGPTモデルのトップを作成する話、ここでモデルは一応完成します。

4章までで、CasualLMのおおよその作りが理解できます。私は、それなりに知っていたのでサクサクと読むことができましたが、全く知識がないと引っかかる部分があるかもしれません。

５章は学習の話。ここが実は読みたくて購入した感じです。実際のラベルなし学習のやり方を細かく書いてあります。

６、７章はファインチューニングの話。Chatモデルを作りたい場合は、７章のやり方になるかと思います。

付録のPyTorchは思ったよりあっさり、LoRAも必要最低限な感じでした。

LLMを作る前提で、コード付きで通して書かれている本はこれくらいしかみたことがありませんし、内容も良い感じです。

わかりやすさについては、判断が難しいです。というのも、基本的に大まかなモデルの構造、学習のさせ方などは知識があったので、まったく知らない人がこれを読んで理解できるかがちょっとわかりません。

とりあえず、PyTorchのモデルの作り方、データセットの使い方、学習ループの書き方などは理解しておかないと厳しいと思います。

逆に、PyTorchの使い方さえ知っていれば、CNNなどの他のモデルの知識は特に必要なく読めると思います。

とりあえず、「モデルのコードを読みたい」「実際にどうやって学習コードを書けばいいの」という疑問がある方にはおすすめかと思います。

以上、全体をざっくりと読んだ感想ですが、これからじっくり読んでみたいと思います。

書籍がイマイチだったら、じっくり読むことはないですが、この書籍は面白そうなのでじっくり読みたいと思いました。

まとめ

以上、「つくりながら学ぶ！LLM 自作入門 とは」を読んだ感想です。この本、刺さる人には刺さりそうです。特に、LLMの使い方などではなく、「作る」にフォーカスした本は少ないので、興味がある方にはおすすめです！

ある/Aru

IT＆機械学習エンジニア/ファイナンシャルプランナー（CFP®)

XContact

専門分野は並列処理・画像処理・機械学習・ディープラーニング。プログラミング言語はC, C++, Go, Pythonを中心として色々利用。現在は、Kaggle, 競プロなどをしながら悠々自適に活動中