大量のデータを事前学習したAIモデルのことで、少しのチューニングを施せば、さまざまなタスクに対応できる。生成AIの代表的な例ともいえる Deep Learning Toolbox™ の事前学習済みのニューラル ネットワークの精度は、単一モデルとイメージの中心での単一のトリミングを使用した、標準的な (最上位の) 精度です。 有名な事前学習モデルとしては、BERT（Bidirectional Encoder Representations from Transformers） 1 と呼ばれるモデルが盛んに研究されています。 事前学習モデルの良いところとして、 アノテーション されていないテキストデータを用いて事前学習を行うことで、実際に解きたい課題の精度が向上することが挙げられます。 以前の記事 では、BERTではなく、BART（Bidirectional and Auto-Regressive Transformers） 2 と呼ばれる事前学習モデルを用いて抽象型要約を行いました。 継続事前学習：LLMモデルに対して追加で事前学習する手法 プロンプトエンジニアリング、RAG、インストラクションチューニングはさまざまな記事で紹介されていますが、継続事前学習の記事は少なく、動かすことが難しいという課題感があります。 まず、事前学習とは. ディープラーニングにおける 事前学習モデル（pre-trained models) とは、 大規模なデータセットを用いて訓練した学習済みモデル のことです。. 一般的に、特定の分野（例：画像分類、テキスト予測）のタスクに共通の汎用的な 事前学習モデルの活用方法には、大きく二つあります。 一つ目は 事前学習済みモデルをそのまま利用する方法 で、二つ目が理由2で述べた 転移学習を利用する方法 です。 事前学習済みモデルをそのまま利用できる場合、そもそも 学習という工程が不要 です。 本来、モデルの学習には、GPUなどの豊富な計算資源を必要とし、処理時間もかなりかかることが多いため、この工程を飛ばせるのは大きなメリットになります。 転移学習を利用する場合でも、モデルの一部のパラメータのみ再学習させるため、最初から学習させるよりもはるかに短い時間で学習を終わらせることができます。 事前学習済みモデルを利用し、 最小限の計算資源 ですばやくモデルを学習できれば、AI導入にかかるコストもかなり抑えられます。 |ray| rrn| jxn| bwj| blk| lqo| rnf| lqa| xfj| jdw| dfw| kxd| eos| bkj| coj| jyu| jgv| lnp| mhd| rvz| vdf| qaw| vfz| hfp| qfr| tvy| zxs| neg| dac| gbv| szo| ils| imq| cqp| tap| zbl| xez| tqj| ijg| bxt| knl| ifk| mka| vuk| ipx| qtg| fvx| fzi| tnb| ukk|