カテゴリから探す
関心のあるテーマから論文を探せます。各カテゴリの新着3本を表示しています。
大規模言語モデル3本
大規模言語モデル（LLM）の学習・アーキテクチャ・スケーリングに関する論文。
- Transformerの原点「Attention Is All You Need」――再帰も畳み込みも使わず、注意機構だけで翻訳の最高精度に
- GPT-3「言語モデルは少数例で学ぶ」――1750億パラメータで、ファインチューニングなしに多様なタスクをこなす
- 「大きくすれば賢くなる」を定量化したスケーリング則――モデル・データ・計算量と性能のべき乗則
学習手法／ファインチューニング3本
ファインチューニング、人間のフィードバックによる学習（RLHF）、選好最適化など、モデルを目的に合わせて調整する手法の論文。
- InstructGPT――人間のフィードバックで学習し、パラメータ100分の1でもGPT-3より好まれる応答に
- LoRA――元の重みを固定して小さな行列だけ学習、大規模モデルのファインチューニングを軽量に
- DPO（直接選好最適化）――強化学習を使わず、単純な分類損失で人間の好みに合わせたLLM調整を
画像生成2本
拡散モデルなどによる画像・動画生成に関する論文。
- 拡散モデル（DDPM）――ノイズ除去を繰り返して高品質な画像を生成する、画像生成AIの基礎
- 潜在拡散モデル（Stable Diffusionの基礎）――圧縮した潜在空間で拡散させ、高品質な画像生成を低コストに
エージェント2本
LLMエージェント、マルチエージェント、ツール利用、自律的なタスク実行に関する論文。
すべて見る →推論1本
推論能力、思考の連鎖（CoT）、推論時計算に関する論文。
すべて見る →RAG／検索1本
検索拡張生成（RAG）、情報検索、ナレッジ活用に関する論文。
すべて見る →マルチモーダル1本
画像・音声・動画とテキストを横断するマルチモーダルモデルに関する論文。
すべて見る →プロダクト／開発1本
AI支援開発、コーディングエージェント、生成AIを組み込んだプロダクト開発の実務に関する論文。
すべて見る →研究手法1本
生成AIを研究プロセスそのものに使う手法、科学的発見・図解・評価方法論に関する論文。
すべて見る →