# AI論文ライブラリ（AI Paper Library）

> arXivに毎日公開される生成AI論文を編集部が選び、日本語タイトル・翻訳要約・構造化解説（課題／手法／結果／限界／ビジネス活用）で掲載する、日本語で検索できる論文ライブラリです。

本サイトの要約は、各論文の原文アブストラクトに書かれた事実の範囲で作成しています（数字・結果を創作しない方針）。引用時は日本語ページのURLと、arXivの原文URLの両方を示してください。
各論文ページには同じ内容のMarkdown版（URL末尾に .md を付ける）があります。全文をまとめたものは /llms-full.txt です。

## サイト情報
- [このサイトについて](https://papers.plutine.com/about): サイトの概要、よくある質問、著作権、運営者
- [カテゴリ一覧](https://papers.plutine.com/categories)
- [まず読みたい定番論文](https://papers.plutine.com/classics): Transformer・GPT-3・RAG・思考の連鎖など、生成AIの土台になった論文
- [新着RSS](https://papers.plutine.com/feed.xml)
- [全論文Markdown](https://papers.plutine.com/llms-full.txt)

## カテゴリ
- [大規模言語モデル](https://papers.plutine.com/categories/llm): 大規模言語モデル（LLM）の学習・アーキテクチャ・スケーリングに関する論文。
- [推論](https://papers.plutine.com/categories/reasoning): 推論能力、思考の連鎖（CoT）、推論時計算に関する論文。
- [画像生成](https://papers.plutine.com/categories/image-generation): 拡散モデルなどによる画像・動画生成に関する論文。
- [学習手法／ファインチューニング](https://papers.plutine.com/categories/training): ファインチューニング、人間のフィードバックによる学習（RLHF）、選好最適化など、モデルを目的に合わせて調整する手法の論文。
- [エージェント](https://papers.plutine.com/categories/agents): LLMエージェント、マルチエージェント、ツール利用、自律的なタスク実行に関する論文。
- [RAG／検索](https://papers.plutine.com/categories/rag): 検索拡張生成（RAG）、情報検索、ナレッジ活用に関する論文。
- [マルチモーダル](https://papers.plutine.com/categories/multimodal): 画像・音声・動画とテキストを横断するマルチモーダルモデルに関する論文。
- [プロダクト／開発](https://papers.plutine.com/categories/product-dev): AI支援開発、コーディングエージェント、生成AIを組み込んだプロダクト開発の実務に関する論文。
- [研究手法](https://papers.plutine.com/categories/research-methods): 生成AIを研究プロセスそのものに使う手法、科学的発見・図解・評価方法論に関する論文。

## 論文（新着順）
- [Transformerの原点「Attention Is All You Need」――再帰も畳み込みも使わず、注意機構だけで翻訳の最高精度に](https://papers.plutine.com/papers/1706.03762): 再帰（RNN）や畳み込み（CNN）を使わず、注意機構（アテンション）だけで構成する新しいモデル「Transformer」を提案。機械翻訳で当時の最高精度を出しつつ、並列化しやすく学習時間も大幅に短い。（原題: Attention Is All You Need / arXiv:1706.03762）
- [思考の連鎖（Chain-of-Thought）プロンプト――途中の推論ステップを例示するだけで、LLMの複雑な推論力が大きく向上](https://papers.plutine.com/papers/2201.11903): プロンプトに「途中の推論ステップ」を含む例をいくつか示すだけで、大規模言語モデルの算数・常識・記号推論の性能が大きく上がることを示した。5400億パラメータのモデルに8例を示すだけで、数学文章題GSM8Kで最高精度を達成した。（原題: Chain-of-Thought Prompting Elicits Reasoning in Large Language Models / arXiv:2201.11903）
- [拡散モデル（DDPM）――ノイズ除去を繰り返して高品質な画像を生成する、画像生成AIの基礎](https://papers.plutine.com/papers/2006.11239): 非平衡熱力学に着想を得た「拡散確率モデル」で高品質な画像生成を実現。CIFAR10でFID 3.17の最高スコアを出し、LSUN 256×256ではProgressiveGANと同等の品質を得た。（原題: Denoising Diffusion Probabilistic Models / arXiv:2006.11239）
- [GPT-3「言語モデルは少数例で学ぶ」――1750億パラメータで、ファインチューニングなしに多様なタスクをこなす](https://papers.plutine.com/papers/2005.14165): 1750億パラメータの言語モデルGPT-3を学習し、追加学習なしで、テキストで数例を示すだけ（few-shot）で翻訳・質問応答・3桁の計算など多くのタスクを高い性能でこなせることを示した。人が見分けにくいニュース記事も生成できた。（原題: Language Models are Few-Shot Learners / arXiv:2005.14165）
- [InstructGPT――人間のフィードバックで学習し、パラメータ100分の1でもGPT-3より好まれる応答に](https://papers.plutine.com/papers/2203.02155): 人間が書いた手本での教師あり学習と、出力の順位付けに基づく強化学習（RLHF）でGPT-3を調整した「InstructGPT」を提案。13億パラメータのInstructGPTの出力が、1750億パラメータのGPT-3より人間の評価で好まれた。（原題: Training language models to follow instructions with human feedback / arXiv:2203.02155）
- [潜在拡散モデル（Stable Diffusionの基礎）――圧縮した潜在空間で拡散させ、高品質な画像生成を低コストに](https://papers.plutine.com/papers/2112.10752): 拡散モデルを画素空間ではなく、事前学習済みオートエンコーダの潜在空間で動かす「潜在拡散モデル（LDM）」を提案。計算コストを大きく下げつつ画質を保ち、クロスアテンションでテキストなど多様な条件による生成も可能にした。（原題: High-Resolution Image Synthesis with Latent Diffusion Models / arXiv:2112.10752）
- [LoRA――元の重みを固定して小さな行列だけ学習、大規模モデルのファインチューニングを軽量に](https://papers.plutine.com/papers/2106.09685): 事前学習済みの重みを固定し、各層に学習可能な低ランク行列を差し込むだけでモデルを適応させる「LoRA」を提案。GPT-3 175Bの通常のファインチューニングと比べ、学習するパラメータを1万分の1、GPUメモリを3分の1にしつつ、同等以上の品質を得た。（原題: LoRA: Low-Rank Adaptation of Large Language Models / arXiv:2106.09685）
- [ReAct――「考える」と「行動する」を交互に行うLLMエージェントの基本形](https://papers.plutine.com/papers/2210.03629): LLMに推論の過程（Reasoning）と行動（Acting）を交互に生成させる「ReAct」を提案。Wikipedia APIで情報を取りに行くことで思考の連鎖の幻覚や誤りの連鎖を抑え、対話型の意思決定タスクでは模倣学習・強化学習を成功率で34%・10%上回った。（原題: ReAct: Synergizing Reasoning and Acting in Language Models / arXiv:2210.03629）
- [RAG（検索拡張生成）の原点――言語モデルに外部知識の検索を組み合わせ、より事実に即した生成へ](https://papers.plutine.com/papers/2005.11401): 事前学習済みの生成モデル（パラメトリック記憶）に、Wikipediaの密ベクトル索引を検索する仕組み（非パラメトリック記憶）を組み合わせた「RAG」を提案。オープンドメインQA 3タスクで最高性能を出し、より具体的で事実に即した文章を生成した。（原題: Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks / arXiv:2005.11401）
- [CLIP――画像とテキストの組を4億件学習し、追加学習なしで多様な画像認識をこなす](https://papers.plutine.com/papers/2103.00020): インターネットから集めた4億組の画像とテキストで「どのキャプションがどの画像に合うか」を予測する学習を行い、自然言語で指定するだけで新しいタスクに転用（ゼロショット）できる画像モデルを実現。ImageNetで元のResNet-50と同等の精度を、その学習データを使わずに達成した。（原題: Learning Transferable Visual Models From Natural Language Supervision / arXiv:2103.00020）
- [DPO（直接選好最適化）――強化学習を使わず、単純な分類損失で人間の好みに合わせたLLM調整を](https://papers.plutine.com/papers/2305.18290): RLHFの報酬モデルを新しい形で表すことで、強化学習を使わずに単純な分類損失だけで人間の好みに合わせた調整ができる「DPO」を提案。安定・高性能・軽量で、PPOベースのRLHFと同等以上の結果を出した。（原題: Direct Preference Optimization: Your Language Model is Secretly a Reward Model / arXiv:2305.18290）
- [「大きくすれば賢くなる」を定量化したスケーリング則――モデル・データ・計算量と性能のべき乗則](https://papers.plutine.com/papers/2001.08361): 言語モデルの損失は、モデルサイズ・データ量・学習計算量に対してべき乗則で下がることを実証。決まった計算予算のもとでは、非常に大きなモデルを比較的少ないデータで学習し、収束前に止めるのが効率的だと示した。（原題: Scaling Laws for Neural Language Models / arXiv:2001.08361）
- [潜在空間で考えるエージェント群「SwarmEvolve」――進化的プログラム探索を高速・低コストに](https://papers.plutine.com/papers/2611.08483): 1ラウンドに数百の低コストエージェントが群れで働き、潜在空間で推論して情報を共有する進化探索フレームワーク「SwarmEvolve」。21課題で最高の平均スコア、最良スコアへの到達は中央値3〜8分とされる。（原題: SwarmEvolve: Latent Agent Swarms for Evolutionary Discovery and Optimization / arXiv:2611.08483）
- [「理解」を成果物に：AI開発の認知負債・意図負債に挑むCognitive Tours](https://papers.plutine.com/papers/2611.08456): AI支援開発で生まれる「認知負債」「意図負債」に対し、ニーズ・設計判断・コード・テスト・未解決の疑問をつなぐ道筋をたどれるプロトタイプ「Cognitive Tours」を提示する論文。（原題: Cognitive Tours: Making Understanding a Deliverable in AI-Assisted Development / arXiv:2611.08456）
- [生成AIで科学図は良くなるか――371点の図を検証、明瞭さは向上も美的一貫性は低下](https://papers.plutine.com/papers/2611.08486): 200本の論文の図371点を対象に生成AIによる図の作り直しを検討。制約付きの改訂では明瞭さが平均0.428点上がる一方、美的一貫性は0.111点下がり、著者らは「研究者主導の設計」を支持する。（原題: Do You Miss the Nights We Spent Crafting Figures? Rethinking Teaser and Framework Figures in the Age of Generative AI / arXiv:2611.08486）