ぺんぎんくらす( ･⊝･ ) ﾉ @zonbee__

macaroomのカバーシリーズ。 くるりの真夏の雨をカバーをしました。 くるり 真夏の雨 (cover) youtu.be/s1Jo8o1M-xs

RAGの発展形として、AIエージェントが複数のツールを活用しながら検索戦略を自ら立案・実行する手法が、回答精度の向上に有効であることが示されました。 従来の手法では、検索上位の文書を機械的に参照させたり、人間が決めた手順に従わせたりするのが一般的でした。しかし、これでは無関係なノイズ情報まで拾ってしまい、精度の低下やコストの増加を招くという課題がありました。 そこで提案されたのが「A-RAG」です。この手法では詳細な検索手順を指示するのではなく、「キーワード検索」「意味検索」「全文読み込み」といったツールをLLMに渡し、情報の取得方法を委ねます。LLMは自律的に与えられた情報から使えるものだけを取得します。これは人間がGoogle検索の結果を見て、必要なページだけを選んでクリックして読む動作に近い方法です。 この手法によって、無駄な情報の読み込みが減り、従来より少ない取得トークン数で高い正答率を達成しました。さらに、思考時間を増やすだけで性能が伸び続けるスケーリングの特性も確認されています。 「賢いモデルには、細かい指示よりも裁量を与えるべき」という示唆は、RAGに限らず、今後のAIエージェント設計における一つの指針になると期待されます。

keyboard_arrow_left Previous keyboard_arrow_right Next

ぶっちゃけ、RAGをやる9割の人が間違っていると思う。そもそも、なぜベクトル検索をする必要があったのかを考えて欲しい。 背景はコンテキストウィンドウに入りきらない大量の独自ドキュメントを、安価にLLMの検索対象にしたいから。 RAG（ベクトル検索）が流行った当時は、今みたいにエージェントもなければ、ディープリサーチみたいなツールもないし、コンテキストウィンドウも主要モデルは小さかったから、ベクトル検索せざるを得なかった。 つまり、別に精度が高いからRAG（ベクトル検索）をしている訳じゃない。 むしろ、ベクトル検索をし続ける限り、コサイン類似度に近いチャンクを拾ってくるという宿命から逃れられなくなる。運用コストもバカ高い。 何より、せっかくLLMの精度がとてつもないスピードで向上して、MCPもあればSkillsも出てきたのに、ベクトル検索に依存するフローは、これらの恩恵を受けられず、あまりに勿体なさすぎる。 Claude Sonnet 4.6 が安価に100万トークンのコンテキストウィンドウを持つようになったことで、大量のSonnetサブエージェントに普通に検索をさせた方が遥かによくなる。 全てサブエージェントによる大量検索が最適解だとは思わないが、基本的にはこの未来は確定路線だと思う。 10年後を見据えたコンテキストエンジニアリングが必要で、その中にベクトルDBが本当に入っているのか、想像してみた方がいい。

Algomatic AI ラボ @Algomatic_AILab

6 months ago

RAGの発展形として、AIエージェントが複数のツールを活用しながら検索戦略を自ら立案・実行する手法が、回答精度の向上に有効であることが示されました。

keyboard_arrow_left Previous keyboard_arrow_right Next

4 74 636 287K 607

最近、新しい友達を作ってないなぁ。。友達が欲しいなぁ。。

サイバーエージェントの藤田さんが、『社長になりたいんだったら感性を磨け』という先輩の教えを今も実践し年間100本映画を見たり、本も雑誌も新聞も読み、舞台にも足を運んでいると発信してましたが、AI時代にこそ大事になってくるのは感性 ①感性＝人への洞察力、人間の機微が分かる事 ②経営者、サラリーマン、フリーターなど様々なライフスタイルの人の動機や機微を知る ③各ケースへの解像度が上がる ④他者への解像度が上がると『何をしたら喜ぶか？』が分かる。取引、マネジメントに役立つ ⑤体力と反比例に成長を続けるものは『人への洞察力』。ただ感性が鈍いとそこも育たない

keyboard_arrow_left Previous keyboard_arrow_right Next

最近ちょっと生活が停滞気味だなぁ

さくらインターネットは上場から20年となりました。18歳で起業して、ネットバブルでVC調達、崩壊で危機、3度の上場失敗を経て27歳で上場。しかし債務超過になり、長期低迷を経て、一部上場から現在の成長まで、赤裸々に書きました。 note.com/kunihirotanaka…

LLM開発では、trial and errorを気軽に回せないことが、米中との差が広がる最大の障壁だと実感した。モデルのブラックボックス性が高い中では経験的チューニングが重要になるがその精度を磨けず、さらに「運を掴むための試行回数」も少なくせざるを得ない。

論文探索の新しい方法です。 1つの論文を起点に、次に読むべき論文をAIの1行要約付きで無限に発見できるツール「PaperDive」ができました！ サーベイが爆速になります。研究者・大学院生に届け！！ paperdive.app

拡散モデル／フローマッチングの汎化性能の高さの原因に関して、以下の２本の論文が面白かったです。 [NeurIPS 2025 oral] arxiv.org/abs/2506.03719 [arXiv] arxiv.org/abs/2510.01378 極端に言えばいずれも「モデルが学習しきれていない」ことが汎化性能に効いているという話です。

Mira Murati（元Open AI CTO）の会社のブログが非常に面白かった。 Qwen系モデルで1,000 回すべて完全に同一の応答にすることに成功したらしい。（すごい） 自分なりに噛み砕いて理解したのでなるべく簡単にまとめてみる。 thinkingmachines.ai/blog/defeating… 「LLM推論における非決定性を克服する」 当然ながらLLMからのレスポンスは毎回微妙に違う。 temperatureを0にしても揺れる。なぜ？ ⭐️そもそもtemperatureとは？ logit: 次の単語候補の持つ点数 softmax: logitを「確率分布」に直す。 temperature: logitを確率分布に直す前にTで割る logit: 「犬: 3.2」「猫: 1.5」「車: -0.8」 softmax: 「犬 ≈ 80%」「猫 ≈ 18%」「車 ≈ 2%」 temparatureが2だった場合（だいぶパーティモード） logit: 「犬: 1.6」「猫: 0.75」「車: -0.4」 softmax: 「犬 ≈ 55%」「猫 ≈ 25%」「車 ≈ 20%」 ※だいぶ「犬」が選ばれる確率が下がって「猫」と「車」が上がる ⭐️なぜtemperatureを0にしても一緒にならない？ 有力な説は以下。 「浮動小数点演算の非結合性 x 並列実行」説 難しい説明は省くが、 算数：(A + B) + C = A + (B + C)は常に成り立つ 浮動小数点数：(A + B) + C = A + (B + C)は成り立たない という前提がある。（丸め誤差の影響） LLM推論時のGPU処理は高速化のため並列化されており実行順序が保証されない。(A + B) + CがA + (B + C)の順序になってしまうかもしれない。 実はほとんどのLLM推論では並列処理は走っていない。ので上記の仮説は説明になっていない。アトミック加算（並列処理）が走っているケースでは上記の説は正しい。 ⭐️著者の主張 ただ、実際のほとんどのLLM推論ではアトミック加算は使用されてない。 ※アトミック加算とは、並列スレッドが「同じ変数に同時に足す」場合、同時実行での衝突を防ぐ計算機構（ガードレール的な）。ただ、「どのスレッドが先に足すか」は決めないらしく、結果的に実行順序はごちゃごちゃになる。 ⭐️じゃあ何が非決定性の原因？ 「バッチ不変性」がないこと。 バッチサイズや形状によってGPU がどの順序で計算するかの戦略を変えてしまうことがある。 例えば、バッチサイズが「4」だと各リクエストを1コアで処理するが、バッチサイズが「2」だと1リクエストを2コアで分担するなどがあり順序が変わってくる。 ⭐️どうやって決定性（完全な同一応答”）を実現したか 「バッチ不変カーネル」の作成 対象の演算は、RMSNorm、行列乗算、Attention の3つ。バッチサイズやキャッシュの状態に関わらず同じ順序で演算するカーネルを作成 ※カーネルとはGPU上で動く関数的な感じ ⭐️「バッチ不変カーネル」はなんでこれまで作られなかった？ ほとんどの商用APIは速度優先のため。完全な同一性が必要なケースよりも速度が求められるケースの方が多い。 ⭐️結果 Qwen 系モデルで1,000 回すべて 完全に同一の応答を出すことに成功！ 決定性を担保するにあたって速度が犠牲になる 今後は、「遅くなるけど実用的に使える」を目指している。

Word2VecからLLMまで，深層学習モデルを使って学習された単語の埋め込みベクトルには興味深い性質がある。単語間の類推関係が埋め込みベクトルの平行四辺形に対応するというよく知られた議論。その背景にある数理を明らかにしたICML'19のベストペーパーを紹介するブログ記事 carl-allen.github.io/nlp/2019/07/01…

Googleが、またもや衝撃的な論文が発表しました。 LLMの推論能力を飛躍させる「Tool-Use-Mixture (TUMIX)」という新アプローチです。 複数のAIエージェントを組み合わせることで、従来よりも高精度かつ低コストな結果を実現します。 この論文が示す、LLMの性能を向上させる5つのポイントをまとめました。 1. 多様なエージェントの組み合わせ TUMIXは、単一のエージェントを増やすのではなく、思考連鎖、コード実行、Web検索など15種類の異なるスタイルのエージェントを並行して実行。各エージェントが互いの回答を参考にすることで、集合知が生まれます。 2. コストを半減させる早期停止 過度な人間の改良は多様性を損なう可能性があります。TUMIXでは、全てのエージェントを監視するLLM審査員がそれぞれのエージェントの稼働停止のタイミングを判断。これにより、高精度を維持しつつ、コストを約半分に削減することに成功しました。 3. 圧倒的なパフォーマンス TUMIXは、HLE、GPQA-Diamond、AIMEといった高難易度の推論ベンチマークで、他の手法を一貫して上回っています。特に、Gemini-2.5 ProのHLEスコアを34.1%まで向上させました。 4. 多様性こそが強さの核 テキスト、コード、検索エージェントの組み合わせは、単一の最良エージェントを繰り返し試すよりも効果的です。ツール利用の多様性が高いほど、正しい推論経路を見つける確率が上がります。 5. エージェント設計の自動化 LLM自身が新しいエージェントのタイプを生成し、システムに統合することで、さらなる性能向上を実現。最適な組み合わせは、12〜15種類の異なるエージェントスタイルであることが判明しました。

RAGの新記事を出しました。エンタープライズRAGの課題と解決手法を、幅広くまとめました。RAGは、立ち上げは簡単ですが、実用は大変です。「大企業向けのRAG」については、現状、僕たちが日本トップレベルの知見だと思いますが、その視点から見えているものをまとめました↓ zenn.dev/knowledgesense…

「国内で独自LLM開発やったって追いつけないから無駄」という論調はよく見るけど、メインベンダのLLMは英語と比較すると日本語はコスト効率が悪くなっていて、その差は諸説あるが2倍近いとされている。もちろん精度も悪い。今はかなり進化が激しいので追いつくのは難しいかも知れないが、LLMがあらゆる産業に浸透し、全国民に使われるようになった後も未来永劫2倍のコスト払って劣化版を使い続けるか？と言われると国としての財政を圧迫するのは明白。技術進化が成熟してきた後にトップとは言わないまでも差を縮められる布石になるなら十分投資する意味はあると思う。ローカライズにもそれなりに価値がある技術なのだから。 日本なんて自動車だって他の産業だって、殆ど最初は技術的に圧倒されてたわけで、それでもトップに立ったものだってある。いま負けてようと歩みを止めるべきとは限らない。

🚀 Introducing Qwen3-Next-80B-A3B — the FUTURE of efficient LLMs is here! 🔹 80B params, but only 3B activated per token → 10x cheaper training, 10x faster inference than Qwen3-32B.(esp. @ 32K+ context!) 🔹Hybrid Architecture: Gated DeltaNet + Gated Attention → best of speed & recall 🔹 Ultra-sparse MoE: 512 experts, 10 routed + 1 shared 🔹 Multi-Token Prediction → turbo-charged speculative decoding 🔹 Beats Qwen3-32B in perf, rivals Qwen3-235B in reasoning & long-context 🧠 Qwen3-Next-80B-A3B-Instruct approaches our 235B flagship. 🧠 Qwen3-Next-80B-A3B-Thinking outperforms Gemini-2.5-Flash-Thinking. Try it now: chat.qwen.ai Blog: qwen.ai/blog?id=4074cc… Huggingface: huggingface.co/collections/Qw… ModelScope: modelscope.cn/collections/Qw… Kaggle: kaggle.com/models/qwen-lm… Alibaba Cloud API: alibabacloud.com/help/en/model-…

「作りながら学ぶ！LLM自作入門」を圧縮して2時間くらいで学べるハンズオンを作りました。社内でデリバリーしましたが、刺さる人には激しく刺さりつつ、多くの入門者を置いてけぼりにしました。トークン化、セルフアテンション、GPT構築、事前学習を学びたい方、どうぞ。 colab.research.google.com/drive/1g-KjfRW…

もうめちゃくちゃ話題になってるけど、この記事とても良かった👀 uv, ruff, pre-commitなど、もはやデファクトスタンダードになりつつある開発環境の話がまとまっていて、とりあえずこれ読んどこうねって感じの定番資料となりそう😇 zenn.dev/dalab/articles…

ふと思ったんだけど、ゲイに対して女性コミュニティがオープンである傾向に対して、レズビアンに対して男性コミュニティはオープンでは無いよな。

灯台に住み込みで働きたい。