webbigdata @webbigdata

日本一に貢献した国産AIを作りました YouTuber/VtuberをAIで支援するサイト/チャンネルを作っています youtube チャンネル https://t.co/RH5DwFs5lD 開発済AI/LLM https://t.co/xJqZm3mKcM webbigdata.jp Joined March 2020

Tweets

3K
Followers

3K
Following

417
Likes

3K

webbigdata @webbigdata

a hour ago

HuggingFaceのTransformersのvllm化の技術ブログ「Native-speed vLLM transformers modeling backend」はこちら試してからTwitter投稿したかったのですが、私のGPUは混雑中でまだ試せていません huggingface.co/blog/native-sp…

0 0 0 71 0

View Details

transformersはわかりやすさを優先していて、速度を追求する際はvllmなどに変換が必要だったけど # Upgrade the vllm pip package uv pip install --upgrade vllm --torch-backend auto # Qwen3-4B dense, single GPU vllm serve Qwen/Qwen3-4B --model-impl transformers で速度向上するとの事

clem 🤗 @ClementDelangue

a day ago

Big unlock for open-source AI inference: Hugging Face Transformers models can now run in vLLM at native speed, often matching or beating hand-written implementations. Until now, every new architecture often needed to be built twice: - Once in Transformers for training and

54 108 648 58K 335

1 0 1 328 0

View Details

webbigdata @webbigdata

2 days ago

LLMの強化学習で、データ生成時の現モデルと学習中の新モデルにズレ（オフポリシー）があると学習が崩壊しやすいため、従来は更新幅を強引に制限（クリップ）していた。生成文が新モデルにとって自然かを「トークン単位」で判定し、自然なものは制限なし（100%の力）で効率よく学習させる試み

Rosinality @rosinality

a week ago

arxiv.org/abs/2607.04728 Using rejection sampling to consider accepted tokens as on-policy ones.

3 17 176 64K 205

0 3 25 3K 16

View Details

webbigdata @webbigdata

3 days ago

世の中に実際にあった事件をLLMに尋ねる事で現実世界の知識のカットオフについて調査した結果。OpenAIとAnthropicだけが事前学習を早く回せるようになっている可能性。LLMはFable 5であっても時間の感覚が甘くてカットオフ以降の話をフィクションとみなしてしまって検索機能を自律的に使わない事がある

Apoorv Saxena @apoorv_umang

5 days ago

Created a very simple benchmark to measure the actual knowledge cutoff of models. It's surprising (or maybe not?) that OpenAI and Anthropic are the only big labs keeping their models fresh. Everyone else - including the chinese labs - is at least 12 months behind

27 94 1K 252K 405

0 12 69 9K 19

View Details

webbigdata @webbigdata

4 days ago

日本語は「あなたが綺麗にトイレを使ってくれる事に感謝します」と命令形ではなく仮定にする事で「便器を汚さないでほしい」と遠回しに伝えている。しかし、英訳が「どうか優雅かつ正確に排尿してください。その狙いの定まり方に汝の規律が表れる」となり、俺はゴミ箱にションベンしてやるぜ、となった

Raj Dabre @prajdabre

5 days ago

As a machine translation lover this example is interesting. The Japanese literally says: Use the toilet beautifully. Thank you. Which can be interpreted as: Use the toilet properly. Thank you. Japanese people will understand that your ability to use the toilet properly

3 0 65 10K 9

0 0 3 775 0

View Details

webbigdata @webbigdata

5 days ago

ザッカーバーグ３年と３日ぶりに投稿し、Metaの新しいクローズドAIであるMuse Spark 1.1の宣伝投稿をしまくる API価格が安い事を前面に出してますが、コーディングエージェントも選択肢が増えてきたので、乗り換えコストには新ハーネスの使い方学習が含まれるそうなるとオープンなハーネスが有利？

Mark Zuckerberg @finkd

6 days ago

(1) Today we're releasing Muse Spark 1.1 -- a strong agentic and coding model at a very low price. It's available through our new Meta Model API and in Meta AI.

5K 4K 45K 23.1M 7K

0 0 1 888 0

View Details

webbigdata @webbigdata

6 days ago

昨日からgoogle ai studioでgemini 3.5 flashがsafety blockを連発してくるようになったのですが、とくにブロックされるような事は聞いていないし、フィルタリング設定は全部オフっているのですが、同じような現象になった方はおられます？

0 0 1 520 0

View Details

webbigdata @webbigdata

a week ago

この研究の再現実験は、外部研究者が「Qwen 3.6 27B」を用いて行い、J-lensの有用性を確かめたとのこと。自社の研究成果を科学的に証明してくれたのが、自社CEOが「蒸留攻撃によるタダ乗りだ」と批判している中国発のオープンモデルだったという皮肉な構図も、一部で批判される一因となっています。

0 0 1 282 0

View Details

webbigdata @webbigdata

a week ago

議論になっているのは、神経科学の研究領域であるグローバルワークスペース理論(GWT)との類似性をブログ内で指摘した事 GWTは人間の「意識」に関係しているとされる領域なので・AIに意識があった」という方向に誘導している・従来の解釈可能性研究の延長を誇大広告しているという批判も集めている

1 0 0 320 0

View Details

webbigdata @webbigdata

a week ago

Anthropicが「モデルが文字を出力する前に、内部で考えていること」を操作することに成功レイヤーXとX+1の間で、流れているデータ（ベクトル）を書き換えて（蜘蛛の概念を蟻に）。結果、本来は足の数「8」と出力されるはずが「6」に書き換わったこの一時的な思考メモリを「J-space」と命名

Neel Nanda @NeelNanda5

a week ago

I thought this was an excellent paper! Thanks to Anthropic for asking me to write a review of it, linked below I've long suspected that models have some kind of "working memory" to store intermediate variables during a forward pass and IMO this paper has the best evidence yet

33 92 1K 104K 754

1 0 9 2K 6

View Details

webbigdata @webbigdata

a week ago

@sshimomu2k2 カタカナだと余計に違和感ありますが Chinchilla＝１０文字チンチラ＝４文字なのでTwitterの文字数制限下だとチンチラが正義です

0 0 1 131 0

View Details

webbigdata @webbigdata

a week ago

１年以上前だと1Mトークン(100万トークン)の無料枠って莫大な量って感覚がありました。今の最新のコーディングハーネスだと5分で使い切ってしまうので、トークンエコノミクスの議論も認識ズレ大きそうだな、と思ったのですが、そもそも暗号化通貨の文脈で話す人もいるからトークンデバイド時代の予感

0 2 7 880 2

View Details

webbigdata @webbigdata

a week ago

OpenAIによる初期のLLMスケーリング則が実験設計にバグがあって、過小学習モデル量産につながっていたというお話。DeepMindのChinchillaスケーリング則の方が有効という結論ですがSLMなどの実験結果は「チンチラは満たすがまだ伸びしろはありそう」となる事が多くチンチラでもたりないのかもしれません

Diogo Almeida @CompleteSkeptic

2 weeks ago

x.com/i/article/2073…

11 58 397 269K 695

0 9 67 18K 63

View Details

webbigdata @webbigdata

a week ago

とても賢いClaude Fable 5も知識カットオフは2026年1月（つまり2026年1月以降のデータは学習データに含まれていない）その影響か、例えば2026年7月の実在のイベントについて相談しても「フィクション」と決めつけて、Web検索で詳細を確認しようとしない時がある。これは結構な落とし穴だと思う

0 0 10 1K 2

View Details

webbigdata @webbigdata

a week ago

NvidiaのGPUの限界値にどれだけ迫ったか？を競うSOL-ExecBenchで（つまりCUDAカーネル最適化問題）で100%AIエージェントシステムが人間の一流エンジニアに勝利したというお話。Claudeがコード生成、Codexがレビュー。FableやGPT-5.6は未使用。年収億越えのカーネルエンジニアもAIと競合する時代に突入

Yuchen Jin @Yuchenj_UW

2 weeks ago

Databricks ranks #1 on NVIDIA’s SOL-ExecBench kernel leaderboard, in the L1 single operation track, powered by KDA (Kernel Design Agents) 🎉 What’s crazy is: we 100% leveraged AI agents to beat the competition. This is a sneak peek at recursive self-improvement. The core

28 49 350 166K 182

0 4 15 2K 5

View Details

webbigdata @webbigdata

2 weeks ago

AnthropicがAI創薬プログラム開始を明言。「neglected diseases（顧みられない病気）」に焦点を当てる方針で一見素晴らしいが…Fable 5が安全性を理由に最先端LLM開発や生物/化学系の研究協力に制限をかけている現状「創薬はAnthropicが自社優位性を確保したい分野なのでは？」という視点もあるようだ

1 6 45 7K 12

View Details

webbigdata @webbigdata

2 weeks ago

インコンテキスト検索（In-Context Retrieval:ICR) ベクトル検索やツールに頼らず、LLMに入力した大量の文書群から直接回答識別子を出力させる試み正解を見つけられないのではなく無関係な文書に惑わされている(アテンションの希釈化)事が原因。対策を行ってベクトル検索が困難なタスクで優位性を発揮

Sumit @_reachsumit

2 weeks ago

Can Language Models Actually Retrieve In-Context? Drowning in Documents at Million Token Scale @darvog1 et al. show that LLMs can retrieve from million-token corpora but collapse from attention dilution, and propose length-aware fixes. 📝 arxiv.org/abs/2607.01538

1 6 40 7K 29

0 1 15 5K 17

View Details

webbigdata @webbigdata

2 weeks ago

@srvhat09 最低入金も5ドルになってたんで、うん？800円？しかもどうせまたボッシュートだよねって、事で試せませんでした

0 0 1 219 0

View Details

webbigdata @webbigdata

2 weeks ago

Claude Sonnet 5のトークナイザーは英語だと1.4倍相当の値上げ、中国語(簡体字)だとほぼ同額との事日本語試したかったのですが私の課金済みAPIクレジットは長期未利用で期限切れになってました。過去にOpenAIのクレジットも期限切れにされた事あるのですがこの期限切れをやらない会社が実はDeepSeek

Simon Willison @simonw

2 weeks ago

Notes (and a Pelican) on Claude Sonnet 5 - the new tokenizer makes it ~1.4x more expensive for English, ~1.33x more expensive for Spanish but roughly the same price for Simplified Mandarin simonwillison.net/2026/Jun/30/cl…

42 22 325 41K 83

0 0 3 1K 0

View Details

webbigdata @webbigdata

2 weeks ago

産業革命を元にAI革命を考えると、特権階級だけのものだった「清潔で快適な衣服」＝「知識・創作・高度な技術サービス」でしょうか？AI革命の真の創造的破壊の怖さがまだ私には見えてなくて自分が「蒸気機関の発明により重い荷物を馬車に乗せるのが楽になります」的な事をやってないか良く気になります

Ethan Mollick @emollick

2 weeks ago

The old BBC "Industrial Revelations" series is a great overview of what makes an Industrial Revolution Steam alone wasn't enough, it required thousands of skilled workers figuring out how to apply this new power to their old work There's a lesson there. youtube.com/watch?v=bN1GhK…