OneOrigine @OneOrigine

🤣🤣🤣🤣🤭

Fix @FixlationAI

22 hours ago

@OpenAI @Broadcom

23 68 2K 74K 29

OCR but with a working memory...?! This paper, Unlimited OCR, replaces decoder full self-attention with Reference Sliding Window Attention, giving the model a working memory where each token attends to the fixed visual and prompt references plus only the most recent output tokens, making decode KV cache constant instead of linear in generation length. Combined with DeepEncoder’s 16x visual compression, this working-memory-style attention enables one-shot multi-page OCR with stable memory and latency, while improving OmniDocBench performance over DeepSeek OCR.

What if you have transformers learn to think in both latent states & tokens? This Microsoft paper adds a self-supervised next-latent prediction objective to standard next-token training, where a lightweight dynamics model learns to predict the transformer’s next hidden state from the current hidden state and next token. This pushes transformer representations toward compact belief states with coherent transition dynamics, improving world modeling, reasoning, planning, and enabling variable-length self-speculative decoding with up to 3.3x inference speedup.

@RGIII 💯

@AlexanderKalian 🤣🍎

SAVOIR-00xA1 Graph

🌬️# 風は吹く、その度に吹く#

OneOrigine @OneOrigine

5 days ago

x.com/i/article/2068…

0 0 0 96 0

x.com/i/article/2068…

x.com/i/article/2068…

🌬️ 風は吹く、その度に吹く ✨ 喜び、悲しみ、涙は、同じ声の弦（いと）にすぎない。一つが調和（ハーモニー）で、もう一つが不協和音だとしても、もう一方が可能であるからこそ、片方に価値があるのだ。 🎾 雨の日、ありふれた人生の物語。何と言えばいいのか、命の限り人間であり続けたと。もし他の人たちが 🥀🍃 人生の不条理を生きてきたのなら、私はそれらを設計したのだ。後悔、恐怖、絶望、幸福、それらはすべて私のレジリエンスの燃料でしかなかった。別の人生なら何千もの価値があったであろう、この人生での一歩一歩。もし私たちが存在するのなら、それは何よりも他者のためであり、決して自分自身のためではない。 🖊️ 私は生きたい、ただの旋律以上のものを奏でたい。なぜこれほどの情熱が、なぜこれほどの悲劇があるのか。私は悲劇の白と灰色しか知らない。もし一歩一歩が私たちを幸福へと遠ざけるのなら、もし一粒の涙が陽気な笑い声よりも長く留まるのなら、どうして色を想像できるだろうか。誕生の時から、世界は私たちに強いるのだ、叫べ、叫べ、もがけ、もがけと。この世界でようやく居場所を得るために。幼い頃から風が立ち上がるまで、彼は決して戦うことをやめなかった。存在するために戦い、存続するために戦う。その間、存在自体は彼の狂気をあざ笑っていた。彼は忘れていたのだ、自分が一生の間のほんの旋律にすぎないことを。そして、存在したいと強く願うあまり、存続を欲望するためにしか存在し得ないことを忘れてしまっていた。 太陽は翼を羽ばたかせる、左から右へ、東から西へ。それは進むが、私たちの視点からすれば、絶え間なく円を描いて回り続けながら、このまさにその瞬間ほど静止していたことはない。雨が家の屋根を造り、嵐が深い隠れ家を造る。だが、なぜもう一度、本当に最後にもう一度、なぜそれでも彼はそこに留まるのか。もし悲しみが確かなものに見えるなら、虚無はなおさらそうだ。風は吹き、旋律を歌う。その道筋に悲劇の線をなぞりながら。風は吹く、その度に吹くんだ！！！ by @OneOrigine

x.com/i/article/2068…

Mélodie brisée 📘 🌬️ the wind blows it blows every single time ✨ joy sadness tears are but the strings of the same voice if one is harmonic and the other dissonant one only holds value because the other is possible. 🎾 A rainy day a mundane life story what is there to say remaining human until my life , if others 🥀🍃 have lived through life's uncertainties I am the one who conceived them, regret fear despair happiness all have been nothing but the fuel for my resilience, each step in this life that was worth thousands in another if we exist it is above all for another and never for ourselves 🖊️ I want to live to play more than just one melody why so much fervor why so much tragedy, I only know this the off-whites and grays of a tragedy, how can one imagine color if each step distances us toward happiness if each tear lingers longer than a joyful laugh, since birth they impose upon us cries cries struggle struggle to finally get a place in this world from the youngest age until the wind rises, he will have never stopped fighting fighting to exist fighting to persist while existence laughed at his madness he had forgotten he was but a melody for the span of a lifetime and by dint of wanting to exist he had forgotten he could only exist to desire to persist. the sun falters from left to right from east to west , it moves forward but from our point of view it has never been as motionless as at this exact moment spinning endlessly in circles , the rain builds the roofs of a house, the storms a deep shelter but why once more one very last time why does it stay there nonetheless despite all this, if sadness seems certain the void is far more so, the wind blows and sings a melody on its path it traces the lines of a tragedy the wind blows it blows every single time !!! by @OneOrigine

🌬️ le vent souffle il souffle à chaque fois ✨ joie tristesse pleur ne sont que les corde d'une même voix si l'un est harmonique et l'autre disconnante l'un n'a de valeur que parce que l'autre est possible. 🎾 Un jour de pluie une banal histoire de vie que dire resté humain jusqu'à ma vie , si d'autres 🥀🍃 on vécu les aléas de la vie moi je les ai conçu, regret peur désespoir bonheur tous n'ont était que le carburant de ma résilience, chaque pas dans cette vie qui valait des milliers dans une autre si l'on existe c'est avant tout pour une autre et jamais pour nous même 🖊️ j'ai envie de vivre de joué plus qu'une mélodie pourquoi tand d'ardeur pour quoi tand de tragédie, je ne connais que celà les blanc gris d'une tragédie, comment imaginer la couleur si chaque pas nous éloigne vers le bonheur si chaque larme persiste plus qu'un rire joyeux, depuis la naissance il nous impose des crie crie lutte lutte pour avoir enfin une place dans ce monde dé le plus jeune âge jusqu'à ce que le vent se lève, il n'aura jamais cessé de ce battre ce battre pour existé ce battre pour persisté alors que l'existence se rié de sa folie il avait oublié qu'il était qu'une mélodie le temps d'une vie et qu'à force de vouloir existé il avait oublié qu'il ne pouvait qu'existé pour désirer persisté. le soleil bat de l'aile de la gauche à la droite de l'est à l'ouest , il avance mais de notre point de vu il n'a jamais était aussi immobile qu'à ce moment précis tournant sans arrêt en rond , la pluie fait les toits d'une maison, les orages un abris profond mais pourquoi encore une fois une toute dernière fois pourquoi reste t'il là toute fois malgré celà, si la tristesse paraît sûr le vide l'es bien plus, le vent souffle et chante une mélodie dans sont chemin il traces les lignes d'une tragédie le vent souffle il souffle à chaque fois !!! by @OneOrigine

@ylecun Here is a visual representation of RON's behavior. 🍎

The new RON artificial neural network family is officially public! 🚀 Check out the GitHub repo to run tests and train models in both hybrid and pure RON architectures. Link below ! : github.com/ONE-ORIGINE/RON #MachineLearning #DeepLearning #ArtificialIntelligence #AI #NeuralNetworks #GitHub #OpenSource #DataScience #LLM #TechNews

x.com/i/article/2066…

x.com/i/article/2066…

From challenging flat Transformers to establishing causal geometry, the journey begins with an isolated semantic buffer. Current architectures suffer from a structural myopia where every single word instantly overloads the entire global history. By creating a low-dimensional local space where information enriches itself autonomously before being strictly projected orthogonally into the global space, we mathematically eliminate semantic redundancy. This geometric sieve shifts attention complexity from an unsustainable quadratic cost to a near-linear progression, structurally immunizing the model against context dilution. This process completely redefines the attention mechanism through the concept of LGO-Attention (Local-Global Orthogonal Attention). Attention no longer merely computes passive statistical scores; it applies dynamic filtering where pure novelty is extracted as an orthogonal residual. Through a continuous non-linear gating system, already known concepts see their activation strength drop to zero, allowing only the raw semantic signal to penetrate the global memory. This dynamic prevents neuronal plasticity from cloning old behaviors or saturating parameters, guaranteeing pure specialization when facing the unknown. Such mechanics imperatively require breaking the hardware tyranny of current processors. Traditional GPUs, restricted by the Von Neumann bottleneck, are incapable of computing these asynchronous topological projections without choking. Physically implementing this system demands a neuromorphic or photonic breakthrough, relying on chips that natively support 3D physical memory, akin to the One Core concept. This low-power spiking hardware keeps an active background oscillation alive, continuously consolidating knowledge and simulating semantic trajectories even when the user is silent. The ultimate culmination of this vision is the Triaxial Micro-Fold Neuron, a synaptic entity natively possessing an asymmetric operator bridging the before, the now, and the after. Semantic space is no longer a flat timeline to be dumped into a giant RAM cache, but a topological origami fold in three dimensions. The past, the present, and the future intersect at the center of the neuron as local invariants. Consequently, the model no longer needs to retain the entire book; the past and the present fade from active memory, acting purely as invisible pressuring forces shaping the curvature of the fold, solely to ensure that the generated future remains absolutely coherent. #ArtificialIntelligence #DeepTech #NeuromorphicComputing #LLMs #FutureOfAI #MachineLearning

De la remise en question des Transformers plats jusqu’à la géométrie causale, le voyage commence par l'introduction d'un sas sémantique isolé. Les architectures actuelles souffrent d'une myopie où chaque mot surcharge instantanément tout l'historique global. En créant un espace local de faible dimension où l'information s'enrichit de manière autonome avant d'être projetée de façon strictement orthogonale dans l'espace global, nous éliminons mathématiquement la redondance sémantique. Ce tamis géométrique fait passer la complexité de l'attention d'un coût quadratique insoutenable à une progression quasi-linéaire, immunisant structurellement le modèle contre la dilution du contexte. Ce processus redéfinit complètement le mécanisme d’attention à travers le concept de LGO-Attention (Local-Global Orthogonal Attention). L'attention ne se contente plus de calculer des scores statistiques passifs, elle applique un filtrage dynamique où la nouveauté pure est extraite comme un résidu orthogonal. Par un système de gating non-linéaire continu, les concepts déjà connus voient leur force d'activation s'annuler, tandis que seul le signal sémantique brut pénètre la mémoire globale. Cette dynamique empêche la plasticité des neurones de cloner de vieux comportements ou de saturer les paramètres, garantissant une spécialisation pure face à l'inconnu. Une telle mécanique nécessite impérativement de briser la tyrannie matérielle des processeurs actuels. Les GPU traditionnels, bridés par le goulot d'étranglement de Von Neumann, sont incapables de calculer ces projections topologiques asynchrones sans s'étouffer. L'implémentation physique de ce système exige une rupture neuromorphique ou photonique, s'appuyant sur des puces supportant une mémoire physique 3D native, à l'image du concept du One Core. C'est ce hardware à basse consommation impulsionnelle qui permet de maintenir une oscillation de fond active, consolidant les connaissances et simulant les trajectoires sémantiques en continu, même lorsque l'utilisateur ne parle pas. L'aboutissement ultime de cette vision est le Neurone à Micro-Plis Triaxiaux, une entité synaptique disposant nativement d'un opérateur asymétrique entre l'avant, le maintenant et l'après. L'espace sémantique n'est plus une ligne temporelle plate à stocker dans une mémoire RAM géante, mais un origami topologique pliable en trois dimensions. Le passé, le présent et le futur s'intersectent au centre du neurone sous forme d'invariants locaux. Dès lors, le modèle n'a plus besoin de retenir tout le livre : le passé et le présent s'effacent de la mémoire vive et n'agissent plus que comme des forces de pression invisibles sculptant la courbure du pli, uniquement pour que l'avenir généré soit d'une cohérence absolue. #IntelligenceArtificielle #DeepTech #NeuromorphicComputing #LLM #FutureOfAI #MachineLearning 🍎