Typ: PDF-Dokument
Originaler Link:
Veröffentlichungsdatum: 2026-01-27
Autor: Xin Cheng; Wangding Zeng; Damai Dai; Qinyu Chen; Bingxuan Wang; Zhenda Xie; Kezhao Huang; Xingkai Yu; Zhewen Hao; Yukun Li; Han Zhang; Huishuai Zhang; Dongyan Zhao; Wenfeng Liang
Zusammenfassung #
WAS: Engram ist ein konditionales Speichermodul, das klassische N-Gram-Embeddings für O(1)-Lookup modernisiert und in große Sprachmodelle (LLMs) integriert, um die Effizienz bei der Verwaltung statischer Wissensbasis und lokaler Abhängigkeiten zu verbessern.
WARUM: Engram löst das Problem der Ineffizienz von Transformer-Modellen bei der Simulation des Wissensabrufs durch Berechnung, indem es eine neue Achse der Sparsität bietet, die das Paradigma der bedingten Berechnung (MoE) ergänzt. Dies verbessert die Leistung in verschiedenen Bereichen, einschließlich Wissensabruf, allgemeines Schließen und Codierungs- und Mathematikaufgaben.
WER: Die Hauptakteure sind die Forscher und Ingenieure von DeepSeek-AI und der Peking University, die Engram entwickelt haben, sowie die AI-Forschungsgemeinschaft, die fortschrittliche Sprachmodelle studiert und implementiert.
WO: Engram positioniert sich im Markt der großen Sprachmodelle (LLMs) und integriert sich in bestehende Architekturen wie Mixture-of-Experts (MoE), um die Effizienz und Leistung zu verbessern.
WANN: Engram ist eine aufstrebende Technologie, die aufgrund ihres Potenzials, die Leistung von Sprachmodellen zu verbessern, an Aufmerksamkeit gewinnt. Ihre Reife befindet sich in der Entwicklungsphase, mit laufenden Studien und Implementierungen.
GESCHÄFTLICHE AUSWIRKUNGEN:
- Chancen: Engram kann in den bestehenden Stack integriert werden, um die Leistung von Sprachmodellen zu verbessern, die Rechenkosten zu senken und die Effizienz des Wissensabrufs zu steigern.
- Risiken: Der Wettbewerb mit anderen Technologien für konditionale Speicherung und die Einführung neuer Sprachmodellarchitekturen könnte eine Bedrohung darstellen.
- Integration: Engram kann leicht in bestehende MoE-Architekturen integriert werden und bietet sofortige Leistungsverbesserungen, ohne dass die Modelle vollständig neu aufgebaut werden müssen.
TECHNISCHE ZUSAMMENFASSUNG:
- Kern-Technologie-Stack: Engram verwendet modernisierte N-Gram-Embeddings, Tokenizer-Kompression, Multi-Head-Hashing, kontextualisierte Gating und Multi-Branch-Integration. Das Modell ist in Python implementiert und verwendet Deep-Learning-Frameworks wie PyTorch.
- Skalierbarkeit und Architekturgrenzen: Engram kann bis zu Milliarden von Parametern skalieren, mit einer Modellgröße von 175B Parametern. Seine Effizienz wird in Szenarien des groß angelegten Pre-Trainings und der Inferenz demonstriert.
- Wichtige technische Differenzierer: Engram bietet O(1)-Lookup für statische Muster, reduziert die für den Wissensabruf erforderliche Rechentiefe und befreit die Aufmerksamkeit für den globalen Kontext. Seine infrastrukturelle Effizienz ermöglicht das asynchrone Prefetching von Embeddings, wodurch der Kommunikationsaufwand reduziert wird.
Technische Details:
- Engram-Pipeline: Die Engram-Pipeline umfasst zwei Hauptphasen: Abruf und Fusion. In der Abrufphase werden lokale Kontexte über deterministisches Hashing auf statische Speichereinträge abgebildet. In der Fusionsphase werden die abgerufenen Embeddings dynamisch vom aktuellen verborgenen Zustand moduliert und durch leichte Faltung verfeinert.
- Anwendungsbeispiele:
- Wissensabruf: Engram verbessert den Wissensabruf in Benchmarks wie MMLU, CMMLU und MMLU-Pro.
- Allgemeines Schließen: Zeigt signifikante Gewinne in Benchmarks für allgemeines Schließen wie BBH, ARC-Challenge und DROP.
- Codierung und Mathematik: Verbessert die Leistung in Benchmarks für Codierung und Mathematik wie HumanEval, MATH und GSMK.
- Langer Kontext: Verbessert die Fähigkeiten zum Abruf und Schließen in langen Kontexten, wie in Benchmarks wie LongPPL und RULER gezeigt.
- Verwendungsbeispiele:
- Pre-Training: Engram wurde in groß angelegten Pre-Training-Modellen wie Engram-B und Engram-B verwendet, die signifikante Verbesserungen gegenüber MoE-Baselines gezeigt haben.
- Inferenz: Während der Inferenz ermöglicht Engram das asynchrone Prefetching von Embeddings, wodurch der Kommunikationsaufwand reduziert und die Effizienz gesteigert wird.
- Gating Visualisierung: Die Visualisierung des Gating-Mechanismus von Engram zeigt, dass das Modul stereotype Sprachmuster wie Multi-Token-Entitäten und formelhafte Phrasen effektiv identifiziert und abruft.
Anwendungsfälle #
- Private AI-Stack: Integration in proprietäre Pipelines
- Client-Lösungen: Implementierung für Kundenprojekte
Ressourcen #
Original-Links #
Artikel empfohlen und ausgewählt vom Human Technology eXcellence Team, erstellt mit KI (in diesem Fall mit LLM HTX-EU-Mistral3.1Small) am 2026-01-27 12:30 Quelle: