タグ
9件 · 5週間分
Hugging Faceは、効率的な多言語・マルチモーダルエンコーダー「NeoMME」を導入しました。これにより、異なる言語やメディアタイプを横断して情報を統合する能力が向上します。また、TRLライブラリを用いたGRPOステップで350Mモデルの構造化出力のファインチューニングを改善する手法も発表され、小規模モデルでも高品質な出力を効率的に生成する道を開きます。
TabletCraftは、世界最古の文字体系である楔形文字を現代のユーザーが読み書きできるようにする初のオープンソースシステムです。アッカド語から英語への翻訳だけでなく、英語からアッカド語への楔形文字レンダリングも可能にし、4,000年の文化ギャップを埋めます。
自然言語処理における不均衡データクラスタリングの課題に対し、ガウス混合モデル（GMM）と大規模言語モデル（LLM）を統合したデータ拡張手法を提案。GMMで少数派クラスターを検出し、LLMで合成ドキュメントを生成し、クラスターの表現力を向上させます。
LLMが自動判定を行う際の認知バイアス脆弱性に対処するため、「Chain-of-Models (CoM)」という自動監査パイプラインを提案。これは、第二のモデルが第一モデルの推論過程を検査してから最終判定を下す仕組みで、監査モデルの選択が重要であることを示します。
ArXivで発表された「DuplexGen」は、LLMエージェントが人間の会話ターンテイキングの好みに適応しながら、多様なシナリオに応じた対話を生成するフレームワークです。これにより、より自然で柔軟な人間とAIのインタラクションが可能になります。
大規模言語モデル（LLM）の「幻覚ニューロン」は、特定の知識領域で幻覚を予測するものの、異なる知識領域間では汎化しないことが示されました。この研究は、LLMの幻覚を軽減するための介入策がドメイン固有である可能性を示唆し、クロスドメインでの信頼性確保の難しさを浮き彫りにしています。
大規模言語モデル（LLM）における有害な社会的バイアスであるステレオタイプを、ニューラルネットワークのどの部分に内在しているかを特定し、防止するための研究が進められています。GPT-2 SmallとLlama 3.2の内部メカニズムを分析し、ステレオタイプ関連の活性化を特定するアプローチが探求されています。
非侵襲的脳波（EEG）信号からの自然言語デコードは、低い信号対ノイズ比と限られた情報帯域幅により根本的な限界がありました。本研究「Brain-CLIPLM」では、EEGが完全な言語構造ではなく、圧縮された意味的アンカーを符号化するという「意味圧縮仮説」を提唱し、この仮説に基づいた言語再構築アプローチを提案します。
大規模言語モデル（LLM）の過信問題に対処するため、テスト時識別蒸留を用いた「SECL」が提案されました。これにより、LLMの「この回答は正しいか？」という識別信号を活用し、追加データなしでモデルの信頼性を効果的に改善します。