Add papers

README.md

@@ -1,12 +1,15 @@
 # Paper List
 ## 2412
+#### [CLEAR: Conv-Like Linearization Revs Pre-Trained Diffusion Transformers Up](summaries/2412.16112.md)
+#### [Taming Multimodal Joint Training for High-Quality Video-to-Audio Synthesis](summaries/2412.15322.md)
 #### [UIP2P: Unsupervised Instruction-based Image Editing via Cycle Edit Consistency](summaries/2412.15216.md)
 #### [LeviTor: 3D Trajectory Oriented Image-to-Video Synthesis](summaries/2412.15214.md)
 #### [Flowing from Words to Pixels: A Framework for Cross-Modality Evolution](summaries/2412.15213.md)
 #### [LongBench v2: Towards Deeper Understanding and Reasoning on Realistic Long-context Multitasks](summaries/2412.15204.md)
 #### [DI-PCG: Diffusion-based Efficient Inverse Procedural Content Generation for High-quality 3D Asset Creation](summaries/2412.15200.md)
 #### [AV-Link: Temporally-Aligned Diffusion Features for Cross-Modal Audio-Video Generation](summaries/2412.15191.md)
 #### [Rethinking Uncertainty Estimation in Natural Language Generation](summaries/2412.15176.md)
+#### [Parallelized Autoregressive Visual Generation](summaries/2412.15119.md)
 #### [Qwen2.5 Technical Report](summaries/2412.15115.md)
 #### [AceMath: Advancing Frontier Math Reasoning with Post-Training and Reward Modeling](summaries/2412.15084.md)
 #### [Progressive Multimodal Reasoning via Active Retrieval](summaries/2412.14835.md)
@@ -28,6 +31,7 @@
 #### [Mix-LN: Unleashing the Power of Deeper Layers by Combining Pre-LN and Post-LN](summaries/2412.13795.md)
 #### [RAG-RewardBench: Benchmarking Reward Models in Retrieval Augmented Generation for Preference Alignment](summaries/2412.13746.md)
 #### [AntiLeak-Bench: Preventing Data Contamination by Automatically Constructing Benchmarks with Updated Real-World Knowledge](summaries/2412.13670.md)
+#### [SCOPE: Optimizing Key-Value Cache Compression in Long-context Generation](summaries/2412.13649.md)
 #### [GUI Agents: A Survey](summaries/2412.13501.md)
 #### [DateLogicQA: Benchmarking Temporal Biases in Large Language Models](summaries/2412.13377.md)
 #### [Proposer-Agent-Evaluator(PAE): Autonomous Skill Discovery For Foundation Model Internet Agents](summaries/2412.13194.md)

summaries/2412.13649.md

@@ -0,0 +1,25 @@
+# SCOPE: Optimizing Key-Value Cache Compression in Long-context Generation
+## TL;DR
+## Summary
+- [https://arxiv.org/pdf/2412.13649.pdf](https://arxiv.org/pdf/2412.13649.pdf)
+
+**1. 각 섹션의 요약:**
+
+**소개 및 배경**:
+이 논문은 대규모 언어 모델(LLMs)이 긴 컨텍스트 생성 작업에서의 키-값(KV) 캐시의 문제점을 해결하기 위해 SCOPE라는 새로운 프레임워크를 제안합니다. LLM이 긴 컨텍스트 작업을 수행할 때, KV 캐시는 많은 GPU 메모리를 사용하여 성능의 병목현상이 될 수 있습니다.
+
+**기존 방법과의 비교**:
+SCOPE는 프리필과 디코딩 단계에서 별도로 KV 캐시 최적화를 수행하며, 과도한 압축을 방지하고 중요한 정보를 보존할 수 있는 전략을 제안합니다. 기존의 압축 방법들이 지나치게 프리필 단계에 집중하여 긴 출력 작업에서 성능 저하를 초래하는 반면, SCOPE는 디코딩 단계에서도 최적의 메모리 사용을 도모합니다.
+
+**방법론**:
+SCOPE는 새로 개발된 슬라이딩 전략을 통해 디코딩 단계에서 중요한 토큰인 중대한 항목(heavy hitters)을 효과적으로 관리합니다. 또한, 적응형 및 불연속적인 전략을 도입해 메모리 사용과 전송을 최적화합니다.
+
+**실험 결과**:
+LONGGENBENCH 기준으로 실험을 수행한 결과, SCOPE는 전체 KV 캐시 성능과 유사한 성능을 35%의 메모리만으로 달성할 수 있으며, 다른 프리필 전용 압축 방법과도 호환됩니다.
+
+**결론**:
+SCOPE는 프리필과 디코딩 단계를 분리하여 KV 캐시 압축을 최적화함으로써, 메모리 사용의 병목현상을 줄이고 성능을 유지하며 다양한 언어 모델 작업에 효과적으로 적용될 수 있음을 증명합니다.
+
+**2. 전체 요약:**
+
+이 논문은 긴 컨텍스트 생성 작업에서 대규모 언어 모델(LLMs)의 메모리 사용 문제를 해결하기 위해 SCOPE라는 새로운 프레임워크를 제안합니다. SCOPE는 프리필과 디코딩 단계에서 별도로 KV 캐시 최적화를 수행하여 기존 방법에서 발생하는 성능 저하 문제를 극복합니다. 실험을 통해 SCOPE는 적은 메모리를 사용하면서도 높은 성능을 유지할 수 있음을 보였으며, 다양한 기존 방법과의 호환성을 지니는 강력한 압축 프레임워크입니다.

summaries/2412.15119.md

@@ -0,0 +1,29 @@
+# Parallelized Autoregressive Visual Generation
+## TL;DR
+## Summary
+- [https://arxiv.org/pdf/2412.15119.pdf](https://arxiv.org/pdf/2412.15119.pdf)
+
+#요약
+
+이 논문은 비주얼 데이터 생성 속도와 품질을 유지하면서 효율성을 높이기 위한 새로운 병렬 생성 방식을 제안합니다.
+
+## 1. 도입
+자기회귀 모델은 이미지 및 비디오 생성에서 느린 생성 속도가 한계였습니다. 이 논문에서는 시각적 토큰 간의 의존성을 사용해 병렬 생성을 가능하게 하여 일정 품질을 유지하면서도 생성 속도를 향상시킵니다.
+
+## 2. 관련 연구
+기존의 시각 생성 모델은 순차적인 생성 패러다임을 따릅니다. 이 논문은 이를 개선하여 더 빠르고 효율적인 병렬 생성 방법을 도입합니다.
+
+## 3. 방법론
+시각적 토큰을 약한 의존성과 강한 의존성을 구분하여 병렬 생성 전략을 개발했습니다. 약한 의존성을 가진 토큰은 병렬로 생성하며, 강한 의존성을 가진 토큰은 순차적으로 생성합니다.
+
+## 4. 모델 아키텍처 세부사항
+이 방법론은 표준 자기회귀 변환기를 이용해 구성되며 클래스 토큰 및 시각적 토큰의 병렬 생성을 지원하는 구조를 가집니다.
+
+## 5. 실험 결과
+ImageNet과 UCF-101 데이터셋을 기반으로 한 실험에서, 제안된 방법은 3.6~9.5배 속도 향상을 달성하면서 미세한 품질 저하만을 보였습니다.
+
+## 6. 주요 공헌 및 혁신적 부분
+이 논문은 병렬화된 자기회귀 비주얼 생성 모델을 개발해 시간 소모적이던 기존의 생성 방식을 효율화했습니다. 이 접근법은 굳이 모델 아키텍처나 토크나이저를 변경하지 않고도 대부분의 기존 모델에 통합이 가능합니다.
+
+# 종합 요약
+제안된 방법은 시각적 토큰 생성의 효율성을 높이기 위해 의존성에 따라 병렬 생성을 도입함으로써, 이미지 및 비디오 생성을 빠르게 할 수 있음을 실험적으로 입증했습니다. 이로써 자기회귀 모델의 느린 속도를 개선하고, 고품질의 비주얼 콘텐츠 생성을 가능하게 했습니다. 이는 비주얼 생성 분야의 효율적이고 통합된 방법론에 기여할 수 있는 중요한 연구 입니다.

summaries/2412.15322.md

@@ -0,0 +1,30 @@
+# Taming Multimodal Joint Training for High-Quality Video-to-Audio Synthesis
+## TL;DR
+## Summary
+- [https://arxiv.org/pdf/2412.15322.pdf](https://arxiv.org/pdf/2412.15322.pdf)
+
+**1. 논문 각 섹션 요약**
+
+- **서론**
+  이 연구에서는 비디오-오디오-텍스트 간의 멀티모달 통합 학습 패러다임을 제안합니다. 이로 인해 데이터 확장과 교차 모달 이해가 개선되어 오디오 품질과 의미적 정렬이 크게 향상됩니다.
+
+- **관련 연구**
+  오디오와 비디오 간의 의미 정렬을 개선하기 위해 오디오-시각 데이터 및 오디오-텍스트 데이터의 쌍을 기반으로 훈련합니다. 이는 비디오-텍스트 쌍에도 전이될 수 있는 의미적 이해도를 제공합니다.
+
+- **MMAudio**
+  - **설명**
+    MMAudio는 비디오, 오디오, 텍스트 조건을 사용하는 멀티모달 트랜스포머 네트워크로 구성되어 있으며, 학습 시 결여된 모달리티는 마스킹 처리되어 하나의 통합된 시맨틱 공간을 가능하게 합니다.
+  - **조건부 동기화 모듈**
+    오디오와 비주얼 간의 정밀한 시간 조정을 위해 자가 지도된 오디오-비디오 비동기 감지기를 활용하여 높은 프레임 속도의 비주얼 피처를 사용한 동기화 모듈을 소개합니다.
+  - **훈련 및 추론**
+    다양한 데이터세트에서 훈련해 대규모 멀티모달 데이터를 사용할 수 있으며, 오디오의 질과 의미적 정렬을 향상시킵니다.
+
+- **실험 결과**
+  오디오 품질, 의미적 정렬과 시간 조정과 같은 평가 지표에서 시각-오디오 동기화를 위해 제안한 동기 모듈이 높은 성능을 보이며, 다른 기존 방법들보다 우수한 결과를 나타냅니다.
+
+- **결론**
+  MMAudio는 데이터 모드의 생성에 있어 의미적 정렬과 동기화의 새로운 기준을 세우며, 특히 비디오-오디오 생성에서 혁신적인 성능을 보여줍니다.
+
+**2. 전체 요약**
+
+이 논문은 비디오, 오디오, 텍스트 모달리티 간의 통합 학습을 통해 다양한 모달 데이터 간의 의미적 정렬과 동기화를 개선하는 새로운 방법론을 제안합니다. MMAudio는 조건부 동기화 모듈을 활용하여 높은 품질의 오디오 데이터 생성과 의미적 정렬을 통해 새로운 최첨단 성능을 보여주며, 대규모 데이터세트에서 훈련된 기술로서 비디오-오디오 변환에 적용할 수 있는 잠재력을 보여줍니다.

summaries/2412.16112.md

@@ -0,0 +1,20 @@
+# CLEAR: Conv-Like Linearization Revs Pre-Trained Diffusion Transformers Up
+## TL;DR
+## Summary
+- [https://arxiv.org/pdf/2412.16112.pdf](https://arxiv.org/pdf/2412.16112.pdf)
+
+1. 논문의 각 섹션 요약:
+
+- **서론**: 이 논문은 디퓨전 모델과 DiT(디퓨전 트랜스포머)에 대해 설명합니다. 전통적으로 UNet 구조가 이 분야를 지배했지만, DiT은 최근 주목받으며 각광받고 있습니다. 그러나 DiT의 주의 메커니즘은 높은 계산 복잡도로 고해상도 이미지 생성에서 지연을 초래합니다.
+
+- **효율적인 주의 메커니즘 개요**: 일반적인 주의 메커니즘은 토큰 간 관계를 모델링하면서 시간과 메모리 복잡성을 증가시킵니다. 이를 해결하기 위한 다양한 접근법이 소개됩니다. 이 논문은 기존의 방법을 '형식 변형', '키 값 압축', '키 값 샘플링'으로 분류합니다.
+
+- **메소드**: 기존의 DiT를 효율화하기 위해 주의 레이어를 대체하는 실험을 시도합니다. 실험 결과는 기존 DiT가 강조하는 지역성, 형식적 일관성, 고계급의 주의 맵, 피처의 무결성을 충족해야 한다고 결론 짓습니다.
+
+- **결론**: CLEAR(Convolution-Like Attention for Efficient Rendering)는 고해상도 이미지 생성에 있어 DiT를 선형화하는 효율적인 방법입니다. 이 접근은 토큰이 지역적으로 제한된 윈도우 내에서만 상호작용함으로써 선형 복잡성을 달성합니다.
+
+논문의 주요 기여는 CLEAR라는 새로운 주의 메커니즘을 제안하여 DiT의 복잡성을 줄이고, 고해상도 이미지 생성에서의 효율성을 높이는 것입니다. 이는 DiT의 계산 시간과 노력이 크게 개선되었습니다.
+
+2. 전체 요약:
+
+이 논문은 DiT의 비효율성을 극복하기 위해 CLEAR라는 새로운 주의 메커니즘을 제안합니다. CLEAR는 각 쿼리가 제한된 지역 창 내의 토큰과만 상호작용하여 DiT의 선형 복잡성을 달성합니다. 실험 결과, CLEAR는 기존의 복잡한 DiT보다 크게 향상된 계산 효율성을 보여주었으며, 8K 해상도 이미지 생성에서 6.3배 빠른 속도를 기록했습니다. 이 접근법은 특히 고해상도 이미지 생성에 유리하며, 다양한 모델 및 플러그인에서 일반화 가능합니다.