Add papers

README.md

@@ -1,6 +1,7 @@
 # Paper List
 ## 2412
 #### [UIP2P: Unsupervised Instruction-based Image Editing via Cycle Edit Consistency](summaries/2412.15216.md)
+#### [LeviTor: 3D Trajectory Oriented Image-to-Video Synthesis](summaries/2412.15214.md)
 #### [Flowing from Words to Pixels: A Framework for Cross-Modality Evolution](summaries/2412.15213.md)
 #### [LongBench v2: Towards Deeper Understanding and Reasoning on Realistic Long-context Multitasks](summaries/2412.15204.md)
 #### [DI-PCG: Diffusion-based Efficient Inverse Procedural Content Generation for High-quality 3D Asset Creation](summaries/2412.15200.md)
@@ -11,6 +12,7 @@
 #### [TOMG-Bench: Evaluating LLMs on Text-based Open Molecule Generation](summaries/2412.14642.md)
 #### [MegaPairs: Massive Data Synthesis For Universal Multimodal Retrieval](summaries/2412.14475.md)
 #### [Affordance-Aware Object Insertion via Mask-Aware Dual Diffusion](summaries/2412.14462.md)
+#### [PixelMan: Consistent Object Editing with Diffusion Models via Pixel Manipulation and Generation](summaries/2412.14283.md)
 #### [Descriptive Caption Enhancement with Visual Specialists for Multimodal Perception](summaries/2412.14233.md)
 #### [AniDoc: Animation Creation Made Easier](summaries/2412.14173.md)
 #### [Learning from Massive Human Videos for Universal Humanoid Pose Control](summaries/2412.14172.md)
@@ -25,7 +27,9 @@
 #### [RAG-RewardBench: Benchmarking Reward Models in Retrieval Augmented Generation for Preference Alignment](summaries/2412.13746.md)
 #### [AntiLeak-Bench: Preventing Data Contamination by Automatically Constructing Benchmarks with Updated Real-World Knowledge](summaries/2412.13670.md)
 #### [GUI Agents: A Survey](summaries/2412.13501.md)
+#### [DateLogicQA: Benchmarking Temporal Biases in Large Language Models](summaries/2412.13377.md)
 #### [Proposer-Agent-Evaluator(PAE): Autonomous Skill Discovery For Foundation Model Internet Agents](summaries/2412.13194.md)
+#### [Move-in-2D: 2D-Conditioned Human Motion Generation](summaries/2412.13185.md)
 #### [Are Your LLMs Capable of Stable Reasoning?](summaries/2412.13147.md)
 #### [VidTok: A Versatile and Open-Source Video Tokenizer](summaries/2412.13061.md)
 #### [OmniEval: An Omnidirectional and Automatic RAG Evaluation Benchmark in Financial Domain](summaries/2412.13018.md)

summaries/2412.13185.md

@@ -0,0 +1,30 @@
+# Move-in-2D: 2D-Conditioned Human Motion Generation
+## TL;DR
+## Summary
+- [https://arxiv.org/pdf/2412.13185.pdf](https://arxiv.org/pdf/2412.13185.pdf)
+
+### 1. 각 섹션 요약 및 주요 기여점
+
+**소개**: 본 논문에서는 인공지능과 기계 학습의 최신 발전을 활용하여 장면 이미지와 텍스트를 기반으로 인간 동작을 자연스럽게 생성하는 새로운 과제를 소개합니다. 이 과제는 2D 장면 이미지 및 텍스트 조건을 통해 인간의 동작을 생성함으로써, 3D 재구성 없이도 동작 생성을 보다 접근 가능하게 만듭니다.
+
+**관련 연구**: 기존의 인간 중심 비디오 생성 연구는 사전 정의된 모션 시퀀스에 의존하여 다양한 모션을 생성하는 데 제한이 있었습니다. 이 논문은 텍스트 및 장면 이미지를 조건으로 하는 모션 가이드 시퀀스를 생성하여 인간 비디오 생성 프레임워크를 위한 안내로 사용합니다.
+
+**Humans-in-Context Motion Dataset**: 인간의 동작을 이해하고 생성하기 위한 리서치를 촉진하기 위하여 대규모 데이터셋을 구축하였습니다. 이 데이터셋은 장면 문맥과 일치하는 움직임 시퀀스를 포함하지는 않지만, 다양한 얼굴 표정과 손 자세를 포함하게 확장하였습니다.
+
+**접근방식**: 제안된 접근방식은 대규모 데이터셋을 활용하여 텍스트와 장면 이미지를 조건으로 하는 확산 기반 네트워크를 제안합니다. 이 모델을 통해 자동화된 인간 동작 생성 및 비디오 생성에서의 품질을 향상시킬 수 있습니다.
+
+**Diffusion Model의 개요**: Diffusion 모델은 데이터를 노이즈를 추가하여 전진 과정 및 후진 과정을 통해 데이터 분포를 근사화합니다. 이 과정에서 배경 씬 이미지와 텍스트 프롬프트의 조건을 사용하는 것이 핵심입니다.
+
+**Conditional Motion Diffusion**: 입력 조건을 기반으로 대상 인간 동작을 생성하여 움직임이 2D 배경 장면 이미지에 자연스럽게 투영되도록 합니다. 이는 SMPL 공간의 점들을 이미지 평면에 투영하기 위해 고정된 초점 거리를 가진 원근 카메라를 가정합니다.
+
+**Multi-Conditional Transformer**: 텍스트 프롬프트와 장면 조건을 변환기 모형에 주입하여 입력 설명과 장면에 물리적으로 호환되는 움직임 시퀀스를 생성합니다.
+
+**훈련 전략**: 두 단계 훈련을 통해 다양한 모션 시퀀스를 생성하고 카메라 효과와 인간의 모션을 분리합니다. 첫 번째 단계에서 장면 의미를 배우고 다양한 모션 시퀀스를 생성하며, 두 번째 단계에서 큰 움직임을 개선합니다.
+
+**실험 및 결과**: 실험 결과, 제안된 모델이 기존 방법들보다 더 높은 품질 점수와 다양성을 갖춘 모션을 생성함을 보여주었습니다.
+
+**결론**: 본 논문은 2D 배경 장면 이미지를 조건으로 하는 인간 동작 생성의 새로운 작업을 소개하며, 제안된 방법과 데이터셋을 활용하여 인공지능 기반 비디오 생성의 미래 발전에 기여합니다.
+
+### 2. 전체 요약
+
+본 논문은 인공지능 및 기계 학습을 활용하여 인간의 자연스러운 동작을 2D 장면 이미지 및 텍스트 조건에 맞춰 생성하는 새로운 문제를 제시합니다. 제안된 방법은 대규모 데이터셋을 기반으로 한 확산 기반 네트워크를 통해, 다양한 장면과 동작을 생성을 지원하며, 기존의 동작 생성 방식에 비해 향상된 품질과 다양성을 구현합니다. 논문에서는 이 모델이 인공지능 기반 비디오 생성에서의 품질 향상에 기여할 수 있는 가능성을 제시하고, 향후 발전 가능성을 남기고 있습니다.

summaries/2412.13377.md

@@ -0,0 +1,27 @@
+# DateLogicQA: Benchmarking Temporal Biases in Large Language Models
+## TL;DR
+## Summary
+- [https://arxiv.org/pdf/2412.13377.pdf](https://arxiv.org/pdf/2412.13377.pdf)
+
+### 1. 논문 각 섹션의 중요 내용 요약
+
+#### 서론 및 기여
+이 논문은 대형 언어 모델(LLM)에서 발생하는 시간적 편향 문제를 다룹니다. 주요 기여로는 다양한 날짜 형식과 시간적 문맥, 그리고 상식, 사실, 개념, 수치적 추론을 포함한 190개의 질문으로 구성된 DateLogicQA 데이터셋의 도입입니다. 또한, 토큰화 품질을 평가하는 Semantic Integrity Metric을 제안하였고, 인간 평가를 통해 토큰화 정확성과 추론 품질을 분석했습니다. 논문은 시간 참고 처리에 있어 대형 언어 모델의 표현 및 논리 수준의 편향을 철저히 평가했습니다.
+
+#### 관련 연구
+토큰화는 LLM의 효율성과 추론 능력에 큰 영향을 미칩니다. 선행 연구들은 토크나이저 설계가 표현의 효율성과 공정성에 어떻게 영향을 미치는지 보여주었습니다. 이 연구는 다양한 날짜 형식에 대한 시간 추론을 처리하는 데 있어 토큰화의 역할을 확장하여 분석합니다.
+
+#### DateLogicQA 데이터셋
+DateLogicQA 데이터셋은 LLM이 다양한 날짜 형식과 문맥을 다루는 방법을 분석하기 위해 설계되었습니다. 이는 다양한 시간적 정보를 처리하는 LLM의 성능에 대한 심층 분석을 가능하게 합니다.
+
+#### 방법론
+시간적 편향을 조사하기 위해 토큰화 과정, 시간적 과제 처리 능력, 그리고 내적 계산을 분석합니다. 이 과정에서 Semantic Integrity Metric을 사용해 데이터의 의미 보존 여부를 평가하며, 사람 주도의 편향 평가를 통해 LLM의 시간적 편향을 확인합니다.
+
+#### 실험 결과
+시간적 문맥, 날짜 형식, 그리고 질문 유형에 따른 모델의 성능을 분석했습니다. 결과적으로, 미래 지향적인 추론에서 더 나은 성능을 보였지만, 과거와 현재 문맥에서 어려움을 겪었습니다. 논리 수준과 표현 수준의 편향이 발견되었습니다.
+
+#### 논의 및 결론
+LLM에서의 시간적 편향을 해결하기 위해 균형 잡힌 사전 훈련 데이터셋 개발을 제안합니다. 후속 훈련 방법과 세밀한 프롬프트를 사용해 모델의 논리적 추론 능력을 강화하는 방법을 논의합니다. 하지만 이러한 접근 방법만으로는 편향을 완전히 제거할 수 없다는 한계점도 언급되고, 이는 공정성 향상의 단계로서 중요하게 여겨져야 한다고 결론 내립니다.
+
+### 2. 전체 요약
+이 논문은 대형 언어 모델에서 나타나는 시간적 편향 문제를 체계적으로 분석하고, 이러한 편향을 해결하기 위한 다양한 방법론을 제안합니다. DateLogicQA 데이터셋을 기반으로 한 실험에서 다양한 날짜 형식과 문맥에서의 LLM의 성능을 평가하였으며, 이에 따른 편향 원인을 논리 및 표현 수준에서 분석하였습니다. 이 연구는 시간적 편향 제거를 위한 전략적으로 사전 훈련 데이터를 개선하고, 후속 훈련 및 프롬프팅 방식을 활용해야 함을 시사하며, 이는 미래 인공지능 모델 개발에 있어 중요한 토대가 될 것입니다.

summaries/2412.14283.md

@@ -0,0 +1,25 @@
+# PixelMan: Consistent Object Editing with Diffusion Models via Pixel Manipulation and Generation
+## TL;DR
+## Summary
+- [https://arxiv.org/pdf/2412.14283.pdf](https://arxiv.org/pdf/2412.14283.pdf)
+
+1. **각 섹션 요약 및 주요 기여와 혁신적인 부분**
+
+   **소개**
+   이 논문은 'PixelMan'이라는 새로운 방법을 제안합니다. PixelMan은 사전 학습된 텍스트-이미지 생성 모델을 이용하여 객체를 위치, 크기, 구성 등을 변경하면서도 이미지의 일관성을 유지하는 객체 편집을 목표로 합니다. 기존의 주로 학습 기반 방법과 비교할 때 이 방법은 학습이 필요 없는 방식으로 더욱 효율적이며, 기존 기법들이 필요한 50번의 단계 대신 16번의 단계로 더 나은 결과를 보여줍니다.
+
+   **Diffusion Models 및 관련 연구**
+   Diffusion Models은 텍스트를 기반으로 하여 고품질의 이미지 생성을 가능하게 하는 모델로, PixelMan의 기초를 이룹니다. 이 모델은 시간에 따라 점차적으로 노이즈를 제거하며 이미지를 생성하는 데 사용됩니다.
+
+   **방법론**
+   PixelMan을 위한 세 가지 주요 기술이 설명됩니다. 첫째, 역변환이 필요 없는 세분화된 샘플링 기법, 둘째, 정보 누출을 방지하는 누출 방지 자기 주의 기법, 셋째, 잠재 최적화를 통한 편집 가이드라인입니다. 이 기술들로 PixelMan은 더 적은 연산 수로 빠르게 객체를 편집하면서도 일관된 품질을 유지합니다.
+
+   **결과 및 논의**
+   PixelMan은 COCOEE와 ReS 데이터셋에서 현재의 여러 기법들과 비교했을 때 일관성 메트릭에서 우수한 성능을 보였습니다. 16번의 사례에서도 탁월한 편집 품질을 유지하며, 객체와 배경의 일관성을 보장합니다.
+
+   **결론**
+   이 논문은 PixelMan을 통해 이미지 일관성을 유지하면서도 효율적인 객체 편집을 가능하게 하는 방법론을 제안하였습니다. 이는 현존하는 다양한 학습 기반 및 비학습 방법론들보다 탁월한 성능을 보여줍니다.
+
+2. **전체 요약**
+
+   이 논문은 PixelMan이라 불리는 새로운 기법을 통해 사전 학습된 텍스트-이미지 생성 모델을 이용한 효율적인 객체 편집법을 제안합니다. PixelMan은 객체의 위치나 크기 등을 수정하는 동안 이미지의 텍스처와 속성을 변형하지 않고 일관성을 유지하는 데 중점을 둡니다. 기존의 많은 학습 기반 기법들은 방대한 연산 자원이 필요하고 시간이 많이 소요되나, PixelMan은 16단계 만에 우수한 편집 품질을 유지할 수 있습니다. 또한 정보 누출 문제를 해결함으로써 더 나은 품질을 보장하는 편집 기법을 제공합니다.

summaries/2412.15214.md

@@ -0,0 +1,25 @@
+# LeviTor: 3D Trajectory Oriented Image-to-Video Synthesis
+## TL;DR
+## Summary
+- [https://arxiv.org/pdf/2412.15214.pdf](https://arxiv.org/pdf/2412.15214.pdf)
+
+### 1. 주요 섹션 요약
+
+1. **서론**
+   - 이 논문은 이미지에서 동영상을 생성할 때, 객체의 3D 궤적을 조정하는 새로운 모델인 LeviTor를 제안합니다. LeviTor는 깊이 정보와 K-평균 클러스터링 포인트를 활용하여 명시적인 3D 궤적 추정 없이 객체의 궤적을 효과적으로 표현합니다.
+
+2. **관련 연구**
+   - 이전 연구들은 대부분 텍스트나 이미지 프롬프트에 의존했으며, 이는 세밀한 제어가 힘들었습니다. 반면, LeviTor는 3D 궤적 제어를 통해 이러한 한계를 극복합니다.
+
+3. **방법론**
+   - LeviTor의 방법론은 K-평균 클러스터링을 이용하여 객체 마스크에서 제어 신호를 생성하고, 유저가 입력한 궤적을 바탕으로 객체의 움직임을 제어하는 것입니다. 이 과정에서는 DepthAnythingV2 네트워크를 활용하여 깊이 맵을 예측합니다.
+
+4. **실험 및 결과**
+   - LeviTor는 다른 모델들에 비해 더 높은 질의 동영상을 생성하며, 특히 객체의 이동과 상호작용에 대한 정밀한 제어가 가능합니다. LeviTor는 3D 궤적 제어를 통해 물리 법칙에 맞는 현실적인 객체 움직임을 구현할 수 있습니다.
+
+5. **결론**
+   - 본 연구는 3D 객체 궤적 제어를 통해 이미지-동영상 합성 작업의 접근성을 높였습니다. 앞으로 LeviTor를 더욱 발전시켜 비정형 운동을 보다 잘 다룰 수 있도록 개선할 계획입니다.
+
+### 2. 전체 요약
+
+LeviTor는 이미지에서 동영상을 생성할 때 객체의 3D 궤적을 효과적으로 제어할 수 있는 혁신적인 모델입니다. 이 모델은 깊이 정보와 K-평균 클러스터링 포인트를 통합하여 명시적인 3D 궤적 추정 없이 복잡한 객체의 움직임과 상호작용을 캡처합니다. 사용자가 쉽게 2D 이미지에 궤적을 그리고 깊이를 조정할 수 있게 하여, 기술적인 전문 지식 없이도 고품질 동영상 생성이 가능하도록 설계되었습니다. 이 논문은 이러한 기술을 통해 기존의 이미지-동영상 생성 기술의 한계를 극복하고, 더 발전된 영상 생성 기법에 기여하고 있습니다.