[11/15] 권세중 / AlphaTuning

[sjquan]

• 오늘 발표해주신 방법론들은 large language model에 특정화된 방법론 같은데, 일반적으로 해당 분야에서 방법론이 제안되면 그 방식들이 다른 task(computer vision)으로도 전파되는식으로 연구가 발전되는것인지 등 이쪽 분야 연구의 흐름(?)은 어떻게 나아가는지 질문드리고자 합니다!
   : 이 부분은 결국 transfer learning이라는 이름으로 더 많이 불리는 것 같습니다. Vision Transformer에도 LoRA 비슷한 적용을 한 사례는 있습니다만, NLG만큼 어려운 문제는 아닌것으로 보입니다. 아무래도 image라는 특성이 knowledge transfer에 더 적합한것 같습니다. 제가 요즘 Image를 follow-up하고 있지는 않아서 더 이상 답변은 어려울것 같습니다.

---

• Performance 측면에는 LoRA, Engineering 관점에서 Maintenance 관점에서는 prompt tuning이 좋다라고 말씀하셨는데, Performance적인 측면은 코드로 해결할 수 없지만 Maintenance 적인 측면에서는 코드적으로 LoRA의 pretrained weight와 additional weight를 묶어주는 과정이 있으면 해결할 수 있다고 봅니다. 물론 용량적인 측면은 어쩔수 없지만... 제가 혹시 생각하는 것 이상으로 유지보수가 좀 더 힘든부분이 있을까요? 스터디에서 언급해주신 내용보다 가능하시다면 좀 더 디테일하게 설명해주시면 감사하곘습니다 :)
  : API 콜이 가능하냐 아니냐의 문제이고요. 굳이 비교하자면 p-tuning이 LoRA보다 더 편하다는 것이지, 큰 체크포인트 관리하는 것에 비하면 그 차이가 훨씬 적은것이 맞을것 같습니다. 제가 인프라를 운영하는 사람은 아니라서 디테일을 논하는 것은 적절하지 않을것 같습니다. 

---

• Memory-bound problem이 발생했을 때 data compression을 활용하는 것을 생각할 수 있는데 in-cache decompression을 구현하는 것이 가능할지 궁금합니다. 이 방법을 활용하면 기존에 활용하기 어려웠던 unstructured sparsity도 데이터 압축을 원활하게 함으로써 도움이 되고 compute가 아닌 memory가 병목이라면 compressed tensor를 연산 중 dynamic하게 decompression 하는 것이 도움이 되지 않을지 궁금합니다.
   : 네 맞습니다. 문제는 그런 decompression을 얼마나 효율적으로 구현할수 있냐하는 것입니다. unstructured sparsity를 구현시키기위한 제 ICLR 2022 논문도 그런 관점에서 접근한 것이구요. 문제는 lossless한 압축이 얼마나 가능할 것인가, dynamic하게 decompression하는 것이 overhead가 과연 없겠느냐 하는 질문일것입니다. 만약 그런 방법이 있다면 너무 좋겠지요? :)

---

• 큰 모델을 압축해버리면 general한 performance가 줄어들어 버려서 다양한 downstream task에서 잘 동작해야하는 PLM으로서의 가치가 떨어질 수 있다고 생각하셨는데, LRA, pruning에 비해 quantization은 어느 정도 general한 performance를 방어하는 것 처럼 보이는 경우가 있는 것 같고, AlphaTuning 결과도 이를 뒷받침하는 것 같습니다. 혹시 이에 대해 어떻게 생각나요? 저는 quantization이 non-linearity나 matrix의 rank가 보존되기 때문이 아닐까 생각하는데 또 다른 이유도 있을까요?
  : 여러가지 이유가 있을텐데, 저는 사실 pruning이 더 잘된다고 생각합니다. 다만, re-training까지 하면서 unstructured pruning하기가 어려워서 그럴것 같구요. LRA보다 quantization이 훨씬 나은 이유중에 하나는 결국 LRA는 주어진 범위로 부터 어떤 수학적인 특성이 있다고 생각하는 것에 반해서, quantization은 heuristic하게 각각을 독립적으로 보기 떄문인것 같습니다. 딥러닝 모델 파라미터의 특성이 quantization에 더 어울린다고 생각합니다.

---

• WebNLG에서 AlphaTuning이 FT에 비해 Unseen이 높게 나오는 것은 FT 모델의 overfitting으로 생각할 수 있는데, Seen에서도 더 높게 나올 수 있는 이유가 뭘까요? 혹시 trainable parameter 수가 적어서 fine-tuning 효율이 높았고, FT 모델은 under-trained 된 걸수도 있을까요....?
  : 그만큼 Seen에서도 Fine-tuning이 안된다고 보시면 됩니다. 말씀 하신 이유가 맞다고 생각합니다. 꼭 overfitting과 under-trained가 정확히 반대되는 것은 아니고, overfitting도 되고 under-trained될수도 있는거니까요.

---

• 하이퍼 클로바나 GPT3 같은 모델들은 서버에서 다양한 다운 스트림 테스크들을 할 수 있는 것이 중요하기 때문에 하나의 테스크에 대해서 압축하기 보다는 일반 성능을 유지하면서 adaptor등을 활용하는 것이 중요한 것이라는 것을 알게되었습니다. 그렇다면, 이와 다르게 GPT3보다는 조금 작은 모델에 대해서라도 PLM을 번역 등의 한 가지 테스크에 대해서만이라도 잘 되도록 작게 압축하는 기법이 활용되는 케이스도 있을까요? 실제로는 task-specific embedded small model 보다는 더 큰 PLM을 서버에 두고 query와 답변만 주고 받는 식으로만 동작할지 궁금합니다.
  : BERT에 대해서 압축된 사례들을 보시면 좋을것 같습니다. 아니면 QuantGPT라고 GPT2를 downstream task에 대해서 QAT로 압축한 방법도 있기는 합니다. 만약 하나의 task가 너무 중요하다면 그것만을 위한 압축된 모델을 만들수도 있겠죠? 마지막 줄은 질문의 의도를 이해를 못했습니다.

---

• LLM.int8() 논문과 이번 논문을 보면서 개인적으로 NLP 관련 모델들에 적용되는 PTQ 방식이 생각보다 단순하다는 것에 놀라고 있습니다. CV용 CNN들의 경우 1 bit이나 2 bit까지 weight를 내리는 PTQ는 아직 적용된 바가 보이는데, NLP용 거대 모델들에는 (row-wise scale retraining이 있기는 합니다만 그걸 감안하더라도) 왜 이런 접근이 유효한 것일까요? 저는 왠지 두개 논문에 걸쳐 NLP 모델이 워낙 크다보니 redundancy가 대단히 크기 때문이 아닐까라는 인상을 받고 있는데, 이 부분에 대한 의견을 여쭙고자 합니다.
    : 저는 이게 결국 generation의 특성이라고 보는데요. vision 쪽에서도 classification은 BNN으로도 되지만, generation은 그렇지 않은 것처럼, NLU(BERT)같은건 결국 적은 수의 label로 project하다보니 BinaryBERT도 나오지만, NLG는 autogressive하게 계속해서 말을 만들어야하기 때문에 1/2-bit까지 내리는게 안되는 것 같습니다. 그리고 뭔가 re-training을 하기에는 시간이 너무 걸리니, PTQ 적용을 단순하게 할수밖에 없구요. 대신, inference 방식을 복잡하게 가져갑니다 (LLM.int8의 fp16 decomposition / vector-wise quant. 등). 물론 모델이 커짐에 따라 redundancy가 커지고 압축이 잘되기는 하지만, 단순히 단순한 PTQ 방식을 적용했다고 보기에는 조금 어려운것 같습니다. 그리고 LLM.int8은 act quant를 했고, 제 방법은 그렇지 않다는 것에 주의해서 논문을 봐주시면 좋을것 같네요.
   
   
   
   

[sjquan]

• 최상범님이 어제 물어보신 "Revisiting Parameter-Efficient Tuning: Are We Really There Yet?" 논문에 대해서는 배울바가 많은 논문이라고 생각하나, large-scale model에 대해서는 다시 생각해볼 필요가 있다고 생각합니다. 결국 BERT fine-tuning으로 LoRA같은 방법론에 대해 얘기할수 있나 좀 회의적인 생각이 있습니다.

[SangbumChoi]

감사합니다 :) 회의적이라는 것은 scale이 너무 작다는 뜻이겠죠...?

[sjquan]

네네 그것도 있고 BERT는 아무래도 적은 수의 label로 projection하는 문제(NLU)를 풀고 large-scale 모델들이 Generation을 하다보니 같은 모델로 놓고 얘기 하기가 어렵다고 생각합니다.

[SangbumChoi]

감사합니다 :)

[sjquan]

• 퀄컴 AIMET에 대해서
  : 그간의 DFQ, AdaRound 등을 총정리해서 나온 Framework으로 보입니다. DFQ는 한계가 있을것이고, 결국 AdaRound가 핵심일테고 MRE방법이 잘 되냐 이렇게 접근해야할것 같애요. MRE + Large-scale Language Model이 잘 될까 이건 잘 모르겠습니다. 퀄컴이 타겟하는 NPU 위의 작은 모델들에 쓰이지 않을까 싶네요. 오늘은 퀄컴 스냅드래곤에 4bit을 넣는다고 기사가 나왔던데.. 8bit도 안쓰는데 4bit을 쓸까요? 라는게 제 의문입니다.

[sjquan]

• (First Compression-Aware Adaption slide) A, B, C -> D, B -> D 등 서로 다른 과정에 대해 퍼포먼스 그래프가 있는데 이 때 사용된 PLM 과 task 들은 뒤 슬라이드 결과 테이블에 수치를 바탕으로 제시한것이라고 보면 될까요?
  : 그것보다는 conceptual이라고 보시면 됩니다. 대략적으로는 맞는 말씀이십니다.

• (AlphaTuning slide) alpha tuning 에서 binary weight 는 frozen 되었는데 이것도 같이 학습시켰을 때 결과는 어떨까요...?
  : 이것도 학습이 잘 되면 당연히 좋을것 같습니다만, 만약 STE같은거 말고 이거 하실만한 효율적인 아이디어가 있으시다면 저랑 같이 공동연구좀 부탁드립니다.

• (WebNLG Table 2 slide) LoRA 부분에서 궁금한게 있습니다. 여기서 PTQ(W) + W_LoRA 방법은 사전에 학습된 (경량화되지 않은 full model로부터) W_LoRA weight 를 PTQ(W) 된 모델에 더한것으로 해석해도 될까요? 아니면 사전 pretrained 된 full model에 PTQ를 적용하고 그 뒤 quantized 된 모델에 LoRA를 적용한 것인지 궁금합니다.
  : 아 전자가 맞습니다. quantized된 상태에다가 LoRA를 적용하면 약간 더 좋아지기는 할겁니다. p-tuning도 마찬가지로 적용할 수 있습니다. 하지만 당연히 AlphaTuning만큼의 성능이 나오지는 않습니다.

• AlphaTuning 이 Tuning 을 잘한다! (효율적으로 한다) 라는 뜻에서 나온 명칭인가요..? 개인적으로 명칭이 어떻게 나오게 되었는지 궁금해서 적어보았습니다.
  : scaling factor를 alpha로 표기를 많이 합니다. 그래서 alphatuning입니다 ㅎㅎ..

[sjquan]

• quantization에 대해 깊은 지식이 없어서 질문이 이상할 수도 있는데, 실제로 현업에서 사용할 때, post quantization 대신 quantization-aware 을 사용하면 큰 속도향상이 있을까요? (현업에서 충분히 사용가능한지? 아니면 아직은 연구가 많이 필요한지?)
  : post-training quant. (PTQ) 와 quantization aware training (QAT)사이의 속도나 난이도 차이는 넘사입니다. 당연하 PTQ가 빠르고 성능이 떨어집니다. 특히 large language model에서는 거의 QAT를 하지 못한다고 봐야죠.

[sjquan]

• GPT 계열 모델의 quantization 성능을 보일 때 어떤 metric을 보이면 충분히 유의미한 결과를 보였다고 할 수 있을까요? 예를 들면 "FP8 FORMATS FOR DEEP LEARNING" 페이퍼에서 GPT 계열 모델의 FP8 학습 결과를 학습 dataset에 대한 학습 결과로만 보이는 것 같은데, 설명해주신 내용에 따르면 GPT 계열 모델에서 더 중요한 점은 여러 task로의 확장 가능성 (zero-shot evaluation)을 보이는게 아닐까 생각하게 되었습니다. GPT 계열 모델에서 학습 결과가 비슷한 점만으로 충분히 GPT 학습이 잘 되었고 FP32 모델과 성능이 비슷하다고 주장할 수 있는지 궁금합니다.
  : 정답은 없습니다. ppl은 language model의 loss만 나타내다보니 one of them이라고 봐야할것 같구요. 다양한 task 결과를 같이 펼쳐놓고 봐야하는 것 같습니다. 최근에는 https://github.com/EleutherAI/lm-evaluation-harness 를 참고해서 lambada, hellaswag, mathQA 등을 report하는 경우는 좀 본 것 같습니다. 특히 lambada가 쉬운것 같지 않더라구요.

[ConstantPark]

발표 해주신것 보고 서비스 관점에서 궁금한 점이 있어서 궁금한점 문의드립니다.

이전에 세중님께서 다양한 디바이스 (스마트폰 환경)을 고려한 경량화 기술이 어렵기 때문에 타겟이 하나로 정해진 서버를 고려한 경량화 연구를 하고 있다고 말씀을 해주신 적이 있습니다. 예전 Mobisys 학회에서 클라우드 서버에서 추론하고 디바이스에서 추론 결과를 보여주는 시스템을 설계할때 통신 방법 (LTE, HSDPA)을 고려하는 방법, 즉 통신 회선의 Latency에 따른 서비스 방법을 제안한 논문이 있었습니다. 경량화를 통해 압축이 물론 많이 되면 좋지만, 정확도를 고려하다보면 1비트로 항상 압축은 할수 없다고 생각합니다. 이번 발표 해주신 것을 듣고 하이퍼클로버에서 연구한 압축 기술을 서비스에 적용할 때, 실제 Latency를 고려하여 이정도의 수준은 압축이 되어야 한다는 기준을 어떻게 산정하시는 궁금합니다. 저는 L사의 가전제품에 들어가는 모델을 최적화 한적이 있는데, 이때는 명확한 Latency에 대한 지표가 있었는데, 서버와 디바이스가 통신하는 것도 어떻게 고려하는지 답변 주시면 감사하겠습니다.

[sjquan]

실례를 들어서 이야기하면 기밀 유출인셈이라.. 일반적인 얘기를 드릴수밖에 없는데 서비스에 따라 다 다릅니다. 검색을 한다고 한다면 사용자가 검색창에 결과가 뜨기를 원하는 시간이 매우 짧기 때문에 network latency, pre/post-processing 제외하고 model inference에 쓸수 있는 시간이 정말 얼마 없습니다. 어떤 경우에는 모아서 처리해서 batch처리가 되기 때문에 util을 높일수 있고.. 어떤 경우에는 a few batches라도 모으면 좋은 경우, 그것조차 못 모으는 경우 다양합니다. 그 경우 각각에 대해서 압축이나 최적화를 접근해야하는 방법도 다 다르구요. 제가 서비스를 모르고 압축/경량화/최적화를 할수 없다고 말씀드리는게 그런 측면입니다. 서버와 디바이스가 통신하는 것에 대한 constraint는 네이버 다양한 부서에서 가지고 계실텐데 제가 그걸 직접본적은 없고, 봤다해도 알려드릴수는 없네요 ^^..

[sjquan]

Phinally PhinisheD! 축하드립니다 ㅎㅎ

[sjquan]

• 발표중간에 activation quantization은 만악의 근원이라고 말씀 주셨는데, 자연어에 한정하여 말씀하신걸까요? 또한, 제한적인 환경의 Task에서는 어떻게 생각하시는지요? (예를들면, Unseen데이터가 Seen 데이터의 분포가 매우 유사한 경우)
  : 여러 논문들을 통해 리포트 되었다시피 비전은 act.로 인해 acc저하가 상대적으로 나은 편이고, 무엇보다 비전은 activation이 너무 크다보니 압축해야할 필요도 있기 때문에 그렇게 나쁘게만 이야기할것은 아닙니다. 하지만, 대부분의 vision 압축 연구들이 benchmark에 편중되어 있기 때문에 내가 만들어야 하는 모델과 데이터에서는 또 어떤 일이 벌어질지 모를겁니다. 마찬가지로 제한적인 환경에서 act. 압축이 잘될거냐 안될거냐 모릅니다. 그렇기 때문에 오히려 일반적인 방법으로 쓰기가 어렵다고 말씀을 드리는겁니다.

• LoRA, P-tuning 연구와 비교할 때 해당 방식을 사용했을 때 Tuning 과정에서의 CKPT 크기에 대해서 꼭 빠지지 않고 말씀해주셨는데, 서비스 level 혹은 기업에서 압축 기법 연구를 하실 때 CKPT 크기가 컸을 때 발생하는 오버헤드가 Memory-Bound 문제 외에 구체적으로 또 어떤 것이 있을지 여쭤보고 싶습니다.
  : inference 시작전에 로드를 해야할텐데, 모델이 크고 서비스가 다양해지면 어떤 모델이 실행될지 대응이 어렵습니다. datacenter에서 175B와 같이 엄청 큰 모델을, 여러 모델을 돌리는 상황과 하나의 모델을 적절히 adaptation해서 돌리는 상황을 극단적으로 비교해보시면 도움이 될것 같네요.

• PTQ, QAT, KD와 같은 큰 방향의 feasibility를 확인하시는 방법이 있으신지 궁금합니다. 발표 중 QAT나 KD는 좋지 않을 것 같아 PTQ로 접근하셨다는 말씀을 들었는데 다른 approach를 수행해서 확인하시는 것인지 다른 방법이 있는 것인지가 궁금했습니다.
  : 두가지 측면인데요, 적은 수의 파라미터만 바꿔서 adaptation하겠다는 가정과 QAT/KD는 맞지 않습니다. 그리고 full fine-tuning도 안되는 판에, QAT/KD가 된다고 기대하기도 어렵구요.