llm1 [Paper Review] Prefix-Tuning: Optimizing Continuous Prompts for Generation 기존 파인튜닝의 모든 파라미터를 수정하고 각 태스크마다 카피본을 저장해야하는 문제를 해결하고자, 보다 가벼운 파인 튜닝 방법을 제안함. Prefix tuning을 사용하면 기존 모델 파라미터는 그대로 두고, 작은 연속적인 task-specific한 벡터만 최적화하면 됨. 파인튜닝에 비해 약 1000배 적은 파라미터만 업데이트하지만, 이와 상응하는 성능을 보임.AbstractFine-tuning은 대규모 사전학습 언어 모델을 하위 작업에 활용하는 사실상의 표준 방법으로, 이는 모든 언어 모델의 파라미터를 수정해야 하므로 각 작업마다 모델 전체 복사본을 저장해야 하는 단점이 존재함. 해당 논문에서는 이를 해결하고자 prefix-tuning이라는 대안적인 가벼운 접근법을 제안함.Prefix-tuning은 자.. 2024. 11. 27. 이전 1 다음
