Paper Review3 [Paper Review] Prefix-Tuning: Optimizing Continuous Prompts for Generation 기존 파인튜닝의 모든 파라미터를 수정하고 각 태스크마다 카피본을 저장해야하는 문제를 해결하고자, 보다 가벼운 파인 튜닝 방법을 제안함. Prefix tuning을 사용하면 기존 모델 파라미터는 그대로 두고, 작은 연속적인 task-specific한 벡터만 최적화하면 됨. 파인튜닝에 비해 약 1000배 적은 파라미터만 업데이트하지만, 이와 상응하는 성능을 보임.AbstractFine-tuning은 대규모 사전학습 언어 모델을 하위 작업에 활용하는 사실상의 표준 방법으로, 이는 모든 언어 모델의 파라미터를 수정해야 하므로 각 작업마다 모델 전체 복사본을 저장해야 하는 단점이 존재함. 해당 논문에서는 이를 해결하고자 prefix-tuning이라는 대안적인 가벼운 접근법을 제안함.Prefix-tuning은 자.. 2024. 11. 27. [논문 리뷰] Analysis of CBDC narrative by central banks using large language models https://www.sciencedirect.com/science/article/pii/S1544612323010152 논문 선정 이유LLM을 활용한 금융관련 예측최근 CBDC 관련 쟁점이 많으므로 분석에 있어 유의미한 결과를 낼 것이라고 생각함카카오뱅크, 한국은행 CBDC 모의실험 완료 카카오뱅크, 한국은행 CBDC 모의실험 완료[서울=뉴스핌] 홍보영 기자=카카오뱅크가 한국은행의 디지털화폐(CBDC, Central Bank Digital Currency) 모의실험 연구 사업을 성공적으로 수행했다고 15일 밝혔다.카카오뱅크는 지난해 8월부터 총 10개월newspim.com AbstractCBDC 관련하여 중앙은행의 입장을 이해하기 위해, 중앙은행의 연설에 자연어 처리 기술을 적용하여 감정 분석Chat.. 2024. 5. 16. [논문 리뷰] An Empirical Study on Modeling and Prediction of Bitcoin Prices With Bayesian Neural Networks Based on Blockchain Information An Empirical Study on Modeling and Prediction of Bitcoin Prices With Bayesian Neural Networks Based on Blockchain Information Bitcoin has recently attracted considerable attention in the fields of economics, cryptography, and computer science due to its inherent nature of combining encryption technology and monetary units. This paper reveals the effect of Bayesian neural networks ieeexplore.ieee.. 2024. 3. 26. 이전 1 다음
