본문 바로가기

전체 글

카테고리 없음 2026. 7. 1. Divergence 종류 Shannon entropy, Cross entropy, KL divergence, Rényi divergence, 순서로 설명한다. Shannon Entropy$$ H(P)=-\sum_xP(x) \log P(x) $$분포 $P$ 안에서 정보가 얼마나 퍼져있는지를 보는 지표이다. 분산이랑 비슷한 역할을 한다고 생각할 수 있으나, 차이가 존재한다.분산은 값들이 평균에서 얼마나 떨어졌는지를 본다.Entropy는 확률질량이 여러 outcome에 얼마나 골고루 퍼져있는지를 본다. 예를 들어, $P=(1,0,0,0)$보다 $P=(0.25,0.25,0.25,0.25)$가 더 entropy가 크다.Shannon entropy는 분포 $P$ 자체가 얼마나 퍼져있고, 얼마나 예측 불가능한가에 대한 값이다. Cross..
f-DP
ISRL lab/Differential Privacy 2026. 6. 24. f-DP PREVIEWf-DP는 어떤 mechanism이 neighboring datasets $D,\ D′$를 얼마나 구분 불가능하게 (indistinguishability) 만드는지 측정하고, 그 결과가 target $(\varepsilon,\delta)$-DP 를 만족하는지 검증하는 프레임워크이다. sensitivity $\Delta,\ \varepsilon,\ \delta$가 주어졌을 때, DP theorem에 따라 (ex. Gaussian mechanism) noise의 크기를 정했을 때, 아래 식을 만족한다는 것은 noise를 주입하는 mechanism이 $(\varepsilon,\delta)$-DP 를 만족한다는 것과 동치이다.$$ T( M(D), M(D') ) (\alpha) \geq f_{\va..
Neyman-Pearson Lemma
Statistics 2026. 6. 24. Neyman-Pearson Lemma PREVIEWNeyman-Pearson Lemma는$$P_{H_0}(\text{reject}\ H_0)\leq \alpha $$해당 lemma는 1종 오류($P(\text{FP})$)가 최대 $\alpha$ 라는 조건이 있을 때,검정력(Power=1-2종오류=1-$P(\text{FN})$=1-$\beta$)를 최대로 만드는 threshold $c$를 likelihood ratio를 통해 찾는 정리이다. 왜 검정력(Power)을 최대로 하려고 하는지? Threshold 를 어디로 두느냐에 따라서 1종/2종 오류의 크기가 달라진다. 두 오류는 trade-off 관계이다.따라서 $\alpha$의 max가 정해졌다면, $\beta$ 값은 작을 수록 좋다. 당연하다. 오류는 작을 수록 좋다.$\beta$ 값을 ..
카테고리 없음 2025. 6. 11. Diffie-Hellman DH은 이전에 한 번도 만난 적 없는 두 당사자가 공개 채널을 통해 대칭 키 k에 합의하고, 그 키 k를 사용하여 대칭키 암호화로 안전하게 서로 통신할 수 있게 하는 방법이다. Diffie-Hellman Key exchange(G,g,p)는 모두 아는 정보라고 하자.A와 B 모두 각자 비밀키 a,b를 선택하고 g^a, g^b를 계산해서 상대에게 보낸다.(공격자가 도청하고 있을 수도 있으니 g^a, g^b 모두 알아낼 수 있다.)A와 B는 상대에게 받은 값에 자신의 비밀키인 a,b를 제곱해서 얻은 g^{ab}를 키유도함수 KDF에 입력으로 넣어 공유키(세션키)를 얻는다. Security of Diffie-HellmanDH가 안전하려면 이산로그 문제가 어려운 그룹을 선택해야 한다.- 이산로그문제(DLP)..
카테고리 없음 2025. 6. 11. RSA vanilla RSARSA 키 생성 과정은 다음과 같다.1) 큰 random 소수 $p,\;q$를 선택한다.2) $n=pq$이고 $\phi(n)=(p-1)(q-1)$3) $gcd(e,\phi(n))=1$인 e를 선택한다.4) $d=e^{-1}(mod\; \phi(n))인 d를 선택한다.5) 공개키 pk=(n,e)이고, 개인키 sk=(n,d)이다.6) 암호화는 $RSA(x)=x^e(mod\;n)$이고, 복호화는 $RSA(y)=y^d(mod\; n)$이다. 둘은 서로 역함수이다. Not encryption per se결정론적이기 때문에 안전한 암호화 기법이 아니다. RSA는 homomorphic 성질을 가지는데, 아래의 수식을 보인다.$$c=x^e(mod\;n), \; c'=x'^e(mod\;n) \; \..
카테고리 없음 2025. 6. 11. Authenticated Encryption Authenticated Encryption인증과 암호화를 결합한 것이다. 인증과 암호화는 동 떨어져 있는(orthogonal) 것이라고 볼 수 있다.인증은 인증성/무결성을 제공하고, 암호화는 기밀성/프라이버시를 제공하고, 하나를 사용한다고 해서 다른 하나가 자동으로 따라오는 것은 아니기 때문이다.모든 블록 암호화는 IND-CCA를 달성하지 못했는데, AE(Authenticated Encryption)은 이를 달성할 수 있다. Syntax$$AE=(KeyGen, \;Enc, \;Dec)$$c=Enc(k,m), m=Dec(k,c)의 관계를 갖는다. 정확성을 나타내는 $Dec(k,\; Enc(k,m))=m$의 조건을 만족해야 한다.그리고, Dec은 Deterministic해야 한다. The securit..
MAC
카테고리 없음 2025. 6. 11. MAC Message Authentication CodeMAC은 priavcy보다 authentication에 초점을 맞춘다.$$Verify(k,m,MAC(k,m))=1$$ Comparison with Error correction/detection code무작위성에 대응하는 ECC/EDC와는 달리 MAC은 비밀키가 존재한다. Security of MAC공격자 전제조건- 여러 (m, τ) 쌍을 안다.- MAC query를 할 수 있다 = MAC oracle에 접근 가능하다.이 때, 새로운 m'에 대해 유효한 (m', τ')을 생성하면 Sucess forgery이다. Forgery는 (유효한 m', τ '을 생성하는) existential forgery과 (MAC이 약해서 어떤 m에 대해서도 가능한) univ..
Lecture note in Ewha/시계열 분석 2025. 6. 11. Vector Autoregressions; VAR 기존 시계열 예측 모델은 단방향 관계만 고려한다. 즉, x→y의 관계만 고려하지, y→x는 고려하지 않는다.y→x까지 고려한 모델이 VAR 모델이다.모든 변수를 endogenous(내생)변수로 취급하고, 대칭적이고 동등하게 다룬다. 대표적으로 2변수 VAR(1) 모형의 수식을 살펴보자.변수 2개는 각각 오늘의 음식점 판매량과, 오늘의 가게 주변 유동인구로 보자.$$y_{1,t}=c_1+\phi_{11,1}y_{1,t-1}+\phi_{12,1}y_{2,t-1}+\epsilon_{1,t}$$$$y_{2,t}=c_2+\phi_{21,1}y_{1,t-1}+\phi_{22,1}y_{2,t-1}+\epsilon_{2,t}$$ 위의 식을 풀어보면 각각 (오늘의 판매량) = (기본 판매량) + (어제의 판매가 ..
Lecture note in Ewha/시계열 분석 2025. 6. 11. Lagged predictors 일부 예측 변수들은 즉각적이지 않고 시차를 두고 영향을 준다. 지연 효과를 반영하기 위해서 k 시점 이전까지의 예측 변수 값들을 고려한다.$$y_t=\beta_0 + \gamma_0 x_t + \gamma_1 x_{t-1} + ... + \gamma_k x_{t-k} + \eta_t$$이 때, $\eta_t$는 ARIMA 오차항이고, k는 지연차수이며, ARIMA 오차의 p,q는 AICc 기준으로 선택된다. AICc 기준에 따라 최적의 시차 길이를 선택하고, 이 모델을 전체 데이터를 사용해 다시 추정한다. ## Series: Quotes ## Model: LM w/ ARIMA(1,0,2) errors ## ## Coefficients:## ar1 ma1 ma2 TVadve..
다중 계절성 주기를 고려하는 모델
Lecture note in Ewha/시계열 분석 2025. 6. 11. 다중 계절성 주기를 고려하는 모델 우리는 여태까지 12m, 4m, 1m와 같이 깔끔하게 반복되는 주기를 다뤘다. 기존에 배운 ARIMA/ETS 모델들이 월별(12), 분기별(4) 주기에 최적화되어있기 때문인데,특히 ETS()는 24까지 가능하고, ARIMA는 200까지 가능하다. 그리고 계절 차분이 지나치게 크면 해석이 어렵다. 아주 길거나, 여러 주기가 겹치는 복잡한 계절성은 그럼 어떻게 표현해야할까? 1. 필요한 계절성만 포함한다.모든 가능한 계절 주기를 모델에 포함할 필요는 없기 때문이다. 2. 다중 계절성 주기를 고려하는 STLSTL() 함수는 여러 계절성을 동시에 처리할 수 있고, 그래서 여러 계절 성분, 추세, 잔차를 반환한다.계절 성분은 계절 naive, 계절 조정 데이터는 ETS로 예측한다.결측값을 피하기 위해 tsibb..
Dynamic Regression Model
Lecture note in Ewha/시계열 분석 2025. 6. 10. Dynamic Regression Model 우리는 횟집 사장이다.내일 장사를 위해 횟감을 얼마나 준비해야 할지 잘 예측해야, 썩는 회가 없을 것이다. 예측에는 2가지 방법이 있다. [ARIMA 방법]과거 판매 기록으로 예측한다. 판매량의 흐름이나 주기를 파악하는 방법이다.다만 이 방법으로는 "왜" 잘팔리는 지는 알 수 없다. 폭염, 공휴일, 경제변수 등이 고려되지는 않는다. [회귀 방법]외부 상황만 본다. 내일 기온이 선선해지고, 주말이니까 사람이 많겠지? 그러니까 횟감을 많이 준비해야겠어! 의 흐름이다.기온, 휴일, 등의 외부 변수가 판매량에 미치는 영향을 잘 설명한다.다만, 판매량의 관성이 무시된다. 우리 횟집이 SNS에서 유명해져서 인기를 얻고 있을지라도, 이 방법은 매일 매일을 새로운 날로만 본다. 즉, 어제가 오늘에 미치는 영향 (오차의..
Lecture note in Ewha/시계열 분석 2025. 6. 10. 계절형 ARIMA 모델 계절을 반영하지 않은 ARIMA 모델에 대한 글을 읽고 오면 좋다.2025.06.06 - [하니의 어드벤처] - ARIMA 모델 ARIMA 모델이 글을 읽기 전 다른 글을 보고 오기를 추천한다.2025.06.06 - [Lecture note in Ewha/시계열 분석] - ARIMA 배경지식: 비정상 시계열 정상화 방법, 과거값 기반 예측모델들 비정상 시계열 정상화 방법 & 과el-viaje-de-hanui.tistory.com 계절형 ARIMA 모델은 기존 ARIMA 모델에 계절 성분을 추가한 형태이다.$$ARIMA(p,d,q)(P,D,Q)_m$$소문자는 비계절 성분, 대문자는 계절 성분, m은 계절 주기(month 기준)이다.계절 ARIMA 모형의 대문자 성분들 결정 시, 계절 지연값에 집중하는 것..

티스토리툴바