Haejiness

[CVPR2022 논문 간단 리뷰] Forward Compatible Few-Shot Class-Incremental Learning (FACT)

Haejiness — Tue, 9 Aug 2022 19:02:56 +0900

✏️ 본 포스트에는 논문 및 여타 개념에 대한 주관적 해석 및 설명이 포함되어 있습니다. 출처를 표시하지 않은 경우 모두 개인의 이해를 바탕으로 작성되었기 때문에, 공식적인 용도로 내용을 차용해가시는 것에 주의하시길 바랍니다! 그 외에 이해한 바에 대한 공유, 댓글을 통한 디스커션 모두 환영합니다 :)

이 논문은 혼자 이런 저런 생각을 하다가 문득 들었던 생각과 관련이 깊어, 학회 전부터 제일 관심있게 봤던 논문이다! 이걸 발견하고 학회에서 꼭 찾아가야지 생각하고 벼르고 있었는데 왜인지 포스터세션은 안 하신 것 같았다.

사실 논문 전부 꼼꼼하게 이해하지는 못했다. 아직 난 비교적 high-level에서 태스크를 다루고 있어서, 어떤 테크닉을 썼는지에 관해 상세한 내용에 공감하기보다 접근 자체에 흥미를 느끼는 중...ㅎㅎ

논문 링크 (CVPR, arXiv) | 깃헙

간단히 말하면, 이 논문에서는 컨티뉴얼 러닝 시 새로 들어올 task(class)를 대비해 임베딩 공간에 가짜 공간을 만들어놓는다.

기존의 FSCIL(Few-Shot Class-Incremental Learning)은 Base Session에서 학습되지 않은 클래스가 새롭게 들어와 prototype을 정의해줄 때, base session에서 학습한 클래스와 유사한 게 들어오면 분포가 겹치게 되기 때문에 prototype을 식별 가능하게 설정하는 것에 어려움을 느낀다. 결국 이미 학습된 클래스의 prototype과 새로 들어오는 클래스의 prototype을 떨어트려주는 게 분류의 핵심일텐데, 새로 들어올 클래스가 어떤 클래스일지 예상할 수 없기 때문에 들어오기 전에는 지금 있는 클래스들을 분류 잘하도록 해주는 게 최선일 수밖에 없는 거다.

그럼 '어떤 클래스가 들어오든 어느 정도는 준비된 상태'일 수는 없을까?

출처) Zhou et al., Forward Compatible Few-Shot Class-Incremental Learning (CVPR 2022)

본 논문의 메인 Figure 두개를 보면 이 논문에서 하고자 하는 말을 직관적으로 잘 이해할 수 있다.

목적

첫번째 Figure에서 보듯, Session 내의 클래스들이 학습될 때 임베딩 공간 상에서 더 압축적으로 분포하도록 빈 공간(Reserved)을 두며 학습하는 것이다. 한마디로 뒤에 들어올 임의의 클래스에 대한 대비를 하는 것.

방법

어떻게 대비하는지는 두번째 Figure(오른쪽 그림)에 나타나있다. 이들이 원하는 목적을 달성하기 위해 두가지 개념을 제안한다.

Virtual Prototype과 Virtual Instance.

용어도 직관적이라맘에 든다!

Virtual Prototype은, 임베딩 공간에 virtual class를 만들어둔다고 생각하면 된다. 말 그대로 가상의 클래스를 가정하는 것이다.

이를 만드는 방식은, 학습할 때 각 Instance에 대해 Virtual Prototype(class)을 Pseudo Label로 부여해, Bimodal distribution이 되도록 유도한다. 이렇게하면 실체가 없는 Virtual Prototype이 관할하는 구역이 생기면서, 임베딩 공간에 빈공간을 마련하는 것이다.

Virtual Instance는, 실제로 들어올 법한 instance를 가정하는 방식이다. 여기서는 Manifold mixture이라는 방식을 사용하는데, 이것 역시 직관적인 방법이라 이해가 어렵지는 않았다! 서로 다른 두 클래스의 instance 사이의 공간은 분류하기 명확하지 않은 영역일 것이라는 전제로, 거기에 Virtual Instance를 정의하는 것이다.

이 Virtual Instance는 가장 가까운 Virtual Prototype을 Ground truth(class)처럼 삼고, Virtual Prototype을 활용했던 것과 마찬가지의 방법으로 이번엔 가장 가까운 Real Prototype을 하나 Pseudo Label로 삼는다. 이를 통해 실제 Real Class가 너무 뭉쳐서 분포하지 않도록 제어해준다고 한다.

논문을 읽어보면 이러한 virtual loss의 작동 원리에 대해 더 자세하게 나와있는데, 나는 접근 자체가 간단하고 새롭다고 생각해 재미있게 봤다! Continaul Learning에서 점점 Forward Transfer의 중요성을 강조해가는 추세인 것 같고, 이게 그 측면에서 직접적으로 새로운 클래스로 관점을 돌리는 방식이라는 점에서도 신선했다.

CVPR2022의 논문 중 Forward Compatible Training for Large-Scale Embedding Retrieval Systems라는 것도 있었다. 다 읽어보진 않았고 초록만 훑어봤는데, 비슷한 맥락의 페이퍼인 듯했다.

[캘리포니아 한 달 살이] 산호세 Improv 극장!! 새로웠던 스탠드업 코미디

Haejiness — Wed, 3 Aug 2022 17:26:37 +0900

유진이와 갔던 스탠덥 코미디 ~!

컴과 쪽으로 돌리기 전에는 공연예술 등에 나름대로 관심이 많았어서 산호세 다운타운에 이런저런 극장이 몰려있는 걸 보고 한 번 가보고 싶다고 생각했었다. 감사히도 유지니의 추진력에 힘입어 같이 코미디쇼를 보러 가게 됐다!

표 예약은 유진이가 해줬는데, 안내 메일에 보니 TickeSales.com 이라고 되어있다.

산호세Improv 홈페이지에 가봐도 예매할 수 있는 것 같다!

나름 코미디 쇼 극장 치고 유명한 곳이라고 유지니가 알려줬다.

아무튼 기대되는 마음으로 갔음 ㅎㅎ

산호세 다운타운

다운타운 가는 길을 분명 버스로 찾긴 했는데, 도보가 오래걸리는 데다가 여유롭게 일찍 가서 주변을 둘러보고 싶었기 때문에..! 가는 길에 갑자기 우버로 계획을 바꿨다. 황량한 대로변에서 혼자 우버 부르고 기다리고 있었음..ㅋㅋㅋ

그렇게 부르주아 마냥 우버를 타고 여유롭게 다운타운으로 향했다.

내리자마자 우리가 갈 곳 확인!~

내렸을 때는 밝은 낮이었다. 그리고 다운타운이라 분명 사람이 꽤 있긴 한데, 왠지 죽은 동네 같은 느낌이었다.

누가봐도 시청 건물 같은 건물이 멀리 하나 보였고, 주변에 잔디가 꽤 넓게 펼쳐져 있어서 그 각도의 광경은 예뻤다. ㅎㅎ

좀 돌아다니면서 여기저기 구경할까 했는데 왠지 음산한 분위기에 사람들도 왠지 무섭게 느껴져서 괜히 처음 온 티 안내려고 지도도 안 보고 유진이 올 때까지 무한 직진 시전함...ㅎㅎ

나름 잘 나온 사진들 ㅎㅎ

유진이도 도착한 뒤에 쇼 시작 시간까지 꽤 여유가 있어서 둘다 굶주리던 터라 밥이나 먹자고 주변을 둘러봤다.

유지니가 오는 길에 찾아둔 식당으로 이동! 움직이면서도 꽤 구경할 거리가 있었다.

파머스마켓?

이 파머스마켓이 열리고 있던 곳 쯤이 좀 그나마 다운타운스러운 곳이었다. 사람들도 좀 모여있고, 꽤 식당도 많았다.

근데 그 많은 식당에서 결국 식사 실패 ㅎㅎㅎ

처음 들어간 푸드코트 같은 곳은, 마침 우리가 간 시간에 문을 다 닫아버렸고^^

거기서 나와서 들어간 맛나보이는 레스토랑은, 웨이팅하다가 쇼 시작할 지경이었다.

결국 웨이팅리스트까지 넣어놓고 그냥 눈치보다가 스르르 나와버림 ㅎㅎ

그렇게 한참을 오줌 지린내 나는 골목을 돌아다니다가 수확 없이 다시 Improv로 향했다.

사진이 좀 침침하게 나왔는데, 이게 딱 내가 느낀 산호세 다운타운 이미지,,

그래도 걷다보면 꽤 볼 만한 것들이 있었다!

지도에서 봤던 대로 예술이 여기저기 묻어있는 느낌이긴 했음.

근데 코로나 때문인 건지 시대가 바뀌어버린 건지 이 동네에 무슨 일이 있어도 단단히 있었던 거 같았다. 황량하고 문 연 것 같은 곳이 거의 눈에 안 띄었다.

밥 먹기에 실패하고 산호세 Improv 극장으로 돌아갔다. 저 멀리 보이는 우리의 목적지 !!!

산호세 Improv

이런 건 또 찍어줘야징

네온 사인들~!

내부 사진

분명 우리는 좌석별로 가격이 다른 걸로 알고 있었는데, 티켓 확인도 안하고 그냥 선착순으로 앉혀주는 느낌이었다.

조금만 더 일찍 물어봤으면 복도에 붙은 구석 자리 말고 좀더 가운데 쪽으로 자리를 받을 수 있었을텐데, 어찌 해야하나 두리번거리다가 뒤늦게 물어봤더니 그대로 빈 끝자리에 앉혀졌다 ‍♀️ ㅎㅎ 그래도 일단 신났음!!

내가 한국에서 안 가본 걸수도 있지만 난 이런 형태의 극장을 처음 봤다. 한국에는 없는 형태인 것 같다!

좌석이 전부 테이블로 구성되어 있어서 같이 온 사람끼리 식당이나 카페에 온 것처럼 앉아 관람할 수 있다.

그리고 탁자 위 QR코드로 쇼 중간에 원하는 음료와 음식을 언제든 주문할 수 있음!! 진짜 신세계였다.

저녁을 안 먹고 갔지만 나름 피자와 치즈스틱으로 든든하게 배를 채울 수 있었다 :) 맥주도 있었는데 그냥 음료만 주문했다.

쇼 후기는..!

일단 우리가 신청한 쇼는 21세 이상 관람 가능이라, 내용은 ㅎㅎㅎ 19금 이야기가 많았다...

한 명의 진행자가 있고, 그 사람을 시작으로 4명이 각자 돌아가며 썰(?)을 풀고 들어갔다. 내 기억이 맞다면 총 5명의 코미디언이 등장했다.

한 사람이 끝날 때마다 진행자가 다시 나와서 다음 사람을 간단하게 소개해주는 방식이었고, 나올 때마다 그 사람은 다른 옷을 입고 나왔다 ㅋㅋㅋ 마지막 코미디언을 앞두고는 사람이 더 있었으면 좋겠다며, 본인 옷이 엄청 많다구 그랬다 ㅋㅋㅋㅋ

내용을 다 알아듣진 못했는데, 진행자 포함 3번째 등장한 분부터 재밌어지기 시작했다. 인플레이션에 대한 썰과... 게이 친구에 대한 썰... 등등

그리고 재밌었던 건, 꽤 많은 사람이 코미디언이 되기 전 하던 일에 대해 언급했는데 그렇게 직업을 바꾼 것도 신기했다. 학자 쪽이었던 사람도 있었고, 군인이었던 사람도 있었고, 간호사를 했던 사람도 있었다. 지금은 다 정확히 기억이 안나지만 직업을 바꿀 때 그 변화의 폭이 되게 크다고 생각했다.

또, 대부분의 사람이 이혼을 한 번 이상 경험했다고 했다. 최대가 3번이었던 것 같다. 자녀가 있는 사람들도 있었다. 아, 사람 '들'이었는지 한명이었는지는 기억이 안 난다. ㅎㅎ

유지니랑 나 모두 제일 맘에 들어했던 사람은 네번째로 나왔던 여자분이었다. 처음에 필리핀 악센트를 마구 쓰면서 필리핀 사람인 척 했는데, 중간에 갑자기 완전한 미국 영어로 바뀌면서 심지어 필리핀 계열도 아니었다고 한 것 같다. 일본인이라 그랬던가... 본인의 걸걸한 목소리에 관한 썰을 푸는데 ㅋㅋ 우리는 19금 썰들보다 목소리 썰이나 인플레이션 개그가 취향이었던 걸로^^;;;

'스탠드업 코미디'라는 게 우리나라에서는 보기 어려운 공연이다보니 잘 상상이 안됐었는데, 되게 신기하고 재밌는 문화였다!!

끝나고 티셔츠 팔던...

끝난 뒤에는 공연진들이 나와서 티셔츠를 팔았는데, 거기서 아는 사람들이랑 인사도 하고 그러는 것 같았다. 마지막에 티셔츠 안 살거면 줄 서지 말라고 그랬닼ㅋㅋㅋ

그리고 이 공연이 왜인지 모르겠지만 계속 nurse들 찬양하고 nurse 특집인가 싶을 정도로 얘기가 많이 나왔는데, 지금 보니 아무래도 중앙 VIP 석 위주로 단체로 관람을 왔었나보다. Improv 홈페이지에 단체 예약하는 란이 있는 걸 보니... ㅎㅎ 아님 말고~

기념 사진~

산호세 Improv 기념 사진!!! 유지니가 참 잘 찍어줘따... 또 내가 찍은 사진이 미안해지는 순간..ㅎ

재밌는 경험이었다. 한국 오니 또 미국이 그리워지는구만 ㅎㅎ

[캘리포니아 한 달 살이] 미쿡에서 맞이한 생일(청담, 타겟)과 구글 방문

Haejiness — Sat, 16 Jul 2022 08:50:04 +0900

시간이 점점 더 빨리가는 것 같다...! 이럴 줄 알았지만 정말 이렇게 되니 아쉽기도 하다..ㅠ
아무튼 어쩌다보니 이젠 다른 날 있었던 일을 이렇게 한 번에 써버려본다 ㅎㅎ

첫번째는, 생일

미국에서 맞이한 생일!
원래 내 생일은 기가 막히게(?) 잘 챙겨왔는데, 요번에는 다들 바쁘기도 하고 왠지 모르게 타이밍을 못잡아서 그냥 별 생각없이 편히 기분 좋게 보내야지 생각하고 있었다. 전날부터 한국 시간 생일 맞춰 축하를 받기 시작하면서 아주 평화롭게 생일을 맞이하고 있었다.
아부지가 생일 축하한다고 단톡방에 미국에서 거하게 챙기라고 인사를 해주시는데 흠.. 그걸 보자 "그래 엄빠가 나를 낳아준 날인데 내가 생일날 맛있는 건 먹어줘야지!!!" 생각하며 스멀스멀 아이들의 일정을 물었다. ㅋㅋㅋ
미국 기준 생일 당일에는 노라씨가 이미 선약이 있어서 저녁을 못 먹을 것 같아서, 급히 그날 저녁을 맛난 걸 먹기로 정했다 ㅎ 한국 기준 생일날 *_*

그렇게 호화롭게 갈비와 흑돼지 삼겹살을 먹고...
(at 청담!! 고오급 고기를 파는 한국 레스토랑이랄까... 교수님의 추천으로 방문했고 끝내주게 부드러웠음...)

(또) 한국 식당

맛있게 먹은 뒤에는 그렇게도 고대하던 타겟을 드디어 갔다!
우리 숙소에서 멀지는 않은데, 교통도 애매하고 항상 뭔가 애매해서 안가봤던 곳...
타겟을 고대하던 이유는,,, 별 건 없지만 그냥 어린 시절 미국 살 때의 그 가족들이랑 장 보던 좋은 기억과 고딩 때 다들 모이라는데 민트초코 아이스크림 한 통짜리를 사서 급하게 구석에 숨어서 그 자리에서 둘이 해치웠던 귀여운 기억,,, 등등으로 그냥 갠적으로 좋아하는 곳이다. 월마트도 좋은뎅... 사실 한국에서도 마트 짱 좋아하는 장순이임ㅎㅎ

일단 운동기구 이것저것 보고 혹...

복싱글러브 쿠팡에서 봤던 게 있어서 찍었다. 그리구 덤벨 거치대랑 세트로 있는 게 너무 이뻐보여서...
한국에 어서 돌아가고 싶은 1순위 이유 중 하나는 나의 운동 인프라가 필요하다는 점...
이곳의 헬스장이 짱 크고 대박적인 건 맞지만 너무 교통이 힘들다... 한 번 이동하는 데에만 드는 리소스가 어마어마허다,, ㅠㅡㅠ 한국에서는 따악 편하게 왔다갔다하기 좋았는데 ㅠㅜ

어릴 때도 문구류에 환장하던 나... 크래욜라랑 저 풀도 너무 오랜만이었고.. 바인더 거의 살 뻔했다; 바인더도 그리워엉 ㅠㅜ

처음 미국 학교 나갈 때 준비물로 바인더 및 기타 학용품 쇼핑을 싹쓸이 했던 게 생각난다. 그 때도 집 주변 타겟에서 했던 것 같은데. 타겟 주차장이랑 그 건물 모양새가 너무 명확하게 기억난다 ㅠ 그리고 오피스디포(OFFICE DEPOT)도 매우 좋아했다 ㅎ Sharpie 펜 쓸어담는 게 취미였던,,,

대망의 생일 당일에는!

계획한 대로 평화롭게 좀비처럼(?) 잠에 취해 지내고 있었다 ㅋㅋㅋ 여기 침대는 정말 잠이 잘 온다. 미래엔 꼭 이런 침대를 사야지.

평화로운 점심

점심으로는 삼김과 라면~!! 을 먹고 디저트로 유진이가 사왔던 케이크와 커피를 마셨다!
와 라면이 왤케 힐링인지... 이어서 먹은 케이크도 장난 없었다; 유지니랑 홈카페 같다며 흥분해서 분위기 있게 찍어보려 했으나 사진에서 실패,,, 컵이랑 얼음, 접시 정도까지는 성공이었음,,,

쉑쉑만쉑...

인앤아웃 좀 가보고 싶은데 주변에 널린 건 쉑쉑 뿐,,, 저녁으로는 쉑쉑버거를 배달 시켜먹었다. 한국에서나 여기서나 변하지 않는 나의 픽! 젤 기본 쉑버거(싱글) ㅎㅎ 바닐라 쉐이크는 안 시키면 섭해서 넣었다. 초코덕후지만 쉑쉑버거는 바닐라쉐이크! 사실 다른 시그니처 쉐잌 같은 것도 먹어보고 싶었는데, 칼로리를 보고 오우... 거의 홀케익 하나를 혼자 먹어버리는 수준의 칼로리라,, 자신이 없어서 차마 못시켰다. 거기 왜 칼로리를 적어놓냐고;

쪼꼬렛...

녹갱이가 친구 만나러 갔다 오며 초콜릿을 사다줬다!!!! 갬동... 귀엽게 'Happy Birthday' 적힌 포장... 먼가 이번 생일에 생일 선물 첨 받아서 기분이 좋았다 중간에 낮쯤 전화와서 초콜릿을 좋아하는 거냐 초코맛을 좋아하는 거냐 물어봐섴ㅋㅋ '둘다!! 고마워!!!' ㅎㅎㅎㅎ
귀엽게도 안에 가득가득 담아줬다,,

ㅋㅋㅋ서프라이즈 케익과 눈물셀카;;

그리고 ㅋㅋㅋ 예상치 못하게 남친이랑 방에서 영통으로 면접 준비하고 있는데 똑똑똑 하더니 갑자기 쿠키케이크가 등장...
아니 받자마자 눈물이 쏟아졌다... 고마어고마어 하면서 일단 문닫고 방에 들어와가지고는 면접 준비 도와주지도 못하고 광광 울어버렸다..ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ 남친이 찍은 사진도 있는데 그건 너무 몬생겨서 소장만..ㅎㅎ

결국 남친이 자기가 다 집중을 못하겠다고 ㅋㅋㅋㅋ 나가서 케이크나 먹거나 애들이랑 술이라도 마시라구 그랬다. 사실 막 술마시며 축하할 분위기는 아니긴 했는데 일단 면접 도움 1도 안될 것 같아서 혼자라도 와인이나 마실까 하고 케익들고 총총 내려감 ㅎㅎ 그러다 노경이가 껴달라 해서 다행히(?) 겸상을 하게 되었당

야밤의 술파티...

여기 온 이래 가장 술을 한 번에 많이 마신 듯,,, 도수가 높은 술들은 아니었지만 기분이 좋고 또 수다를 계속 떨고 자러 가기가 싫었다 ㅎ 그리고 김쟁이랑 또 김을 바닥냈닼ㅋㅋㅋㅋㅋㅋㅋ 진짜 엄청나게 먹은 듯,,, 정작 케이크는 달아서 조금 밖에 못먹음..ㅋㅋㅋ

그 이후에는 주말 내내 잠 보충하며 잠자다가~ 면접 준비 좀 하다가~ 발표 준비 좀 하다가~ 스벅도 갔다가~
그렇게 보내고 담주에 구글을 방문했다!!

구글 방문

구글~

신사옥이라고 한다. Bay view였던가..!
저번에 미국 왔을 땐 마운틴뷰 캠퍼스를 구경했었는데, 이번엔 좀 떨어진 곳에 새로 생긴 사옥이라고 했다!
여기는 오피스가 직접 있기보다 미팅/세미나룸이 모여있는 곳이었다. 근데 규모가 어마무시... 놀이 공간?이랄까 game room도 있었다..!!! 포켓볼, 다트, 어쩌구 등등 할 수 있는 곳.

근데 사실 들어가자마자 여기저기 둘러보는데 예전에 일하던... 카엔 분위기의 냄시가 스멀스멀 났다.
안마의자 모여있는 안마실과... 공간도 되게 다양한 편이고, 간식은 물론 거의 가볍게 끼니를 먹을 수 있는 공간까지... 좋은 환경의 회사는 다 이 정도는 갖춰야되는 건가,,,

박사님을 만나자마자 건물을 슬쩍 둘러보고 미팅룸에 들어가 각자 준비한 발표를 시작했다. 미팅룸도 짱 좋았다...

벽에 붙어있던 귀요미 화이트보드와 우리덜 ㅎㅎㅎ

저렇게 둘러앉아 앞쪽의 화면을 띄워 미팅을 진행하는 거였다.
재택근무도 많아져서 그런가, 미팅룸 자체에 모니터 아래에 카메라가 떡하니 걸려있고 그 카메라에 비친 우리 모습도 바로 보였다. 원격 회의를 하기도 좋을 것 같았다. 그리고 미리 예약해놓으면 그 방에 예약된 내역이 책상 위 작은 모니터에 쭉 떠서, 이 방을 언제까지 비워줘야하는지 확실하게 확인할 수 있다. 또, 그렇기 땜에 예약된 시간까지 좀 여유가 있으면 그 자리에서 바로 룸을 예약해 사용할 수도 있었다!
아주 마음에 들었음ㅇ.ㅇ

구글 카페테리아~~ 그 와중에 조촐하게 건져온 음식들,,,

구글 밥... 말로만 듣던 구글 밥을 처음 먹어봤다. 왜 다들 구글에서 밥을 찾는 걸까 했는데 ㅋㅋㅋㅋ
이게 밥도 물론 회사에서 나오는 것치고 말도 안되는 종류의 메뉴 구성인 것 같은데, 맛도 맛이지만 그만큼 나는 카페테리아 자체가 너무 좋았다.
엄청 넓고 내가 선택할 수 있는 음식의 폭도 꽤 넓은 편이었다!
우리가 간 날은 무슨 구글 행사가 있는 날이었는지 사람이 가득하고 그마저도 Rush Hour에 맞춰 와버린 탓에 줄이 엄청 길어서, 거의 세기의 맛집에 온 느낌이었다. 박사님 말씀으로는 이렇게 평소에 사람이 많지는 않다고 하셨고, 그보다 본인은 Rush Hour를 피해서 오신다고 하셨다. 우리가 너무 미팅을 길게 끌어서 ㅋㅋㅋ... 12시 땡하고 나와버렸다 ㅎㅎ
박사님이 30분 예약을 해두셨는뎈ㅋㅋㅋ무슨 인당 20분을 준비해와서^^;;;

미팅도 끝나고 밥도 맛나게 먹고, 박사님과 인사를 한 뒤에 우리는 Google의 G 앞에서 사진을 찍어댔다. 단체 사진도 찍고!
여기 경치가 진짜 끝내줬다.

진짜... 최고

진짜 짱이었던 것 중 하나는, 여기 트레이닝을 할 수 있는 공간이 이렇게 마련되어 있다.
화이트보드에 적힌 내용을 보니 수업? 같은 형식으로도 하는 것 같았다. 구글 최고...
또 건물 이동하는 사이 어떤 댄스팀이 BTS 다이너마이트 스트릿 공연을 하고 있어서 오오왕 하며 찍었는데, 박사님 말씀으로는 구글 직원들일 거라고 했다. 구글... 정말 좋은 곳 같다. 회사에 트레이닝하는 곳에 춤동아리까지..? 완전 내스탈...

구글 입구에서 박사님 기다리며 ㅎㅎ

이렇게 구글 만남이 끝나고 집으로 돌아와서 잠시 뻗어있다가 그날 밤에 있던 면접을 좀 준비하기 시작했다.
별로 피곤하지 않다고 생각했는데 숙소에 와서는 정신 못차리고 잠든 거 보면 나도 어지간히 피곤하긴 했나보다. 확실히 차가 없으니 한 번 이동하는 데에 너무 신경을 쏟게 되고 그러다보면 잔뜩 피곤해져 돌아오는 듯...

밤에 면접도 끝내고 후련하게! 하루를 마무리했다.

구글리서치 박사님과의 미팅 이후...
미국에 정말 잘 왔다는 생각이 들었다!
사실 나는 학회가 너무 좋았어서 학회만으로도 미국에 있는 시간동안 얻을 수 있는 굉장히 큰 에너지를 얻었다고 생각했는데,
애플에 계신 박사님과의 미팅, 구글에 계신 박사님과의 미팅을 통해서 컴퓨터 과학 쪽 연구자의 길을 세계적 기업에서 밟고 계신 분들의 이야기를 듣는 건 전에 없던 동기부여였다. 애플 박사님 만남 이후에 쓴 블로그 글에도 말했지만, 이 분들과의 만남은 나한테 큰 경험인 것 같다.

특히 구글리서치 박사님과의 미팅에서는 직접적으로 내가 하고 있는 분야에 대한 이야기를 나눴고, 혼자 막막해하던 포인트에 대해 실제 프로덕션 관련 사례를 접하고 박사님의 조언도 얻은 게 진짜 값지다고 느꼈다. 사실 많은 신생 랩실이 그렇겠지만, 교수님을 제외하고는 박사생이 없는 우리 랩실에서, 되게 사소한 포인트에 대해 누군가에게 실용적인 조언을 얻는 게 쉽지가 않다. 교수님께서도 수많은 프로젝트와 학생들과 엮여 있으신 와중에 나의 코드를 뜯어봐주시거나 문제를 자세히 들여다봐주실 여력은 없으시기 때문에, 자율성이 최대 장점이자 넘어야 할 산이다. 그런데 그 분야 프로젝트를 직접 하고 있으신 박사님께서 너무 당연한 얘기를 하며 '이렇게 해보라' 해주셨는데, 그 얘기를 듣자마자 '와 나 멍청인가..?' 하는 생각과 함께 속으로 유레카를 외쳤다...!

동시에 교수님께서 우리를 어떤 경험이라도 해보라고 계속 기회를 열어주시려는 게, 이런 이유에서일 수도 있겠다는 생각이 많이 든다. 학회에서도 그렇고, 이번 박사님들을 만나면서도 그렇고, 이 분야의 정말 큰 특징 중 하나는 커뮤니티를 중심으로 연구가 이루어지는 경향이 크다는 것이다. 그리고 그 커뮤니티라는 게 주로 미국을 중심으로 형성되어 있다. 물론 유럽권도 있다. 내 연구 분야의 경우 유럽권 교수님들이 주축을 이루고 있는 것 같다. 아무튼, 그게 또 큰 장점이기도 하다는 걸 이번 미국 경험을 계기로 느끼고 있다.

내가 당장 옆에 도움 받을 사람이 없다고 느껴질 수도 있지만, 사실 이 분야는 논문 좀 읽어보고 난데없이 메일을 보내거나 깃헙에 이슈를 남기며 궁금한 점을 물어보면, 다들 별 거리낌없이 답장을 준다. 물론 엄청 바쁘신 유명한 교수님들은 잘 안 주시겠지만 ㅎㅎ 그게 아니라면 본인의 연구와 관련된 어떤 질문이나 관심이든 반기는 분위기다. 그리고 그 사람들에게 접근하기도 이렇게 쉬울 수가 없다. 깃헙, 링크드인으로 가볍게 대화 혹은 네트워킹을 시작할 수 있다.

다시 말해, 도움 받을 사람이 전세계에 널린 거다. 얼마 전에도 한 논문을 읽고 저자에게 정말 사소한 질문을 했는데, 본인은 안해봤다며 대신 페이퍼를 하나 추천해줬다 (감동). 이런 게 익숙해지는 과정을 여기 와서 배우고 있는 것 같기도 하다. 물론 이런 네트워킹 마저도 정말 잘 활용하려면 결국은 내 실력과 인사이트를 키우는 게 중요하겠지만...!!!!

아무튼 또 재밌었던 경험 주저리 끝 :) 이번엔 내용이 많은 것 같군;;

[캘리포니아 한 달 살이] 감탄을 금치 못한... 24 Hour Fitness !!

Haejiness — Sun, 10 Jul 2022 13:31:17 +0900

미국에 한 달 살게 되며 가장 벼르고 있던 건 바로 헬스장이었다.

4월인가부터 헬스를 시작하고 푹 빠져있어서, 하루도 운동을 안하면 궁디에 가시가 돋을(?) 정도로 헬스장을 매일 다니던 중에 미국을 와버렸기 때문이다

피티쌤이 미국 헬스장 꼭 가보라고 그러셨어서 숙소 정해지자마자 주변에 헬스장이 있는지 먼저 살폈다 ㅋㅋ

사실 도착하고 나서 생각보다 한참을 정신없이 보내서 헬스장을 못 간지 되게 오래된 느낌이었다.

학회장 호텔 헬스장 간 게 마지막이라서 일주일 쯤은 됐을 듯... 그러다 한달 끊으려면 이제는 진짜 가야한다..! 하고 나선 날.

홈페이지도 간지나는 24 Hour Fitness;;

피티쌤이 '골드짐'을 얘기하셨었는데, 우리 숙소 근처에는 없는 것 같았다. 하지만 그만한 엄청난 프랜차이즈(?) 헬스장을 찾았으니...

24 Hour Fitness !! 엄청난 곳이다.

1. 어디든 있음

사실 이건 우리 동네 주변 한정으로 찾아본 거긴 한데, 우리 동네 주변에만 몇 개나 있었다. (사실 우리 동네가 감사히도 헬스장이나 트레이닝 클럽이 몰려있는 동네인 것 같긴 했다.)

그리고 지점 불문 내부 사진을 보면... 어디든 어마어마했다. 내부에 머신이나 웨이트존은 당연 물론이고 수영장, 농구장, 샌드백 존(?)까지 있다. 우리 숙소 주변으로도 3군데 정도가 있고, 예전 숙소 기준으로 잠깐 찾아봤었을 때도 24 Hour Fitness라는 이름을 심심찮게 봤었다. 진짜 쩐다!!

지점 찾아보고 싶으면 Google Maps에서 24 Hour Fitness 검색(링크)하거나 공식 홈페이지(링크)에서 찾을 수 있다.

(좌) 구글 맵 검색 (우) 공식 홈페이지 Find Your Gym

2. 무료 체험 3일 or 첫 달 1달러...

이건 내가 가는 지점만 그런 걸수도 있는데, 새로 오픈해서 프로모션으로 첫달 1달러....를 시전하셨다.

아니 난 한 달만 다닐건데 첫 달 1달러면 어쩌자는거야

처음엔 홈페이지에서 발견한 3 days FREE 패스를 보고 등록한 다음 방문했다.

가서 3 days FREE 패스로 이용하려 한다 하니, 자기들 지점은 오픈 프로모션 중이라 지금 그거 안한다며, 대신 monthly fee로 첫 달 한 달을 1달러로 해준다고 했다. (!!??!!) 잘못 들었나 싶었다. 헬스장이 한 달에 1달러일 수 있는 건가..? 10달러도 아니고..!?

홈페이지에서 확인해보면 Yearly Membership이 좀더 싸고, 내가 생각하고 있던 Monthly Membership으로 하면 한 달에 39.99 달러인가였는데... 완전 개이득이었다...

내가 너무 벙쪘는지, 직원 분이 "근데 첫달만 1달러라 이후부터는 월비용 지불해야한다"고 말해주셨다. 하지만 난 한 달밖에 안 다닐건데 어떡하냐고 했더니 한달 하고 취소하면 된다고 하셨다! 취소 수수료는 해봐야 5-10달러 정도일거라고 ~! 최고최고...

그렇게 바로 등록!

3. "트레이닝의 성지"

혼자 가서 뻘줌하기도 하고 사람들 운동하는데 찍는 것두 좀 아닌 거 같아서 빠르게 휙휙 몇장 찍었다.

피티쌤 반응 ㅇ.ㅇ 진짜 이곳은 최고다...

트레이닝 성지!

사실 내가 찍은 이 사진들보다 구글맵에 나오는 사진이 훨 이쁨 ㅎ 쫄아서 사진의 반 이상이 땅바닥이다 ㅋㅋ

난 사람이 꽤 많다고 느꼈는데 사진 보면 휑한 수준인 것 같기도 하고... 워낙 넓어서 그렇지 분명 사람은 많았다...! 더 많으면 쪼끔 부끄러울 듯 @>@

여기는 뭐든 다 한바닥씩 있는 듯하다. 유산소 존도 디게 넓은데 종류별로 한줄씩 좍좍좍 있고,

샌드백 존에 기다란 샌드백이 거리를 좀 두고 6개가 매달려 있고

수영장도... 레일 3개 좍좍좍..! 진짜 충격 받았다.

혹시 미국에서 헬스장 고민하고 있으면 제발 24 Hour Fitness 한번 구글맵에서 사진 좀 구경해줬으면 좋겠다...!! ㅠㅠ 과장 없음,,

위에 찍히지 않은 구역들도 있답니다 ㅠ!!

물론 여기 말고도 미국의 헬스장들은 다들 대체로 쩐다고 듣긴 했다. 그치만 아무튼 강추추추

4. 멤버십

여기는 멤버십이 Silver / Gold / Platinum 으로 나뉘어있다. 내가 가는 곳은 신기하게 Silver 멤버십은 또 없었던 것 같다. (기억 왜곡일 수도...) Silver가 가장 베이직하게 한 지점에 대한 이용권을 끊는 개념인 것 같고, Gold는 여러 지점을 다닐 수 있고 pool, GX 등에 대한 권한이 추가되는 듯하다. Platinum은 뭔가 더 좋은 것 같은데 정확히는 모르겠다. Buddy pass라고, 동행도 가능하게 해주는 것 같았다. 자세한 건 공식 홈페이지(링크)에서~!

5. 어플!

우리나라 헬스장도 큰 곳 중에 공식 어플을 사용하는 곳이 있는 건 알지만, 몇 없는 걸로 알고 사용해보지도 않은 입장에서 짱 체계적이다.... 이 헬스장에 있는 기구로 운동 플랜 선택지가 엄청 많아서, 처음 가도 덜 막막함! 이거 보고 해야겠다 ㅎㅎ

찾아보니 PT도 받을 수 있는 것 같던데, 괜찮아보이면 PT도 도전해야지... 며칠 안할 것 같긴 한데 괜찮으려나 ㅠ

어플 WORKOUT 탭

그냥 헬스장에서 운동하는 걸 즐기는 사람이라면 누구든지 끌고 데려가고 싶은 곳이다 정말...!

강추한다 강추...

하지만 첫날 가보고 아직 그 이후로는 안 가봤다. 왜 이렇게 멀지... 이 곳은 차가 정말 필수인 듯;;

[캘리포니아 한 달 살이] 송별회와 코테 ㅎㅎ

Haejiness — Thu, 7 Jul 2022 04:02:03 +0900

이 날은 코테 연습한다고 하루 종일 한 게 없다.

사실 코테 문제 풀다가 잘 안 풀리면 잠이 쏟아지고,, 그렇게 잠들고.. 그런 사이클만 꽤 돌았다. 역대급으로 낮잠을 많이 잤다.

이 날까지 코테를 완료해야했는데, 전 날 저녁부터 이 날 아침까지 푼 문제가 고작 2문제...? 진짜 머리가 너무 안 돌아가고 어떤 문제든 왜 이리 어려운지 풀리질 않았다. 예외 케이스가 문제가 아니라 주어진 테스트케이스도 못 맞춰내겠는 수준;

리프레쉬가 필요한 건가.. 싶어서 쉬고 있으면 그대로 잠들고.. 깨어있어도 뇌가 자는 기분이었다.

성범이는 4시쯤이었나 코테를 시작했다고 하고 나는 그쯤 볼까 하다가 머리가 도저히 안 굴러가서 그냥 편하게 저녁 먹고 밤늦게 봐야겠다고 맘먹었다.

이 날은 4th of July라, 미국의 독립기념일이라서 오만 곳에서 불꽃놀이를 하는 날이었다.

우리가 사는 지역은 그 와중에 불꽃놀이 금지라고 써져 있어서 유지니가 시애틀 가면서 이 노잼 도시에 환멸을 느끼며 떠났다 ㅋㅋㅋㅋㅋㅋ

그런 이 동네에서도 다른 동네의 불꽃놀이 소리는 잘 들렸다!

노경이랑 성범이는 밖에 나가서 잠깐 보고 왔다는 것 같은데, 사진 보니 각도 잘 잡으면 잘 보이기까지 한 듯!! 난 계단 위에서 불끄고 소리 나는 쪽을 열심히 쳐다봤는데 나무에 가려서 슬쩍슬쩍 불빛만 보였다.

사진 출처: 노갱이

불꽃놀이에 참여하진 못했지만 저녁을 먹으며 잠깐 불꽃놀이 영상은 틀어놔봤다. 워싱턴 D.C.에서 하는 라이브 영상...ㅋㅋㅋㅋ

그리고 떠나는 성범이와의 마지막 만찬!!

삼겹살 파티

내 기준 역대급 비주얼.. 여기서 해먹은 고기 중 비주얼이 최강인 듯..!

돼지고기는 먹어도 먹어도 맛있다.

김치도 진짜 맛났다 *_*

삼각대 들고 와서 처음 써봄

기념 사진 삼아 하나 남기고 후루룩.

이 날 만찬의 포인트는 비빔면이었다. 삼겹살에 비빔면 먹자고 같이 사놨는데, 맨날 까먹었다가 이 날 가까스로 기억해서 같이 먹었다. 진짜 존맛탱..!!

코테 후기?

그렇게 마지막 만찬이 끝나고... 난 코테 연습을 좀 할 겸 다시 문제를 풀어봤다. 프로그래머스에 있는 쉬운 한국어 문제 위주로 푸니까 비교적 머리가 굴러가는 것 같았다. 진짜진짜 다행이었다. 진짜 한 문제도 못 풀 수도 있겠다 생각했는데...

더 머리를 혹사시키지 말고 빨리 나도 봐버려야지 하는 생각을 가지고 한 10시반 쯤 시험을 시작했다!

아직 밖에선 불꽃놀이 소리가 들려서 중간중간 펑 펑 소리에 놀라긴 했지만 걱정한 것보다는 집중력이 꽤 갔다.

두번째 문제에서 한 번 멘붕이 오고 코드가 꼬여서 머리가 정리가 안되다가, '아 무조건 이거는 시간 안에 어차피 끝장 봐야 한다' 생각하고 이미 강을 건넌 것 같은 코드를 계속 고쳤다..

그러고 한 시간 남았을 땐가부터 좀 초조해졌던 것 같다. 40분 가량 남았을 때 마지막 문제에 대한 솔루션을 찾질 못한 상태여서 되게 답답했다. 코드로 구현하는 데에도 꽤 오랜 시간이 걸리기 때문에, 일단 해결책이 떠오르긴 해야할텐데 말이다... 그러다 일단 '이렇게 만들어야지'까지는 생각이 미쳤고, 코드를 어떻게 정교하게 짤까 고민할 시간이 없어서 닥치는 대로 갖다붙이면서 코드를 짰다.

정말 최악의 코드가 된 것 같긴 하지만 그래도 테스트케이스는 통과하게 해서 제출할 수는 있었다 ㅎㅎ

코테 다 끝내니 1시반쯤? 된 것 같은데 후련하게 맥주를 또..ㅎㅎ 근데 한 캔 다 마시지는 못했다.

그렇게 엄청 오랜만에 잠시 자유를 되찾음!!

[캘리포니아 한 달 살이] 치폴레(Chipotle)와 맥주 파티

Haejiness — Thu, 7 Jul 2022 02:46:30 +0900

이제 스벅 가는 건 나름 익숙해져서, 이 날도 스벅에서 코테 준비를 하러 갈 생각이었다.

스벅 간 김에 남자친구가 그렇게 노래를 부르는 치폴레도 한 번 먹어보고 와야지 다짐을 했다!

그래서 점심을 간단히 먹고 같이 가기로 한 노갱 성범과 스벅으로 향했다.

이제 스벅은 나의 활동 반경에 들어와버렸다!

이름은 Julie로 확정,,, 사실 이게 우리나라에서 외국인 손님이 이름을 '춘자'라고 소개하는 듯한 이질적인 느낌이 들지는 잘 모르겠다. Julie라는 이름이 꽤 오래된 이름인 걸로 알고 있어서... 문득 '혹시 그러려나' 싶어서 좀 망설이긴 했는데 이미 뱉었으니 뭐 ㅎㅎ Julie 하지 뭐!

초콜릿크림콜드브루 라고 신메뉴가 나와있길래 시켜봤다. 낫밷~

이 날도 어김없이 스벅은 매우 추웠고, 다행히 드디어 가디건을 챙겨온 나는 무난히 잘 버티며 앉아있었다.

이 추위를 처음 맛본(?) 노갱이는 어느 순간 그 추위에 떨며 자리를 옮겨다녔다 ㅋㅋㅋ

나도 좀 추워져서 뜨신 음료를 더 시킬까 하다가 MARSHMALLOW DREAM BAR라는 크리스피 과자와 초코 마들렌을 사서 먹었다. 뇸뇸 맛났다.

대망의 치폴레(CHIPOTLE)!

남자친구가 미국 유학 기간동안 최애음식점으로 꼽았던 치폴레.

엄청 노래를 노래를 불렀었는데 드디어 맛봤다! 내가 좋아하는 스벅 바로 옆에 있어서 가기 편했다 ㅎㅎ

처음 들어왔을 때 아무도 없었다.

들어왔는데 먹고 있는 손님은 물론 안의 직원도 한 명도 보이지 않고 한참 서성거렸는데도 반응이 없었다.

뭐지 이곳.... 하는 중에 직원 분이 나오셨다.

남자친구한테 추천 메뉴를 받아뒀던 터라, 주문할 때 고민하지는 않았다.

다만 주문하는 게 좀 어색했다. 그냥 냅다 '브리또' 부터 고르면서 시작해야하는 것 같은데, 음 그냥 말하면 되는 건가.... 뭐라고 말을 시작하는 거지... 하고 좀 헤맸다 ㅎㅎ

나에게 익숙한 건... '베이스는 뭘로 할래요?' -> '브리또요' 요런 대답하는 방식인딩 ^^,,, 먼저 던져야했다.

추천을 글로만 받아서 뭐가 어떻게 생긴지도 모르는데 일단 직원 분 얼굴을 보며 나의 선택들을 내뱉었다.

내가 추천 받은 건,

남치니의 추천!!!ㅋㅋ

난 위에 추천 받은 그대로 브리또 + 브라운라이스 + 스테이크 + 핀토빈스 + 사워크림 + 마일드살사 + 레터스(lettuce) + 치즈, 이렇게 시켰고,

노경이는 여기서 핀토빈스만 빼고, 성범이는 핀토빈스와 사워크림 모두 빼고 시켰다. 그리고 성범이는 라이스도 브라운라이스 말고 다른 거였음!

*별 건 아니지만 참고로 베이스(브리또) 고른 다음 바로 라이스(브라운라이스)를 고른다. 브리또 고르고 스테이크 말했더니 라이스 먼저 말하라고 하셨당 ㅎ 나머진 저 순서대로였다!

치폴레 주문 관련 참고 링크

미국 맛집 치폴레(Chipotle) 주문방법+가격 솔직후기

미국 맛집 치폴레치폴레는 미국의 '멕시칸 푸드 패스트푸드점'이에요. 브리또, 타코 등에 들어가는 소스와 ...

blog.naver.com

미국 치폴레 (Chipotle) 주문방법 꿀레시피 꿀Tip by. chichi_chuu 블로그

미국 맛집 치폴레 Chipotle [미국 자유여행] add 치폴레는 멕시코 음식을 패스트 푸드처럼 제공하는 미국...

blog.naver.com

(왼쪽) 두개 한 번에 주문 받아주고 계신 직원 분, (오른쪽) 마지막 성범 팍 주문 중

부리또가 있는 쪽으로 가서 하나씩 고르면서 오른쪽으로 쭉 ~~~ 서브웨이랑 똑같음

덩치가 크다. 스테이크 짱 맛있었음!

남친이 노래를 부르던 이 치폴레 후기는..!

일단 커서 좋았고, 스테이크가 진짜 맛있었다!

근데 미식가와는 거리가 먼 나... 먹고 '움 맛있네~' 가 전부였고 오빠가 기대했을 충격을 느끼진 못한 것 같다...ㅋㅋㅋㅋ

혼자 스벅 갈 때 밥 먹을 일 있으면 가끔 먹을 것 같긴 하지만, 너무 커서 후루룩 내용물이 떨어지는 것도 마지막 쯤엔 힘들었다

중간에 소다를 안 시킨 게 기억나서 먹다 말고 직원 분께 가서 소다도 사고 싶다고 했더니, 뭔가 중얼중얼 말하시다가 내가 못 알아듣고 다시 뭐라뭐라 물어보니 그냥 컵 주시면서 서비스 주시듯 It's okay ^^ 하시고 옆에서 따라 마시라고 하셨다. 우어 따로 결제 안했는데..!? 이득... 콜라 따라와서 셋이 사이 좋게 나눠먹었다.

치폴레 다 먹고 버스 타러 나왔는데 ㅋㅋㅋ 버스가 1시간 남았단다.

일요일이라서 배차 간격이 더 괴상한 것 같다며,,,

그렇게 한시간 가까이 더홀푸드마켓에서 구경을 했다. 계획은 구경이었지만... 나올 때 또 나는 손에 짐 한가득이었음 ‍♀️ 주로 티백을 좀 샀다. 간만에 따뜻하게 차 마시고 싶어서ㅎ

여기는 또 좋은 게 프로틴을 한바닥 팔고 있다. 티도 한바닥 팔고 있고 커피도 한바닥씩 판다... 진열대에 가득가득!

사진 찍어서 피티쌤한테 보내드렸다.

이곳은... 멋진 곳..!

포션과 맥주파티

집에 돌아와서 맥주를 깠다.

되게 저녁 먹어야할 것 같은 기분이었는데, 저녁은 이미 치폴레로 먹었으니 다시 먹기가 애매했다.

그래서 요런저런 안주들이랑 같이 맥주를..!

노갱이랑 천원샵 갔을 때 4개짜리 색소 음료(?)ㅋㅋㅋㅋ 같은걸 샀었는데, 그걸 드디어 까봤다.

맛은 완전 그... 싸구려 쭈쭈바 맛..ㅋㅋㅋㅋ

그래 바로 이것

이걸 사케에다가 섞어 마시니까 사케 알콜 맛은 중화돼서 먹기 편하긴 했다.

그리고 색이 나름 이뻤다. 아니 그냥 색소 색이었다. 와인/블루레몬에이드/사약(?) 비주얼로 또 사이좋게 마심

여기와서 하루도 빠짐없이 알콜 충전하는 듯...ㅋㅋㅋㅋㅋ

[캘리포니아 한 달 살이] 장본 날! 홍콩반점 찍고 한국 슈퍼마켓

Haejiness — Wed, 6 Jul 2022 16:15:07 +0900

토요일이었던가, 장 보는 날로 정하고 일정을 잡았다.

일어나서 한국 슈퍼마켓 가서 장을 보고, 돌아와서 점심을 먹고 수영장을 갔다가 오후에 시간 되면 타겟을 가보는 거였던가...

대충 그런 루트를 생각하고 있었다.

홍콩반점!

한국에서도 미국에서도 나의 최애 홍콩반점

저번에 한 번 홍콩반점에서 먹고, 이 날도 홍콩반점을 들렀다!

왠지 마음이 편안해지는 곳... ㅎㅎ 홍콩반점 쟁반짜장 사랑한다..

칠리 새우도 먹었는데 짱 맛있었다. 또 먹으러 가야지!

홍콩반점은 한국에서도 그렇지만 뭘 시키든 모든 메뉴가 맛있다. 특히 쟁반짜장은 나의 최애 메뉴다. 홍콩반점은 맨날 갈 수 있어

한국 슈퍼마켓 AGAIN

대망의 장보기!

저번에 장본 곳과 똑같은 곳이었다. 사진이 없군..! 남은 사진이라곤 아래 넣은 돼지고기들 사진... 담에 가면 찍어야지.

정말 한국 시장 같다. ㅋㅋㅋ 이 곳이 우리 숙소에서 멀지 않은 덕분에 우리는 미국에서 한국 생활을 하고 있다.

흑돼지 생삼겹살!

장본 목록이 대충

- 삼겹살 / 햇반 / 라면 / 국류 / 물 / 맥주 / 파 / 요거트 / 우유 / 씨리얼 / 김치 / 식빵 / 샌드위치 햄 / 스팸 / 쌈무 . ...

매우 한국적이었다.ㅋㅋ

나는 씨리얼파라서 우유, 씨리얼이 주종목이었다.

미국에 와서 CLOVER 라는 기업(브랜드?)의 우유를 주로 사먹고 있는데, 어느 순간부터 속이 너무 안 좋아져서 이 날 락토프리 우유도 샀다. (원래도 유당불내증이 좀 있는 편인데 뭐가 좀더 다른지, 심해진 것 같았다.) 락토프리 우유도 CLOVER 걸로 샀고, 요새는 락토프리 우유로 잘 먹고 있다. 훨씬 낫다!

(~~이거 적다가 문득 우유 브랜드 어떤 게 유명한 가 싶어 검색해보니 Organic Valley 얘기가 많군..! 다음엔 그걸 사봐야겠다.~~)

전부 사고 결제하니 또 돈이 어마무시하게 나갔다 ㅎ 아직 나는 결제를 직접 안해서 빚쟁이지만,,,

결제하고 나면 금액에 따라 김을 서비스로 주는 것 같다. 이 날도 김쟁이 노갱이가 김 하나 샀는데 서비스로 두개 받아서 후회했음 ㅋㅋㅋ 어차피 다 먹어서 사실 후회할 것도 없다.

장본 뒤 우버를 타고 돌아왔는데 테슬라여서 대흥분..! 남친 영향으로 테슬라에 흥분하는 경향이 있다. 잘 물드는 편 ㅎ;

수영장 첫 방문!

아침부터 진전이 없는 자소서를 또 한창 바라보다가, 4시쯤이었나 노갱이랑 수영장을 가봤다!

물에 해 비치는 게 너무 예쁜..ㅠ

이 곳은 날씨가 안 좋은 날이 없는데, 수영장에 가면 또 그 예쁜 날씨의 극한을 경험할 수 있다.

물결에 햇빛이 스며들어 있는 게 너무 영롱하고, 수영장도 마침 나무에 둘러싸여 있어서 푸릇푸릇함이 가득하다. 하늘과 물과 나무...

또 하나의 포인트는 얼굴을 띄워놓고 뒤로 누워서 부유하며 위를 쳐다보면, 그 장면이 진짜 눈물나게 이쁘다 이 말이다... 위의 두번째 사진이랑 비슷한 느낌인데 훨씬 넓고 하늘의 비중이 크다. 폰을 물에 들고 갈 수가 없어서.. 저 사진은 수영장 옆에서 찍은 사진이다.

참 예뻤지만 나는 뭐 때문인지 덜덜덜 추위를 못 견디고 입술이 퍼래져서는 더 이상 수영을 할 수가 없었다..ㅇ_ㅇ

한 30분인가..? 컴팩트하게 놀고 돌아왔다 ㅎ

그래도 거의 10년 만에 수영을 해봐서 진짜 재밌긴 했다!!! 어릴 땐 수영장 가서 많이 놀았는데 중학생 때 이후로는 수영장 갈 일이 없었다. 워터파크 같은 곳을 가도 그냥 구명조끼 입고 붕붕 떠다니기만 하지 수영을 하진 않으니...

유치원 때 배운 수영이라 유치원생처럼 하긴 하지만 물에는 잘 떠있어서 재밌게 놀았다 :) 헷

저녁으로는 삼겹살 사온 걸 구워먹었다!

그뤠잇! 푸짐했다...

저녁 먹고 나선 또 계속 자소서자소서자소서...

[캘리포니아 한 달 살이] 스타벅스, 플릭스버스 (환불 시도) 등과 함께한 여느 하루

Haejiness — Wed, 6 Jul 2022 13:53:19 +0900

이 날에 대한 기억도 많이 흩어져버려서, 생각나는 내용 위주로 휙휙 적어보겠다!

큼직한 건 자소서쓰기와 플릭스버스 취소, 저녁 수다타임 정도...

자소서 쓰기가 이렇게 막막했던가

급히 자소서를 마무리해야 하는 상황에 봉착해 또 스벅으로 향했다.

일어나자마자 다음날 LA로 향하는 버스를 끊어놔서, 친구와의 만남을 나의 코테와 자소서로 망칠 순 없으니 오늘 열심히 해놓자! 이런 마인드였달까.

미국 스벅은 픽업대를 보면 아메리카노보다 요란한 음료가 더 많다.

자소서를 쓰다보면 가끔 되게 할 말이 많은 문항들이 있다. 뭔가 들려주고 싶은 내 얘기가 많은 문항들.

근데 이번 자소서는 전혀! 그렇지가 않았다. 내가 컴퓨터학과에서 쌓은 내공이라든지, 가서 기여할 수 있는 바에 자신이 없었다.

진짜 내가 경험해보고 싶고 내가 배우고 싶은 마음이 큰 것 뿐이라.. ㅇ.ㅇ

그래서 자소서 문항 작성이 평소보다 많이 막막했다.

스벅에 앉아서 자소서 문항을 한참 보면서 한 글자도 못 쓰고 생각을 하다가, 그냥 블로그를 켜고 논문 관련 글을 올렸다.

막막할 땐 역시 하고 싶은 거 먼저 하는 게..! ㅎㅎ

한참 글을 쓰고 한 4시쯤이었나..? 이제 너무 추워서 견디기 힘들어졌다. '또' 가디건 가져오는 걸 깜빡해서 후덜덜 떨며 하고 있었다. 일부러 뜨아를 시켰건만 뜨아마저 식어서 뜨아가 아니었다.;

그래도 한참 블로그에 글을 쓰고 나니 맘이 따뜻(?)해져서 저녁 먹으러 집으로 향했다!

더홀푸드마켓에서 산 고오급 요가매트,,

벌써 캘리포냐로 넘어온 지가 얼만데 아직도 헬스를 못 끊었고... 운동 안 한지도 너무 오래됐다는 느낌을 받아서, 당장이라도 복근은 해야겠다 하고 집 오는 길에 요가매트를 사러 홀푸드마켓을 들렀다.

홀푸드마켓은 유기농 음식 재료를 주로 파는 곳인데, 거기서 무려 요가매트를 뒤도 안 돌아보고 충동구매해버렸고, 그 가격은 무려... tax포함 58000원...

난 운동이 급했기에 그냥 곧바로 사버렸다. 우리집 요가매트가 훨 두툼한데 3만원 후반대였던 것 같은데;;;

뭐 일단 알차게 쓰고 있다 :) 돌아갈 때 팔고 갈지 데려갈지 버리고 갈지 생각해봐야지.

플릭스버스 나의 돈을 돌려도...

플릭스버스(FLIXBus)는 나름 미국 안 곳곳을 다니는 버스인 것 같다.

주말에 친구랑 만나기 위해 토요일에 LA로 가는 버스를 끊었었다.

근데 나의 이런저런 사정으로 계획이 좀 복잡해져서 결국 취소하기로 했고, 그걸 취소하려고 플릭스버스 사이트에 들어가 "Manage my Booking"을 해보려는데... 으잉 나의 정보가 없었다.

Booking number를 입력해야하는데 나는 메일을 받지 못했고,

booking number를 찾기 위해서는 내가 예매했을 당시의 이메일 주소를 입력해야하는데, 그것도 사실 잘 기억이 안났다.

간신히 기억해내고 이메일을 입력했지만 여전히 플릭스버스로부터의 메일은 감감무소식이었다.

플릭스버스 홈페이지에서 실시간 채팅으로도 이리저리 문의를 했는데, 나의 이메일은 등록되지 않았고, 이름이나마 같다는 기록은 결제 금액이 나와 달랐다.

참 대책이 없었다. 결제 카드 뒷자리 4개로도 확인할 수 없다고 하고... 결제 청구서를 스크린샷해서 보내드렸는데

working days 안에 전달한다고는 했지만 알 수 없는 일...

분명 돈은 나갔는데 ㅠ 한 두푼도 아니고 내 생명같은 돈이 빠져나갔다고요 엉엉

처음엔 그냥 잃은 돈이다~ 생각하고 큰 신경 안 쓰고 넋 놓고 있었는데, 나의 현실을 생각해보니 그렇게 여유로운 마음을 가지기는 힘들 것 같다 ^^; 플릭스 버스... 일단 기다려봐야지...

참고로 FLIX Bus를 이용할 때, 예매 확정된 후에 이메일을 받지 못했다면 반드시 확인해보자!

Help 탭에 들어가면 여러 카테고리와 함께 우측 하단에 "Chat with an Expert" 버튼이 있다. (출처 : Flix Bus 홈페이지)

1. Chat with an Expert

상담원과 직접 상담하는 방법이다. 챗으로 상담이 이루어지며, 2분인가... 답을 안하면 빠르게 종료시켜버린다. 너무 당황했다. 정보 물어봐서 그거 찾고 있는 도중 나한테 답이 없다고 사라져버렸다,,, ㅠ 연장 버튼도 없었던 거 같은데

두번째 할 때는 필요한 이미지나 자료 다 미리 찾아놓고 연락함...

찾아보면 전화로 하는 방법도 있을 것 같은데, 난 곧바로 찾진 못해서 실시간 채팅으로 상담을 받았다.

하지만 결론적으로 큰 도움은 안됐다.

빠르게 답을 얻을 수 있다는 점에서 명확한 문제를 문의하기엔 좋을 듯!

2. Problem with Payments

이 카테고리를 선택하면,

"No booking confirmation received"

Money has been taken from my account but I did not receive a ticket. What should I do?

이러한 선택지가 있다.

정확한 내 상황이었다. 첨부터 refund해달라는 스탠스로 찾아볼 걸...

물론 상황이 해결되지 않은 건 마찬가지였다.

출처 : Flix Bus 홈페이지

여기서는 스팸메일함도 확인해보고, 만일 거기도 없다면 자동으로 며칠 안에 환불이 될 거라고 하고 있다.

하지만 나의 경우는 기록이 없는데도 그렇게 해주는 걸까... 아직 환불은 못 받았는데 못 미덥다.

환불을 그럼에도 못 받은 경우 "Contact us"로 문의하라고 한다.

문의해보았다.

출처 : Flix Bus 홈페이지

이런 폼과 함께 정보를 적는 곳이 나온다. 여기서 "Voucher"가 아니라 "Bank Transfer"로 환불 받겠다고 체크하니, IBAN을 입력하는 란이 등장했다. IBAN은 International Bank Account Number의 준말로, 결국 국제계좌번호다.

미국에서 난 주로 카카오뱅크를 쓰고 있는데, 카카오뱅크는 IBAN이 없다고 어디서 본 것 같다(확실하지 않음). 다른 계좌로는 하나은행 계좌를 써보려고 인터넷에 '하나은행 IBAN' 이라 치니, IBAN 자체는 기존 계좌번호 그대로라는 것 같았다. 일단 모르니깐 그렇게 썼다 ㅋㅋ

결론적으로 위의 폼까지 작성해 냈지만 아직은 감감무소식... 나의 돈을 돌려도...ㅠ

첨으로 잡은 후라이팬...과 토크타임

유지니랑 노갱이가 샌프란 아울렛으로 떠나 성범이랑 토스트를 해먹었다.

와인을 곁들여서!

사실 이 때 토스트 만들면서 계란후라이 한 게 여기 와서 처음 후라이팬 잡은 거였다... 푸하항

나름 아주 맛있었음! 얼마 전에 사왔던 토마토소스와 모짜렐라 치즈, 베이컨을 넣어 만든... 초간단 토스트...

며칠 전 먹다 남은 도넛도 같이 먹었다.

이 날 저녁을 먹으면서, 미국 와서 처음으로 연구실이나 진로 관련해 진지하게 얘기를 해봤다.

나는 사실 요즘, 아니 정확히는 이번 학기 내내, 머릿속이 운동/연구 및 진로/꿈과 성장 뭐 대충 이런 식로만 구성되어 있어서ㅋㅋㅋ 신나게 얘기하는 대화 주제가 참 한정적인데;; 연구실 친구랑 이런 얘기를 할 수 있다니 다행이었다.

그리고 뭔가 속내 얘기도 많이 한 것 같아서 간만에 후련(?)하기도 하고 기분이 좋았다! 오래간만에 듣는 것도 말하는 것도 신났던 시간.

대학원에 입학한 뒤로 정말 인생에서 겪어보지 못한 느낌을 여러 번 받는데, 이게 학부 때와 과가 달라져서인건지, 이 과 대학원 특성 때문인지, 대학원이라는 곳의 특성 때문인지... 뭐 복합적이겠지만, 대학원에 들어오면서 나에게 영향을 주었을 법한 환경적 변수가 너무 많아서, 나 스스로 나의 상태나 그 원인을 파악하지 못하겠는 게 불안으로 다가올 때도 많았다.

그런 과정을 한참 겪고 사실 지금은 작아지는 것보다 튼튼해지는 나에 집중하는 과정인데, 그 과정에서도 이런 저런 생각이나 고민이 드는 건 마찬가지인 것 같다. 다만 조금 더 생산적이고 건강한 고민이 된 느낌이랄까..! 꽤 긴 시간동안 끝나지 않을 고민인 것 같다. 점점 더 건강한 고민으로 발전하길 바랄 뿐

이렇게 고민에 의미부여 하는 게 바로 N의 특성이라던데,, ㅎㅎㅎㅎㅎ 그래도 요새 이런 얘기 나름 잘 참는다..!

갑자기 생각났는데 아빠가 N,S 의 특성 보여주는 갈매기 짤 보고 "N이 쓸데없이 피곤하게 사네!" 하셨었다. 딸내미 발끈,,ㅎ 참고로 아빠는 S다.

출처: 구글 검색 (인스티즈)

한참 얘기하고 있자 문 밖에서 샌프란댁 두 명이 "왜 우리 빼고 와인 먹냐~~"며 들어왔고 ㅋㅋㅋ 그렇게 술 더 까면서 노갱이까지 껴서 재미나게 연애 얘기를 하며 하루 마무우리 ~.~

[캘리포니아 한 달 살이] Cupertino Apple (사진 몇 장)

Haejiness — Wed, 6 Jul 2022 09:27:13 +0900

교수님께서 소개해주셔서 애플에 계신 박사님을 만나뵙고 왔다!

예전에 캘리포니아 왔을 때도 애플 주변만 못 가봤는데 이 기회에 *_*

애플 옆 IPPUDO - 일본 라멘집, 명랑 핫도그, 페리카나...

박사님과 뵙기로 한 곳은 바로바로... 명랑 핫도그 앞이었다. ㅋㅋㅋ

명랑 핫도그에 웨이팅하며 서있을 만큼 인기가 많았다. 숙소 근처 홍콩반점도 웨이팅이 꽤 되던데,, 역시 한국 요식업 쵝오!

우리가 간 곳은 IPPUDO라는 일본 라멘집이었다. 유지니 말로는 뉴욕에서도 먹었다는데, 여기도 체인점인가보다! 맛있었다

미국 와서 매일같이 아시아 음식 먹는 우리들ㅋㅋ

애플 Visitor Center와 연결된 애플스토어. 분홍 아이맥... 못참겠다 ‍♀️

Visitor Center 루프탑 자리와 커피! 커피가 좀 맛있었다. 화장실도 좋았다.. ㅎㅎ

점심 시간이 끝났는데도 시간 내서 애플 Visitor Center에도 데려가주셨다...❤️ 거기가 정말 너무 좋았다. 애플 스토어랑 연결되어 있고 루프탑 자리는 경관이 끝내줬다.

애플 건물은 사옥이 크게 있기보다, 군데 군데 오피스가 산발적으로 있었다. 여쭤보니 다른 건물에 오피스가 들어간 형태로 있는 경우도 있고 애플 소유의 건물인 경우도 있는데 대부분 애플의 건물이라고 하셨다. 그리고 그 건물들의 분포가 되게 넓다... 점심 먹은 곳에서 Visitor Center까지 걸어서 꽤 갔다.

오만 곳에 있는 애플 팻말(?)을 지나 Visitor Center 가는 길

Visitor Center 입구 모습

그렇게 Visitor Center에서 조금 더 얘기를 하다가, 박사님은 미팅이 있으셔서 가시고 우리끼리 남아 저녁까지 해야 할 일을 카페에 앉아 마저 했다.

저렇게 뵙고 온 게 이틀 전인가... 시간이 너무 정신없이 빨리 가서 벌써 꽤 된 것 같은 느낌인데, 바로 기록해뒀어야 했다..!

석사 시절 얘기도 재밌었다. 젤 인상 깊었던 건 박사님은 석사 때 혼자 다짐아닌 다짐을 하고 교수님도 딱히 신경 안쓰시고 있던 차에 논문을 떡하니 다 써가셨다고 한다. 피드백을 왕창 받으셨다고 하긴 했지만 그건 사실 당연한거고..!! 그리고 그게 떡하니 억셉되어버린... 그런 경험들을 계기로 박사까지 생각하게 되셨다고 한다.

분야는 구체적으로는 다르지만 뭔가 그런 대책없는 도전정신 같은 걸 좋아하는 편이라!! 그 얘기 들으면서 되게 자극받고 짜릿했다. 거의.. 내가 맨날 상상만 하는 그림이었다. 그냥 뭐라도 써버려볼까! 하는 바람... 쉽지 않은 일일텐데 진짜 멋지신 것 같다!

그 외에 연구나 해외 유학에 대해, 미국의 문화 몇 가지에 대해 등 이런 저런 이야기를 들었다. 버클리와 스탠포드의 느낌이 어떻게 다른지도 처음 알았다! 링크드인 일촌 신청도 했다 ㅎㅎㅎ

생각보다 누군가에게 "본인의 연구에 대한 열정"과 관련한 얘기를 들을 일이 별로 없는 듯하다. 학회에서 발표나 디스커션할 때, 혹은 교수님들께서 말씀하실 때 자연스럽게 묻어나는 경우는 종종 있는데 그럴 때마다 그런 열정이 나에게 전해지는 느낌을 받아 되게 기분이 좋아진다. (학회 워크샵이 너무 좋았던 이유 중 하나인 것 같다.) 그런 경우 말고는 내가 어디 면접관도 아니고 누가 나에게 줄줄 본인의 열정에 대한 얘기를 할 일이 별로 없으니...

단편적인 사례이긴 했지만, 박사님의 얘기를 들으며 그런 류의 느낌을 받아 되게 좋았다. :))

그 만남 뒤에... 저녁에는 학회 때 봤던 논문 중 인상 깊은 것 몇 가지를 소개하는 미팅이 있었다.

이번 학회를 정말 재밌게 봐서 신나게 소개할 준비를 했는데, 발표 직전에 엄청 간단히 핵심만 소개해야겠다고 다짐해서 괜히 긴장한 탓에, 말도 잘 안 나오고 전달이 잘 안 된 느낌이었다.

되게 재밌는 내용들이라 생각해서 잘 전달드리고 같이 흥미를 느꼈으면 좋겠다 생각했는데 쫓기듯 설명을 잘 못해드려서 너무 속상했다... 그래서 아쉬운 대로 그 날의 한은 블로그에 푸는 중,, ㅎㅎ 논문 소개 카테고리에 몇 개 더 올릴 예정이다.

이 날의 기록은 중얼중얼 혼자만의 일기 밖에 없군.

먹을 거 사진도 없다! ㅠ.ㅠ

어쩔 수 없이 끝!!

[CVPR2022 논문 간단 리뷰] Learning to Prompt for Continual Learning

Haejiness — Sun, 3 Jul 2022 00:36:52 +0900

이 논문은 학회 포스터 세션의 재미를 제일 먼저 느낄 수 있었던 아이다!

Northeastern University, Google Cloud AI, Google Research에서 작업한 논문이었다. *_*

논문 링크 (CVPR, arXiv) | 깃헙

지난 학기에 교수님을 통해 추천 받았던 논문 중 "Visual Prompting"이라는 논문이 있었다. (참고로 이 논문도 얼마 전에 깃헙 레포지토리를 공개해주셨다. 업데이트된 논문 제목은 "Exploring Visual Prompt for Adapting Large-Scale Models"이다. 한국인 저자 분이시고 동문이어서 너무 반가웠던!! 아직 학회에 퍼블리쉬되지는 않은 것 같다. 논문 링크, 깃헙, 프로젝트 페이지.)

(Preliminary) Prompt

두 논문에서 등장하는 핵심 개념인 'prompt'는 원래 NLP 분야에서 주로 등장하는 개념이다. 많은 양의 데이터로 Pre-train된 large-scale 모델을 downstream task로 전이학습(Transfer learning)을 할 때 많이 사용되는 기법이다.

일반적으로 Transfer Learning을 할 때, 가장 쉽게 생각할 수 있는 방법이 Pre-trained 모델을 내가 원하는 Downstream task에 대해 다시 학습을 시키는 것일 거다. 이미 많은 데이터로부터 학습된 "똑똑한" 모델이기 때문에, Downstream task에 대해 바닥부터 학습을 시킬 때보다 좀더 수월하게 Optimize할 수 있다는 장점이 있다.

여기서 Prompt를 사용하면 그 똑똑한 Pre-trained 모델을 추가로 업데이트하지도 않고 내가 원하는 task에서 성능을 내게 할 수 있다. 어떻게 하느냐, 내가 원하는 (downstream) task를 Pre-train 할 때의 task의 모양에 맞춰주는 거다. 즉, Pre-trained 모델은 본인이 하던 것만 잘 하면 되는 것이고, 나는 내가 원하는 task에 대해 똑똑한 모델의 능력을 그대로 활용할 수 있는 거다.

예를 들어, 아래의 경우를 생각해보자.

Figure 출처: Gao et al., "Making Pre-trained Language Models Better Few-Shot Learners" (ACL, 2021)

Language Modeling으로 학습된 Pre-trained 모델을 가지고 Sentiment Classification을 수행하고 싶다고 하자. Sentiment Classification은 문장이 주어졌을 때, 긍정인지 부정인지 분류하는 태스크일 것이다. 지도학습 방식으로 긍/부정을 Label로 삼아 문장(X), sentiment(y) 의 형태를 학습할 것이다.

이걸 Prompt를 사용한 방식으로 바꾸면,

Figure 출처: Gao et al., "Making Pre-trained Language Models Better Few-Shot Learners" (ACL, 2021)

이렇게 Language modeling 태스크의 형식으로 템플릿을 만들어주는 거다.

위의 경우, 분류하고 싶은 문장 뒤로 "It was"를 붙여주고 그 뒤의 단어로 great(긍정)/terrible(부정)을 예측하게 하고 있다. Language modeling task가 주로 문장의 중간에 masked된 단어 혹은 다음에 올 단어를 예측하는 태스크이기 때문에, Sentiment Classification 태스크를 이런 식으로 바꿔주면 Language modeling으로 학습된 Pre-trained 모델이 좀더 편하게 일할 수 있는 거다.

따라서, 넓게 생각하면 이렇게 태스크와 관련된 힌트를 줄 수 있는 방향으로 모델의 Input에 변형을 가해주는 걸 Prompting이라고 생각할 수 있다.

Learning to Prompt for Continual Learning

저자들이 논문에 제시한 contribution도 있겠지만, 개인적으로 의미 있다고 생각하는 바는 다음과 같다.

NLP에서 자주 사용되는 Prompt의 개념을 컴퓨터비전 분야에 가져왔다는 점,
인코더를 fix해둔 채로 task가 추가될 때마다 prompt에 대한 업데이트만 이루어지기 때문에, 덩치가 큰 Pre-trained 모델의 파라미터를 업데이트 시킬 필요가 없다는 점 (업데이트할 parameter 수가 줄어드니 memory efficient!)
task-specific한 성격을 띠는 prompt를, task id가 없는 CL 세팅으로 구현할 수 있게 prompt pool의 개념을 가져온 점!

task id가 필요 없다는 점이나, buffer에 rehearsal data를 저장할 필요가 없다는 점 등은 다른 많은 CL(Continual Learning) method에서도 가능하게 했지만, 그걸 prompt를 접목해 풀어낸 게 재미있었다.

앞서 말했듯, 전에 visual prompting의 개념을 보고 이렇게 transfer하는 방식을 CL에 어떻게 접목할 수 있을지 고민했던 적이 있다. 그 논문에서는 input에 직접 픽셀 단위의 prompt를 더해주는 방식이었는데, 이걸 뒤이어지는 session에서 각기 다르게 학습한다면 inference할 때 어떤 prompt를 써야할 지 애매해지기 때문이다. 그리고 매 session마다 prompt를 학습시킨다면 session이 무한정 늘어나는 상황을 고려해도 문제가 있었고. 아무튼 그런 개인적인 경험 때문에 더 재미있게 본 것 같다!

본 논문의 메인 Figure (출처: Wang et al., "Learning to Prompt for Continual Learning" (CVPR, 2022))

Training Process

위의 메인 피겨에서, training이 이루어지는 방식은 다음과 같다.

Input 이미지가 들어오면
Query function을 통해 임베딩 벡터의 형태로 input query가 만들어진다.
Prompt pool에서 input query와 가장 가까운 몇 개의 prompt를 선정한다. ("Matched pairs")
고정된 Pretrained Embedding Layer를 지난 input의 embedding들 앞에, 선정된 prompt들을 이어붙여준다. ("Prepend selected prompts")
(인코더로 ViT(트랜스포머)를 사용하기 때문에, input 이미지를 패치로 나눠 토큰화하고 각 패치에 대한 임베딩 벡터의 시퀀스가 만들어지게 된다. CNN이 아닌 ViT를 사용해서 Prompt를 갖다 붙이기 더 편했을 것 같다!)
Prompt가 결합된 형태로 Pretrained Transformer Encoder에 입력된 뒤 classifier를 지나 분류를 수행한다.
여기에서 계산되는 Loss를 통해 Prompt pool과 classifier를 학습시키게 된다. (Pretrained된 모듈들은 모두 고정되어 업데이트되지 않음)

실험 세팅이 Class-incremental 세팅이라면, 이렇게 prompt pool을 한 번 학습시킨 뒤에 새로운 클래스들이 들어올 때 다시 업데이트해주는 게 필요하다. 이 때도 마찬가지의 방식으로 prompt pool에 대한 업데이트가 이루어지며, classifier는 추가되는 클래스에 대한 유닛만 학습된다. (논문에서는 Class-incremental Setting과 Domain-incremental Setting에 대해 모두 실험한 결과를 보여준다.)

Loss (Objective)

이 업데이트를 위해 사용되는 objective function은 다음과 같다.

수식 출처: Wang et al., "Learning to Prompt for Continual Learning"

앞의 항은 Cross entropy Loss이다. 단순히 classification 결과에 대한 loss라고 생각하면 된다.

두번째 항이 prompt pool과 관련된 loss인데, query function을 지난 벡터와 선정된 prompt들 간의 거리를 좁혀주는 역할을 한다. 즉, 아래 표시된 부분의 거리를 좁혀주는 거다.

이렇게 하면 prompt pool의 prompt들이 분류에 도움이 되는 방향으로 task-specific한 성격을 띠게 구성되는 것에 도움을 줄 것이다.

(참고로 prompt pool에서 각 prompt가 어떤 걸 대변하는 건지, 어떤 정보를 주는 건지에 대해 감이 잘 안 왔는데, classification task에 대해 학습하기 때문에 기본적으로 각 class를 분류하기 좋은 정보를 가지고 있다고 생각할 수 있을 것 같다. class와 관련된 정보로 받아들이면 될 듯..!)

L2P - Continual Learning

'prompt가 업데이트되면 결국 앞선 task에 대해 잊어버리는 건 피할 수 없지 않을까' 하는 생각을 할 수 있지만, prompt를 거리 기반으로 선택하고 업데이트하기 때문에 유사한 태스크에 대해서는 유사한 prompt 구성을 적당히 유지할 수 있게 된다. 물론 forgetting을 완전히 막아주지는 않는다. 하지만 이전 task의 정보를 활용해 새로운 task를 위한 prompt를 구성한다는 점에서 효율적으로 이전 정보에 대해 유지해간다고 볼 수 있을 듯하다.

Continual Learning 테크닉들을 보면, stability-plasticity 의 균형을 맞추기 위한 장치로 이루어져 있다. 어떻게 보면 당연한 얘기다.

Stability는 얼마나 기존 정보를 잘 기억하는지에 대한 성질이고, Plasticity는 얼마나 새로운 task에 잘 적응하는지에 대한 것, 즉 Adaptation을 위한 성질이다. Stability가 극단적으로 보존되는 경우는 아예 모델의 업데이트가 이루어지지 않고 첫번째 task에 대한 기억만 가지고 있는 걸 생각해볼 수 있다. 반대로 Plasticity가 극단적으로 보장되는 상황은 단순히 모델을 계속 fine-tuning하는 경우일 것이다. 이 둘은 당연하게도 trade-off / 딜레마 관계에 있다. 물론 다 잘하면 베스트지만!

이 L2P의 구조 역시 Stability 와 Plasticity를 담당하는 부분으로 해석해보자면, 새로운 task에 대한 적응을 담당하는 부분이 prompt pool이고, Stability를 담당하는 부분이 Pre-train된 인코더 모듈들이라고 생각할 수 있다. Prompt pool은 우선 새로운 task가 추가될 때 직접적으로 업데이트 되는 부분이고, Pre-trained 모델은 다량의 데이터로 이미 학습이 되어 있어 Generalization ability가 어느 정도 보장되기 때문에, task가 계속 추가될 때도 성능을 전체적인 task에 대해 유지해주는 역할을 할 수 있기 때문이다.

Prompt pool로 classification task에 대한 정보를 업데이트해가는 게 또 의미가 있을 것 같은 건, 이전 class들과 현재 class들 간의 관계(Semantic Relation)를 담고 있을 것이기 때문이다. 이전 task에서 학습된 class들이, 이후 task에서 그 관계를 바탕으로 다시 뭉치고 업데이트되기 때문에 서로 다른 task에서 주어지는 클래스들 간의 상호작용이 어느 정도 이루어진다고 생각할 수 있다.

이 논문은 메인 컨퍼런스에서 처음으로 구경한 포스터였고, 주변에 사람이 우글우글 굉장히 많아서 중간에 어떤 분이 지나가면서 '포스터를 볼 수 있게 좀 떨어져서 서달라'고 사람들에게 요청까지 했다. 거의 저자 옆으로 붙어서 포스터를 다 가리고 서있었다. ㅋㅋㅋ

사람들이 질문도 많이 하고 저자도 설명을 열심히 해줘서, 옆에서 주워들으며 이해하는 데에 많이 도움이 됐다.

내가 궁금했던 건, Prompt pool의 prompt의 개수가 어떻게 되는지, prompt의 개수에 제한을 둬야 한다면 문제가 되는 경우는 없는지, session이 추가될 때 classifier는 정확히 어떻게 학습되는 건지, 등 내 머릿속에서 정확히 그려지지 않은 부분들이었다.

Prompt pool의 개수는 어떤 분이 질문을 해주셔서 저자가 답을 해주었고 (참고로 논문에도 당연히 언급되어 있었다! 30개 정도를 사용한 걸로 기억한다.), 그에 뒤이은 Scalability에 대한 질문에는 끄덕끄덕하며 한계가 있다는 듯 반응했다. 비슷한 task, 즉 비슷한 수준의 class가 추가되는 건 크게 문제가 없을텐데, 완전히 다른 결의 class가 많이 추가된다든지 하는 상황에서는 prompt pool의 확장성에 대해 고민해볼 필요가 있다는 느낌이었다.

나는 수많은 사람들 앞에서 저자에게 그냥 '나의 이해를 도와주세요' 할 자신이 없어서 사람이 좀 줄어들길 기다리며 몇 번이나 왔다갔다 했는데, 계속 사람이 많았다.. 완전 인기 짱이었음..

그러다, 알고보니 옆에 서있던 분이 구경하러 오신 분인 줄 알았는데 저자 분이셨어서 그 분께 조용히 가서 질문을 했다. 그 분과 linkedIn 일촌도 맺었다! ㅎㅎ 엄청 잘 설명해주셨다. 나도 멋진 논문 쓰고 완전 친절하게 설명해주고 싶다.....ㅇ.ㅇ 멋졌다..!

포스터 세션에서 질문들을 들으며 느낀 바가 꽤 많았다. 특히 prompt 의 개수에 대해 궁금했던 것과 관련해, 질문을 할 법도 한데 계속 듣고만 있다가, 누군가 그 질문을 했을 때 '아 내가 가지는 질문이 생뚱맞지만은 않구나! 나도 궁금할 만한 게 궁금한거구나' 하는 안도감이 들었고, 또 그와 관련해 Scalability에 대한 질문을 들었을 때는, 나는 단순히 prompt 개수도 제한이 있어야 할텐데 그럼 뭔가 한계가 있지 않을까... 하는 정도의 감만 있었는데 그게 task가 무한정 늘어나는 세팅에서의 scalability의 문제로 명확하게 제시되는 걸 보고 '감'에서 '문제 정의'로 넘어가는 게 정말 한끗차이이고 그 차이는 내공과 경험에서 우러나오는 것 같다는 생각도 들었다. 나도 좀더 명확하게 무언가를 제시할 수 있게 열심히 해야지!!! 하는 생각!!

이상 논문리뷰 치고 간단하고도 장황한, 포스터 세션 리뷰(?) 끝!