- 이번 포스팅에서는 소형 LLM 을 로컬에서 동작시키는 방식의 기본에 대해 알아보겠습니다.구동시킬 모델은 딥러닝 모델의 GitHub 라 할 수 있는 HuggingFace 에서 가져왔으며,현 시점 오픈된 소형 모델들 중 한글 성능이 우수한 Naver 의 Hyper Clova X Seed 1.5B 모델을 동작시킬 것입니다.(조금 더 무거운 2.1B 모델로는 kakao 의 kanana1.5 nano 모델을 추천합니다.) - 모델 선정 기준 정하는 방법아시다시피 LLM 모델은 병렬 연산이 많은 것으로 유명한 딥러닝 모델들 중에서도 Large Language Model 이라는 이름이 붙을 만큼 무거운 모델입니다. (만약 LLM 모델에 대해 조금 더 자세히 이해하고 싶다면, LLM 의 기본이 되는 Transfor..

- 이번 포스팅에서는 Pytorch 프로젝트로 OCR 글자 인식을 구현해보겠습니다.개인적으로 진행하려는 프로젝트가 OCR 을 사용하므로 저는 앞으로 이 코드를 기반으로 OCR 모듈의 인터페이스를 결정하여 지속적으로 모델을 발전시켜 나갈 생각입니다. - 동작 환경은 Python 3.12, Torch 2.6.0 GPU Supported 입니다. # torch 버전 확인/ print("torch 버전 확인") print(torch.__version__) print("") # CUDA 가속 확인 print("CUDA 가속 확인") print(torch.cuda.is_available()) if torch.cuda.is_available(): print(to..

- 이번 포스팅에서는 이미지 생성 모델로 유명한 Diffusion 모델에 대해 정리하겠습니다.Diffusion 모델은 눈에 띄는 퍼포먼스와 상업성으로 주목을 받아왔는데, 그만큼 파생된 모델도 현재 많이 개발되었습니다.이번 게시글에서는 그 근간이 되는 기본 원리에 대해 이해해보고, 이를 기반으로 현 시점 강세를 띄는 최고 성능의 모델들을 정리할 예정입니다. [이미지 생성 모델의 역사]- 근본 기술 리뷰이므로 Transformer 를 리뷰했을 때와 같이 기술 발전의 흐름을 먼저 이해하고 가겠습니다.Diffusion 모델이 나오기 전에도 DeepLearning 모델을 이용한 데이터 생성 모델의 연구는 많이 이뤄졌습니다. 데이터 생성의 가장 기본적인 모델로는,Auto Encoder 모델(2013)이 있었습니다...

- 이번 포스팅에서는 독특한 딥러닝 모델에 대해 정리하겠습니다.게시글 제목과 같이 FiLM 이라고 하는 모델입니다. FiLM 은, 어떠한 특징(Feature)을 녹여낸 Latent Vector 가 있을 때, 다른 조건의 입력값(x)이 주어졌을 경우 이를 선형 변환(gx + b) 하기 위한 파라미터 Gamma 와 Beta 를 추론하게 하는 모델로, 인코더 모델의 출력 벡터에 외부 조건을 추가 할 수 있는 방법론을 제시합니다. (FiLM)- 논문 : FiLM: Visual Reasoning with a General Conditioning Layer(2017) - FiLM 은 Visual Reasoning 을 위해 나온 모델입니다. 먼저 Visual Reasoning 에 대해 설명하자면,시각 정보의 위치적 ..

- 이번 포스팅에서는 딥러닝 모델 경량화 방법을 정리하겠습니다.최근 저는 개인적인 어플리케이션 개발과 더불어 실험적인 구조의 Image Segmentation 모델을 학습시키는 중인데,제가 만든 Image Segmentation 모델을 모바일/드론 등 엣지 디바이스에 적용하여 실시간(30FPS)으로 시각 정보를 처리하는 것을 목표로 하고 있습니다. 이렇게 모바일 환경과 같은 제한적인 환경에서 비교적 무거운 딥러닝 모델을 구동시키기 위해 필요한 몇가지 기법들을 정리하겠습니다. (Pruning(가지치기))- Pruning 이란, 가지치기라는 뜻과 같이 모델 구조에서 중요도가 떨어지는 부분을 잘라내는 기법을 의미합니다. - 쉽게 설명하자면,f(x) = x * w + b라는 수식이 무수히 많이 붙은 레이어에서,..

- 이번 포스팅에서는 GPT 와 같은 LLM 을 학습하는 방식을 정리하겠습니다. LLM(Large Language Model) 은 이름 그대로 굉장히 커다란 모델이므로, 일반적인 장비로는 순전파조차 어렵고 학습은 더더욱 어려운 일입니다. 여기선 LLM 의 사이즈별 GPU 필요 사양, 오픈된 모델 사용 방식, 보다 낮은 사양으로 높은 모델을 학습시키는 방식, 그리고 학습 코드를 정리하여 공유드리겠습니다. (LLM 사이즈별 명칭 및 GPU 필요사항)- 딥러닝 모델의 사이즈 개념에 대해 알아보겠습니다.아시다시피 머신러닝/딥러닝은 데이터를 기반으로 입력값과 정답을 이어주는 함수를 만들어내는(=학습하는) 기술입니다. 정확히는, 함수를 구성하는 파라미터를 학습시키는 기술이죠. 모델이 추론을 할 때에도 해당 함수의 ..

- Cosine 유사도는 두 벡터간의 유사도(정확히는 벡터 방향성)를 파악하기 위한 대표적인 방법입니다.벡터가 얼마나 유사한 방향성을 가지는지 구할 수 있는 방식이므로 딥러닝에서 손실함수로 사용되거나, 혹은 벡터 DB 에서 인코딩된 벡터를 유사도 기준으로 구할 때 사용되는 방식이죠.머신러닝의 인코딩 모델을 사용하여 상호간 유사도 파악을 할 때에 유용하게 사용할 수 있는 기법입니다. - Cosine 유사도를 구할 벡터의 값의 범위는 일반적으로 -1 ~ 1 사이의 값입니다.0의 의미는 벡터의 힘이 존재하지 않는 중립 상황이라는 뜻이고,1 을 최대값으로 두고, 양수 음수로 값의 방향성이 구해진다는 뜻입니다. - 벡터간 유사도를 나타내는 가장 간단한 이론은, 벡터간 유사도가 클수록 벡터간 내적의 값이 커진다는 ..

- 이번 포스팅에서는, 딥러닝 오버 피팅 방지 기법을 정리하겠습니다.CNN 모델을 기준으로 설명하겠습니다. (일반적 오버피팅 방지 기법)1. 모델 파라미터 및 입출력 텐서 차원 줄이기(모델 경량화) :이미지 자료 출처 예를 들어보겠습니다.컴퓨터 비전 로직에서 에지, 즉 사물의 경계선을 판별하기 위해선 3x3 커널이 2개만 있어도 충분합니다.(9개의 선형함수 2개와 2개의 출력 벡터)커널이 가지는 뚜렷한 의미는, 수직 방향의 선과 수평 방향의 선을 검출하는 것이고, 이러한 결과를 해석하여 해당 점이 에지 특성을 많이 가지는지, 무슨 방향의 에지인지를 판별할 수 있죠.그런데 만약 머신러닝 알고리즘에서 동일한 에지를 파악하는데에 3x3 커널이 아니라 5x5 커널을 사용하면요?출력값이 수직, 수평의 2개 벡터가..

(AutoEncoder)- AE란, 입력 데이터를 압축(인코딩) 한 후, 다시 원래대로 복원(디코딩) 하도록 학습하는 비지도 학습 신경망을 뜻합니다.다른 지도 학습 모델과는 달리, 입력 데이터를 그대로 정답 데이터로 사용하기에 따로 정답 레이블링을 할 필요가 없는 비지도 학습 모델이죠. - AutoEncoder 의 구조는,이미지 출처 이렇습니다. 딥러닝을 아시는 분이라면 더이상 설명할 필요도 없을만큼 간단한 구조로,입력 이미지를 받아서 점차 작은 벡터로 줄여나가는 부분을 Encoder 라고 하고,인코더에서 인코딩되어 축약된 중간 벡터 부분을 Latent Vector 라고 하며,Latent Vector 를 기반으로 원본 이미지를 복원하는 부분을 Decoder 라고 합니다. - AutoEncoder 의 의미..

- speech recognition이란? 음성 인식이란, 인공지능 분야가 연구되기 시작한 것과 거의 동시에 연구되기 시작한 분야입니다. 인공지능은 컴퓨터가 발명된 것과 거의 동시에 연구되기 시작되었습니다.컴퓨터라는 구조 자체가 단순한 전자 계산기를 가정하고 만든 것이 아니라,인간적인 지적 활동을 인공적으로 하기 위한 구조를 기계로 구현하려는 노력(튜링 머신)이라는 것을 생각해보면 기계가 사람의 말을 이해하도록 하는 노력에 대한 관심과 역사에 대해 알수 있겠네요. 음성인식 분야는 AI의 내부에 속한 하위개념이기에 AI의 발전과 거의 비슷한 방향성과 역사를 가집니다. 간단하게 이를 설명하자면,1. 컴퓨터라는 기계가 만들어지고, 알고리즘과 수학적 모델링으로 이를 구현할수 있으리라는 기대가 모아짐2. 퍼셉트론..