- 이번 포스팅에서는 처음으로 티스토리 블로그 광고 심사에 통과한 기념으로,제가 시도했던 Google AdSense 광고 심사 절차에 대해 설명드리겠습니다.광고 심사는 잘 하시는 분이라면 빠르게 몇번이고 심사에 통과하시는 분도 있지만, 저의 경우는 블로그에 무슨 문제가 있던 것인지 몇번이고 심사에 통과되지 못했었는데, 저와 비슷한 분이 계시다면 그대로 따라할 수 있도록 제가 시도한 방식에 대해 그대로 공유드리겠습니다. (티스토리 블로그 수익화 방법)0. 먼저 광고 승인 신청시의 상황 설명부터 하겠습니다.저는 티스토리 블로그를 사용하여 IT 공부 정리를 한지 5년 가까이 되었으며, 본 블로그 이전에 블로그가 있었습니다.해당 블로그는 대략 하루에 300명 가까이 들어올 정도로 어느정도 가꾸기는 했지만, 광고..

- 이번 포스팅에서는 소형 LLM 을 로컬에서 동작시키는 방식의 기본에 대해 알아보겠습니다.구동시킬 모델은 딥러닝 모델의 GitHub 라 할 수 있는 HuggingFace 에서 가져왔으며,현 시점 오픈된 소형 모델들 중 한글 성능이 우수한 Naver 의 Hyper Clova X Seed 1.5B 모델을 동작시킬 것입니다.(조금 더 무거운 2.1B 모델로는 kakao 의 kanana1.5 nano 모델을 추천합니다.) - 모델 선정 기준 정하는 방법아시다시피 LLM 모델은 병렬 연산이 많은 것으로 유명한 딥러닝 모델들 중에서도 Large Language Model 이라는 이름이 붙을 만큼 무거운 모델입니다. (만약 LLM 모델에 대해 조금 더 자세히 이해하고 싶다면, LLM 의 기본이 되는 Transfor..

- 이번 포스팅에서는 Pytorch 프로젝트로 OCR 글자 인식을 구현해보겠습니다.개인적으로 진행하려는 프로젝트가 OCR 을 사용하므로 저는 앞으로 이 코드를 기반으로 OCR 모듈의 인터페이스를 결정하여 지속적으로 모델을 발전시켜 나갈 생각입니다. - 동작 환경은 Python 3.12, Torch 2.6.0 GPU Supported 입니다. # torch 버전 확인/ print("torch 버전 확인") print(torch.__version__) print("") # CUDA 가속 확인 print("CUDA 가속 확인") print(torch.cuda.is_available()) if torch.cuda.is_available(): print(to..

- VULKAN 은 3D 그래픽스와 컴퓨팅을 위한 low level API 입니다.GPU 를 프로그래밍 수준에서 직접 제어할 수 있게 해주는 인터페이스로,2016 년도에, 게임과 같은 소프트웨어의 그래픽 작업을 위해 제공되던 OpenGL 의 후속으로 개발되었으며, 밴치마크 영상을 찾아보시면 아시겠지만 오버헤드가 많은 편인 OpenGL 에 비해 성능상 굉장히 개선이 되었기에 안드로이드에서 GPU 작업에 대한 인터페이스로는 꾸준히 VULKAN 을 추천하고 있습니다. 저의 경우는 안드로이드 이미지 컬러 채널 변환으로 사용되던 RenderScript 가 Deprecated 되었기에 그에 대한 대안으로 찾아보니 Vulkan 을 사용하라는 권고 사항을 발견하여 다루어 보게 되었습니다. - 설정 방식 및 개발 방법먼..

- 앞선 포스팅(안드로이드 TFLite 사용법)에 이어 정리하겠습니다. - Android 에서 성능 향상을 위해 고려할 수 있는 방법 중 하나인 JNI 는 JVM 기반 언어의 한계를 극복하게 해줄 수 있습니다.Java 계열 언어는 응용 프로그램인 JVM 위에서 동작하기 때문에 어떻게 하더라도 성능상의 악영향을 받을 수 밖에 없는데, JVM 을 벗어나 C 와 같은 네이티브 언어를 실행할 수 있는 기법이 있습니다.그것이 바로 JNI 입니다. JNI 의 주요 용도는, C 언어 계열의 라이브러리(컴퓨터 비전 영역에서는 주로 OpenCV 가 대표적)에서 제공하는 기능을 사용하거나, 혹은 실시간 처리 로직의 성능을 극대화 하기 위해 사용됩니다. 이번에는 Android 에서 JNI 를 사용하는 방법을 알아보겠습니다...

- 이번 포스팅에서는 Tensorflow 등으로 학습시킨 딥러닝 모델을 Android 에서 안정적으로 구동시키는 방식에 대해 알아보고,간단한 이미지 분류기 및 YOLO 를 사용한 객체 탐지기를 구현해보겠습니다. 이전에는 Flutter 를 사용한 객체 탐지 서비스를 구현해 보았지만 성능상의 문제가 무시할 수 없을 정도로 심각했기에,그냥 이전에 만들어 본 경험이 있는 Android 개발 방식을 이렇게 다시 정리하고, 추후 필요하다면 iOS 개발 방식을 따로 배워서 기술 포팅을 하는 방식으로 크로스 플랫폼을 전부 지원하려고 합니다. - 특이점을 미리 말씀드리자면, 제가 사용하는 안드로이드 기술 스택은,Android Compose UI,Kotlin 언어,Coroutine 비동기 처리,ViewModel 객체를 사..

- 이번 포스팅에서는 CLIP 을 기반으로 발전한 이미지 내용 분석 및 자연어 생성 멀티 모달 모델인 BLIP 의 논문을 정리하겠습니다. 앞서 리뷰한 CoCa 모델에서 CLIP 을 기반으로 하여 이미지 캡셔닝, 비디오 내용 분석에 대한 새로운 접근 방식과 성능 향상 방법론을 배웠는데, BLIP 에서 발전한 BLIP-2 는 그보다 성능이 좋은 모델로 평가되므로 이전에 정리한 내용을 기반으로 어떤 방식으로 성능을 향상시켰는지를 파악할 수 있을 것입니다. [BLIP]- 논문 : BLIP: Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding and Generation (2022, salesforce) (서론)- V..

- 이번 게시글에서는 앞서 정리한 CLIP 모델을 응용하여 이미지 캡셔닝 모델을 개선한 CoCa(Constrastive Captioners)에 대해 논문 리뷰를 진행하겠습니다. [CoCa(Constrastive Captioners)]- 논문 : CoCa: Contrastive Captioners are Image-Text Foundation Models (2022, Google) (서론)- 본 논문은 CoCa 라는 이미지-텍스트 기반 대규모 사전 학습 모델을 제안합니다.기존의 CLIP 처럼 이미지와 텍스트를 연결하는 능력과 더불어 SimVLM 과 같은 문장 생성 능력을 한번에 학습하는 모델이라고 하네요. SimVLM 에 대해서는 알아보지 않았는데, 아마 이미지-텍스트 의미 추출 + 이미지를 통한 문장 생..

- 이번 포스팅에선 이미지와 텍스트를 기계가 동일 방식, 동일 공간으로 이해할 수 있도록 인코딩 하는 기술인 CLIP 에 대해 알아보고 정리하겠습니다. 제목에는 멀티 모달 임베딩 기술이라고 적었지만,일반적으로 생각하는 멀티 모달에 국한되는 개념이라기보다는 컴퓨터 비전 영역에 자연어를 융합하여 Zero-shot Learning 으로 다양한 작업을 처리할 수 있도록 하는, 단순 임베딩보다 넓은 개념의 방법론이라는 것을 아래 설명으로 이해하실 수 있을 것입니다. 이전에 멀티 모달 LLM 을 정리할 때(LLaVA 모델에서 사용한 인코더가 CLIP-ViT 였죠)에 간단히 설명 했었지만 논문을 기반으로 더욱 자세히 정리할 필요성을 느꼈기에, 본 게시글에서는 CLIP 에 대해 논문 내용을 정리하겠습니다. [CLIP(..

- 이번 포스팅에서는 이미지 생성 모델로 유명한 Diffusion 모델에 대해 정리하겠습니다.Diffusion 모델은 눈에 띄는 퍼포먼스와 상업성으로 주목을 받아왔는데, 그만큼 파생된 모델도 현재 많이 개발되었습니다.이번 게시글에서는 그 근간이 되는 기본 원리에 대해 이해해보고, 이를 기반으로 현 시점 강세를 띄는 최고 성능의 모델들을 정리할 예정입니다. [이미지 생성 모델의 역사]- 근본 기술 리뷰이므로 Transformer 를 리뷰했을 때와 같이 기술 발전의 흐름을 먼저 이해하고 가겠습니다.Diffusion 모델이 나오기 전에도 DeepLearning 모델을 이용한 데이터 생성 모델의 연구는 많이 이뤄졌습니다. 데이터 생성의 가장 기본적인 모델로는,Auto Encoder 모델(2013)이 있었습니다...