모각코

모각코 6회차 목표 EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks Review - Discussion, Conclusion 6. Discussion EfficientNet improves the parameters-accuracy and FLOPS-accuracy curves of ConvNets. Specifically, EfficientNet-B3 achieves higher accuracy than ResNeXt101 using 18 times fewer FLOPS. When inferencing latency was measured on a real CPU, EfficientNet-B1 ran 5.7 times f..

모각코 5회차 목표 EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks Review - EfficientNet Architecture, Experiments 4. EfficientNet Architecture Since model scaling does not change the layer operators in the baseline network, having a good baseline network is also critical. We will evaluate our scaling method using existing ConvNets, but to better demonstrate the effectiveness of..

모각코 4회차 목표 EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks Review - Compound Model Scaling 3.1 Problem Formulation This section of the paper describes the structure and operation of a Convolutional Neural Network (ConvNet). A layer in a ConvNet is defined as a function of an input tensor producing an output tensor. A ConvNet itself is represented as a list of composed la..

모각코 3회 목표 EfficientNet: Rethinking Model Scaling for Convolutional Neural Networks Review - Abstract, Introduction, Related Work Abstracct 1. how to do better scailing of depth, width, resolution for more effective model building. 2. with EfficientNet, it works on MobileNet and ResNet at scaling up them. 3. EfficientNet uses MBConV, which ConV structure that used in MnasNet. Introduction Expandi..

이번 포스팅에선, EfficientNet의 paper에 대한 리뷰를 통해 그 구조를 분석하기 위해 선행된 연구들을 살펴볼 것이다. 선행 논문 : ResNet → MobileNet → SENet EfficientNet에는 MobileNet과 SENet에서 제안했던 개념이 사용되었기 때문에, 이를 먼저 살펴보기로 하였다. 1. MobileNetV1(2017) 모바일 기기에서 동작하는 것을 목표로 한 CNN 아키텍쳐이다. Depthwise Separable Convolution 개념을 제시한 연구이다. (Depthwise Conv + Pointwise Conv) Depthwise Conv모든 채널에 한번에 convolution 연산을 적용하는 대신 image 혹은 feature map을 각 채널 별로 쪼개서 ..

EfficientNet 과 관련된 선행 연구 정리 MobileNet, SENet

EfficientNet이란? ImageNet 및 common image classification transfer learning tasks에서 FLOPS*의 필요량을 줄인 모델. (*FLOPS : 부동 소수점 연산 당 비트 연산) smallest base model의 구조는 MnasNet과 유사하지만 그 크기가 더 작다. 모델을 스케일링하는 휴리스틱방법으로는 다양한 스케일에서 효율성과 정확성의 좋은 조합을 만들어 이를 모델군(B0 to B7)을 제공하는 방식을 사용하였다. 이러한 방식을 통하여, 효율 중심의 기본 모델 B0가 하이퍼파라미터의 포괄적인 그리드 탐색을 피할 수 있도록 구성되었다. EfficientNet의 B0~B7 EfficientNet 논문 원본의 Eq.(3)부분을 보면, Efficien..

EfficientNet의 개요 및 간단한 정의에 대하여 분석해보자.

1. Random Forest Algorithm 을 공부한 후 DACON에서 진행되었던 전력 사용량 예측 AI 모델 제작 대회 리뷰 2. 연구 분야 및 주제를 정하기 위하여 교수님께서 내주신 과제 수행하기 (매 미팅마다 내용이 달라질 예정이므로, 이에 관한 세부적인 내용은 아직 미정인 상태) 3. 주된 목적은 모델의 구동 구조 파악을 바탕으로 한 연산 속도 및 효율성 개선. 이를 위하여 PL쪽으로 공부하여 새로운 언어를 연구해 볼 지, 기존 알고리즘에서 레이어의 연산 방법 및 파라미터 부여 효율성 등의 연산 구조의 개편 등을 연구해 볼 지 미정인 상태이다. 이에 관하여 더 깊이 공부하여 방향을 정해보고자 한다.