이력서 작성자 여러분, 더 크고 풍성한 버전의 드롭아웃에 대해 알아봅시다! #알고리즘 #Algorithm

신경망을 훈련할 때 뉴런을 무작위로 폐기하여 네트워크 과적합을 방지하는 방법으로 도입되었습니다.

그러나 컨볼루션 신경망에서는 드롭아웃의 성능이 좋지 않기 때문에 연구진은 컨볼루션 신경망에서 성능이 좋다고 알려진 드롭블록이라는 '구조화된 드롭아웃 방법'을 고안해냈습니다.

오늘은 드롭블록이 무엇인지 살펴보겠습니다.

드롭블럭이란 무엇인가요?

신경망 학습에서 뉴런을 무작위로 버리는 드롭아웃 알고리즘이 도입되어 네트워크가 과적합되는 것을 방지하는 방식입니다.

컨볼루션 신경망에서 드롭아웃이 제대로 작동하지 않는 이유는 무엇인가요?

이는 컨볼루션 레이어에서 피처 맵의 각 픽셀이 주변 픽셀과 높은 상관관계를 갖기 때문입니다.

이는 여전히 이미지 픽셀이 현지화된 표현을 가지고 있기 때문에 주로 발생하며, 소위 픽셀 현지화라고 볼 수 있습니다. 컴퓨터 비전을 배우려면 먼저 이미지와 픽셀을 이해해야 합니다.

컨볼루션 특징 맵의 인접 픽셀은 공간적으로 의미 정보를 공유하기 때문에 셀이 삭제되더라도 인접 요소는 해당 위치의 의미 정보를 유지할 수 있으며 관련 정보는 여전히 컨볼루션 네트워크에서 순환할 수 있습니다.

즉, 이미지의 픽셀은 특징을 나타내기 위해 서로 껴안고 있습니다. 이미지의 특정 부분이 고양이의 귀인지 고양이의 입인지 구별하기 위해 인접한 범위의 픽셀을 함께 묶습니다.

특징은 단일 또는 몇 개의 픽셀이 아니라 로컬 범위의 많은 픽셀에 의해 결정됩니다.

따라서 드롭아웃 방법을 사용하여 기능을 삭제하는 것은 정보를 삭제하는 것처럼 보일 수 있지만 실제로는 정보를 완전히 삭제하는 것이 아닙니다.

이러한 문제를 해결하기 위해 연구진은 드롭블록이라는 새로운 방법을 제안했습니다.

드롭블록은 무작위로 활성화 단위를 삭제하는 대신 피처 맵의 전체 활성화 영역을 동시에 삭제하는 구조화된 드롭아웃 방식입니다.

드롭아웃 방법의 더 넓고 큰 버전이라고 할 수 있습니다.

다음 그림을 예로 들어 설명해 보겠습니다.

그림은 컨볼루션 신경망의 입력 이미지인 개를 나타냅니다.

그림과 그림의 녹색 영역은 강아지 사진의 컨볼루션 연산 후 얻은 활성화 이미지이며, 녹색 사각형은 활성화 유닛을 포함합니다.

이미지 픽셀 로컬라이제이션이 있기 때문에 녹색 영역의 왼쪽 상단 활성화는 개의 귀, 중간 부분 활성화는 개의 입, 오른쪽 하단 활성화는 개의 다리로 가정합니다.

다이어그램의 검은색 X는 폐기된 유닛을 나타냅니다.

그런데 그림 b와 같이 활성화 유닛을 무작위로 떨어뜨리는 방식은 하나의 유닛만 버리고 나머지 녹색 영역에는 여전히 원래의 특징이 남아 있으므로 이러한 단순 드롭아웃 방식은 효과적이지 않습니다.

대신, 영역의 큰 덩어리를 연속적으로 삭제하면 일부 영역별 정보를 직접 삭제하여 나머지 뉴런이 더 중요한 기능을 학습하도록 할 수 있습니다.

이것이 이미지 분류 네트워크라고 가정하면, 나머지 뉴런은 분류에 더 도움이 되는 다른 특징을 학습해야 합니다.

이미지넷 분류 작업에서 드롭블록을 사용한 ResNet-50 모델은 기존 드롭아웃 방식보다 1.6% 향상된 78.13%의 정확도를 달성했습니다.

아니요, AI 알고리즘에 종사하여 볼륨, 모두가 변형을위한 알고리즘에 머리를 긁고 있으며, 드롭 아웃 단일 뉴런을 버리는이 방법은 좋지 않으며, 전체 조각의 전체 조각을 버릴 것입니다, 효과는 꽤 좋은 최고 출판물입니다.

웹마스터가 뉴런을 삭제하는 이 방법에 대한 흥미로운 요약이 있습니다:

각 던지기는 최고의 출판 기사입니다. 여러분은 어떻게 생각하십니까, 기사를 게시하기위한 새로운 아이디어에 열려 있습니까?

거의 120명이 함께 연구에 참여했으며, 더 빠르고 효과적으로 시작하는 방법에 대해 논의 중이니 관심 있으신 분들은 함께 참여해 주세요.

글을 쓰기가 쉽지 않으니 좋아요를 눌러주세요.