보물 발견하기
얼마 전 이해하기 쉽고 재미있는 거대한 인공지능 학습 웹사이트를 발견해서 여러분과 공유하지 않을 수 없었습니다. 트레저 포털입니다.
앞에 쓰기
ChatGPT 모델 결과는 데이터 샘플이 없거나 적은 경우에도 많은 작업에서 SOTA를 달성하기에는 너무 우수하여 많은 사람들이 대규모 모델 연구로 눈을 돌리고 있습니다.
알파카 모델을 도입한 후, 70억 명의 참여자 수 모델은 ChatGPT의 효과에는 미치지 못하지만 빅 모델의 산술적 비용을 크게 절감하여 일반 사용자 및 일반 기업에서 사용할 수 있다는 것이 입증되었습니다. 강조된 데이터 문제는 GPT-3.5 또는 GPT-4 인터페이스를 통해 액세스할 수 있으며 데이터 품질도 상당히 높습니다. 기본 효과 모델만 필요한 경우 데이터에 다시 세밀하게 라벨을 붙이는 것은 더 이상 중요하지 않습니다.
탠포머 아키텍처 모델
사전 학습된 언어 모델의 핵심은 대량의 데이터에서 언어의 일반화된 표현을 학습함으로써 하위 작업에서 우수한 결과를 얻을 수 있다는 것입니다. 모델 매개변수가 계속 증가함에 따라 사전 학습된 많은 언어 모델을 대규모 언어 모델이라고도 합니다. 사람마다 "대규모"에 대한 정의가 다르고, 얼마나 많은 매개변수가 모델을 대규모로 만드는지 말하기 어렵고, 일반적으로 사전 학습된 언어 모델과 대규모 언어 모델을 강제적으로 구분하지 않습니다.
사전 학습된 언어 모델은 일반적으로 기본 모델 네트워크 구조에 따라 인코더 전용 아키텍처 모델, 디코더 전용 아키텍처 모델, 인코더-디코더 아키텍처 모델로 분류됩니다. 이 중 인코더 전용 아키텍처 모델에는 BERT, RoBerta, Ernie, SpanBert, AlBert 등이 포함되며, 디코더 전용 아키텍처 모델에는 GPT, CPM, PaLM, OPT, Bloom, Llama 등이 포함되며, 인코더-디코더 아키텍처 모델에는 다음이 포함되나 이에 한정되지는 않습니다. Mass, Bart, T5 등
ChatGPT원칙
ChatGPT 훈련의 전체 과정은 크게 사전 훈련 및 큐 학습 단계, 결과 평가 및 보상 모델링 단계, 집중 학습 자기 진화 단계의 3단계로 나뉘며, 3단계는 모방, 규율, 자율의 단계적 모델 전환을 달성하는 3단계로 명확하게 나뉩니다.
모방의 첫 번째 단계에서는 모델이 다양한 명령어 기반 작업을 학습하는 데 중점을 두며, 이 단계의 모델은 자기 변별력이 없고 인공적인 행동을 모방하는 과정에 가깝기 때문에 인간의 주석 결과를 지속적으로 학습하여 그 행동을 본질적으로 지능적으로 만듭니다. 그러나 단순한 모방은 기계의 학습 동작을 손글씨로 바꾸는 경우가 많습니다.
훈련 기간의 두 번째 단계에서는 최적화 콘텐츠의 방향이 전환되어 정답의 내용을 기계에 교육하는 것에서 정답의 우수성을 기계에 교육하는 것으로 초점이 바뀝니다. 첫 번째 단계에서는 기계가 입력 X를 사용하여 모방적으로 출력 Y'를 학습하고, Y'를 원래 라벨링된 Y와 일치하도록 만드는 데 중점을 둡니다. 그런 다음 두 번째 단계에서는 여러 모델이 X에 대한 응답으로 여러 결과를 출력할 때 여러 결과가 얼마나 좋은지 나쁜지 스스로 판단할 수 있기를 원합니다.
모델이 일정한 판단 능력을 갖추면 2단계 학습을 완료한 것으로 간주하고 3단계인 자율기에 진입할 수 있습니다. 자율기의 모델은 좌우 상호 작용을 통해 자기 진화를 완료해야 합니다. 즉, 한편으로는 여러 출력 결과를 자동으로 생성하고 다른 한편으로는 다른 결과의 장점 정도를 판단하고 다른 출력의 효과 모델 차이에 대한 평가를 기반으로 자동 생성 프로세스의 모델 매개 변수를 최적화 및 개선한 다음 모델의 자기 강화 학습을 완료합니다.
요약하자면, ChatGPT의 3단계는 인간 성장의 3단계에 비유할 수도 있습니다: 모방 단계의 목적은 "하늘의 이치를 아는 것", 규율 단계의 목적은 "옳고 그른 것을 분별하는 것", 자율 단계의 목적은 "만물을 이해하는 것"입니다. 자율 단계의 목적은 "모든 것을 공식화"하는 것입니다.
큐 학습과 빅 모델 기능의 등장
ChatGPT 모델은 출시 후 부드러운 대화 표현, 매우 강력한 문맥 저장, 풍부한 지식 생성, 포괄적인 문제 해결 능력으로 전 세계적으로 인기를 얻으며 인공지능에 대한 대중의 인식을 새롭게 했습니다. 단서 학습, 문맥 학습, 연쇄 사고와 같은 개념도 대중의 시야에 들어왔습니다. 특정 작업에 대한 힌트 템플릿을 전문적으로 작성하는 힌트 엔지니어라는 직업도 시장에 등장했습니다.
많은 학자들은 큐 러닝을 피처 엔지니어링, 딥러닝, 사전 학습 + 미세 조정에 이은 자연어 처리의 네 번째 패러다임으로 간주하고 있습니다. 언어 모델의 매개 변수가 증가함에 따라 모델에는 문맥 학습 및 사고 연쇄와 같은 기능도 생겨나며, 언어 모델의 매개 변수를 학습하지 않고도 몇 가지 데모 예제만으로 많은 자연어 처리 작업에서 더 나은 결과를 얻을 수 있습니다.
3.1 큐 학습
큐 학습은 원본 입력 텍스트에 새로운 입력으로 추가 단서를 첨부하고, 다운스트림 예측 작업을 언어 모델 작업으로 변환하고, 언어 모델의 예측 결과를 원본 다운스트림 작업의 예측 결과로 변환하는 과정입니다.
감정 분석 작업을 예로 들면, 원래의 작업은 주어진 입력 텍스트 "I love Japan"의 감정 극성을 결정하는 것입니다. 단서 학습은 원래 입력 텍스트 "I love Japan"에 "이 문장의 감정은 {마스크}입니다."와 같은 단서 템플릿을 추가하는 것입니다. 새 입력 텍스트 "나는 일본을 사랑합니다. 이 문장의 감정은 {마스크}입니다."로 바뀝니다. 그런 다음 언어 모델의 마스크 언어 모델 작업을 사용하여 {마스크} 토큰에 대해 예측한 다음 예측된 토큰을 감정 극성 라벨에 매핑하여 최종적으로 감정 극성 예측을 달성합니다.
3.2 컨텍스트 학습
문맥 학습은 큐 학습의 특별한 경우로 볼 수 있는데, 데모 예제는 큐 학습에서 수동으로 작성된 큐 템플릿의 일부로 간주되며 모델 파라미터 업데이트가 이루어지지 않습니다.
문맥 학습의 핵심 아이디어는 유추를 통한 학습입니다. 감성 분류 작업을 위해 먼저 기존 감성 분석 샘플 라이브러리에서 긍정 또는 부정 감성 텍스트와 해당 레이블이 포함된 데모 예시를 추출하고, 그 데모 예시를 분석할 감성 텍스트와 연결하여 대규모 언어 모델에 입력한 다음, 마지막으로 데모 예시에서 유추를 학습하여 텍스트의 감성 극성을 도출하는 과정을 거칩니다.
이 학습 방법은 인간이 학습 후 겪는 의사 결정 과정과도 밀접한 관련이 있는데, 다른 사람들이 특정 사건을 어떻게 처리하는지 관찰함으로써 자신이 동일하거나 유사한 사건을 마주했을 때 쉽고 잘 해결할 수 있습니다.
3.3 생각의 연쇄
대규모 언어 모델 시대가 도래하면서 자연어 처리의 패러다임에 혁명을 일으켰습니다. 모델 파라미터가 증가함에 따라 감정 분석이나 주제 분류와 같은 시스템 1 작업은 샘플 수가 적거나 전혀 없어도 더 나은 결과를 얻을 수 있습니다. 그러나 논리적 추론, 수학적 추론, 상식 추론과 같은 시스템-2 작업의 경우 모델 파라미터를 수천억 개로 늘려도 만족스러운 결과를 얻지 못하는, 즉 모델 파라미터의 단순한 증가가 실질적인 성능 향상으로 이어지지 못합니다.
구글은 2022년에 대규모 언어 모델이 다양한 추론 작업을 수행할 수 있는 능력을 향상시키기 위해 사고 연쇄 개념을 도입했습니다. 사고 체인은 본질적으로 불연속적인 단서 템플릿으로, 대규모 언어 모델이 최종 답을 도출하기 위해 단계별 추론 근거를 제공하여 인간의 사고 과정을 모방하도록 하는 것이 주요 아이디어이며, 문장 모음의 각 단계 추론 근거가 사고 체인의 내용입니다.
사고 체인은 전체 멀티 홉 문제를 한 번의 포워드 패스로 해결하는 대신 대규모 언어 모델이 여러 단계의 문제를 개별적으로 답할 수 있는 여러 중간 단계로 세분화하는 데 실제로 도움이 됩니다.
4.1 변화 수용하기
이러한 모든 이벤트는 업계 연구의 방향에 영향을 미치고 예를 들어 다음 기술 경로가 오픈 소스 모델을 기반으로하는지 아니면 처음부터 새로운 모델을 사전 교육하는지, 얼마나 많은 매개 변수를 설계해야하는지 등 더 많은 사고를 유발할 것입니다.Copilot은 잘 수행되었으며 사무실 플러그인 AIGC의 애플리케이션 개발자는 어떻게 이에 대처할 수 있습니까?
그럼에도 불구하고 실무자는 변화를 수용하고 전략을 신속하게 조정하며 최첨단 리소스를 활용하여 미션 실현을 가속화할 것을 권장합니다.
4.2 명확한 포지셔닝
예를 들어 애플리케이션 계층을 수행할지 기본 최적화 계층을 수행할지, C-엔드 시장을 수행할지 B-엔드 시장을 수행할지, 산업 펜던트 애플리케이션을 수행할지 범용 도구 및 소프트웨어를 수행할지 등 자체 틈새 트랙의 목표를 명확히 해야 합니다. 지나친 야심은 금물이며, 바람의 흐름을 파악하고 "적절한 케이크를 자르세요".
명확한 포지셔닝은 벽에 부딪히지 않고 돌아가지 않겠다는 뜻이 아니라 자신의 목적과 그 의미를 이해하는 것에 더 가깝습니다.
4.3 규정 준수 제어 가능
AIGC의 가장 큰 문제는 출력의 제어 불가능성이며,이 문제를 해결할 수 없다면 개발에 큰 병목 현상에 직면하고 B 엔드 및 C 엔드 시장에서 널리 사용될 수 없습니다. 제품 설계 과정에서 규칙 엔진을 통합하고 보상 및 처벌 메커니즘을 강화하는 방법과 적절한 인적 개입에주의를 기울여야합니다. 실무자는 AIGC에서 생성된 콘텐츠와 관련된 저작권, 윤리적, 법적 위험에 집중해야 합니다.
4.4 경험 싱크
경험 몰입의 목적은 자신만의 장벽을 구축하는 것입니다. 단일 모델에 모든 희망을 걸지 마세요. 예를 들어, 이 제품은 한때 일반 텍스트 형식으로 설계되어 ChatGPT와 원활하게 통합되었지만 최신 GPT4는 이미 멀티모달 입력을 지원합니다. 낙담하지 말고 변화를 빠르게 수용하고 얻은 경험을 바탕으로 제품 업그레이드를 신속하게 완료하여 새로운 시나리오와 상호 작용 패턴에 더 잘 대처하세요.
인공지능의 물결 아래에는 거품이 꽤 많지만, 변화를 수용하려는 의지를 품고 도달해야 할 먼 곳을 항상 명확히 하며 주변의 위험한 위기를 진지하게 직시하고 현실 세계에서 자신의 능력을 끊임없이 발휘한다면 언젠가는 자신의 마음이 열망하는 목적지에 도착할 수 있다고 믿습니다.
사용 후기:
BAT 수석 AI 전문가와 빅 모델 기술자가 집필했으며, MOSS 시스템 책임자 치우 시펑 등 많은 전문가가 적극 추천합니다! ChatGPT의 핵심 기술, 알고리즘 구현, 작동 원리, 학습 방법을 체계적으로 결합하고 심층적으로 분석하여 많은 코드와 주석을 제공합니다. 대규모 모델의 마이그레이션과 민영화를 달성하는 방법을 알려줄 뿐만 아니라 처음부터 자신만의 ChatGPT를 구축하는 방법도 알려줍니다!
새 책을 한정 기간 동안 50% 할인된 가격으로 만나보세요!
