심사를 통과하는 논문 방법론 섹션 쓰는 법: 재현성 체크리스트

1. 방법론 섹션은 무엇을 위한 것인가

방법론 섹션의 임무는 정확히 두 가지입니다. 유능한 제3자가 연구를 재현할 수 있게 하고,

회의적인 심사위원에게 결과가 주장하는 바를 정말로 의미한다고 설득하는 것입니다. 우아한

문장, 동기, 배경은 모두 서론의 몫입니다. 재현이나 신뢰성에 기여하지 않는 문장은

잘라내세요.

심사위원은 무엇을 했는지 알 수 없을 때 "거절"로 손을 뻗습니다. 모호한 방법론 섹션은

부주의 아니면 은폐로 읽히고, 심사위원은 덜 너그러운 쪽을 가정합니다. 기준은 구체적입니다.

같은 분야의 누군가가 이 섹션만 가지고 실험을 다시 만들어 같은 결과를 기대할 수 있는가?

정직한 답이 아니오라면, 다시 써야 합니다.

2. 처음 보는 사람도 따라올 수 있게 배치하라

방법론은 당신이 발견한 순서가 아니라, 누군가가 실제로 실행할 순서대로 쓰세요. 믿을 만한

구조는 이렇습니다. 데이터/재료 먼저, 그다음 전처리, 그다음 모델 또는 절차, 그다음 실험

설정(하드웨어, 하이퍼파라미터, 분할), 마지막으로 평가 지표. 각 소절은 독자를 다음 소절로

매끄럽게 넘겨야 합니다.

소제목을 아끼지 마세요. 심사위원은 먼저 훑고 나중에 읽습니다. 명확한 소제목이 있어야

전체를 다시 읽지 않고도 확인하고 싶은 한 가지 세부를 찾습니다. 당신 분야에 "재료 및 방법"

관례가 있다면 정확히 따르세요. 심사위원은 기대와 다른 구성을 알아채고, 결과에 닿기도 전에

호의를 잃습니다.

3. 묘사하지 말고 정당화하라

가장 약한 방법론 섹션은 순수한 묘사입니다. "학습률 0.001로 100 에폭 동안 학습했다."

심사위원의 즉각적인 질문은 "왜?"이고, 답하지 않은 왜는 거절의 빌미입니다. 강한 방법론

섹션은 묘사와 정당화를 한 호흡에 합니다. "검증셋 그리드 서치로 선택한 학습률 0.001을

사용했다(부록 B)."

모든 선택에 인용이나 실험이 필요하진 않지만, 그 선택이 의도적이었다는 신호는 필요합니다.

관례적 결정은 "[분야]의 표준 관행에 따라"와 인용으로 처리하세요. 진짜 정당화는 심사위원이

공격할 만한 선택 — 베이스라인 선정, 평가 지표, 데이터 분할, 비표준적인 모든 것 — 에

아껴 두세요.

4. 재현에 충분한 정보를 보고하라 — 체크리스트

재현성은 언급하는 미덕이 아니라 제공하는 구체적 항목의 목록입니다. 결과가 재현되지 않는

가장 흔한 이유는, 저자가 당연하다고 여긴 숫자 하나의 누락입니다. 아무것도 당연하다고

가정하지 마세요. 많은 상위 학회가 이제 제출 양식에 재현성 체크리스트를 함께 제공합니다.

쓰기 전에 읽으세요 — 심사위원이 무엇을 보라고 지시받았는지 정확히 알려주기 때문입니다.

본문이 읽히도록 방대한 세부는 부록이나 보충 자료에 두고, 명시적으로 참조하세요. "전체

하이퍼파라미터는 부록 C"가 마흔 개의 숫자를 아무도 못 읽는 문단에 묻는 것보다 훨씬

강합니다. 가능하면 코드와 데이터를 공개하세요 — 동작하는 저장소는 어떤 산문보다 많은

심사위원의 질문에 답합니다.

5. 통계와 베이스라인: 심사위원의 공격 지점

무엇보다 심사위원의 포화를 끄는 두 가지는 약한 베이스라인과 빠진 통계입니다. 허수아비가

아니라 심사위원이 기대할 가장 강한 방법과 비교하세요 — 명백한 강한 베이스라인을 빼면

첫 번째 심사위원이 그것을 지목하며 왜 없는지 물을 것이고, 당신은 반박서를 강점이 아니라

방어에 써야 합니다. 베이스라인을 못 이긴다면 그렇게 말하고 절충을 설명하세요. 정직함이

수상한 누락보다 낫게 읽힙니다.

점추정치만이 아니라 분산을 보고하세요. 단일 실행은 일화입니다. 여러 시드로 평균을 내고,

표준편차나 신뢰구간을 보고하고, 몇 번 실행했는지 밝히세요. 방법 A가 방법 B를 이긴다고

주장하면 심사위원은 그 차이가 잡음을 견디는지 물을 것입니다 — 데이터에 맞는 유의성 검정과

함께, 답을 논문 안에 두세요.

6. 흔한 실수와 마지막 자가 점검

반복되는 실패는 예측 가능합니다. 시험셋에서 튜닝하기, 운 좋은 한 번의 실행 보고하기,

정당화 없이 묘사하기, 그리고 알고 보니 핵심이었던 세부 누락하기. 각각은 제출 전에는 쉽게

고치고, 심사위원이 이미 부정적 인상을 굳힌 반박 단계에서는 비싸게 고칩니다.

제출 전에, 프로젝트를 본 적 없는 같은 연구실 동료에게 방법론 섹션을 건네고 재현에 필요한

모든 것을 적어보라고 하세요. 그가 찾은 빈틈이 심사위원이 찾을 빈틈입니다. 재제출 주기가

아니라 한나절이면 되는 지금 메우세요.