데이터가 스스로 말하게 하는 결과 섹션 쓰는 법

1. 결과 섹션은 무엇이고, 무엇이 아닌가

결과 섹션의 임무는 하나입니다. 관찰한 것을 정확하게, 해석 없이 보고하는 것입니다. 연구가

만들어낸 사실을 진술하는 곳이죠. 그 사실이 의미를 얻는 곳은 고찰(discussion) 섹션입니다.

초보 저자는 둘을 뒤섞어 "이는 우리 방법이 우수함을 입증한다" 같은 문장을 결과에 몰래

끼워 넣습니다 — 그리고 심사위원은 즉시 알아챕니다. 숫자가 스스로 말하지 못할까 봐 두려워하는

것처럼 읽히기 때문입니다.

경계를 분명히 하세요. "정확도가 81%에서 89%로 상승했다(p < 0.01)"는 결과에 속합니다.

"이 8포인트 향상은 우리 방법의 일반화 능력이 더 낫다는 것을 보여준다"는 고찰에 속합니다. 이

구분은 까다로움이 아닙니다. 관찰과 해석을 분리해 읽을 수 있는 심사위원은 각각을 따로 평가할

수 있고, 바로 그 분리가 당신의 주장을 홍보가 아니라 신뢰로 만듭니다.

2. 시간 순서가 아니라 주장 중심으로 구성하라

실험을 수행한 순서대로 서술하지 마세요. 논문이 답하려 한 질문을 중심으로, 독자가 관심을 갖는

순서대로 구성하세요. 각 소절은 하나의 주장 또는 연구 질문에 대응해야 하고, 핵심 발견으로 문을

연 다음 그것을 뒷받침하는 증거를 제시해야 합니다. 독자는 숫자 속으로 들어가기 전에 답을 알고

있어야 합니다.

이는 서론의 구조를 반영합니다. 기여를 세 가지 약속했다면 독자는 같은 순서로 세 덩어리의

결과를 기대합니다. 예비 실험, 실패한 파일럿, 곁가지를 헤매는 결과 섹션은 심사위원이 직접

논증을 조립하도록 강요합니다 — 당신의 일을 대신 하는 심사위원은 기분 나쁜 심사위원입니다.

탐색적이거나 부차적인 분석은 부록에 넣고 참조하세요.

3. 그림과 표가 증거를 짊어지게 하라

그림이나 표가 증거이고, 본문은 독자에게 어디를 보라고 일러주는 캡션입니다. 최악의 수는 표를

산문으로 받아 적는 것입니다 — "방법 A는 0.84, 방법 B는 0.79, 방법 C는 0.71..." — 독자의

주의를 낭비하고 표가 이미 더 잘 보여주는 것을 중복합니다. 대신 본문은 패턴을 진술하고 시선을

유도해야 합니다. "우리 방법은 모든 데이터셋에서 모든 베이스라인을 능가하며(표 2), 저자원

분할에서 격차가 가장 큽니다."

모든 그림과 표는 그 자체로 읽혀야 합니다. 심사위원은 한 단어도 읽기 전에 먼저 그것들을 보는

일이 잦기 때문입니다. 축에 단위를 표시하고, 캡션에서 모든 기호를 정의하고, 캡션이 내용이 아니라

요점을 진술하게 하세요. 독자가 본문을 뒤지지 않고는 그림 3을 이해할 수 없다면, 그 그림은

완성된 것이 아닙니다. (자세한 내용은 아래 링크한 '심사위원이 신뢰하는 그림 만들기' 글을

보세요.)

4. 수치를 정직하게 보고하라 — 유의성이 아니라 효과 크기

p값은 효과가 실재할 가능성이 있는지를 알려줄 뿐, 그 효과가 의미 있을 만큼 큰지는 전혀

알려주지 않습니다. 둘 다 보고하세요. 효과 크기 없는 "유의함"은 사소한 차이를 부풀리는 흔한

수법이고, 기민한 심사위원은 빠뜨린 크기를 요구할 것입니다. 실제 숫자 — 평균, 차이, 신뢰구간 —

를 제시하고 크기는 독자가 판단하게 하세요.

중심 추정치 주변의 불확실성을 항상 보고하세요. 표준편차, 신뢰구간, 표준오차, 그리고 그 추정이

몇 번의 실행이나 표본에 기반하는지까지요. 퍼짐 없는 단일 숫자는 일화입니다. 한 방법이 다른

방법을 이긴다고 주장하면 그 비교는 잡음을 고려해야 합니다. 표준편차 2포인트에 0.3포인트 향상은

결과가 아니며, 그것을 스스로 말하는 편이 심사위원이 대신 말하게 두는 것보다 훨씬 강합니다.

5. 부정적이고 예상 밖인 결과를 정면으로 다뤄라

가설에 어긋나는 결과는 숨길 실패가 아니라 보고할 발견입니다. 방법이 도움이 되지 않은 지점,

베이스라인이 이긴 지점, 제거 실험에서 알고 보니 중요하지 않았던 부분을 분명히 진술할 때

심사위원은 논문을 더 신뢰합니다. 은폐는 약한 결과보다 나쁩니다. 불리한 비교를 묻었다고

심사위원이 의심하면, 그는 유리한 비교까지 전부 믿기를 멈춥니다.

예상 밖의 결과는 결과 섹션에 담백하게 보고하고, 설명은 고찰로 미루세요. "도메인 밖 집합에서

성능이 하락했다(표 4)"는 결과이고, "이를 분포 이동 탓으로 본다"는 고찰입니다. 나쁜 숫자를 그

자리에서 해명하려는 충동을 누르세요 — 그렇게 하면 방어적으로 보이고, 한 섹션 뒤에 속할 해석으로

결과 섹션을 어지럽힙니다.

6. 흔한 실수와 마지막 자가 점검

반복되는 실패는 예측 가능합니다. 보고 대신 해석하기, 표를 문장으로 되풀이하기, 효과 크기 없이

p값에 기대기, 잘 안 된 실행 숨기기, 그리고 논증 순서가 아니라 실험 노트 순서로 실험을 늘어놓기.

각각은 제출 전에는 싸게 고치고, 심사위원이 지적한 뒤에는 비싸게 고칩니다.

제출 전에, 논문을 거절하고 싶어 하는 회의론자가 된 셈치고 결과 섹션을 읽으세요. 모든 주장에

대해 물으세요. 증거가 여기 있는가, 숫자는 정직한가, 해석은 빠져 있는가. 그런 다음 같은 연구실

동료에게 건네고, 그림과 캡션만 읽은 뒤 당신의 핵심 발견을 말해보라고 하세요. 정확히 맞히면 그

섹션은 작동합니다. 머뭇거리면 증거가 아직 또렷이 말하지 못하는 것입니다.