자연어처리 학회 수준

좀 공격적으로 들릴 수 있는 점 양해부탁드립니다.
자연어 처리 학회들은 왜 이렇게 논문 수준 제어를 못하나요?

물론 머신러닝 학계 자체가 엔지니어링 적인 실험이 강한 것도 있고 무슨 이론 물리 / 수학 저널같은 엄밀함을 요구하는 것도 에러라고 보지만..
너무 황당한 논문들이 많아서 어이가 없습니다.
이제는 그냥 자연어처리 학회 논문이다 치면 그냥 일단 덮어버리게 되네요.

한국인 저자들이 많아서 정확히 무슨 논문들 때문에 이런 생각들을 했는지 논문 이름을 밝히지는 않겠지만
무슨 reward model 성능을 report하는데 acc만 리폿 (..)하지 않나
뭔 방법론이 QA에서 acc 를 높이기 위해서 자신한테 샘플링한 대답을 MAP를 골라서 나머지 분산을 없애는 로스펑션을 짜지를 않나 (이게 이상하다는 걸 모르는 것 같은지).. 당연히 이렇게 하니까 acc +1%찔끔하고 나머지 ECE 등등은 망해서 모델이 아예 쓸모가 없을텐데..

아이디어가 간단한 건 그렇다고 칩시다..
아이디어가 아예 틀렸는데 눈속임들만 당황스러울 정도로 너무 많습니다. 머신러닝 관련 텍스트북 하나 진득하게 독파는 해본 건가요?

심지어 메인 데이터셋도 지가 만들고 지가 evaluation한 것들도 많고.. 이게 대체 뭐하는 겁니까.. ㅋㅋ

읽다보니 황당한 것들이 너무 많아서 두 눈이 의심이 됩니다.
한국인 분들도 저 학회에 기여하는 바가 많다고 드는데
좀 바를 올려야하지 않나요 ?

심지어 finidings 때문에 사실상 제출하는 논문의 절반이 퍼블리시가 되는 것 같은데 실망이 이만저만이 아닙니다. 종종 자연어 연구하시는 분들을 보면 실력에 의심이 많이 됩니다.