简介

首届机器自动智商测试(Machine Automated IQ test challenge, MAIQ'2020)将在国际人工智能大会(IJCAI'2020)上举办。自动智商测试是认知智能的试金石。它涉及人工智能多个领域，包括机器学习、知识表示与推理、计算机视觉、自然语言处理等等。人工智能的主要方法，如神经网络和符号推理等，在其中都有用武之地。

AI的基准测试随着AI研究的快速发展变得更加重要。像ImageNet 和RoboCup这样的有意义的AI基准不止为比较不同的AI方法提供了一个标准的测试平台，同时也极大的推进了AI的研究。

作为衡量人类智力的主要标准之一，智商（IQ）测试同时作为一个合适的基准测试，来测试和评估当前AI研究的发展状态。为了能让机器更好的回答IQ测试题，选手需要结合很多不同AI领域，包括知识表达和推理、机器学习、自然语言处理以及图像理解。

于IJCAI-2020会议中举办的机器自动智商测试挑战赛（MAIQ’2020）将包含三类IQ测试题，分别是语言理解、图像推理以及序列推理，这其中的所有问题都是从针对人类的IQ测试题中收集而来。通过给出的SDK和数据集，选手可以开发程序来自动解决这些测试题。

参赛要求

任何团队都可以参加此次比赛, 你可以注册成为团队参加比赛，只需在https://iqtest.pub 网站主页上点击“IJCAI’20 MAIQ Competition”按钮并按指示操作。

入围决赛的选手会参加在IJCAI-2020会议现场参加决赛。最终排名也会在现场公布。另外，强烈建议决赛选手开放他们的源代码，同时提交一篇描述他们的系统工作原理的论文。

冠亚军的团队必须至少完成上述两者之一。

任务描述

此次比赛主要由三个任务组成, 包括 : 语言理解、图像推理以及序列推理。

语言题

语言理解题目由很多子任务组成，分别是:

1. Binary Questions

Question: "If all Bloops are Razzies and all Razzies are Lazzies, then all Bloops are definitely Lazzies?"

Options: ["True", "False"]

Answer: [1]

2. Multi-choice Questions

Question: "PEACH is to HCAEP as 46251 is to:"

Options: ["25641", "26451", "12654", "51462", "15264"]

Answer: [5]

3. Open-ended Questions

Question: "What is one half of one fifth of one tenth of two thirds of one half of 1500?"

Answer: "2.5"

4. Synonym Quesionts

Question: "row"

Options: ["circle", "pedal", "track", "flaw", "line"]

Answer: [5]

序列题

语言理解题目主要由两个子任务组成:

1. Sequence Predection

Example 1 :

Question: "A, F, H, K,N, ?, ?"

Answer: "Y, Z"

Example 2 :

Question: "1,7,8,57,?"

Answer: "121"

2. Multi-choice Questions

Question: "130,68,30,?,2",

Options: ["11", "12", "10", "9"]

Answer: [3]

图形题

图形题主要由两个子任务组成：

1. Multi-choice Visual Question Answering

Question: "What number should replace the question mark?

Options: ["6", "7", "8", "9"]

Answer: [2]

2. Multi-choice Visual Reasoning

Question: "Selct a diagram fit the picture"

Options:

Answer：[3]

比赛信息

官方网址：

https://iqtest.pub

比赛材料的快速获取：

https://github.com/CognitiveAIGroup/IQTest

重要日期：

- 3月10日，选手招募开始

- 4月15日，开放程序提交页面

- 6月1日，程序提交截止

- 6月15日，决赛入围者公布

- 7月15日，IJCAI’20 现场决赛

- 8月1日，赛后论文提交截止

关于“墨子沙龙”

墨子沙龙是由中国科学技术大学上海研究院主办、上海市浦东新区科学技术协会及中国科大新创校友基金会协办的公益性大型科普论坛。沙龙的科普对象为对科学有浓厚兴趣、热爱科普的普通民众，力图打造具有中学生学力便可以了解当下全球最尖端科学资讯的科普讲坛。