Garbage In, Garbage Out
如果你在做菜,你会在乎食材的新鲜度吗?一个顶级厨师拿到一块变质的牛肉,再高明的厨艺也做不出美味。在量化交易里,这条铁律同样适用,甚至更残酷。
有一句计算机行业的老话叫"Garbage In, Garbage Out"——垃圾进去,垃圾出来。如果你的数据有错误,不管后面的模型多先进——深度学习也好、强化学习也好——输出的仍然是垃圾。只是包装得更精致了而已。
所以这一章,我们要搞清楚一个最基本的问题:量化交易的"食材"有哪些种类?每种数据能用来做什么?从哪里获取?以及为什么数据质量 > 模型复杂度。
四类数据
第一类:价量数据 —— "最基础的食材"
是什么:每一笔交易的价格和成交量,按时间聚合后就是日线/分钟线/逐笔数据。这是所有量化策略的基础"食材"。就像做菜离不开盐,做量化离不开价量数据。
能用来做什么:技术指标(均线、MACD、RSI)、趋势跟踪、波动率策略、成交量分析。
获取途径:免费——券商交易软件自带、开源Python库(yfinance、akshare、tushare免费版);付费——聚宽、米筐等平台的付费数据接口。
优点:覆盖面广、结构简单、容易获取。
缺点:"所有人都能看到"——策略拥挤度高。如果一个策略只用价量数据就能稳定赚钱,很可能已经被无数人发现并"挤死了"。
第二类:基本面数据 —— "看股票的内在价值"
是什么:上市公司的财务报告数据——营收、净利润、资产负债率、现金流、市盈率(PE)、市净率(PB)、ROE等等。通常按季度更新。
能用来做什么:价值因子策略(买便宜好公司)、质量因子策略(买盈利能力强的公司)、成长因子策略(买收入/利润增长快的公司)。
获取途径:A股——东方财富、同花顺有免费公开数据(但需要自己爬或通过库);万得(Wind)、通联(Datayes)提供结构化付费数据。美股——SEC EDGAR(免费)、Yahoo Finance(免费但有延迟)。
优点:逻辑清晰——"买便宜好公司"这个想法本身经得起历史检验。
缺点:更新频率低(季度)、会计数据有"粉饰"可能、不同国家会计准则不同需要标准化处理。
第三类:另类数据 —— "别人没有的秘密武器"
是什么:所有非传统金融数据的总称。包括但不限于:卫星图像(数沃尔玛停车场的车来预测季度销售额)、信用卡消费数据(匿名汇总)、手机位置数据(数星巴克门店客流量)、天气数据(预测农产品期货)、电商评论、App下载排行榜。
能用来做什么:提前预测公司季度表现、发现供应链变化趋势、捕捉消费者行为迁移。
获取途径:专门的另类数据供应商(如Orbital Insight卫星数据、Hedgeye调研数据、Thinknum另类数据)。年费几千到几十万美元不等。
优点:信息优势——"你的数据别人没有,你就比别人先知道"。
缺点:贵、分析难度高、数据合规风险(个人隐私、数据来源合法性)。个人量化交易者基本用不上。
第四类:情绪数据 —— "市场在说什么"
是什么:从文本中提取出来的"市场情绪"指标。新闻情感分析(这篇关于某公司的新闻是正面还是负面?)、分析师评级变化(上调/下调的频率和幅度)、社交媒体讨论热度(某股票在雪球/Reddit上被提到的次数和语气)。
能用来做什么:事件驱动策略(财报电话会议后快速分析管理层语气变化)、舆情反转策略(过度悲观时抄底,过度乐观时减仓)。
获取途径:新闻——路透社、彭博的新闻终端;社交媒体——爬取(需注意合规)、付费API。NLP开源工具——Hugging Face上有大量预训练情感分析模型可以直接用。
优点:时效性强、能捕捉"数据未反映但市场已开始定价"的信息变化。
缺点:NLP不完美——中文的情感分析比英文难得多(反讽、阴阳怪气、术语)、噪音大、信号不稳定。
数据选择策略:你从哪里开始?
如果你是初学者(零预算)
从价量数据开始。它免费、好找、简单。用日线数据就够了——你不需要分钟级甚至逐笔级数据来学概念。重点不是"数据多精细",而是"你能否从简单的价量数据中发现规律"。如果连日线都无法找到有效信号,分钟线的信号大概率是噪声。
① Python的akshare库——开源免费,覆盖A股全量数据;② 聚宽/米筐的社区版——有免费的回测环境和数据(有限额);③ 本地券商软件——手动导出日线CSV文件。
如果你有一点预算(年费几千元)
加入基本面数据。价量+基本面的组合是"价值投资量化版",逻辑清晰、回测稳定、学术研究充分。你可以用PE、PB、ROE等传统因子建立自己的多因子模型。
量化铁律:数据质量 > 模型复杂度
一个用干净的中频价量+基本面数据、配上简单线性回归的策略,大概率跑赢一个用脏数据、配上复杂深度学习模型的策略。
原因很简单:脏数据里的噪声会淹没任何信号,无论你的模型多"聪明"。一个简单的例子:你的数据里某天把"股价100元"错误记录成了"股价1000元",你的深度神经网络会疯狂地更新参数以适应这个"暴涨"——然后第二天价格恢复正常,你的模型彻底混乱了。
花在数据清洗上的一个小时,等于花在模型调试上的十个小时。
常见误区
AI思考练习:规划你的数据策略
复制下面这段话发给 AI,让它帮你规划数据策略:
本章小结
本章要点
- 四类数据:价量(基础食材,人人都有)、基本面(看内在价值,季度更新)、另类(别人没有的秘密武器,贵且难)、情绪(从文本中提取市场情绪,NLP是关键)。
- 数据质量 > 模型复杂度:干净的中频数据 + 简单模型,大概率跑赢脏数据 + 复杂模型。花一小时清洗数据等于花十小时调模型。
- 从价量开始:免费、好找、简单。日线数据对初学者完全够了——不要追求高频数据来满足"看起来更高级"的错觉。
- 三类误区:数据不是越多越好(质量>数量)、不是越及时越好(匹配策略频率即可)、免费不一定不可靠(akshare等开源库质量不错)。
微信扫一扫,支持作者继续创作