Table of Contents
1 Python Style
1.1 命名
.. tip:: module_name, package_name, ClassName, method_name, ExceptionName, function_name, GLOBAL_VAR_NAME, instance_var_name, function_parameter_name, local_var_name.
- 应该避免的名称
#. 单字符名称, 除了计数器和迭代器. #. 包/模块名中的连字符(-) #. 双下划线开头并结尾的名称(Python保留, 例如__init__)
- 命名约定
#. 所谓"内部(Internal)"表示仅模块内可用, 或者, 在类内是保护或私有的. #. 用单下划线_开头表示模块变量或函数是protected的(使用import * from时不会包含). #. 用双下划线__开头的实例变量或方法表示类内私有. #. 将相关的类和顶级函数放在同一个模块里. 不像Java, 没必要限制一个类一个模块. #. 对类名使用大写字母开头的单词(如CapWords, 即Pascal风格), 但是模块名应该用小写加下划线的方式(如lower_with_under.py). 尽管已经有很多现存的模块使用类似于CapWords.py这样的命名, 但现在已经不鼓励这样做, 因为如果模块名碰巧和类名一致, 这会让人困扰.
1.2 Python之父Guido推荐的规范
- Modules
lower_with_under _lower_with_under
- Packages
lower_with_under
- Classes
CapWords _CapWords Exceptions CapWords
- Functions
lower_with_under() _lower_with_under()
- Global/Class Constants
CAPS_WITH_UNDER _CAPS_WITH_UNDER
- Global/Class Variables
lower_with_under _lower_with_under
- Instance Variables
lower_with_under _lower_with_under (protected) or lower_with_under (private)
-Method Names lower_with_under() _lower_with_under() (protected) or lower_with_under() (private)
- Function/Method Parameters
lower_with_under
- Local Variables
lower_with_under
1.3 分号
.. tip:: 不要在行尾加分号, 也不要用分号将两条命令放在同一行.
1.4 缩进
.. tip:: 用4个空格来缩进代码
绝对不要用tab, 也不要tab和空格混用. 对于行连接的情况, 你应该要么垂直对齐换行的元素(见 :ref:行长度 <line_length> 部分的示例), 或者使用4空格的悬挂式缩进(这时第一行不应该有参数):
.. code-block:: python
1.5 空格
.. tip:: 按照标准的排版规范来使用标点两边的空格
- 括号内不要有空格.
Yes: spam(ham[1], {eggs: 2}, [])
No: spam( ham[ 1 ], { eggs: 2 }, [ ] )
- 不要在逗号, 分号, 冒号前面加空格, 但应该在它们后面加(除了在行尾).
Yes: if x == 4: print x, y x, y = y, x
No: if x == 4 : print x , y x , y = y , x
- 参数列表, 索引或切片的左括号前不应加空格.
Yes: spam(1)
no: spam (1)
Yes: dict['key'] = list[index]
No: dict ['key'] = list [index]
- 在二元操作符两边都加上一个空格, 比如赋值(
), 比较(=
, <, >, !=, <>, <=, >=, in, not in, is, is not), 布尔(and, or, not). 至于算术操作符两边的空格该如何使用, 需要你自己好好判断. 不过两侧务必要保持一致.
Yes: x == 1
No: x<1 当'='用于指示关键字参数或默认参数值时, 不要在其两侧使用空格.
Yes: def complex(real, imag=0.0): return magic(r=real, i=imag)
No: def complex(real, imag = 0.0): return magic(r = real, i = imag) - 不要用空格来垂直对齐多行间的标记, 因为这会成为维护的负担(适用于:, #, =等):
Yes: foo = 1000 # comment long_name = 2 # comment that should not be aligned dictionary = { "foo": 1, "long_name": 2, }
No: foo = 1000 # comment long_name = 2 # comment that should not be aligned dictionary = { "foo" : 1, "long_name": 2, }
1.6 注释
.. tip:: 确保对模块, 函数, 方法和行内注释使用正确的风格
- 文档字符串
Python有一种独一无二的的注释方式: 使用文档字符串. 文档字符串是包, 模块, 类或函数里的第一个语句. 这些字符串可以通过对象的__doc__成员被自动提取, 并且被pydoc所用. (你可以在你的模块上运行pydoc试一把, 看看它长什么样). 我们对文档字符串的惯例是使用三重双引号"""( `PEP-257 http://www.python.org/dev/peps/pep-0257/`_ ). 一个文档字符串应该这样组织: 首先是一行以句号, 问号或惊叹号结尾的概述(或者该文档字符串单纯只有一行). 接着是一个空行. 接着是文档字符串剩下的部分, 它应该与文档字符串的第一行的第一个引号对齐. 下面有更多文档字符串的格式化规范. 模块
每个文件应该包含一个许可样板. 根据项目使用的许可(例如, Apache 2.0, BSD, LGPL, GPL), 选择合适的样板. 函数和方法
下文所指的函数,包括函数, 方法, 以及生成器.
- 一个函数必须要有文档字符串, 除非它满足以下条件:
#. 外部不可见 #. 非常短小 #. 简单明了
- 文档字符串应该包含函数做什么, 以及输入和输出的详细描述. 通常, 不应该描述"怎么做", 除非是一些复杂的算法. 文档字符串应该提供足够的信息, 当别人编写代码调用该函数时, 他不需要看一行代码, 只要看文档字符串就可以了. 对于复杂的代码, 在代码旁边加注释会比使用文档字符串更有意义.
关于函数的几个方面应该在特定的小节中进行描述记录, 这几个方面如下文所述. 每节应该以一个标题行开始. 标题行以冒号结尾. 除标题行外, 节的其他内容应被缩进2个空格.
Args: 列出每个参数的名字, 并在名字后使用一个冒号和一个空格, 分隔对该参数的描述.如果描述太长超过了单行80字符,使用2或者4个空格的悬挂缩进(与文件其他部分保持一致). 描述应该包括所需的类型和含义. 如果一个函数接受*foo(可变长度参数列表)或者**bar (任意关键字参数), 应该详细列出*foo和**bar. Returns: (或者 Yields: 用于生成器) 描述返回值的类型和语义. 如果函数返回None, 这一部分可以省略. Raises: 列出与接口有关的所有异常.
def fetch_bigtable_rows(big_table, keys, other_silly_variable=None): """Fetches rows from a Bigtable. Retrieves rows pertaining to the given keys from the Table instance represented by big_table. Silly things may happen if other_silly_variable is not None. Args: big_table: An open Bigtable Table instance. keys: A sequence of strings representing the key of each table row to fetch. other_silly_variable: Another optional variable, that has a much longer name than the other args, and which does nothing. Returns: A dict mapping keys to the corresponding table row data fetched. Each row is represented as a tuple of strings. For example: {'Serak': ('Rigel VII', 'Preparer'), 'Zim': ('Irk', 'Invader'), 'Lrrr': ('Omicron Persei 8', 'Emperor')} If a key from the keys argument is missing from the dictionary, then that row was not found in the table. Raises: IOError: An error occurred accessing the bigtable.Table object. """ pass
- 类
类应该在其定义下有一个用于描述该类的文档字符串. 如果你的类有公共属性(Attributes), 那么文档中应该有一个属性(Attributes)段. 并且应该遵守和函数参数相同的格式.
class SampleClass(object): """Summary of class here. Longer class information.... Longer class information.... Attributes: likes_spam: A boolean indicating if we like SPAM or not. eggs: An integer count of the eggs we have laid. """ def __init__(self, likes_spam=False): """Inits SampleClass with blah.""" self.likes_spam = likes_spam self.eggs = 0 def public_method(self): """Performs operation blah."""
- 块注释和行注释
最需要写注释的是代码中那些技巧性的部分. 如果你在下次 `代码审查 http://en.wikipedia.org/wiki/Code_review`_ 的时候必须解释一下, 那么你应该现在就给它写注释. 对于复杂的操作, 应该在其操作开始前写上若干行注释. 对于不是一目了然的代码, 应在其行尾添加注释.
# We use a weighted dictionary search to find out where i is in # the array. We extrapolate position based on the largest num # in the array and the array size and then do binary search to # get the exact number. if i & (i-1) == 0: # true iff i is a power of 2
为了提高可读性, 注释应该至少离开代码2个空格.
另一方面, 绝不要描述代码. 假设阅读代码的人比你更懂Python, 他只是不知道你的代码要做什么.
# BAD COMMENT: Now go through the b array and make sure whenever i occurs # the next element is i+1
1.7 TODO 注释
.. tip:: 为临时代码使用TODO注释, 它是一种短期解决方案. 不算完美, 但够好了.
TODO注释应该在所有开头处包含"TODO"字符串, 紧跟着是用括号括起来的你的名字, email地址或其它标识符. 然后是一个可选的冒号. 接着必须有一行注释, 解释要做什么. 主要目的是为了有一个统一的TODO格式, 这样添加注释的人就可以搜索到(并可以按需提供更多细节). 写了TODO注释并不保证写的人会亲自解决问题. 当你写了一个TODO, 请注上你的名字.
# TODO(kl@gmail.com): Use a "*" here for string repetition. # TODO(Zeke) Change this to use relations.
1.8 导入格式
.. tip:: 每个导入应该独占一行
Yes: import os import sys
No: import os, sys
导入总应该放在文件顶部, 位于模块注释和文档字符串之后, 模块全局变量和常量之前. 导入应该按照从最通用到最不通用的顺序分组:
. 标准库导入
. 第三方库导入
. 应用程序指定导入
每种分组中, 应该根据每个模块的完整包路径按字典序排序, 忽略大小写.
import foo from foo import bar from foo.bar import baz from foo.bar import Quux from Foob import ar
2 GS functions/ Python functions
- 函数尽量可以做到通用,unless it's a specific function.
例如从risk model提取factor exposure数据。
yes: def extract_data(model): pass no: def get_factor_exposure(risk_model): pass
- 代码前面写好pseudo code.
- 尽量把TEST CASE放在GS.
- 为方便函数复用,把数据或者模型参数暴露, 在主要模型功能函数里面尽量只做取数据,计算。.
- gs python function避免使用匿名tuple的方式作为函数返回.
no:
return df_l_signals, df_l_benchmark, df_l_industries, df_l_pool,total,quantile
yes: return {'signal':df_l_signals, 'benchmark':df_l_benchmark, 'total':total}
- 避免定义无实际意义的函数形参.
no: def _preprocess(x0,x1,x2,x3,x4,x5): pass
- 数据类型的选用
类型结构都一样的情况下,不使用 list 对象
- 关于数据使用前的清洗与校验
只做最小的容错检查,并且把数据的assumption写在代码说明里.
数据的清洗与校验在程序主要功能之前完成,以避免每次运行程序都需要重复清洗一遍数据。
任何计算需要确保应用的时候,不会被重复计算,否则将其提到流程前面。
任何任务必须做到任务之间的dependency是正确的,尽量并行编写任务.
比如risk model分为两步,计算risk decomposition可以直接使用R之前计算出来的模拟交易结果,不需要等python这边的模拟交易结果出来再计算。
- 为了更清晰的在gs展示workflow以及在以后搭建fr/fs, 应当把在gs上搭建出来的函数模块化封装。
module = (function a + function b + …) input -> module -> output
- 生成长串字符或者gid列表时,无需在gs搭建,可以利用ETL,产生j。