Table of Contents

1 Python Style

1.1 命名

.. tip:: module_name, package_name, ClassName, method_name, ExceptionName, function_name, GLOBAL_VAR_NAME, instance_var_name, function_parameter_name, local_var_name.

  • 应该避免的名称

#. 单字符名称, 除了计数器和迭代器. #. 包/模块名中的连字符(-) #. 双下划线开头并结尾的名称(Python保留, 例如__init__)

  • 命名约定

#. 所谓"内部(Internal)"表示仅模块内可用, 或者, 在类内是保护或私有的. #. 用单下划线_开头表示模块变量或函数是protected的(使用import * from时不会包含). #. 用双下划线__开头的实例变量或方法表示类内私有. #. 将相关的类和顶级函数放在同一个模块里. 不像Java, 没必要限制一个类一个模块. #. 对类名使用大写字母开头的单词(如CapWords, 即Pascal风格), 但是模块名应该用小写加下划线的方式(如lower_with_under.py). 尽管已经有很多现存的模块使用类似于CapWords.py这样的命名, 但现在已经不鼓励这样做, 因为如果模块名碰巧和类名一致, 这会让人困扰.

1.2 Python之父Guido推荐的规范

  • Modules

lower_with_under _lower_with_under

  • Packages

lower_with_under

  • Classes

CapWords _CapWords Exceptions CapWords

  • Functions

lower_with_under() _lower_with_under()

  • Global/Class Constants

CAPS_WITH_UNDER _CAPS_WITH_UNDER

  • Global/Class Variables

lower_with_under _lower_with_under

  • Instance Variables

lower_with_under _lower_with_under (protected) or lower_with_under (private)

-Method Names lower_with_under() _lower_with_under() (protected) or lower_with_under() (private)

  • Function/Method Parameters

lower_with_under

  • Local Variables

lower_with_under

1.3 分号

.. tip:: 不要在行尾加分号, 也不要用分号将两条命令放在同一行.

1.4 缩进

.. tip:: 用4个空格来缩进代码

绝对不要用tab, 也不要tab和空格混用. 对于行连接的情况, 你应该要么垂直对齐换行的元素(见 :ref:行长度 <line_length> 部分的示例), 或者使用4空格的悬挂式缩进(这时第一行不应该有参数):

.. code-block:: python

1.5 空格

.. tip:: 按照标准的排版规范来使用标点两边的空格

  • 括号内不要有空格.
Yes: spam(ham[1], {eggs: 2}, [])
No:  spam( ham[ 1 ], { eggs: 2 }, [ ] )
  • 不要在逗号, 分号, 冒号前面加空格, 但应该在它们后面加(除了在行尾).
Yes: if x == 4:
         print x, y
     x, y = y, x
No:  if x == 4 :
         print x , y
     x , y = y , x
  • 参数列表, 索引或切片的左括号前不应加空格.
Yes: spam(1)
no: spam (1)
Yes: dict['key'] = list[index]
No:  dict ['key'] = list [index]
  • 在二元操作符两边都加上一个空格, 比如赋值(), 比较(=, <, >, !=, <>, <=, >=, in, not in, is, is not), 布尔(and, or, not). 至于算术操作符两边的空格该如何使用, 需要你自己好好判断. 不过两侧务必要保持一致.
Yes: x == 1
No:  x<1'='用于指示关键字参数或默认参数值时, 不要在其两侧使用空格.
Yes: def complex(real, imag=0.0): return magic(r=real, i=imag)
No:  def complex(real, imag = 0.0): return magic(r = real, i = imag)
- 不要用空格来垂直对齐多行间的标记, 因为这会成为维护的负担(适用于:, #, =等):
Yes:
     foo = 1000  # comment
     long_name = 2  # comment that should not be aligned

     dictionary = {
         "foo": 1,
         "long_name": 2,
         }
No:
     foo       = 1000  # comment
     long_name = 2     # comment that should not be aligned

     dictionary = {
         "foo"      : 1,
         "long_name": 2,
         }

1.6 注释

.. tip:: 确保对模块, 函数, 方法和行内注释使用正确的风格

  • 文档字符串

Python有一种独一无二的的注释方式: 使用文档字符串. 文档字符串是包, 模块, 类或函数里的第一个语句. 这些字符串可以通过对象的__doc__成员被自动提取, 并且被pydoc所用. (你可以在你的模块上运行pydoc试一把, 看看它长什么样). 我们对文档字符串的惯例是使用三重双引号"""( `PEP-257 http://www.python.org/dev/peps/pep-0257/`_ ). 一个文档字符串应该这样组织: 首先是一行以句号, 问号或惊叹号结尾的概述(或者该文档字符串单纯只有一行). 接着是一个空行. 接着是文档字符串剩下的部分, 它应该与文档字符串的第一行的第一个引号对齐. 下面有更多文档字符串的格式化规范. 模块

每个文件应该包含一个许可样板. 根据项目使用的许可(例如, Apache 2.0, BSD, LGPL, GPL), 选择合适的样板. 函数和方法

下文所指的函数,包括函数, 方法, 以及生成器.

  • 一个函数必须要有文档字符串, 除非它满足以下条件:

#. 外部不可见 #. 非常短小 #. 简单明了

  • 文档字符串应该包含函数做什么, 以及输入和输出的详细描述. 通常, 不应该描述"怎么做", 除非是一些复杂的算法. 文档字符串应该提供足够的信息, 当别人编写代码调用该函数时, 他不需要看一行代码, 只要看文档字符串就可以了. 对于复杂的代码, 在代码旁边加注释会比使用文档字符串更有意义.

关于函数的几个方面应该在特定的小节中进行描述记录, 这几个方面如下文所述. 每节应该以一个标题行开始. 标题行以冒号结尾. 除标题行外, 节的其他内容应被缩进2个空格.

Args:
    列出每个参数的名字, 并在名字后使用一个冒号和一个空格, 分隔对该参数的描述.如果描述太长超过了单行80字符,使用2或者4个空格的悬挂缩进(与文件其他部分保持一致).
    描述应该包括所需的类型和含义.
    如果一个函数接受*foo(可变长度参数列表)或者**bar (任意关键字参数), 应该详细列出*foo和**bar.

Returns: (或者 Yields: 用于生成器)
    描述返回值的类型和语义. 如果函数返回None, 这一部分可以省略.

Raises:
    列出与接口有关的所有异常.
def fetch_bigtable_rows(big_table, keys, other_silly_variable=None):
    """Fetches rows from a Bigtable.

    Retrieves rows pertaining to the given keys from the Table instance
    represented by big_table.  Silly things may happen if
    other_silly_variable is not None.

    Args:
        big_table: An open Bigtable Table instance.
        keys: A sequence of strings representing the key of each table row
            to fetch.
        other_silly_variable: Another optional variable, that has a much
            longer name than the other args, and which does nothing.

    Returns:
        A dict mapping keys to the corresponding table row data
        fetched. Each row is represented as a tuple of strings. For
        example:

        {'Serak': ('Rigel VII', 'Preparer'),
         'Zim': ('Irk', 'Invader'),
         'Lrrr': ('Omicron Persei 8', 'Emperor')}

        If a key from the keys argument is missing from the dictionary,
        then that row was not found in the table.

    Raises:
        IOError: An error occurred accessing the bigtable.Table object.
    """
    pass

类应该在其定义下有一个用于描述该类的文档字符串. 如果你的类有公共属性(Attributes), 那么文档中应该有一个属性(Attributes)段. 并且应该遵守和函数参数相同的格式.

class SampleClass(object):
    """Summary of class here.

    Longer class information....
    Longer class information....

    Attributes:
        likes_spam: A boolean indicating if we like SPAM or not.
        eggs: An integer count of the eggs we have laid.
    """

    def __init__(self, likes_spam=False):
        """Inits SampleClass with blah."""
        self.likes_spam = likes_spam
        self.eggs = 0

    def public_method(self):
        """Performs operation blah."""
  • 块注释和行注释

最需要写注释的是代码中那些技巧性的部分. 如果你在下次 `代码审查 http://en.wikipedia.org/wiki/Code_review`_ 的时候必须解释一下, 那么你应该现在就给它写注释. 对于复杂的操作, 应该在其操作开始前写上若干行注释. 对于不是一目了然的代码, 应在其行尾添加注释.

# We use a weighted dictionary search to find out where i is in
# the array.  We extrapolate position based on the largest num
# in the array and the array size and then do binary search to
# get the exact number.

if i & (i-1) == 0:        # true iff i is a power of 2

为了提高可读性, 注释应该至少离开代码2个空格.

另一方面, 绝不要描述代码. 假设阅读代码的人比你更懂Python, 他只是不知道你的代码要做什么.

# BAD COMMENT: Now go through the b array and make sure whenever i occurs
# the next element is i+1

1.7 TODO 注释

.. tip:: 为临时代码使用TODO注释, 它是一种短期解决方案. 不算完美, 但够好了.

TODO注释应该在所有开头处包含"TODO"字符串, 紧跟着是用括号括起来的你的名字, email地址或其它标识符. 然后是一个可选的冒号. 接着必须有一行注释, 解释要做什么. 主要目的是为了有一个统一的TODO格式, 这样添加注释的人就可以搜索到(并可以按需提供更多细节). 写了TODO注释并不保证写的人会亲自解决问题. 当你写了一个TODO, 请注上你的名字.

# TODO(kl@gmail.com): Use a "*" here for string repetition.
# TODO(Zeke) Change this to use relations.

1.8 导入格式

.. tip:: 每个导入应该独占一行

Yes: import os
     import sys
No:  import os, sys

导入总应该放在文件顶部, 位于模块注释和文档字符串之后, 模块全局变量和常量之前. 导入应该按照从最通用到最不通用的顺序分组:

. 标准库导入

. 第三方库导入

. 应用程序指定导入

每种分组中, 应该根据每个模块的完整包路径按字典序排序, 忽略大小写.

import foo
from foo import bar
from foo.bar import baz
from foo.bar import Quux
from Foob import ar

2 GS functions/ Python functions

  • 函数尽量可以做到通用,unless it's a specific function.

例如从risk model提取factor exposure数据。

yes:
def extract_data(model):
    pass

no:
def get_factor_exposure(risk_model):
    pass
  • 代码前面写好pseudo code.
  • 尽量把TEST CASE放在GS.
  • 为方便函数复用,把数据或者模型参数暴露, 在主要模型功能函数里面尽量只做取数据,计算。.
  • gs python function避免使用匿名tuple的方式作为函数返回.
no:
return df_l_signals, df_l_benchmark, df_l_industries, df_l_pool,total,quantile
yes:
return {'signal':df_l_signals, 'benchmark':df_l_benchmark, 'total':total}
  • 避免定义无实际意义的函数形参.
no:
def _preprocess(x0,x1,x2,x3,x4,x5):
    pass
  • 数据类型的选用

类型结构都一样的情况下,不使用 list 对象

  • 关于数据使用前的清洗与校验

只做最小的容错检查,并且把数据的assumption写在代码说明里.

数据的清洗与校验在程序主要功能之前完成,以避免每次运行程序都需要重复清洗一遍数据。

任何计算需要确保应用的时候,不会被重复计算,否则将其提到流程前面。

任何任务必须做到任务之间的dependency是正确的,尽量并行编写任务.

比如risk model分为两步,计算risk decomposition可以直接使用R之前计算出来的模拟交易结果,不需要等python这边的模拟交易结果出来再计算。

  • 为了更清晰的在gs展示workflow以及在以后搭建fr/fs, 应当把在gs上搭建出来的函数模块化封装。

module = (function a + function b + …) input -> module -> output

  • 生成长串字符或者gid列表时,无需在gs搭建,可以利用ETL,产生j。