snowNLP 和 Lucene 面向领域设计有什么不同?

谢邀。只搞过 sell side,没搞过 buy side,只能算“实时交易”,算不上“高频交易”。工作以来一直在跟延迟做斗争,勉强可以说上几句。&br&&br&要控制和降低延迟,首先要能准确测量延迟,因此需要比较准的钟,每个机房配几个带GPS和/或原子钟primary standard的NTP服务器是少不了的。而且就算用了NTP,同一机房两台机器的时间也会有毫秒级的差异,计算延迟的时候,两台机器的时间戳不能直接相减,因为不在同一时钟域。解决办法是设法补偿这个时差。另外,不仅要测量平均延迟,更重要的是要测量并控制长尾延迟,即99百分位数或99.9百分位数的延迟,就算是sell side,系统偶尔慢一下被speculator利用了也是要亏钱的。&br&&br&普通的C++服务程序,内部延迟(从进程收到消息到进程发出消息)做到几百微秒(即亚毫秒级)是不需要特殊的努力的。没什么忌讳,该怎么写就怎么写,不犯低级错误就行。我很纳闷国内流传的写 C++ 服务程序时的那些“讲究”是怎么来的(而且还不是 latency critical 的服务程序)。如果瓶颈在CPU,那么最有效的优化方式是“强度消减”,即不在于怎么做得快,而在于怎么做得少。哪些可以不用做,哪些可以不提前做,哪些做一次就可以缓存起来用一阵子,这些都是值得考虑的。&br&&br&网络延迟分传输延迟和惯性延迟,通常局域网内以后者为主,广域网以前者为主。前者是传送1字节消息的基本延迟,大致跟距离成正比,千兆局域网单程是近百微秒,伦敦到纽约是几十毫秒。这个延迟受物理定律限制,优化办法是买更好的网络设备和租更短的线路(或者想办法把光速调大,据说 Jeff Dean 干过)。惯性延迟跟消息大小成正比,跟网络带宽成反比,千兆网TCP有效带宽按115MB/s估算,那么发送1150字节的消息从第1个字节离开本机网卡到第1150个字节离开本机网卡至少需要 10us,这是无法降低的,因此必要的话可以减小消息长度。举例来说,要发10k的消息,先花20us CPU时间,压缩到3k,接收端再花10us解压缩,一共“60us+传输延迟”,这比直接发送10k消息花“100us+传输延迟”要快一点点。(广域网是否也适用这个办法取决于带宽和延迟的大小,不难估算的。)&br&&br&延迟和吞吐量是矛盾的,通常吞吐量上去了延迟也会跟着飚上去,因此控制负载是控制延迟的重要手段。延迟跟吞吐量的关系通常是个U型曲线,吞吐量接近0的时候延迟反而比较高,因为系统比较“冷”;吞吐量上去一些,平均延迟会降到正常水平,这时系统是“温”的;吞吐量再上去一些,延迟缓慢上升,系统是“热”的;吞吐量过了某个临界点,延迟开始飙升,系统是“烫”的,还可能“冒烟”。因此要做的是把吞吐量控制在“温”和“热”的范围,不要“烫”,也不要太冷。系统启动之后要“预热”。&br&&br&延迟和资源使用率是矛盾的,做高吞吐的服务程序,恨不得把CPU和IO都跑满,资源都用完。而低延迟的服务程序的资源占用率通常低得可怜,让人认为闲着没干什么事,可以再“加码”,要抵住这种压力。就算系统到了前面说的“发烫”的程度,其资源使用率也远没有到 100%。实际上平时资源使用率低是为了准备应付突发请求,请求或消息一来就可以立刻得到处理,尽量少排队,“排队”就意味着等待,等待就意味着长延迟。消除等待是最直接有效的降低延迟的办法,靠的就是富裕的容量。有时候队列的长度也可以作为系统的性能指标,而不仅仅是CPU使用率和网络带宽使用率。另外,队列也可能是隐式的,比如操作系统和网络设备的网络输入输出 buffer 也算是队列。&br&&br&延迟和可靠传输也是矛盾的,TCP做到可靠传输的办法是超时重传,一旦发生重传,几百毫秒的延迟就搭进去了,因此保持网络随时畅通,避免拥塞也是控制延迟的必要手段。要注意不要让batch job抢serving job的带宽,比方说把服务器上的日志文件拷到备份存储,这件事不要在繁忙交易时段做。QoS也是办法;或者布两套网,每台机器两个网口,两个IP。&br&&br&最后,设法保证关键服务进程的资源充裕,避免侵占(主要是CPU和网络带宽)。比如把服务器的日志文件拷到别的机器会占用网络带宽,一个办法是慢速拷贝,写个程序,故意降低拷贝速度,每50毫秒拷贝50kB,这样用时间换带宽。还可以先压缩再拷贝,比如gzip压缩100MB的服务器日志文件需要1秒,在生产服务器上会短期占满1个core的CPU资源,可能造成延迟波动。可以考虑写个慢速压缩的程序,每100毫秒压缩100kB,花一分半钟压缩完100MB数据,分散了CPU资源使用,减少对延迟的影响。千万不要为了加快压缩速度,采用多线程并发的办法,这就喧宾夺主了。
谢邀。只搞过 sell side,没搞过 buy side,只能算“实时交易”,算不上“高频交易”。工作以来一直在跟延迟做斗争,勉强可以说上几句。 要控制和降低延迟,首先要能准确测量延迟,因此需要比较准的钟,每个机房配几个带GPS和/或原子钟primary standard的NT…
&h2&&b&说明:这个由于最近一两年环境大变,这个答案不具备时效性&/b&&/h2&&br&&p&泻药,这是一个很沉重很庞大的问题,我小心翼翼的仅自己陋见写一些,这篇答案要写上好一阵子了。&/p&&p&首先金融工程这个专业由于本身的热门与近些年的饱和这一对矛盾,有了一些误解:&/p&&p&1.所谓的金融工程的一点点东西早被研究的差不多了,成熟了,没什么好搞了。&/p&&p&2.工程和数学推动金融的思维在上个世界BSM的璀璨出世之后作为一个“半科学的思维”就再无交集,变为一个“应用^2数学”(就是借鉴应用数学的成果来解释现象类似方向的一种戏称,处于鄙视链最底端)。ps:这句话错在前半句,后半句是公认的槽点&/p&&p&3.Q系就是做定价的!!&/p&&p&4.反正就是些随机过程啊,伊藤啊,学学吹吹装装就好了嘛&/p&&p&这些一方面源于人们对这个学科的内容了解不多,另一方面也源于过度金融创新对金融系统的损害让这些东西变得不那么受欢迎了(尤其是监管者),不知者一多就形成了舆论上的妖魔化。但是仅因此就说,没什么东西好搞了,我得用波动率界大仙Jim Gatheral的话来反驳:&b&&Never feel too late to get involved, there's plenty more to do&
&/b&那么究竟是哪些领域还有待探索呢,细分起来还是多如牛毛的:&/p&&p&&b&1.特定方程解
&/b&这个可以说是金融工程里最最最纯的搞数学的一批人。可能有的人会怀疑,我们已经有了那么多数值法了,为什么还要去搞“不值得的”解析解呢? 实际上解析解(不光是定价),在金融工程和金融数学里还是有相当意义的:&/p&&p&第一,个好的解析解可以揭示目标值的形成机制,通过研究解析解和研究过程发现的数学性质,可以根据这些性质“先验”一些可能现象。最经典的例子就是BS了,虽然BS可以说给不出价格,但是其建立的两个对应概率P1和P2,log normal 这些形成了一套框架,提供了很多有用的信息。又比如Levy框架下的的特征函数半闭解:
&img src=&///equation?tex=%5CPi_1+%3D1%2F2+%2B1%2F%5Cpi+%5Cint_%7B0%7D%5E%7B%5Cinfty+%7D+Re%5B%5Cfrac%7Be%5E%7B-iwln%28K%29%7D%5CPsi+_%7BlnSt%7D%28w-i%29%7D%7Biw%5CPsi+_%7BlnSt%7D%28-i%29%7D+%5Ddw& alt=&\Pi_1 =1/2 +1/\pi \int_{0}^{\infty } Re[\frac{e^{-iwln(K)}\Psi _{lnSt}(w-i)}{iw\Psi _{lnSt}(-i)} ]dw& eeimg=&1&&&img src=&///equation?tex=%5CPi_2+%3D1%2F2+%2B1%2F%5Cpi+%5Cint_%7B0%7D%5E%7B%5Cinfty+%7D+Re%5B%5Cfrac%7Be%5E%7B-iwln%28K%29%7D%5CPsi+_%7BlnSt%7D%28w%29%7D%7Biw%7D+%5Ddw& alt=&\Pi_2 =1/2 +1/\pi \int_{0}^{\infty } Re[\frac{e^{-iwln(K)}\Psi _{lnSt}(w)}{iw} ]dw& eeimg=&1&&
这两个概率没有显示解析解,但是求解他们所用的数值积分法的运算量比起MC还是少耗上不少时间的。当然这些年代有些久远了,现在的解析解大多及其复杂。很多论文猫我这个非数学科班出身必须补充大量背景才能勉强读得动。&/p&&p&上面这个例子就引出了解析解的第二个作用,大幅减少运算时间。因为现在大型机构的金融建模,动辄2000个变量,矩阵动不动上几十万。超大量的运算把很多求解问题变成了纯计算机问题,俗不知当年几大行搭建巨型风险模型的时候,请来的计算机专家比模型专家还要多(一个当事人告诉我的)。如果一个模型从数学上计算量就少了,少到了根源上,巨大的机器成本和人力成本将的以节省&/p&&p&第三,当以解析解实在困难到数学家们都束手无策的时候。人开始转而求解一些他们的低阶条件和近似函数,来寻找相似的数学性质。比较典型的就著名的Heston—Nandi 的 local vol surface:
&img src=&///equation?tex=u_T%5Capprox+%5Ctilde%7Bv%7D%5E%7B%27%7D_s+%2B+%5Crho%5Ceta+%5Cfrac%7Bx_T%7D%7B%5Ctilde%7Bw%7D_T+%7D+%5Cint_%7B0%7D%5E%7BT%7D+%5Ctilde%7Bv%7D%5E%7B%27%7D_se%5E%7B-%5Clambda%5E%7B%27%7D%28T-s%29%7Dds& alt=&u_T\approx \tilde{v}^{'}_s + \rho\eta \frac{x_T}{\tilde{w}_T } \int_{0}^{T} \tilde{v}^{'}_se^{-\lambda^{'}(T-s)}ds& eeimg=&1&&&img src=&///equation?tex=%5Ctilde%7Bw%7D_T+%3D%28v_0-%5Cbar%7Bv%7D+%29%5Cleft%5C%7B+%5Cfrac%7B1-e%5E%7B-%5Clambda+T%7D%7D%7B%5Clambda%7D+%5Cright%5C%7D+%2B+%5Cbar%7Bv%7DT+& alt=&\tilde{w}_T =(v_0-\bar{v} )\left\{ \frac{1-e^{-\lambda T}}{\lambda} \right\} + \bar{v}T & eeimg=&1&&&img src=&///equation?tex=%5Clambda%5E%7B%27%7D+%3D%5Clambda+-%5Crho%5Ceta%2F2%2C%7E%5Cbar%7Bv%7D%5E%7B%27%7D%3D+%5Cbar%7Bv%7D%5Clambda%2F%5Clambda%5E%7B%27%7D& alt=&\lambda^{'} =\lambda -\rho\eta/2,~\bar{v}^{'}= \bar{v}\lambda/\lambda^{'}& eeimg=&1&&&img src=&///equation?tex=%5Ctilde%7Bv%7D%5E%7B%27%7D_s+%3D%28v-%5Cbar%7Bv%7D%5E%7B%27%7D%29e%5E%7B-%5Clambda%5E%7B%27%7Ds%7D+%2B+%5Cbar%7Bv%7D%5E%7B%27%7D& alt=&\tilde{v}^{'}_s =(v-\bar{v}^{'})e^{-\lambda^{'}s} + \bar{v}^{'}& eeimg=&1&&&/p&&p&这个方程不是heston local vol的解析解,他只是一个在 拟设(Ansatz):初期ATM和一二阶矩高度相关下的一个稳定近似解。虽然不够精确,但是他可以很好的帮助研究ATW skew这个衡量波动率“嘴巴歪度”的指标。&/p&&p&也正是由于这种解析解虽然美好但是求解困难的情况,就诞生了另一个金工里面的领域与做方程解联手合作的领域。&/p&&p&&b&2.逼近(asymptotic)
&/b&因为模型复杂导致的解析解难求或者不值得求的情况遍布在金工这个领域的各个角落。但是仅能研究统计性质和运算量庞大的数值计算让人对进一步的研究踌躇满志,所以一帮脑洞极大的近似数学专家就插手了金融工程。&/p&&p&解析解求不出不代表不能研究模型的数学性质,做逼近的大神们第一个大的任务就是研究模型的性质之后“物色”(不知道用这个词其不恰当)性质相近,在给定情况下稳定,具有良好解析性质的近似解。&/p&&p&由于可以逼近的目标非常多,所以逼近这个领域可以渗透金融工程和金融数学的各个角落的。举个我最熟知的经典例子就是Gatheral本人的 SVI 曲面模型:
&img src=&///equation?tex=%5Csigma%5E2_%7BBS%7D%28k%29+%3D+a+%2B+n%5Cleft%5C%7B+%5Crho%28k-m%29%2B%5Csqrt%7B%28k-m%29%5E2+%2B%5Csigma%5E2%7D+%5Cright%5C%7D+& alt=&\sigma^2_{BS}(k) = a + n\left\{ \rho(k-m)+\sqrt{(k-m)^2 +\sigma^2} \right\} & eeimg=&1&&
由于波动率的随机性,直接校准不能的出一个完成的imp 波动率曲面。这个逼近函数在imp vol曲面的点密度定义:&img src=&///equation?tex=%5Csigma%5E2%28K%2CT%7CS0%29%3DE%5Bv_T%7CS_T%3DK%5D& alt=&\sigma^2(K,T|S0)=E[v_T|S_T=K]& eeimg=&1&&下给出了一个以到期处S_T=K为条件的条件期望近似曲面。&/p&&p&同时逼近处理也要能表现出模型原有的统计性质,可以说,金工金数里逼近这个方向是站在了嫁接金融,严格数学,统计三个领域大桥的最中心。&/p&&p&&b&3.随机波动率(SV)
&/b&刚刚提到了十分多波动率,一部分是因为黑猫比较喜欢Gatheral 的vol surface这本书,另一部分是因为这一领域十分的新,新的文章和理论层出不穷。&/p&&p&为什么说这是年轻的领域呢。先看相比之下所谓狭义上的“定价”领域:71年BSM三位上古贤者推出了无套利定价的框架,然后随机过程下的定价理论,包括利率模型和套利机制在后人的研究下不断壮大,到了现在变得连学术界都觉得需要“奥卡姆剃刀”。狭义上定价的内容确实如一般人的理解,被研究的差不多了。&/p&&p&而波动率领域则不然,94年Dupire一篇nonparameter local vol的论文才横空出世。随后96年Dupire联合我大矿人生Derman和Kani完善了点密度下的imp vol和local vol的严格定义和框架。 同一时间线,Steven Heston在93年开发出了最基础的随机波动率框架heston模型,随后在98年,与Nandi基于GARCH给出了一个pricing的闭解,竟意外的启发出了一套鞅下二阶矩过程和瞬时条件期望波动率,开辟了一条方差过程下的条件期望曲面来近似vol surface的道路(这个工作是后来lewis在后来2000年受到了heston的启发做出的)。框架在Mikhailovn,Nogel 和 Gatheral这些人的实证下才逐渐成型。可以这么说,&b&整套体系的初步完善也就是10年前。
&/b&这个领域的启发性非常大,因为此前人们并没有十分多的去研究一二阶矩之间随机性的联系,二阶矩过程下的独特特性。不同的市场下这些特性可能会各异,从而导致需要大量的从模型建立,到逼近,到校准再到实证的成套研究。在此基础上,出现了各种细分,有专门研究二阶矩过程特性的,有来自上面说道的逼近专家专门研究曲面校准和拟合的,有专门研究这个方向衍生品的。关于最后一点,比较新的vol衍生和新兴的vix衍生正需要大量的研究来完善整个波动率世界。&/p&&p&&b&4.优化(Optimization)
&/b&在刚才的描述中,我们也几乎处处看到了需要这些人才的身影。和逼近不同,优化关心的事情不一样,范围广的多,坑也深的多。黑猫对他们所知不多,只能说他们在金工金数领域的研究内容包括但不限于:&/p&&p&1.特定优化算法设计和实现;2.特定函数目标的优化;3.特定模型校准;4.风险管理中的投资组合最优化;5.投资决策和效用的最优化……&/p&&p&&b&5.风险管理
&/b&刚刚提到了风管,这个是猫水水的本专业。这个方向在欧美地区的金融机构属于热门方向,研究也趋于成熟。但由于其设计内容之多,成分之复杂,也不失为一个好的方向。&/p&&p&i.市场风险:这个领域黑猫读书的时候涉及的比较多,属于比较成熟的领域。研究的内容主要分为两大类:一般标的资产风险和结构化产品的风险。前者比较关注一些P测度下的quantile,对仓位和杠杆进行控制;后者比较关注多个风险因子对资产的影响,归因和解释性。特别的,factor的挖掘在学术界和业界都是一个经久不衰的方向。&/p&&p&ii.信用风险:这里需要讲一下这些年一直不断持续在更新对推动和完善的&b&“某VA”&/b&体系。这个方向因为监管压力所以业界极其关注,学术界也发文频频,模型层出不穷。由于传统的EAD,LGD,PD三位一体框架在现在监管对保证金要求越来越严,模型要求越来越苛刻的环境下也在被不断的刷新。黑猫所知的几的较新的方向有:wrong way risk的衡量和参数选取,交易保证金的专有价值调整(MVA),巨型企业信用风险核算的计算优化和模型优化(是的,专门有为了这个方向优化计算的小方向,企业的信用矩阵太大了),中央结算中心(CCP &a class=&member_mention& href=&///people/ca589a1de81c& data-hash=&ca589a1de81c& data-hovercard=&p$b$ca589a1de81c&&@kisda&/a&
提醒:在国内译为中央对手方)的模型建立(据说现在连美国都越管越严了,9月份将会出台强制中心Margin)&/p&&p&&b&6.数值法和计算
&/b&在模型要求越来越高,计算量越来越大的今天。数值和计算这个方向的地位举足轻重,没有人敢瞧不起数值和计算方向的成果。我大金融窝的窝主 &a class=&member_mention& href=&///people/9a8ee2dd8efa& data-hash=&9a8ee2dd8efa& data-hovercard=&p$b$9a8ee2dd8efa&&@Yupeng&/a& 就是计算方向的博士。这个领域成型很早却一直在发展,因为人们的需求从来没有停过。&/p&&p&这个领域博大精深,而且羞辱起智商比起其他领域丝毫不逊色。光一个MC就能发展出各种妖兽出来。离散化时的不同概形(scheme),特定方法的误差分析,特定模型的算法优化,计算性能这些都是一些经久不衰有人钻研的领域。 黑猫没有涉足过多不敢多言,但是肯定的是,也许数值法和计算领域不容易出BSM这种究极体的核弹,但是永远需要向我们芃哥这种一流的DPS。&/p&&p&&b&7.不完备的市场(incomplete market)
&/b&这是一个金融数学界尚未从理论到实践都&b&尚未&/b&(尼玛之前打错,歧义巨大)被完全被解决的问题。其诞生的根本原因是因为在无套利框架下,&b&所有具有风险价格的因素都必须体现在资产的价格上才能保证一个定价是公允的,“复制好了的”(hedged),无套利的。否则,只要有一个具有风险价格的因素没有不能完全市场上的资产所复制,这样的风险将得不到对冲,市场被称为不完备的。&/b&被虽然现实世界某种意义上不存在无套利的产品,但是上面所说的问题确实际存在:比如黑猫卖了一手看涨期权,delta对冲执行完好,然而行权前最后3天秒地股票连续三天暴涨(假如我能买进的话),黑猫亏出了猫肾(交割时被迫高买低卖)…… 因为黑猫对冲不了最后三天的“跳跃风险”;&/p&&p&解释一下上一段,需要指出的是:我想表达的风险是,为了交割哦被迫买高卖低的成本风险;如果跌到不能交易了,直接交割不能完成那是另一种流动性风险&/p&&p&不完备市场下的对冲和策略这个方向就是专门解决这种问题的方向,难点就在于特定风险的观测,测度的选择和对冲机制上。在这个领域里已经研究出了很多对冲方法,有静态(Static),超级(Super),效用(Utility)和 Esscher transfer(一种由矩母函数构造的测度),具体机制黑猫还没有完全学会,不敢多言。&/p&&p&值得一提的是,一个神一样的教授Lane P. Hughston 在2009年提出了一种用债券线性组合人造测度来进行对冲的Rational Term Structure Models with Geometric L evy Martingales,据说金数界对这个方法的评价非常高(大概有《美丽心里》放笔那个级别)。&/p&&p&黑猫有幸和一位普渡大学这个方向的学者进行过一次愉快的交流,他认为这个方向关键就是根据实际需求“人造测度”,所以无所谓是否完美解决不完备市场问题,只要在那个人的“视角下”对冲完整就可以了。这是他的文章:
&a href=&///?target=http%3A//www.stat.purdue.edu/%7Enavarror/defense.pdf& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&http://www.&/span&&span class=&visible&&stat.purdue.edu/~navarr&/span&&span class=&invisible&&or/defense.pdf&/span&&span class=&ellipsis&&&/span&&i class=&icon-external&&&/i&&/a&&/p&&p&&b&8.利率模型
&/b&这是一个非常非常成熟的领域,也是金数研究里在业界要求最高的领域(因为动辄几十亿)。黑猫很喜欢看这方面的书,遗憾的是这个领域可以说已经成熟完善到快要“没有下个十年”的程度了(被资金需求逼得研究的非常完善)。然而做头还是有的,因为利率相关的衍生品太太太太复杂了,而且动不动就模型套模型。所以,在这个领域里相关的内容哪怕挖出一个上面几个方向上能完善内容,都算是重大突破了。&/p&&p&现在比较新兴的研究有:multi-curve low-zero-negative rate model和 一些超级复杂的利率产品。&/p&&p&&b&9.开创性领域
&/b&总是有些伟大的学者有梦想并且有实力能够仰望星空:&/p&&p&i:Ross & Carr recovery theorem
&a href=&///?target=http%3A//ocw.mit.edu/courses/mathematics/18-s096-topics-in-mathematics-with-applications-in-finance-fall-2013/lecture-notes/MIT18_S096F13_lecnote25.pdf& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&http://&/span&&span class=&visible&&ocw.mit.edu/courses/mat&/span&&span class=&invisible&&hematics/18-s096-topics-in-mathematics-with-applications-in-finance-fall-2013/lecture-notes/MIT18_S096F13_lecnote25.pdf&/span&&span class=&ellipsis&&&/span&&i class=&icon-external&&&/i&&/a& &a href=&///?target=http%3A//engineering.nyu.edu/files/carryu2012.pdf& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&http://&/span&&span class=&visible&&engineering.nyu.edu/fil&/span&&span class=&invisible&&es/carryu2012.pdf&/span&&span class=&ellipsis&&&/span&&i class=&icon-external&&&/i&&/a&&/p&&p&Ross老爷子算是跟BSM一个级别的人了,二叉树和CIR都有它的名字。然而老爷子老当益壮啊,去年发表了recovery theorem。 简单来说,期权的imp dist可以视为一个“人们认为的分布”,但是拟合回来的分布要么是不合理假设下的参数分布(比如BS imp lognormal),要么是极其粗糙的一些“imp样本分布”。而老爷子居然声称: &b&“Among other things, this allows us to recover the pricing kernel,
market risk premium, and probability of a catastrophe and to construct
model-free tests of the efficient market hypothesis.” &/b&, 可以想象,一旦完善,近似有效的“人们认为的”信息将得到很好的还原,在imp层面上市场也变得“有效了起来”。然后需要八卦的是,Carr和Ross简直基情满满。 不但帮着安利理论而且还着手做出了推广,这难道就是学术界的真.友谊么?&/p&&p&ii:Rama cont Functional Ito(好像他学生做的他帮着推广,具体关系我也不清楚啊咧)&/p&&p&Rama cont 脑洞不小的,他居然尝试“人造变差”开创了一个试图从机理上解决一般Ito“以概率一收敛”这种统计上可能会出现blow up的(虽然理论上是0测度)的微积分原理:自己通过构建“路径空间”创造了一整套路径函数,定义了:“顺滑”,“新变差积分”,“新鞅表示”,“新指数鞅”。因为水平有限,看下来有趣的同时也十分费劲(毕竟人家新创东西了,新概念很难消化)。不管这个东西以应用上如何,都是一个开创性的尝试了。&/p&&p&&b&后记:真相是……&/b&
好吧,其实这个问题不但是一些个人的见解,还是一篇黑猫有幸蹭到了才结束不久的BFS conference多个演讲的&b&游记+读书体会&/b&(相当多关于新领域的内容是从会上听到的)。
本来在窝主专栏里想发一篇长文但是因为最近屁事多+懒癌一直没动手,知道看到这个问题才缓缓托出。&/p&&p&知乎的规矩是没图说贾斯汀比伯,所以后面的图你们就当游记吧,内容可能会比较无聊:&/p&&img src=&/40de17c44eb6f445c9c0_b.jpg& data-rawwidth=&1529& data-rawheight=&2048& class=&origin_image zh-lightbox-thumb& width=&1529& data-original=&/40de17c44eb6f445c9c0_r.jpg&&&br&&p&这是一份书单,是的,黑猫蹭会的时侯又管不住手……给剁了&/p&&img src=&/0c9f4d57ade2bd8cd59e10b0caf40f58_b.jpg& data-rawwidth=&1529& data-rawheight=&2048& class=&origin_image zh-lightbox-thumb& width=&1529& data-original=&/0c9f4d57ade2bd8cd59e10b0caf40f58_r.jpg&&&br&&br&&br&&img src=&/23be5c1a83f_b.jpg& data-rawwidth=&1536& data-rawheight=&1147& class=&origin_image zh-lightbox-thumb& width=&1536& data-original=&/23be5c1a83f_r.jpg&&&br&&img src=&/e4b6fd513823_b.jpg& data-rawwidth=&1536& data-rawheight=&1147& class=&origin_image zh-lightbox-thumb& width=&1536& data-original=&/e4b6fd513823_r.jpg&&&br&&img src=&/07e40dedfbeb3d63a4ded_b.jpg& data-rawwidth=&1536& data-rawheight=&1147& class=&origin_image zh-lightbox-thumb& width=&1536& data-original=&/07e40dedfbeb3d63a4ded_r.jpg&&&br&&img src=&/c84faee7d00edb_b.jpg& data-rawwidth=&1536& data-rawheight=&1147& class=&origin_image zh-lightbox-thumb& width=&1536& data-original=&/c84faee7d00edb_r.jpg&&&br&&p&这些是游记的“本体”……&/p&&img src=&/41a27ba2a0f3f08a72e50dde9311888d_b.jpg& data-rawwidth=&960& data-rawheight=&1280& class=&origin_image zh-lightbox-thumb& width=&960& data-original=&/41a27ba2a0f3f08a72e50dde9311888d_r.jpg&&&br&&img src=&/f8daf71b09_b.jpg& data-rawwidth=&960& data-rawheight=&1280& class=&origin_image zh-lightbox-thumb& width=&960& data-original=&/f8daf71b09_r.jpg&&&br&&img src=&/fdf09c25ddc7bd71b71a5f_b.jpg& data-rawwidth=&1280& data-rawheight=&960& class=&origin_image zh-lightbox-thumb& width=&1280& data-original=&/fdf09c25ddc7bd71b71a5f_r.jpg&&&br&&p&&b&是的,两本书除了比上次那个卖书长篇答案里更破以外,还多了一行签名!开光Q形态^_^&/b&&/p&&p&感谢 &a class=&member_mention& href=&///people/9a8ee2dd8efa& data-hash=&9a8ee2dd8efa& data-hovercard=&p$b$9a8ee2dd8efa&&@Yupeng&/a& 芃哥给予的这次蹭游的机会,收获实在是大。 最直观的感觉就是,多领域的交叉和细致内容的挖掘在金数里还是层出不穷并且受到蛮大重视的。&b&真心不是什么很多人误认为的“已经没什么东西好研究了”。
&/b&也许黑猫和很多人一样最后读不了博士,但是无论硬件上读不读博士,软件上对一个领域发展的了解和追求是不能停止的。这篇游记黑猫抛砖引玉,希望一只脚伸进学术界这样的状态成为更多人的常态,因为往往能带来不一样且发展的视角,顺便少一些误解和反智。&/p&&br&&p&&b&最后,肥喵日食记:&/b&&/p&&img src=&/ad40c582b469fab_b.jpg& data-rawwidth=&960& data-rawheight=&1280& class=&origin_image zh-lightbox-thumb& width=&960& data-original=&/ad40c582b469fab_r.jpg&&
说明:这个由于最近一两年环境大变,这个答案不具备时效性 泻药,这是一个很沉重很庞大的问题,我小心翼翼的仅自己陋见写一些,这篇答案要写上好一阵子了。首先金融工程这个专业由于本身的热门与近些年的饱和这一对矛盾,有了一些误解:1.所谓的金融工程的…
文本情感分析的基础在于自然语言处理、情感词典、机器学习方法等内容。以下是我总结的一些资源。&br&&br&词典资源:&br&&a href=&///?target=http%3A//r.it/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&SentiWordNet&i class=&icon-external&&&/i&&/a&&br&&a href=&///?target=http%3A///html/c_index.html& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&《知网》中文版&i class=&icon-external&&&/i&&/a&&br&&a href=&///?target=http%3A///data/44317& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&中文情感极性词典 NTUSD&i class=&icon-external&&&/i&&/a&&br&&a href=&///?target=http%3A//ir./EmotionOntologyDownload.aspx%3Futm_source%3Dweibolife& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&情感词汇本体下载&i class=&icon-external&&&/i&&/a&&br&&br&自然语言处理工具和平台:&br&&a href=&///?target=http%3A//ir./& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&哈尔滨工业大学社会计算与信息检索研究中心&i class=&icon-external&&&/i&&/a&&br&&a href=&///?target=https%3A///isnowfy/snownlp& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&isnowfy/snownlp · GitHub&i class=&icon-external&&&/i&&/a&&br&&br&汉语分词:&br&&a href=&///?target=http%3A//www.nlpir.org/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&自然语言处理与信息检索共享平台 NLPIR.org&i class=&icon-external&&&/i&&/a&&br&&a href=&///?target=https%3A///fxsjy/jieba& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&fxsjy/jieba · GitHub&i class=&icon-external&&&/i&&/a&&br&&br&语料资源:&br&&a href=&///?target=http%3A//www./tansongbo/corpus-senti.htm& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&信息分类与情感发现&i class=&icon-external&&&/i&&/a&&br&&br&课程:&br&&a href=&///?target=http%3A///235/%25E6%2596%25AF%25E5%259D%25A6%25E7%25A6%258F%25E5%25A4%25A7%25E5%25AD%25A6%25E8%2587%25AA%25E7%%25E8%25AF%25AD%25E8%25A8%%25A4%%E7%25AC%25AC%25E4%25B8%%25AF%25BE-%25E6%E6%E5%E6%259E%2590%25EF%25BC%2588sentiment-analysis%25EF%25BC%2589& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&斯坦福大学自然语言处理第七课“情感分析(Sentiment Analysis)”&i class=&icon-external&&&/i&&/a&&br&&br&网站和博客:&br&&a href=&///?target=http%3A////text-classification-sentiment-analysis-nltk-scikitlearn/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Text Classification for Sentiment Analysis&i class=&icon-external&&&/i&&/a&&br&&a href=&///?target=http%3A///sentiment-analysis-python/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Second Try: Sentiment Analysis in Python :
Andy Bromberg&i class=&icon-external&&&/i&&/a&&br&&a href=&///?target=http%3A///basic-sentiment-analysis-with-python.html& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Basic Sentiment Analysis with Python&i class=&icon-external&&&/i&&/a&&br&&br&论文:&br&&a href=&///?target=http%3A//citeseerx.ist.psu.edu/viewdoc/download%3Fdoi%3D10.1.1.244.9480%26rep%3Drep1%26type%3Dpdf& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&http://&/span&&span class=&visible&&citeseerx.ist.psu.edu/v&/span&&span class=&invisible&&iewdoc/download?doi=10.1.1.244.9480&rep=rep1&type=pdf&/span&&span class=&ellipsis&&&/span&&i class=&icon-external&&&/i&&/a&&br&&br&工具:&br&建议使用Python. 集成上述所有功能,简单易学。&br&&br&自己写过一个博客,基本有简单实现上述步骤,厚脸皮贴出。&br&&a href=&///?target=http%3A//rzcoding./& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Explore in Data&i class=&icon-external&&&/i&&/a&
文本情感分析的基础在于自然语言处理、情感词典、机器学习方法等内容。以下是我总结的一些资源。 词典资源:
自然语言处理工具和平台:
&p&&b&Awesome Python中文版来啦!&/b&&br&&/p&&p&本文由 &a href=&///?target=http%3A///& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&伯乐在线&i class=&icon-external&&&/i&&/a& - &a href=&///?target=http%3A///members/hanxiaomax& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&艾凌风&i class=&icon-external&&&/i&&/a& 翻译,&a href=&///?target=http%3A///members/namco1992& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Namco&i class=&icon-external&&&/i&&/a& 校稿。未经许可,禁止转载!&br&英文出处:&a href=&///?target=https%3A///vinta/awesome-python& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&&i class=&icon-external&&&/i&&/a&。欢迎加入&a href=&///?target=http%3A///category/feedback/trans-team/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&翻译组&i class=&icon-external&&&/i&&/a&。&br&&/p&&br&&br&原文链接:&a href=&///?target=http%3A///84464/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Python 资源大全&i class=&icon-external&&&/i&&/a&&br&&br&1200+收藏,600+赞,别只顾着自己私藏呀朋友们&br&&p&----------------&/p&&p&这又是一个 Awesome XXX 系列的资源整理,由 vinta 发起和维护。内容包括:Web框架、网络爬虫、网络内容提取、模板引擎、数据库、数据可视化、图片处理、文本处理、自然语言处理、机器学习、日志、代码分析等。&/p&&p&伯乐在线已在 GitHub 上发起「Python 资源大全中文版」的整理。欢迎扩散、欢迎加入。&/p&&p&&a href=&///?target=https%3A///jobbole/awesome-python-cn& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&GitHub - jobbole/awesome-python-cn: Python资源大全中文版&i class=&icon-external&&&/i&&/a&&/p&&b&环境管理&/b&&p&管理 Python 版本和环境的工具&/p&&ul&&li&&a href=&///?target=https%3A///qw3rtman/p& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&p&i class=&icon-external&&&/i&&/a& – 非常简单的交互式 python 版本管理工具。&/li&&li&&a href=&///?target=https%3A///yyuu/pyenv& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&pyenv&i class=&icon-external&&&/i&&/a& – 简单的 Python 版本管理工具。&/li&&li&&a href=&///?target=https%3A///sashahart/vex& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Vex&i class=&icon-external&&&/i&&/a& – 可以在虚拟环境中执行命令。&/li&&li&&a href=&///?target=https%3A//pypi.python.org/pypi/virtualenv& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&virtualenv&i class=&icon-external&&&/i&&/a& – 创建独立 Python 环境的工具。&/li&&li&&a href=&///?target=https%3A//pypi.python.org/pypi/virtualenvwrapper& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&virtualenvwrapper&i class=&icon-external&&&/i&&/a&- virtualenv 的一组扩展。&/li&&/ul&&b&包管理&/b&&p&管理包和依赖的工具。&/p&&ul&&li&&a href=&///?target=https%3A//pip.pypa.io/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&pip&i class=&icon-external&&&/i&&/a& – Python 包和依赖关系管理工具。&/li&&li&&a href=&///?target=https%3A///nvie/pip-tools& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&pip-tools&i class=&icon-external&&&/i&&/a& – 保证 Python 包依赖关系更新的一组工具。&/li&&li&&a href=&///?target=https%3A///conda/conda/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&conda&i class=&icon-external&&&/i&&/a& – 跨平台,Python 二进制包管理工具。&/li&&li&&a href=&///?target=http%3A//clarete.li/curdling/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Curdling&i class=&icon-external&&&/i&&/a& – 管理 Python 包的命令行工具。&/li&&li&&a href=&///?target=http%3A///& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&wheel&i class=&icon-external&&&/i&&/a& – Python 分发的新标准,意在取代 eggs。&/li&&/ul&&b&包仓库&/b&&p&本地 PyPI 仓库服务和代理。&/p&&ul&&li&&a href=&///?target=https%3A///pypa/warehouse& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&warehouse&i class=&icon-external&&&/i&&/a& – 下一代 PyPI。&ul&&li&&a href=&///?target=https%3A//warehouse.python.org/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Warehouse&i class=&icon-external&&&/i&&/a&&a href=&///?target=https%3A//bitbucket.org/pypa/bandersnatch& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&bandersnatch&i class=&icon-external&&&/i&&/a& – PyPA 提供的 PyPI 镜像工具。&/li&&/ul&&/li&&li&&a href=&///?target=http%3A//doc.devpi.net/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&devpi&i class=&icon-external&&&/i&&/a& – PyPI 服务和打包/测试/分发工具。&/li&&li&&a href=&///?target=https%3A///mvantellingen/localshop& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&localshop&i class=&icon-external&&&/i&&/a& – 本地 PyPI 服务(自定义包并且自动对 PyPI 镜像)。&/li&&/ul&&b&分发&/b&&p&打包为可执行文件以便分发。&/p&&ul&&li&&a href=&///?target=https%3A///pyinstaller/pyinstaller& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&PyInstaller&i class=&icon-external&&&/i&&/a& – 将 Python 程序转换成独立的执行文件(跨平台)。&/li&&li&&a href=&///?target=http%3A//dh-virtualenv.readthedocs.org/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&dh-virtualenv&i class=&icon-external&&&/i&&/a& – 构建并将 virtualenv 虚拟环境作为一个 Debian 包来发布。&/li&&li&&a href=&///?target=http%3A//nuitka.net/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Nuitka&i class=&icon-external&&&/i&&/a& – 将脚本、模块、包编译成可执行文件或扩展模块。&/li&&li&&a href=&///?target=http%3A//pythonhosted.org/py2app/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&py2app&i class=&icon-external&&&/i&&/a& – 将 Python 脚本变为独立软件包(Mac OS X)。&/li&&li&&a href=&///?target=http%3A//www.py2exe.org/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&py2exe&i class=&icon-external&&&/i&&/a& – 将 Python 脚本变为独立软件包(Windows)。&/li&&li&&a href=&///?target=http%3A//pynsist.readthedocs.org/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&pynsist&i class=&icon-external&&&/i&&/a& – 一个用来创建 Windows 安装程序的工具,可以在安装程序中打包 Python本身。&/li&&/ul&&b&构建工具&/b&&p&将源码编译成软件。&/p&&ul&&li&&a href=&///?target=http%3A//www.buildout.org/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&buildout&i class=&icon-external&&&/i&&/a& – 一个构建系统,从多个组件来创建,组装和部署应用。&/li&&li&&a href=&///?target=http%3A//www.yoctoproject.org/docs/1.6/bitbake-user-manual/bitbake-user-manual.html& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&BitBake&i class=&icon-external&&&/i&&/a& – 针对嵌入式 Linux 的类似 make 的构建工具。&/li&&li&&a href=&///?target=https%3A///p/fabricate/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&fabricate&i class=&icon-external&&&/i&&/a& – 对任何语言自动找到依赖关系的构建工具。&/li&&li&&a href=&///?target=https%3A///ivankravets/platformio& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&PlatformIO&i class=&icon-external&&&/i&&/a& – 多平台命令行构建工具。&/li&&li&&a href=&///?target=https%3A///pybuilder/pybuilder& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&PyBuilder&i class=&icon-external&&&/i&&/a& – 纯 Python 实现的持续化构建工具。&/li&&li&&a href=&///?target=http%3A//www.scons.org/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&SCons&i class=&icon-external&&&/i&&/a& – 软件构建工具。&/li&&/ul&&b&交互式解析器&/b&&p&交互式 Python 解析器。&/p&&ul&&li&&a href=&///?target=https%3A///ipython/ipython& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&IPython&i class=&icon-external&&&/i&&/a& – 功能丰富的工具,非常有效的使用交互式 Python。&/li&&li&&a href=&///?target=http%3A//bpython-interpreter.org/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&bpython&i class=&icon-external&&&/i&&/a&- 界面丰富的 Python 解析器。&/li&&li&&a href=&///?target=https%3A///jonathanslenders/ptpython& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&ptpython&i class=&icon-external&&&/i&&/a& – 高级交互式Python解析器, 构建于&a href=&///?target=https%3A///jonathanslenders/python-prompt-toolkit& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&python-prompt-toolkit&i class=&icon-external&&&/i&&/a& 之上。&/li&&/ul&&b&文件&/b&&p&文件管理和 MIME(多用途的网际邮件扩充协议)类型检测。&/p&&ul&&li&&a href=&///?target=https%3A//docs.python.org/2/library/imghdr.html& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&imghdr&i class=&icon-external&&&/i&&/a& – (Python 标准库)检测图片类型。&/li&&li&&a href=&///?target=https%3A//docs.python.org/2/library/mimetypes.html& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&mimetypes&i class=&icon-external&&&/i&&/a& – (Python 标准库)将文件名映射为 MIME 类型。&/li&&li&&a href=&///?target=https%3A///jaraco/path.py& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&path.py&i class=&icon-external&&&/i&&/a& – 对 os.path 进行封装的模块。&/li&&li&&a href=&///?target=https%3A//pathlib.readthedocs.org/en/pep428/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&pathlib&i class=&icon-external&&&/i&&/a& – (Python3.4+ 标准库)跨平台的、面向对象的路径操作库。&/li&&li&&a href=&///?target=https%3A///ahupp/python-magic& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&python-magic&i class=&icon-external&&&/i&&/a&- 文件类型检测的第三方库 libmagic 的 Python 接口。&/li&&li&&a href=&///?target=https%3A///mikeorr/Unipath& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Unipath&i class=&icon-external&&&/i&&/a&- 用面向对象的方式操作文件和目录&/li&&li&&a href=&///?target=https%3A///gorakhargosh/watchdog& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&watchdog&i class=&icon-external&&&/i&&/a& – 管理文件系统事件的 API 和 shell 工具&/li&&/ul&&b&日期和时间&/b&&p&操作日期和时间的类库。&/p&&ul&&li&&a href=&///?target=https%3A///crsmithdev/arrow& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&arrow&i class=&icon-external&&&/i&&/a&- 更好的 Python 日期时间操作类库。&/li&&li&&a href=&///?target=https%3A///KoffeinFlummi/Chronyk& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Chronyk&i class=&icon-external&&&/i&&/a& – Python 3 的类库,用于解析手写格式的时间和日期。&/li&&li&&a href=&///?target=https%3A//pypi.python.org/pypi/python-dateutil& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&dateutil&i class=&icon-external&&&/i&&/a& – Python datetime 模块的扩展。&/li&&li&&a href=&///?target=https%3A///myusuf3/delorean/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&delorean&i class=&icon-external&&&/i&&/a&- 解决 Python 中有关日期处理的棘手问题的库。&/li&&li&&a href=&///?target=https%3A///zachwill/moment& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&moment&i class=&icon-external&&&/i&&/a& – 一个用来处理时间和日期的Python库。灵感来自于Moment.js。&/li&&li&&a href=&///?target=https%3A///shnode/PyTime& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&PyTime&i class=&icon-external&&&/i&&/a& – 一个简单易用的Python模块,用于通过字符串来操作日期/时间。&/li&&li&&a href=&///?target=https%3A//launchpad.net/pytz& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&pytz&i class=&icon-external&&&/i&&/a& – 现代以及历史版本的世界时区定义。将时区数据库引入Python。&/li&&li&&a href=&///?target=https%3A///dirn/When.py& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&when.py&i class=&icon-external&&&/i&&/a& – 提供用户友好的函数来帮助用户进行常用的日期和时间操作。&/li&&/ul&&b&文本处理&/b&&p&用于解析和操作文本的库。&/p&&ul&&li&通用&ul&&li&&a href=&///?target=https%3A///chardet/chardet& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&chardet&i class=&icon-external&&&/i&&/a& – 字符编码检测器,兼容 Python2 和 Python3。&/li&&li&&a href=&///?target=https%3A//docs.python.org/2/library/difflib.html& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&difflib&i class=&icon-external&&&/i&&/a& – (Python 标准库)帮助我们进行差异化比较。&/li&&li&&a href=&///?target=https%3A///LuminosoInsight/python-ftfy& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&ftfy&i class=&icon-external&&&/i&&/a& – 让Unicode文本更完整更连贯。&/li&&li&&a href=&///?target=https%3A///seatgeek/fuzzywuzzy& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&fuzzywuzzy&i class=&icon-external&&&/i&&/a& – 模糊字符串匹配。&/li&&li&&a href=&///?target=https%3A///ztane/python-Levenshtein/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Levenshtein&i class=&icon-external&&&/i&&/a& – 快速计算编辑距离以及字符串的相似度。&/li&&li&&a href=&///?target=https%3A///vinta/pangu.py& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&pangu.py&i class=&icon-external&&&/i&&/a& – 在中日韩语字符和数字字母之间添加空格。&/li&&li&&a href=&///?target=https%3A///pwaller/pyfiglet& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&pyfiglet -figlet&i class=&icon-external&&&/i&&/a& 的 Python实现。&/li&&li&&a href=&///?target=https%3A///stochastic-technologies/shortuuid& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&shortuuid&i class=&icon-external&&&/i&&/a& – 一个生成器库,用以生成简洁的,明白的,URL 安全的 UUID。&/li&&li&&a href=&///?target=https%3A//pypi.python.org/pypi/Unidecode& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&unidecode&i class=&icon-external&&&/i&&/a& – Unicode 文本的 ASCII 转换形式 。&/li&&li&&a href=&///?target=https%3A///moskytw/uniout& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&uniout&i class=&icon-external&&&/i&&/a& – 打印可读的字符,而不是转义的字符串。&/li&&li&&a href=&///?target=https%3A///lxneng/xpinyin& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&xpinyin&i class=&icon-external&&&/i&&/a& – 一个用于把汉字转换为拼音的库。&/li&&/ul&&/li&&li&Slug化&ul&&li&&a href=&///?target=https%3A///dimka665/awesome-slugify& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&awesome-slugify&i class=&icon-external&&&/i&&/a& – 一个 Python slug 化库,可以保持 Unicode。&/li&&li&&a href=&///?target=https%3A///un33k/python-slugify& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&python-slugify&i class=&icon-external&&&/i&&/a& – Python slug 化库,可以把 unicode 转化为 ASCII。&/li&&li&&a href=&///?target=https%3A///mozilla/unicode-slugify& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&unicode-slugify&i class=&icon-external&&&/i&&/a& – 一个 slug 工具,可以生成 unicode slugs ,需要依赖 Django 。&/li&&/ul&&/li&&li&解析器&ul&&li&&a href=&///?target=https%3A///daviddrysdale/python-phonenumbers& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&phonenumbers&i class=&icon-external&&&/i&&/a& – 解析,格式化,储存,验证电话号码。&/li&&li&&a href=&///?target=http%3A///ply/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&PLY&i class=&icon-external&&&/i&&/a& – lex 和 yacc 解析工具的 Python 实现。&/li&&li&&a href=&///?target=http%3A//pygments.org/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Pygments&i class=&icon-external&&&/i&&/a& – 通用语法高亮工具。&/li&&li&&a href=&///?target=http%3A///& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&pyparsing&i class=&icon-external&&&/i&&/a& – 生成通用解析器的框架。&/li&&li&&a href=&///?target=https%3A///derek73/python-nameparser& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&python-nameparser&i class=&icon-external&&&/i&&/a& – 把一个人名分解为几个独立的部分。&/li&&li&&a href=&///?target=https%3A///selwin/python-user-agents& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&python-user-agents&i class=&icon-external&&&/i&&/a& – 浏览器 user agent 解析器。&/li&&li&&a href=&///?target=https%3A//sqlparse.readthedocs.org/en/latest/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&sqlparse&i class=&icon-external&&&/i&&/a& – 一个无验证的 SQL 解析器。&/li&&/ul&&/li&&/ul&&b&特殊文本格式处理&/b&&p&一些用来解析和操作特殊文本格式的库。&/p&&ul&&li&通用&ul&&li&&a href=&///?target=https%3A///kennethreitz/tablib& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&tablib&i class=&icon-external&&&/i&&/a& – 一个用来处理中表格数据的模块。&/li&&/ul&&/li&&li&Office&ul&&li&&a href=&///?target=https%3A///brianray/mm& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Marmir&i class=&icon-external&&&/i&&/a& – 把输入的Python 数据结构转换为电子表单。&/li&&li&&a href=&///?target=https%3A//openpyxl.readthedocs.org/en/latest/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&openpyxl&i class=&icon-external&&&/i&&/a& – 一个用来读写 Excel 2010 xlsx/xlsm/xltx/xltm 文件的库。&/li&&li&&a href=&///?target=https%3A///python-openxml/python-docx& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&python-docx&i class=&icon-external&&&/i&&/a& – 读取,查询以及修改 Microsoft Word
docx 文件。&/li&&li&&a href=&///?target=https%3A///dagwieers/unoconv& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&unoconv&i class=&icon-external&&&/i&&/a& – 在 LibreOffice/OpenOffice 支持的任意文件格式之间进行转换。&/li&&li&&a href=&///?target=https%3A//xlsxwriter.readthedocs.org/en/latest/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&XlsxWriter&i class=&icon-external&&&/i&&/a& – 一个用于创建 Excel .xlsx 文件的 Python 模块。&/li&&li&&a href=&///?target=http%3A//xlwings.org/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&xlwings&i class=&icon-external&&&/i&&/a& – 一个使得在 Excel 中方便调用 Python 的库(反之亦然),基于 BSD 协议。&/li&&li&&a href=&///?target=https%3A///python-excel/xlwt& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&xlwt&i class=&icon-external&&&/i&&/a& / &a href=&///?target=https%3A///python-excel/xlrd& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&xlrd&i class=&icon-external&&&/i&&/a& – 读写 Excel 文件的数据和格式信息。&/li&&li&&a href=&///?target=http%3A//relatorio.tryton.org/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&relatorio&i class=&icon-external&&&/i&&/a& – 模板化OpenDocument 文件。&/li&&/ul&&/li&&li&PDF&ul&&li&&a href=&///?target=https%3A///euske/pdfminer& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&PDFMiner&i class=&icon-external&&&/i&&/a& – 一个用于从PDF文档中抽取信息的工具。&/li&&li&&a href=&///?target=https%3A///mstamy2/PyPDF2& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&PyPDF2&i class=&icon-external&&&/i&&/a& – 一个可以分割,合并和转换 PDF 页面的库。&/li&&li&&a href=&///?target=http%3A///opensource/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&ReportLab&i class=&icon-external&&&/i&&/a& – 快速创建富文本 PDF 文档。&/li&&/ul&&/li&&li&Markdown&ul&&li&&a href=&///?target=https%3A///lepture/mistune& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Mistune&i class=&icon-external&&&/i&&/a& – 快速并且功能齐全的纯 Python 实现的 Markdown 解析器。&/li&&li&&a href=&///?target=https%3A///waylan/Python-Markdown& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Python-Markdown&i class=&icon-external&&&/i&&/a& – John Gruber’s Markdown 的 Python 版实现。&/li&&/ul&&/li&&li&YAML&ul&&li&&a href=&///?target=http%3A//pyyaml.org/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&PyYAML&i class=&icon-external&&&/i&&/a& – Python 版本的 YAML 解析器。&/li&&/ul&&/li&&li&CSV&ul&&li&&a href=&///?target=https%3A///onyxfish/csvkit& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&csvkit&i class=&icon-external&&&/i&&/a& – 用于转换和操作 CSV 的工具。&/li&&/ul&&/li&&li&Archive&ul&&li&&a href=&///?target=https%3A///mitsuhiko/unp& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&unp&i class=&icon-external&&&/i&&/a& – 一个用来方便解包归档文件的命令行工具。&/li&&/ul&&/li&&/ul&&b&自然语言处理&/b&&p&用来处理人类语言的库。&/p&&ul&&li&&a href=&///?target=http%3A//www.nltk.org/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&NLTK&i class=&icon-external&&&/i&&/a& – 一个先进的平台,用以构建处理人类语言数据的 Python 程序。&/li&&li&&a href=&///?target=https%3A///fxsjy/jieba& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&jieba&i class=&icon-external&&&/i&&/a& – 中文分词工具。&/li&&li&&a href=&///?target=https%3A///saffsd/langid.py& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&langid.py&i class=&icon-external&&&/i&&/a& – 独立的语言识别系统。&/li&&li&&a href=&///?target=http%3A//www.clips.ua.ac.be/pattern& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Pattern&i class=&icon-external&&&/i&&/a& – Python 网络信息挖掘模块。&/li&&li&&a href=&///?target=https%3A///isnowfy/snownlp& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&SnowNLP&i class=&icon-external&&&/i&&/a& – 一个用来处理中文文本的库。&/li&&li&&a href=&///?target=http%3A//textblob.readthedocs.org/en/latest/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&TextBlob&i class=&icon-external&&&/i&&/a& – 为进行普通自然语言处理任务提供一致的 API。&/li&&li&&a href=&///?target=https%3A///2shou/TextGrocery& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&TextGrocery&i class=&icon-external&&&/i&&/a& – 一简单高效的短文本分类工具,基于 LibLinear 和 Jieba。&/li&&/ul&&b&文档&/b&&p&用以生成项目文档的库。&/p&&ul&&li&&a href=&///?target=http%3A//www.sphinx-doc.org/en/latest/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Sphinx&i class=&icon-external&&&/i&&/a& – Python 文档生成器。&ul&&li&&a href=&///?target=https%3A///yoloseem/awesome-sphinxdoc& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&awesome-sphinxdoc&i class=&icon-external&&&/i&&/a&&/li&&/ul&&/li&&li&&a href=&///?target=http%3A//www.mkdocs.org/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&MkDocs&i class=&icon-external&&&/i&&/a& – 对 Markdown 友好的文档生成器。&/li&&li&&a href=&///?target=https%3A///BurntSushi/pdoc& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&pdoc&i class=&icon-external&&&/i&&/a& – 一个可以替换Epydoc 的库,可以自动生成 Python 库的 API 文档。&/li&&li&&a href=&///?target=https%3A///pycco-docs/pycco& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Pycco&i class=&icon-external&&&/i&&/a& – 文学编程(literate-programming)风格的文档生成器。&/li&&/ul&&b&配置&/b&&p&用来保存和解析配置的库。&/p&&ul&&li&&a href=&///?target=https%3A//www./config-doc/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&config&i class=&icon-external&&&/i&&/a& – &a href=&///?target=https%3A//docs.python.org/2/library/logging.html& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&logging&i class=&icon-external&&&/i&&/a& 模块作者写的分级配置模块。&/li&&li&&a href=&///?target=http%3A//www.voidspace.org.uk/python/configobj.html& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&ConfigObj&i class=&icon-external&&&/i&&/a& – INI 文件解析器,带验证功能。&/li&&li&&a href=&///?target=https%3A//docs.python.org/2/library/configparser.html& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&ConfigParser&i class=&icon-external&&&/i&&/a& – (Python 标准库) INI 文件解析器。&/li&&li&&a href=&///?target=http%3A//profig.readthedocs.org/en/default/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&profig&i class=&icon-external&&&/i&&/a& – 通过多种格式进行配置,具有数值转换功能。&/li&&li&&a href=&///?target=https%3A///henriquebastos/python-decouple& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&python-decouple&i class=&icon-external&&&/i&&/a& – 将设置和代码完全隔离。&/li&&/ul&&b&命令行工具&/b&&p&用于创建命令行程序的库。&/p&&ul&&li&命令行程序开发&ul&&li&&a href=&///?target=http%3A///& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&cement&i class=&icon-external&&&/i&&/a& – Python 的命令行程序框架。&/li&&li&&a href=&///?target=http%3A//click.pocoo.org/dev/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&click&i class=&icon-external&&&/i&&/a& – 一个通过组合的方式来创建精美命令行界面的包。&/li&&li&&a href=&///?target=http%3A//docs.openstack.org/developer/cliff/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&cliff&i class=&icon-external&&&/i&&/a& – 一个用于创建命令行程序的框架,可以创建具有多层命令的命令行程序。&/li&&li&&a href=&///?target=https%3A///kennethreitz/clint& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&clint&i class=&icon-external&&&/i&&/a& – Python 命令行程序工具。&/li&&li&&a href=&///?target=https%3A//pypi.python.org/pypi/colorama& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&colorama&i class=&icon-external&&&/i&&/a& – 跨平台彩色终端文本。&/li&&li&&a href=&///?target=http%3A//docopt.org/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&docopt&i class=&icon-external&&&/i&&/a& – Python 风格的命令行参数解析器。&/li&&li&&a href=&///?target=https%3A///chriskiehl/Gooey& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Gooey&i class=&icon-external&&&/i&&/a& – 一条命令,将命令行程序变成一个 GUI 程序。&/li&&li&&a href=&///?target=https%3A///jonathanslenders/python-prompt-toolkit& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&python-prompt-toolkit&i class=&icon-external&&&/i&&/a& – 一个用于构建强大的交互式命令行程序的库。&/li&&/ul&&/li&&li&生产力工具&ul&&li&&a href=&///?target=https%3A///aws/aws-cli& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&aws-cli&i class=&icon-external&&&/i&&/a& – Amazon Web Services 的通用命令行界面。&/li&&li&&a href=&///?target=https%3A///glamp/bashplotlib& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&bashplotlib&i class=&icon-external&&&/i&&/a& – 在终端中进行基本绘图。&/li&&li&&a href=&///?target=https%3A///brettcannon/caniusepython3& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&caniusepython3&i class=&icon-external&&&/i&&/a& – 判断是哪个项目妨碍你你移植到 Python 3。&/li&&li&&a href=&///?target=https%3A///audreyr/cookiecutter& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&cookiecutter&i class=&icon-external&&&/i&&/a& – 从 cookiecutters(项目模板)创建项目的一个命令行工具。&/li&&li&&a href=&///?target=https%3A///sloria/doitlive& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&doitlive&i class=&icon-external&&&/i&&/a& – 一个用来在终端中进行现场演示的工具。&/li&&li&&a href=&///?target=https%3A///gleitz/howdoi& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&howdoi&i class=&icon-external&&&/i&&/a& – 通过命令行获取即时的编程问题解答。&/li&&li&&a href=&///?target=https%3A///jkbrzt/httpie& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&httpie&i class=&icon-external&&&/i&&/a& – 一个命令行HTTP 客户端,cURL 的替代品,易用性更好。&/li&&li&&a href=&///?target=https%3A///facebook/PathPicker& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&PathPicker&i class=&icon-external&&&/i&&/a& – 从bash输出中选出文件。&/li&&li&&a href=&///?target=https%3A///mooz/percol& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&percol&i class=&icon-external&&&/i&&/a& – 向UNIX shell 传统管道概念中加入交互式选择功能。&/li&&li&&a href=&///?target=https%3A///donnemartin/saws& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&SAWS&i class=&icon-external&&&/i&&/a& – 一个加强版的 AWS 命令行。&/li&&li&&a href=&///?target=https%3A///nvbn/thefuck& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&thefuck&i class=&icon-external&&&/i&&/a& – 修正你之前的命令行指令。&/li&&li&&a href=&///?target=https%3A///dbcli/mycli& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&mycli&i class=&icon-external&&&/i&&/a& – 一个 MySQL 命令行客户端,具有自动补全和语法高亮功能。&/li&&li&&a href=&///?target=https%3A///dbcli/pgcli& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&pgcli&i class=&icon-external&&&/i&&/a& – Postgres 命令行工具,具有自动补全和语法高亮功能。&/li&&/ul&&/li&&/ul&&b&下载器&/b&&p&用来进行下载的库.&/p&&ul&&li&&a href=&///?target=https%3A///s3tools/s3cmd& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&s3cmd&i class=&icon-external&&&/i&&/a& – 一个用来管理Amazon S3 和 CloudFront 的命令行工具。&/li&&li&&a href=&///?target=https%3A///bloomreach/s4cmd& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&s4cmd&i class=&icon-external&&&/i&&/a& – 超级 S3 命令行工具,性能更加强劲。&/li&&li&&a href=&///?target=https%3A//www.soimort.org/you-get/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&you-get&i class=&icon-external&&&/i&&/a& – 一个 YouTube/Youku/Niconico 视频下载器,使用 Python3 编写。&/li&&li&&a href=&///?target=http%3A//rg3.github.io/youtube-dl/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&youtube-dl&i class=&icon-external&&&/i&&/a& – 一个小巧的命令行程序,用来下载 YouTube 视频。&/li&&/ul&&b&图像处理&/b&&p&用来操作图像的库.&/p&&ul&&li&&a href=&///?target=http%3A//pillow.readthedocs.org/en/latest/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&pillow&i class=&icon-external&&&/i&&/a& – Pillow 是一个更加易用版的 &a href=&///?target=http%3A///products/pil/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&PIL&i class=&icon-external&&&/i&&/a&。&/li&&li&&a href=&///?target=https%3A///rossgoodwin/hmap& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&hmap&i class=&icon-external&&&/i&&/a& – 图像直方图映射。&/li&&li&&a href=&///?target=http%3A//sourceforge.net/projects/imgseek/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&imgSeek&i class=&icon-external&&&/i&&/a& – 一个使用视觉相似性搜索一组图片集合的项目。&/li&&li&&a href=&///?target=https%3A///hhatto/nude.py& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&nude.py&i class=&icon-external&&&/i&&/a& – 裸体检测。&/li&&li&&a href=&///?target=https%3A//pythonhosted.org/pyBarcode/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&pyBarcode&i class=&icon-external&&&/i&&/a& – 不借助 PIL 库在 Python 程序中生成条形码。&/li&&li&&a href=&///?target=https%3A///ajkumar25/pygram& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&pygram&i class=&icon-external&&&/i&&/a& – 类似 Instagram 的图像滤镜。&/li&&li&&a href=&///?target=https%3A///lincolnloop/python-qrcode& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&python-qrcode&i class=&icon-external&&&/i&&/a& – 一个纯 Python 实现的二维码生成器。&/li&&li&&a href=&///?target=https%3A///fogleman/Quads& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Quads&i class=&icon-external&&&/i&&/a& – 基于四叉树的计算机艺术。&/li&&li&&a href=&///?target=http%3A//scikit-image.org/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&scikit-image&i class=&icon-external&&&/i&&/a& – 一个用于(科学)图像处理的 Python 库。&/li&&li&&a href=&///?target=https%3A///thumbor/thumbor& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&thumbor&i class=&icon-external&&&/i&&/a& – 一个小型图像服务,具有剪裁,尺寸重设和翻转功能。&/li&&li&&a href=&///?target=https%3A///dahlia/wand& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&wand&i class=&icon-external&&&/i&&/a& – &a href=&///?target=http%3A//www.imagemagick.org/script/magick-wand.php& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&MagickWand&i class=&icon-external&&&/i&&/a&的Python 绑定。MagickWand 是 ImageMagick的 C API 。&/li&&/ul&&b&OCR&/b&&p&光学字符识别库。&/p&&ul&&li&&a href=&///?target=https%3A///jflesch/pyocr& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&pyocr&i class=&icon-external&&&/i&&/a& – Tesseract 和 Cuneiform 的一个封装(wrapper)。&/li&&li&&a href=&///?target=https%3A///madmaze/pytesseract& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&pytesseract&i class=&icon-external&&&/i&&/a& – &a href=&///?target=https%3A///tesseract-ocr& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Google Tesseract OCR&i class=&icon-external&&&/i&&/a& 的另一个封装(wrapper)。&/li&&li&python-tesseract – &a href=&///?target=https%3A///tesseract-ocr& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Google Tesseract OCR&i class=&icon-external&&&/i&&/a& 的一个包装类。&/li&&/ul&&b&音频&/b&&p&用来操作音频的库&/p&&ul&&li&&a href=&///?target=https%3A///danilobellini/audiolazy& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&audiolazy&i class=&icon-external&&&/i&&/a& -Python 的数字信号处理包。&/li&&li&&a href=&///?target=https%3A///beetbox/audioread& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&audioread&i class=&icon-external&&&/i&&/a& – 交叉库 (GStreamer + Core Audio + MAD + FFmpeg) 音频解码。&/li&&li&&a href=&///?target=http%3A//beets.io/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&beets&i class=&icon-external&&&/i&&/a& – 一个音乐库管理工具及 &a href=&///?target=https%3A//musicbrainz.org/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&MusicBrainz&i class=&icon-external&&&/i&&/a& 标签添加工具&/li&&li&&a href=&///?target=https%3A///worldveil/dejavu& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&dejavu&i class=&icon-external&&&/i&&/a& – 音频指纹提取和识别&/li&&li&&a href=&///?target=https%3A///StreetVoice/django-elastic-transcoder& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&django-elastic-transcoder&i class=&icon-external&&&/i&&/a& – Django + &a href=&///?target=http%3A///elastictranscoder/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Amazon Elastic Transcoder&i class=&icon-external&&&/i&&/a&。&/li&&li&&a href=&///?target=http%3A//eyed3.nicfit.net/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&eyeD3&i class=&icon-external&&&/i&&/a& – 一个用来操作音频文件的工具,具体来讲就是包含 ID3 元信息的 MP3 文件。&/li&&li&&a href=&///?target=http%3A///code/modules/id3reader.py& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&id3reader&i class=&icon-external&&&/i&&/a& – 一个用来读取 MP3 元数据的 Python 模块。&/li&&li&&a href=&///?target=https%3A///globocom/m3u8& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&m3u8&i class=&icon-external&&&/i&&/a& – 一个用来解析 m3u8 文件的模块。&/li&&li&&a href=&///?target=https%3A//bitbucket.org/lazka/mutagen& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&mutagen&i class=&icon-external&&&/i&&/a& – 一个用来处理音频元数据的 Python 模块。&/li&&li&&a href=&///?target=https%3A///jiaaro/pydub& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&pydub&i class=&icon-external&&&/i&&/a& – 通过简单、简洁的高层接口来操作音频文件。&/li&&li&&a href=&///?target=https%3A///echonest/pyechonest& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&pyechonest&i class=&icon-external&&&/i&&/a& – &a href=&///?target=http%3A///& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&Echo Nest&i class=&icon-external&&&/i&&/a& API 的 Python 客户端&/li&&li&&a href=&///?target=http%3A///talkbox& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&talkbox&i class=&icon-external&&&/i&&/a& – 一个用来处理演讲/信号的 Python 库&/li&&li&&a href=&///?target=https%3A///Parisson/TimeSide& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&TimeSide&i class=&icon-external&&&/i&&/a& – 开源 web 音频处理框架。&/li&&li&&a href=&///?target=https%3A///devsnd/tinytag& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&tinytag&i class=&icon-external&&&/i&&/a& – 一个用来读取MP3, OGG, FLAC 以及 Wave 文件音乐元数据的库。&/li&&li&&a href=&///?target=http%3A//bspaans.github.io/python-mingus/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&mingus&i class=&icon-external&&&/i&&/a& – 一个高级音乐理论和曲谱包,支持 MIDI 文件和回放功能。&/li&&/ul&&b&视频&/b&&p&用来操作视频和GIF的库。&/p&&ul&&li&&a href=&///?target=http%3A//zulko.github.io/moviepy/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&moviepy&i class=&icon-external&&&/i&&/a& – 一个用来进行基于脚本的视频编辑模块,适用于多种格式,包括动图 GIFs。&/li&&li&&a href=&///?target=https%3A///aizvorski/scikit-video& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&scikit-video&i class=&icon-external&&&/i&&/a& – SciPy 视频处理常用程序。&/li&&/ul&&b&地理位置&/b&&p&地理编码地址以及用来处理经纬度的库。&/p&&ul&&li&&a href=&///?target=https%3A///en/dev/ref/contrib/gis/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&GeoDjango&i class=&icon-external&&&/i&&/a& – 世界级地理图形 web 框架。&/li&&li&&a href=&///?target=https%3A///maxmind/geoip-api-python& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&GeoIP&i class=&icon-external&&&/i&&/a& – MaxMind GeoIP Legacy 数据库的 Python API。&/li&&li&&a href=&///?target=https%3A///frewsxcv/python-geojson& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&geojson&i class=&icon-external&&&/i&&/a& – GeoJSON 的 Python 绑定及工具。&/li&&li&&a href=&///?target=https%3A///geopy/geopy& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&geopy&i class=&icon-external&&&/i&&/a& – Python 地址编码工具箱。&/li&&li&&a href=&///?target=https%3A///appliedsec/pygeoip& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&pygeoip&i class=&icon-external&&&/i&&/a& – 纯 Python GeoIP API。&/li&&li&&a href=&///?target=https%3A///SmileyChris/django-countries& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&django-countries&i class=&icon-external&&&/i&&/a& – 一个 Django 应用程序,提供用于表格的国家选择功能,国旗图标静态文件以及模型中的国家字段。&/li&&/ul&&b&HTTP&/b&&p&使用HTTP的库。&/p&&ul&&li&&a href=&///?target=http%3A//docs.python-requests.org/en/latest/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&requests&i class=&icon-external&&&/i&&/a& – 人性化的HTTP请求库。&/li&&li&&a href=&///?target=https%3A///kennethreitz/grequests& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&grequests&i class=&icon-external&&&/i&&/a& – requests 库 + gevent ,用于异步 HTTP 请求.&/li&&li&&a href=&///?target=https%3A///jcgregorio/httplib2& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&httplib2&i class=&icon-external&&&/i&&/a& – 全面的 HTTP 客户端库。&/li&&li&&a href=&///?target=https%3A///twisted/treq& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&treq&i class=&icon-external&&&/i&&/a& – 类似 requests 的Python API 构建于 Twisted HTTP 客户端之上。&/li&&li&&a href=&///?target=https%3A///shazow/urllib3& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&urllib3&i class=&icon-external&&&/i&&/a& – 一个具有线程安全连接池,支持文件 post,清晰友好的 HTTP 库。&/li&&/ul&&b&数据库&/b&&p&Python实现的数据库。&/p&&ul&&li&&a href=&///?target=https%3A//pythonhosted.org/pickleDB/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&pickleDB&i class=&icon-external&&&/i&&/a& – 一个简单,轻量级键值储存数据库。&/li&&li&&a href=&///?target=https%3A///& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&PipelineDB&i class=&icon-external&&&/i&&/a& – 流式 SQL 数据库。&/li&&li&&a href=&///?target=https%3A///msiemens/tinydb& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&TinyDB&i class=&icon-external&&&/i&&/a& – 一个微型的,面向文档型数据库。&/li&&li&&a href=&///?target=http%3A//www.zodb.org/en/latest/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&ZODB&i class=&icon-external&&&/i&&/a& – 一个 Python 原生对象数据库。一个键值和对象图数据库。&/li&&/ul&&b&数据库驱动&/b&&p&用来连接和操作数据库的库。&/p&&ul&&li&MySQL – &a href=&///?target=http%3A//shlomi-noach.github.io/awesome-mysql/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&awesome-mysql&i class=&icon-external&&&/i&&/a&系列&ul&&li&&a href=&///?target=http%3A//sourceforge.net/projects/mysql-python/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&mysql-python&i class=&icon-external&&&/i&&/a& – Python 的 MySQL 数据库连接器。&/li&&li&mysqlclient – &a href=&///?target=https%3A///PyMySQL/mysqlclient-python& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&mysql-python&i class=&icon-external&&&/i&&/a& 分支,支持 Python 3。&/li&&li&&a href=&///?target=https%3A//pythonhosted.org/oursql/& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&oursql&i class=&icon-external&&&/i&&/a

我要回帖

更多关于 面向领域设计 的文章

 

随机推荐