machine learning

一行command搭建机器学习环境,包括 Tensorflow家族, PyTorch家族, Keras, Sklearn和 Jupyter, VS Code, Tensorboard等开发工具

这篇博文的终极目标不是单纯教大家一行command搭建机器学习环境,它的终极目标展示docker的威力,让大家早日离开“解放前”的日子,早日投入docker的环抱。 docker是什么? Docker allows you to package an application with all of its dependencies into a standardised unit for software development. 先演示一行command版 确保docker已经在本地机器安装并处于运行中,然后在控制台执行: docker run -d -p

  • w.z.
5 min read
machine learning

关于机器学习任务分层降难度的思考

笔者是研究量化交易的,使用标榜机器学习的量化交易框架Abupy。 所以前段时间学习的历程是这样的: 从KNN开始学习基础概念、工具和术语 -> 学习评估指标(ROC曲线、AUC、F1、召回率等) 和模型调试方法 -> 尝试各家学说(逻辑分类、决策树、svm、以及多种模型融合)提高模型评分。 回到Abupy,发现我们只要了解svm,按照一个固定模式(继承一个Python class并实现抽象方法)提供描述特征的class,Abupy框架即可完成训练并用于指导新的的交易。并没有很复杂的东西。 接着学习了DNN + CNN,也是按照: 先熟悉工具(

  • w.z.
3 min read
work remote

聚合器-work remotely专题

关于远程工作/分布式工作的一切。 重点 一个分布式的办公场地是构建公司最高效的方式 WordPress.com、Jetpack和WooCommerce的母公司Automattic的CEO Matt分享分布式办公的概念和实践经验: 在新的窗口中观看(中英字幕)   gitlab - 一家完全以远程办公存在的公司 看,人家的概念和实践经验。   还有,你正在读的这篇博文所使用的博客系统是ghost,也是一个以远程办公存在的公司 Our virtual headquarters is in Singapore, but we're a fully remote team spread all over

  • w.z.
1 min read
strategies

一个交易策略的诞生(二):消失的艺术

本文讲述行情不好时从市场中消失的重要性, 所以 “消失的艺术” 意思是 the art of "be gone"(教你如何消失), 不是lost art(不复存在的艺术)。 接上一期研究《一个交易策略的诞生》 。 回顾上一期的研究: ✅ 使用个股自身的均线过滤 ⬜️ 使用大盘指数的均线过滤 ⬜️ 使用个股自身的MACD指标过滤 ⬜️ 使用大盘指数的MACD指标过滤 ⬜️ 使用个股自身的ADX指标过滤 ⬜️ 使用大盘指数的ADX指标过滤 发现关于探测大趋势的指标选择上的研究才完成了1/6 。 没关系,这并不是重点,也不影响我们这一期的研究。 在上一期中 发现胜率小于50%, 也就是说超过50%的交易是亏损的,

  • w.z.
7 min read
Docker

一条大路(捷径)通罗马:一种利用docker进行微服务架构的可行方案

当我们要做一件的常常发现有诸多的方法和工具可以实现,也就是"条条大路通罗马", 寻找最优工具和方法的过程也会花费很多精力和时间,有一种“明明知道条条大路通罗马,却不知道接下来怎么走的感觉” 。在微服务架构方案中也何尝不是如此! 本文隐去了漫漫长途的探索和横向对比,直接给出其中一种可行方案,也是通往罗马的捷径。 本文默认读者朋友至少研究过微服务(可以没有真实使用过),了解微服务架构的基本概念,和单体的不同,以及需要address的issue。 如果没有,可以尝试先读: Microservice Architecture (Examples and Diagram) Introduction to microservices architectures monolith-vs-microservices 7 Things to

  • w.z.
14 min read
策略研究

一个交易策略的诞生

简单了解一下量化交易 如果你对量化交易的概念还不是很熟悉,可以先阅读 一张煎饼果子告诉你什么是程序化交易、算法交易、量化投资、高频交易、 统计套利,留意文末煎饼果子的比喻。 如何设计量化交易策略? 已经讲得很明白了。看完文字介绍,下面我们来动手演示一下整个过程。 开始 下面开始使用abupy回测引擎演示 ,关于 abupy研究的环境的搭建,请参阅《以量化金融研究工具为例: Docker到底给开发人员/测试工程师/数据科学家带来了什么?》 第一步,利用现成指标构建逻辑 上面的文章《如何设计量化交易策略?》提到的第一步是利用现成指标构建逻辑。 好的,我们先去找一个现有的技术指标,我找到了一个cci顺势指标。 根据文中的介绍,cci指标的用法是这样子的: 1、

  • w.z.
14 min read
quant finance

以量化金融研究工具为例: Docker到底给开发人员/测试工程师/数据科学家带来了什么?

我们经常看到关于docker的介绍,例如: https://us-west-2.console.aws.amazon.com/ecs/home?region=us-west-2#/getStarted 例如: https://www.aliyun.com/product/eci https://www.aliyun.com/product/containerservice# 听起来都很牛B! 但是在日常工作中docker给我们带了来什么呢? 假如使用docker之前每天的工作是996.icu, 使用docker之后也是996.icu, 那么我们为什么还要学习和使用一个新的工具呢?

  • w.z.
14 min read
code and tool chain

V.S. 学习法之Python快速上手

V.S. 学习法也称之为比较学习法,是笔者总结的一种学习法, 通过将我们熟悉的事物和我们要学习的事物做比较来快速认识要学习的事物,有点像语文老师所说的比喻。下面我们通过V.S. 学习法快速学习Python。如果你已经掌握任何一门编程语言。。。Python 基本语法:更多#1: https://zhuanlan.zhihu.com/p/35696526更多#2:https://github.com/FavioVazquez/ds-cheatsheets#python关于Import的详尽解析(是的,新手可以被一个import搞死):https://chrisyeh96.github.io/

  • w.z.
1 min read
Docker

更新docker知识体系

这个blog  entry是跟踪docker技术发展的, 会时不时更新, 当有新的内容要发布时会追加到这篇文章,而不会另起一篇。update @ 2019-05-10发现微软推出了 Container Instances 服务, 使用azure cli工具就可以很方便的运行容器应用,创建swarm / k8 集群,把ecs加入集群等步骤是无需关心的。阿里云ECI发现阿里云推出了 eci   (Elastic Container Instance),是 Serverless 和容器化的弹性计算服务。无需管理底层 ECS 服务器,只需要提供打包好的镜像,即可运行容器。和之前容器服务相比,连创建swarm / k8 集群,

  • w.z.
1 min read

B4 You Start a New Project ...

一个开发项目从立项到结束需要做许多事情,需求分析、梳理抽象、系统/模块划分、服务化、数据结构设计、前后端架构、技术架构、运维、监控等等,它涉及抽象、架构、设计、评估、攻关、调优、团队培训等等。 生命周期 开始的阶段,我们需要非常快速的建立原型,让它跑起来,引入最终用户来试用,这个时候,挑战来自开发速度以及可复用资产。 项目管理 , 信息保密 不能全部开发人员都能拿到整个项目的代码和数据库设计 商业智能(BI) 为未来的商业智能团队打好基础,项目一上线就做好数据采集。 Quality

  • willden zhu
4 min read
Docker

Apt-get, Npm,Composer, Docker 等国内加速镜像大集合

[email protected] 这里有大多数常用的镜像 : https://mirrors.tuna.tsinghua.edu.cn/help/debian/ python pip: https://yq.aliyun.com/articles/652884 常常为了等 Npm install , Composer update 完成, 以为喝杯咖啡回来就完成了, 或者以为晚上下班不关电脑,难道明天回来上班时还没完成! 然后第二天来了 ... 生命岂能浪费在此! 来,我们用国内镜像加速: Apt-get

  • willden zhu
2 min read
Docker

5分钟搭建 Mysql 读写分离,跨节点分表神器-kingshard

就在两三年前还觉得 Mysql 读写分离,分库分表还是大神们搞的东东,动不动就是TB级数据,动不动就是大集群。 2015年kingshard出现了, docker开始流行了, 然后使用docker搭建kingshard仅需5分钟: git clone https://github.com/struCoder/docker-mysql-cluster.git . 根据需要编辑 docker-compose.yaml 和 ks1.yaml, 然后 docker-compose up -d 就是这么简单! kingshard: https://segmentfault.com/a/

  • willden zhu
1 min read
Business Analytics

【笔记片段】经济学的本质和人生

最近学商业分析时发现需要经济学基础,然后学了一些经济学知识。这是学习笔记片段。 产业链也是一条财富链,每一个城市都处于一个节点,你的位置决定了你的价值和财富。 我们以纺织服装为例做一个说明:新疆的“棉花”先运到山东,在山东做成“纱线”,山东的“纱线”再运到“江浙”做成面料,这些面料再运到广东做成“服装”,然后再贴上各大品牌的标签,我们身上的每一件衣服都是这样做出来的。 从“棉花”到“纱线”是初级加工,这是劳动密集型生产,从“纱线”到“面料”是深度加工,需要染色、

  • willden zhu
5 min read

[转载的]创业公司的产品开发与团队管理

这篇是转载的, 因为原文来自一个pdf,所以无法注明出处。 一般来说,创业公司规模 小,人员少,没有大公 司的官僚作风。而官僚作风是 很害人的东西,记得在大公司 时,本来一言 而决的一点 小事,常常因为害怕承担失败 的责任,或参与者(如管项目 或管人的经理们)有意的要突 出自己的影响力或存在感,在 各色人等中往来穿梭,仿佛煞 有介事,经过无数次的会议讨 论却议而不决。而软件工程师 们为配合这样的戏码常常被搞 得焦头烂额,无可适从。

  • willden zhu
14 min read

Subscribe to Life lit up!