code and tool chain

A collection of 12 posts
machine learning

一行command搭建机器学习环境，包括 Tensorflow家族, PyTorch家族, Keras, Sklearn和 Jupyter, VS Code, Tensorboard等开发工具

这篇博文的终极目标不是单纯教大家一行command搭建机器学习环境，它的终极目标展示docker的威力，让大家早日离开“解放前”的日子，早日投入docker的环抱。 docker是什么? Docker allows you to package an application with all of its dependencies into a standardised unit for software development. 先演示一行command版 确保docker已经在本地机器安装并处于运行中，然后在控制台执行: docker run -d -p 8080:8080 --name "ml-workspace" -v "${PWD}:/workspace" --env --shm-size 512m --restart always mltooling/ml-workspace:latest 稍等几分钟（首次运行需要下载2G左右的镜像文件）
5 min read
machine learning

关于机器学习任务分层降难度的思考

笔者是研究量化交易的，使用标榜机器学习的量化交易框架Abupy。 所以前段时间学习的历程是这样的： * 从KNN开始学习基础概念、工具和术语 -> 学习评估指标(ROC曲线、AUC、F1、召回率等) 和模型调试方法 -> 尝试各家学说(逻辑分类、决策树、svm、以及多种模型融合)提高模型评分。 * 回到Abupy，发现我们只要了解svm，按照一个固定模式（继承一个Python class并实现抽象方法）提供描述特征的class，Abupy框架即可完成训练并用于指导新的的交易。并没有很复杂的东西。 * 接着学习了DNN + CNN，也是按照： 先熟悉工具(Keras + TensorFlow和Caffe)和术语 -> 学习评估指标和模型调试方法 -> 尝试各家学说提高模型评分 的套路。结果发现DNN + CNN擅长图片等2D、3D数据场景，在量化金融领域暂时找不到用武之地。 * 目前在研究RNN，在寻找RNN在时间序列数据强大能力是否能服务于量化金融。可能会参考Ernest P. Chan 的《Machine
3 min read
Docker Featured

一条大路(捷径)通罗马：一种利用docker进行微服务架构的可行方案

当我们要做一件的常常发现有诸多的方法和工具可以实现，也就是"条条大路通罗马"， 寻找最优工具和方法的过程也会花费很多精力和时间，有一种“明明知道条条大路通罗马，却不知道接下来怎么走的感觉” 。在微服务架构方案中也何尝不是如此！ 本文隐去了漫漫长途的探索和横向对比，直接给出其中一种可行方案，也是通往罗马的捷径。 本文默认读者朋友至少研究过微服务（可以没有真实使用过），了解微服务架构的基本概念，和单体的不同，以及需要address的issue。 如果没有，可以尝试先读： Microservice Architecture (Examples and Diagram) [https://www.devteam.space/blog/microservice-architecture-examples-and-diagram/] Introduction to microservices architectures [https://docs.microsoft.com/en-us/azure/architecture/microservices/introduction] mo
14 min read
quant finance Featured

以量化金融研究工具为例: Docker到底给开发人员/测试工程师/数据科学家带来了什么？

我们经常看到关于docker的介绍，例如： https://us-west-2.console.aws.amazon.com/ecs/home?region=us-west-2#/getStarted 例如： https://www.aliyun.com/product/eci https://www.aliyun.com/product/containerservice# 听起来都很牛B! 但是在日常工作中docker给我们带了来什么呢？ 假如使用docker之前每天的工作是996.icu, 使用docker之后也是996.icu, 那么我们为什么还要学习和使用一个新的工具呢？ 本文展示一下在docker下的日常工作是什么样的，让你决定要不要学这个强大的新工具。 本文只演示docker对我们日常工作的改变，并不讲解docker的底层原理，for that, 请参阅: 如何搞懂容器的核心技术点？ [https://mp.weixin.qq.com/s?__biz=MjM5MjAwODM4MA==&mid=
14 min read
code and tool chain

V.S. 学习法之Python快速上手

V.S. 学习法也称之为比较学习法，是笔者总结的一种学习法， 通过将我们熟悉的事物和我们要学习的事物做比较来快速认识要学习的事物，有点像语文老师所说的比喻。 下面我们通过V.S. 学习法快速学习Python。 如果你已经掌握任何一门编程语言。。。 Python 基本语法： 更多#1： https://zhuanlan.zhihu.com/p/35696526 更多#2：https://github.com/FavioVazquez/ds-cheatsheets#python 关于Import的详尽解析（是的，新手可以被一个import搞死）： https://chrisyeh96.github.io/2017/08/08/definitive-guide-python-imports.html 吐槽糟糕的包管理工具pip：https://realpython.com/pipenv-guide/ 关于Web框架的选择：https://steelkiwi.com/blog/
1 min read
Docker

更新docker知识体系

这个blog  entry是跟踪docker技术发展的， 会时不时更新， 当有新的内容要发布时会追加到这篇文章，而不会另起一篇。 update @ 2019-05-10 发现微软推出了 Container Instances [https://azure.microsoft.com/en-us/services/container-instances/]服务， 使用azure cli工具就可以很方便的运行容器应用，创建swarm / k8 集群，把ecs加入集群等步骤是无需关心的。 阿里云ECI 发现阿里云推出了 eci   （Elastic Container Instance） [https://www.aliyun.com/product/eci?spm=5176.54417.1280361.103.64142459pkr2dw]，是 Serverless 和容器化的弹性计算服务。无需管理底层 ECS 服务器，只需要提供打包好的镜像，即可运行容器。
1 min read