马应龙痔疮膏,神笔马良故事,special-家庭互换,感受不同人家的一天

admin 6个月前 ( 06-22 04:30 ) 0条评论
摘要: 在展示模型中,程序的收益率竟达到了惊人的 60 倍。使用它可能让你赚得盆满钵盈,也有可能让你赔得一无所有,颇有些“富贵险中求”的意味。...



来历 | Towards Data Science

编译 | Guoxi

责编 | 乔治

出品 | 区块链大本营(Blockchain_camp)

上个月,AI 工程师 Adam King 结合人工智能在猜测方面得天独厚的优势,提出运用深度强化学习构建加密钱银主动买卖的程序。在展现模型中,程序的收益率竟到达了惊人的 60 倍(只评论技能,无关出资主张)。但在其时,这个展现模型略显粗糙。尽管能取得收益,但它并不安稳。运用它或许让你赚得盆满钵盈,也有或许让你赔得一无一切,颇有些“富有险中求”的意味。不安稳的问题一向困扰着 Adam 小哥,经过一个月的蛰伏,小哥提出将特征工程和贝叶斯优化两大杀器引进模型。这些改善会见效么?收益率又能进步多少呢?一同来看看 Adam 小哥的最新力作吧!


在上一篇文章中,咱们运用深度强化学习创立了一个能够挣钱的比特币主动买卖智能体。尽管这个智能体能够做到主动买卖比特币取得收益,但它的收益率并没有让人眼前一亮,今日咱们会大幅度改善这个比特币买卖智能体,然后进步它的收益率

需求留意的是,本篇文章的意图是测验当下最先进的深度强化学习技能是否能与区块链相结合,创造出一个能够盈余的比特币主动买卖智能体。现在看来业界都还没有意识到深度强化学习在主动买卖方面强壮的潜力,反而以为它并不是一个“能用来构建买卖算法的东西”。不过,深度学习范畴的最新开展现已标明,在同一个问题上强化学习智能体一般能够比一般的监督学习智能体学习到更多的特征。

出于这个原因,我做了相关的试验来探求根据深度强化学习的买卖智能体究竟能到达怎样的收益率,当然了,成果也或许会是深度强化学习有着很强的局限性以致于并不适合做买卖智能体,但不去测验谁又知道成果怎么呢?

首要,咱们将会改善深度强化学习模型的战略网络( policy network )并使输入数据变得平稳,以便买卖智能体能在很少的数据中学习到更多的特征。

接下来,咱们将运用当下先进的特征工程办法来改善买卖智能体的调查空间,一同微调买卖智能体的奖赏函数( reward function )以协助它发现更好的买卖战略。

终究,在练习并测验买卖智能体取得的收益率之前,咱们将运用贝叶斯优化的办法来寻觅能最大化收益率的超参数

前方高能,系好安全带,让咱们开端这场干货满满的探索之旅吧。


关于深度强化学习模型的改善

在上一篇文章中,咱们现已完成了深度强化学习模型的基本功能,

GitHub 地址:

https://github.com/notadamking/Bitcoin-Trader-RL

燃眉之急是进步深度强化学马应龙痔疮膏,神笔马良故事,special-家庭交换,感触不同人家的一天习智能体的盈余才能,换句话说便是要对模型进行一些改善。

循环神经网络(Recurrent Neural Network,RNN)

咱们需求做的第一个改善便是运用循环神经网络来改善战略网络,也便是说,运用长短期回忆网络( Long Short-Term Memory ,LSTM )网络代替之前运用的多层感知机( Multi-Layer Perceptron,MLP )网络。因为循环神经网络跟着时刻的推移能够一向坚持内部状况,因而咱们不再需求滑动“回忆窗口“来捕捉价格变化之前的行为,循环神经网络的循环实质能够在运转时主动捕捉这些行为。在每个时刻步长中,输入数据会集的新一个数据与上一个时刻步长的输出会被一同输入到循环神经网络中。

因而长短期回忆网络能够一向坚持一个内部状况。在每个时刻步长中,智能领会新记住一些新的数据联系,也会遗忘一些之前的数据联系,这个内部状况也就会随之更新。

循环神经网络会接纳上一个时刻步长的输出


循环神经网络怎么处理上一个时刻步长的输出与这一个时刻步长的输入


长短期回忆网络完成代码 LSTM_model.py


介于循环神经网络关于内部状况得天独厚的优势,在这儿,咱们运用长短期回忆网络战略更新了近端战略优化 PPO2 模型

数据平稳性

在上一篇文章中我曾指出比特币买卖的数据对错平稳的(Non-Stationary,即存在一些趋势,而不能仅仅看作是随机的动摇),因而,任何机器学习模型都难以猜测未来。

平稳时刻序列是均匀值,方差和自相联系数(与其本身的滞后相关)都稳定的时刻序列。


而且,加密钱银价格的时刻序列有着很明显的趋势和时节效应(时节效应是指与时节相关联的股市非正常收益,是股市中的一种“异像”,是与商场有用性相悖的状况),这两者都会影响算法对时刻序列猜测的精确率,所以在这儿,咱们需求运用差分和改换的办法来处理输入数据,从现有的时刻序列中构建一个正常的数据散布来处理这个问题。

从原理上来说,差分进程便是给恣意两个时刻步长内加密钱银币价的导数(即收益率)做差值。在抱负状况邹继富下,这样做能够消除输入时刻序列中存在的趋势,可是,差分处理对时节效应并不见效,处理后的数据依然具有很强的时节效应。这就需求咱们在差分处理之前进行对数处理来消除它,经过这样的处理终究咱们会得到平稳的输入时刻序列,如下方右图所示。


从左到右别离为:加密钱银的收盘价,差分处理后的收盘价,对数处理和差分处理后的收盘价

对数处理和差分处理的代码 diff_and_log_time_series.py


处理后的输入时刻序列平稳性怎么,咱们能够使马应龙痔疮膏,神笔马良故事,special-家庭交换,感触不同人家的一天用增广迪基-福勒查验喜丽康( Augmented Dickey-Fuller test )验证一下。

运转以下代码:

增广迪基-福勒查验的代码 adfuller_test.py


咱们得到的 p 值为 0.00 ,这意味着咱们回绝假定查验中的零假定并承认处理后的输入宁丹琳被打时刻序列是平稳的

咱们能够运转上面的增广迪基-福勒查验代码来查验输入时刻序列的平稳性。

在完成了这项作业之后,接下来咱们将运用特征工程的办法进一步优化买卖智能体的调查空间


特征工程

为了进一步进步买卖智能体的收益率,咱们需求做一些特征工程。

特征工程是运用该范畴常识来生成额定的输入数据然后优化机器学习模型的进程。


详细到买卖智能体,咱们将在输入数据会集添加一些常见且有用的技能方针,以及 Python 数据剖析程序库 StatsModels 中时节效应猜测模型 SARIMAX 的输出。这些技能方针会为咱们的输入数据集带来一些相关的,但或许会滞后的信息,这些信息能大大进步买卖智能体猜测的精确性。这些优化办法的组合能够为买卖智能体供给一个十分好的调查空间,让智能体学习到更多的特征,然后取得更多的收益。

技能剖析

为了挑选技能方针,咱们将比较 Python 技能剖析库 ta 中可用的一切 32 个方针( 58 个特征)的相关性。能够运用数据剖析东西 pandas 来核算相同类型的各个方针(如动量,体积,趋势,动摇率)之间的相关性,然后在每种类型中仅挑选最不相关的方针作为特征。这样,就能够在不给调查空间带来过多噪音搅扰的状况下,最大程度地开掘这些技能方针的价值。

运用 Python 高档可视化库 seaborn 做出的比特币数据集上技能方针相关性的热力求


成果显现,动摇率方针以及一些动量方针都是高度相关的。在删去一切重复的特征(每个类型中相关性的肯定均匀值大于 0.5 的特征)之后,咱们将剩下的 38 个技能特征添加到买卖智能体的调查空间中。

在代码中,咱们需求创立一个名为 add_indicators(添加方针)的函数来将这些特征添加到数据帧中,为了防止在每个时刻步长中重复核算这些特征,咱们只在买卖智能体环境初始化的进程中调用 add_indicators 函数。

买卖智能体环境初始化的代码 initialize_env.py


在这儿,初始化买卖智能体环境,在进行数据平稳性处理之前将特征添加到了数据帧中。


统计剖析

接下来咱们需求添加猜测模型。

因为时节效应自回归移动均匀模型(Seasonal Auto Regressive Integrated Moving Average,SARIMA)能够在每个时刻步长中快速核算价格的猜测值,在平稳数据会集运算十分精确,因而咱们运用它来进行加密钱银币价猜测。

除了上述这些长处之外,该模型完成起来十分简略,它还能够给出猜测值的置信区间,一般状况下这比独自给出一个猜测值能供给更多的信息。就比如说,当置信区间较小时,买卖智能体就会更信任这个猜测值的精确性,当置信区间很大时买卖智能体就知道要承当更大的危险。

参加 SARIMA 猜测模型的代码 add_sarimax_predictions.py


这儿咱们将 SARIMAX 猜测模型和置信区间添加到买卖智能体的调查空间中。

现在咱们现已运用功能更好的循环神经网络更新了战略,并运用特征工程的办法改善了买卖智能体的调查空间,是时分优化其他的部分了。


奖赏优化

有些人或许会觉得上一篇文章中的奖赏函数(即奖赏财物总价值不断添加)现已是最好的处理方案了,可是,经过进一步的研讨我发现奖赏函熔火鱿鱼数还有进步的空间。尽管咱们之前运用的简略奖赏函数现已能够取得收益,但它给出的出资战略十分不安稳,往往会导致财物的严重丢失。为了改善这一点,除了考虑赢利的添加以外,咱们还需求考虑其他奖赏的方针。

奖赏方针的一个简略改善便是,不仅仅奖赏在比特币价格上涨时持有比特币带来的赢利,还奖赏在比特币价格跌落时兜售比特币而防止的丢失。就比如说,咱们能够奖赏智能体买入比特币而总财物添加的行为,以及卖出比特币防止总财物削减的行为。

尽管这种奖赏方针在进步收益率方面十分超卓,但这样做并没有考虑到高回报带来的高危险。出资者早已发现这种简略出资战略背面存在的缝隙,并将其改善成一种危险可调理的马应龙痔疮膏,神笔马良故事,special-家庭交换,感触不同人家的一天奖赏方针。

根据动摇率的奖赏方针

这种危险可调理的奖赏方针中的典型便是夏普比率(Sharpe Ratio,又被称为夏普指数)。它核算的是特定时刻段内出资组合的超量收益与动摇性的比率。详细的核算公式如下:


夏普比率的核算公式:(出资组合的收益-大盘的收益)/出资组合的标准差


从公式中咱们能够得出,为了坚持较高的夏普比率,出资组合有必要一同保证高收益和低动摇性(也便是危险)龙火战神。

作为一种奖赏方针,夏普比率饱尝住了时刻的检测,但它关于主动买卖智能体来说并不是很完美,因为它会对上行标准差( upside volatility )发生晦气影响,而在比特币买卖环境中有时咱们需求运用上行标准差,因为上行标准差(即比特币价格张狂上涨)一般都是很好的时机窗口。

而运用索提诺比率( Sortino Ratio )能够很好地处理这个问题。索提诺比率与夏普比率十分类似,仅仅它在危险上只考虑了下行标准差,而不是全体标准差。因而,索提诺比率并不会对上行标准差发生什么晦气影响。因而咱们给买卖智能体的第一条奖赏方针就挑选索提诺比率,它的核算公式如下:

索提诺比率的核算公式:(出资组合的收益-大盘的收益)/出资组合的下行标准差


其他奖赏方针

咱们挑选 Calmar 比率作为买卖智能体的第二个奖赏方针。到现在为止,咱们一切的奖赏方针都没有考虑到比特币币价最大回撤率(drawdown)这个关键因素。

最大回撤率是指武汉艳丽艺校比特币币价从价格高峰到价格低谷之间的价值差,用来描绘买入比特币后最糟糕的状况。


最大回撤率对咱们的出资战略来说是丧命的,因为只需一次币价忽然跳水,咱们长时刻累积的高收益就会荡然无存。

最大回撤率


为了消除最大回撤率带来的负面影响,咱们需求选用能够处理这种状况的奖赏方针,就比如说选用 Calmar 比率。该比率与夏普比率类似,仅仅它将分母上出资组合的标准差替换为最大回撤率。


Calmar 比率的核算公式:(出资组合的收益-大盘的收益)/最大回撤率


咱们终究一个奖赏方针是在对冲基金职业中广泛运用的 Omega 比率。从理论上来说,在衡量危险与收益时,Omega 比率应该优于 Sortino 比率和 Calmar 比率,因为它能够在张褀忠单个方针中运用收益的散布来评价危险。

核算 Omega 比率时,咱们需求别离核算在特定基准之上或之下出资组合的概率散布,然后两者相除核算比率。Omega 男孩都想有辆车比率越高,比特币上涨潜力超越跌落潜力的概率就越高。


Omege 比率的核算公式


Omega 比率的核算公式看起来很杂乱,不过不要忧虑,在代码中完成它并不难


代码完成

尽管说编写每个奖赏方针的代码听夫君仅有的名贵起来很有意思且很有挑战性,但这儿为了便利咱们的了解,我挑选运用 Python 量化闵奉坐标金融程序包 empyrical 来核算它们。走运的是,这个程序包中刚好包含了咱们上面界说的三个奖赏方针,因而在每个时刻步长中,咱们只需求将该时刻段内收益和大盘收益的列表发给 Empyrical 函数,它就会回来这三个比率。


运用 empyrical 程序包核算三个奖赏方针的代码 risk_adjusted_reward.py


在代码中,咱们经过预先界说的奖赏函数设置了每个时刻步长的奖赏。

到现在为止,咱们现已确认了怎么衡量一个买卖战略的成功与否,现在是时分弄清楚哪些方针会带来较高的收益。咱们需求将这些奖赏函数输入到主动超参数优化软件结构 Optuna 中,然后运用贝叶斯优化来的办法为输入数据集寻觅最优的超参数。


东西集

俗话说,好马配好鞍。任何一个优异的技能人员都需求一套好用的东西,不然就会巧妇难为无米之炊。

但我并不是说咱们要重复造轮子,咱们应该学会运用程序员长辈用秃头的价值为咱们开发的东西,这样他们的作业也算没有白搭。关于咱们所开发的买卖智能体,它要用到的最重要的东西便是主动超参数优化软件结构 Optuna,从原理上来说,它运用了树结构的 Parzen 窗估量(Tree-structured Parzen Estimators,TPEs)来完成贝叶斯优化,而这种估量办法是能够并行化运转的,这使得咱们的显卡有了用武之地,履行查找需求的时刻也会大大缩短。简而言之,

贝叶斯优化是一种查找超参数空间以找到能最大化给定方针函数的超参数的高效处理方案。

也便是说,贝叶斯优化能够有用地改善任何黑箱模型。从作业原理上来说,贝叶斯优化经过运用代替函数( surrogate functions )或是代替函数的散布对要优化的方针函数进行建模。跟着时刻的推移,算法不断地检索超参数空间以找到那些能够最大化方针函数的超参数,散布的作用也会逐步改善。

理论说了这么多,咱们要怎么把这些技能使用在比特币主动买卖智能体中呢?从实质上来讲,咱们能够运用这种技能来找到一组最优的超参数,使得智能体的收益率最高。这个进程就像是在超参数的汪洋大海中抓取一根作用最好的针,而贝叶斯优化便是带咱们找到这根针的磁铁。让咱们开端吧。

运用 Optuna 优化超参数并不是什么难事。

首要,咱们需求创立一个 optuna 实例,也便是装载一切超参数试验的容器。在每次试验中咱们需求调整超参数的设置来核算方针函数相应的丢失函数值。在实例初始化完成后,咱们需求向其间传入方针函数然后调用 study.optimize() 函数开端优化,Optuna 将运用贝叶斯优化的办法来寻觅能够最小化丢失函数的超参数装备。


运用 Optuna 程序库贝叶斯优化的代码 optimize_with_optuna.py


在这个比如中,方针函数便是在比特币买卖环境中练习并测验智能体,而方针函数的丢失值则界说为测验期间智能体均匀收益的相反数,之所以给收益值加上负号,是因为均匀收益越高越好,而在 Optuna 看来丢失函数越低越好,一个负号刚好处理这个问题。optimize 优化函数为方针函数供给了试验方针,代码中咱们能够指定试验方针中的变量设置。

优化方针函数的代码 optimize_objective_fn.py


optimize_ppo2 优化智能体函数和 optimize_envs 优化智能体环境函数接纳试验方针作为输入并回来包含要测验参数的字典。每个变量的查找空间由 suggest 函数进行设置,咱们需求在试验中调用 suggest 函数并给函数中传入指定的参数。

比如说,假如设置参数在对数尺度上遵守均匀散布,即调用函数

trial.suggest_loguniform('n_steps',16,2048),

相当于给函数了一个 16-2048 之间的 2 的指数次方(如16,32,64,…,1024,2048)的新浮点数。

再者,假如设置参数在一般尺度上遵守均匀散布,即调用函数

trial.suggest_uniform('cliprange',0.1,0.4),

相当于给函数一个 0.1 到 0.4 之间的新浮点数(如0.1,0.2,0.3,0.4)。

信任你现已看出来了其间的规则,便是这样来设置变量:

suggest_categorical('categorical',['option_one','option_two']),其间 categorical 为设置变量的战略, option_one 和 option_two 别离为变量的两个选项,在方才的函数中这两个选项为变量的规模,弄懂了这个信任下面的代码就难不倒你了。

化买卖智能体的代码 optimize_ppo2.py


优化买卖环境的代码 optimize_envs.py


代码写好后,咱们在一台高功能服务器上以 CPU/显卡协同运算的办法运转了优化函数。在设置中,Optuna 马应龙痔疮膏,神笔马良故事,special-家庭交换,感触不同人家的一天创立了一个 SQLite 数据库,咱们能够从中加载优化的实例。该实例记录了测验进程中功能最好的一次试验,从中咱们能够推算出智能体买卖环境中魅惑墨眸之白衣驭兽师最优的超参数集。

加载 optuna 实例的代码 load_optuna_study.py


到这儿,咱们现已改善了模型,改善了特搜集,并优化了一切的超参数。但俗话说,是骡子是马得拉出来遛遛。

那么,买卖智能体在新的奖赏方针下体现怎么呢?

在练习进程中,我别离运用了赢利、Sortino 比率、Calmar 比率和 Omega 比率四个奖赏方针来优化智能体。接下来咱们需求在测验环境中查验哪种奖赏方针练习出来的智能体收益最高,当然了,测验环境中的数据都是智能体在练习进程中从未见到过的比特币马应龙痔疮膏,神笔马良故事,special-家庭交换,感触不同人家的一天价格走势,这样保证了测验的公平性。


收益比较

在查看成果之前,咱们需求知晓一个成功的买卖战略是什么样的。出于这个原因,咱们将针对一些常见且有用的比特币买卖战略进行基准测验。令人震惊的是,在曩昔的十年中一个最有用的比特币买卖战略便是买入并持有,而别的两个不错的买卖战略则是运用简略但有用的技能剖析来生成买入/卖出信号,然后辅导买卖。

1、买入并持有

这种买卖战略指尽或许多地购买比特币并一向持有下去(也便是区块链社区中的江湖黑话“ HODL ”)。尽管说这种买卖战略并不是特别杂乱,但在曩昔这样做挣钱的机率很高。

2、相对强弱指数不合(Relative Strength Index(RSI) divergence )

当相对强弱指数继续跌落且收盘价继续上涨时,这便是需求卖出的信号,而当相对强弱指数继续上涨且收盘价继续跌落时,便是需求买入的信号。

3、简略移动均匀线( Simple Moving Average,SMA )穿插

当长时刻简略移动均匀线超越短期简略移动均匀线时,这便是需求卖出的信号,而当短期简略移动均匀线超越长时刻简略移动均匀线时,便是需求买入的信号。

你或许会问,为什么要做这些简略的基准测验呢?这样做是为了经过比较证明咱们的强化学习买卖智能体能够在比特币商场上发挥作用,假如智能体的收益连这些简略的基准收益都超不过,那么咱们就相当于花费了许多的开发时刻和显卡算力来进行了一场天马行空的科学试验。现在,让咱们来证明现实并非如此。


试验成果

咱们的数据集选用从加密钱银数据网站 CryptoDataDownload 上下载的每小时收盘价方位价值( OHCLV )数据,其间前 80% 的数据用来练习智能体,后 20% 作为全新的数据进行测验,以了解智能体的收益才能。当时这种简略的穿插验证方式足以满意咱们的需求,而假如这个比特币主动买卖智能体真的走向出产安排妥当,咱们就能够运用悉数的数据集进行练习,然后在每天新发生的数据集上进行测验。

废话不多说,咱们来看看成果。

能够看到,运用 Omega 比率作为奖赏方针的智能体在测验阶段并没有让人眼前一亮的买卖

运用 Omega 比率作为奖赏方针的智能体在超越 玩子宫3500 小时的买卖时刻里财物的总价值


剖析智能体所进行的买卖咱们能够发现,很明显 Omega 比率这种奖赏方针发生了过度买卖(over-trade)的买卖战略,以致于智能体未能捉住商场时机取得收益。

运用 Calmar 比率作为奖赏方针的智能体与运用 Omega 比率作为奖赏方针的智能体比较略有改善,但终究成果十分类似。看起来像是咱们投入了许多的时刻和精力,仅仅为了让工作变得更糟......

运用 Calmar 比率作为奖赏方针的智能体在超越 3500 小时的买卖时刻里财物的总价值


假如仅运用赢利作为奖赏方针作用怎么呢?在上一篇文章中这种奖赏方针被证明有点失利,这次做的一切修正和优化能否化腐朽为神奇呢?阿里布达时代纪

在为期四个月的测验周期内,运用赢利作为奖赏方针的智能体均匀收益到达账户初始金额的350%。你或许现已被这个成果吓呆了。这应该便是强化学习能到达的巅峰了吧,对吧?

运用赢利作为奖赏方针的智能体在超越 3500 小时的买卖时刻里财物的总价值


并不是这样的。运用 Sortino 比率作为奖赏方针的智能体均匀收益到达了账户初始金额的850%。当我看到这个数字时,我都不敢信任自己的眼睛,以致于我立马回去查看代码中是否存在问题。但经过完全的查看后,很明显代码中没有任何过错,也便是说这赤松贞明些智能体现已知道怎么进行比特币买卖。


运用 Sortino 比率作为奖赏方针的智能体在超越 3500 小时的买卖时刻里财物的总价值


看起来运用 Sortino 比率作为奖赏方针的智能体学习到了在最小化持有比特币危险的前提下贱价买入和高价卖出的重要性,一同它们还躲过了过度买卖和出资缺乏两大圈套。尽管说智能体学到的详细买卖战略咱们不得而知,可是咱们能够清楚地看到智能体现已学会经过买卖比特币取得收益了。

假如你不信,请看下图。



运用 Sortino 比率作为奖赏方针的智能体正在买卖比特币,

其间绿色的三角形表明买入信号,赤色的三角形表明卖出信号。


现在,我并没有被试验成功的振奋冲昏头脑。我清楚地知道比特币主动买卖智能体还远远没有达翡翠鼻祖龙宝宝到出产安排妥当。话虽如此,但这些成果比我迄今为止看到的任何买卖战略都要令人形象深入。而且令人震惊的是,咱们并没有告知智能体关于加密钱银商场怎么运作、怎么在加密钱银商场上挣钱这样的先验常识,而是仅靠智能体重复地试验和试错就到达了这么好的作用,不过,这儿经过了许多许屡次的试验和试错。

写在终究

在本篇文章中,咱们优化了根据强化学习的比特币主动买卖智能体,让它在买卖比特币时做出更好的决议计划,然后取得更多的收益!在这个进程中咱们花费了许多的时刻和精力,也遇到了许多的困难,咱们把困难分化细化再逐一攻破,终究完成了智能体的优化,其间详细的操作过程如下:

  • 运用循环神经网络晋级现有模型,即晋级成运用平稳性数据的长短期回忆网络;
  • 运用范畴常识和统计剖析进行特征工程,为智能体供给了 40 多个用来学习的新特征;
  • 将出资的危险引进智能体的奖赏方针,而不仅仅重视赢利;
  • 运用贝叶斯优化来寻觅模型中最优的超参数;
  • 运用常见的买卖战略进行基准测验,以保证智能体的收益能够跑赢商场。


从理论上来说,这个高收益的买卖智能体现已做得很不错了马应龙痔疮膏,神笔马良故事,special-家庭交换,感触不同人家的一天。

可是,我收到了相当多的反应,他们宣称买卖智能体仅仅在学习拟合曲线,因而,面临出产环境中的实时数据,买卖智能体永久不或许取得收益。尽管咱们在不同数据集上练习/测验智能体绿妈妈的办法应该能够处理这个问题,可是模型的确会有过度拟合数据集的或许,而且或许不会很好地推行到实时数据。话虽这么说,但在我看来这些买卖智能体学习到的远远不仅仅简略的曲线拟合,因而,我以为它们能够在实时买卖的场景中取得收益。

为了查验这个主意,接下来的一段时刻里我会把这些根据强化学习的智能体带到出产环节,为此,咱们首要要更新智能体的运转环境以支撑以太币、莱特币等其他加密钱银,然后咱们将晋级智能体让它能够在加密钱银买卖所 Coinbase Pro 上实时买卖。

这将会是一个激动人心的试验,请不要错失它。

需求着重的是,本篇文章中一切的办法和出资战略都是出于教育意图,不该被视为出资主张。咱们的比特币主动买卖智能体也远远没有到达实践出产层面,所以请管好自己的钱包

参阅资源:

1)根据 Python 言语和 Tensorflow 结构的循环神经网络和长短期回忆网络教程

https://adventuresinmachinelearning.com/recurrent-neural-networks-lstm-tutorial-tensorflow/

2)浅析根据 Python 言语的时节效应自回归移动均匀模型猜测时刻序列

https://machinelearningmastery.com/sarima-for-time-series-forecasting-in-python/

3)浅析根据 Python 言语的非平稳性时刻序列处理

https://www.analyticsvidhya.com/b蛆工会log/2018/09/non-stationary-time-series-python/

4)超参数优化算法会计科目背诵顺口溜

https://papers.nips.cc/paper/4443-algorithms-for-hyper-parameter-optimization.pdf

5)机器学习办法在金融范畴中的最新开展

https://dwz.cn/iUahVt2u


V神来北京啦!6月29-30日,2019第二届以太坊技能及使用大会将在北京重磅敞开,到时V神将携以太坊中心团队与国表里区块链大咖带来很多以太坊开发干货包含

  • 以太坊2.0开展及未来意向
  • 信标链、链下(Layer2)、Casper、Plasma新动态及中心原理
  • 安全、零常识证明、达人秀申林De-Fi、扩容、PoS算法等热门话题
  • 合约开发、Dapp开发、区块链游戏开发与规划、数据存储等技能马应龙痔疮膏,神笔马良故事,special-家庭交换,感触不同人家的一天实践
  • 开发东西与技能选型
  • 国内区块链的开展与以太坊的新机遇


因为干货过于密布,小伙伴们要做好烧脑的心理准备哦!扫描下图二维码立享优惠,名额有限,先到先得!




大会第二天,「以太坊开发练习营」也按期开幕,在前一天很多嘉宾讲演的洗礼之后,再和技能大牛一同 coding !是不是更爽?详细概况如下:


文章版权及转载声明:

作者:admin本文地址:http://www.gayhomexchange.com/articles/1851.html发布于 6个月前 ( 06-22 04:30 )
文章转载或复制请以超链接形式并注明出处家庭互换,感受不同人家的一天