# actor-critic代码逐行解析（tensorflow版）

## 深度强化学习算法actor-critic代码逐行解析（tensorflow版）

Critic网络继承了Q-learning 的传统，依然可以逐步更新。

[En]

There is nothing to say about importing the required packages first.

import numpy as np
import tensorflow as tf
import gym
import matplotlib.pyplot as plt

np.random.seed(2)
tf.set_random_seed(2)

OUTPUT_GRAPH = False
MAX_EPISODE = 5
DISPLAY_REWARD_THRESHOLD = 200
MAX_EP_STEPS = 500
RENDER = False
GAMMA = 0.9
LR_A = 0.001
LR_C = 0.01

env = gym.make('CartPole-v0')
env.seed(1)
env = env.unwrapped

N_F = env.observation_space.shape[0]
N_A = env.action_space.n


Actor网络

class Actor(object):
def __init__(self, sess, n_features, n_actions, lr=0.001):
self.sess = sess

self.s = tf.placeholder(tf.float32, [1, n_features], "state")
self.a = tf.placeholder(tf.int32, None, "act")
self.td_error = tf.placeholder(tf.float32, None, "td_error")

with tf.variable_scope('Actor'):
l1 = tf.layers.dense(
inputs=self.s,
units=20,
activation=tf.nn.relu,
kernel_initializer=tf.random_normal_initializer(0., .1),
bias_initializer=tf.constant_initializer(0.1),
name='l1'
)

self.acts_prob = tf.layers.dense(
inputs=l1,
units=n_actions,
activation=tf.nn.softmax,
kernel_initializer=tf.random_normal_initializer(0., .1),
bias_initializer=tf.constant_initializer(0.1),
name='acts_prob'
)

with tf.variable_scope('exp_v'):
log_prob = tf.log(self.acts_prob[0, self.a])
self.exp_v = tf.reduce_mean(log_prob * self.td_error)

with tf.variable_scope('train'):

def learn(self, s, a, td):
s = s[np.newaxis, :]
feed_dict = {self.s: s, self.a: a, self.td_error: td}
_, exp_v = self.sess.run([self.train_op, self.exp_v], feed_dict)
return exp_v

def choose_action(self, s):
s = s[np.newaxis, :]
probs = self.sess.run(self.acts_prob, {self.s: s})
return np.random.choice(np.arange(probs.shape[1]), p=probs.ravel())


1、两个全连接层网络，一层神经元的个数为20个，第二层的输入是第一层l1的输出。
3、训练步骤。喂入动作，状态。和td误差即可。
4、选择动作.

Critic网络

[En]

Enter the discount reward for the current status, current award, and next status:

class Critic(object):
def __init__(self, sess, n_features, lr=0.01):
self.sess = sess

self.s = tf.placeholder(tf.float32, [1, n_features], "state")
self.v_ = tf.placeholder(tf.float32, [1, 1], "v_next")
self.r = tf.placeholder(tf.float32, None, 'r')

with tf.variable_scope('Critic'):
l1 = tf.layers.dense(
inputs=self.s,
units=20,
activation=tf.nn.relu,

kernel_initializer=tf.random_normal_initializer(0., .1),
bias_initializer=tf.constant_initializer(0.1),
name='l1'
)

self.v = tf.layers.dense(
inputs=l1,
units=1,
activation=None,
kernel_initializer=tf.random_normal_initializer(0., .1),
bias_initializer=tf.constant_initializer(0.1),
name='V'
)

with tf.variable_scope('squared_TD_error'):
self.td_error = self.r + GAMMA * self.v_ - self.v
self.loss = tf.square(self.td_error)
with tf.variable_scope('train'):

def learn(self, s, r, s_):
s, s_ = s[np.newaxis, :], s_[np.newaxis, :]

v_ = self.sess.run(self.v, {self.s: s_})
td_error, _ = self.sess.run([self.td_error, self.train_op],
{self.s: s, self.v_: v_, self.r: r})
return td_error



1、两个全连接层网络，一层神经元的个数为20个，第二层的输入是第一层l1的输出。可以发现这个输出只有一维度。就是a做这个动作的奖励。
2、loss：时间差分值的平方（取出下一时刻的动作的奖励）
.

sess = tf.Session()
actor = Actor(sess, n_features=N_F, n_actions=N_A, lr=LR_A)
critic = Critic(sess, n_features=N_F, lr=LR_C)
sess.run(tf.global_variables_initializer())

if OUTPUT_GRAPH:
tf.summary.FileWriter("logs/", sess.graph)
track_r = []

for i_episode in range(MAX_EPISODE):
s = env.reset()
t = 0

while True:
if RENDER: env.render()
a = actor.choose_action(s)
s_, r, done, info = env.step(a)
if done: r = -20

track_r.append(r)
td_error = critic.learn(s, r, s_)
actor.learn(s, a, td_error)
s = s_
t += 1

if done or t >= MAX_EP_STEPS:

ep_rs_sum = sum(track_r)
if 'running_reward' not in globals():
running_reward = ep_rs_sum
else:
running_reward = running_reward * 0.95 + ep_rs_sum * 0.05
if running_reward > DISPLAY_REWARD_THRESHOLD: RENDER = True
print("episode:", i_episode, "  reward:", int(running_reward))
break



Original: https://blog.csdn.net/u014136435/article/details/123585523
Author: Blackquiten
Title: actor-critic代码逐行解析（tensorflow版）

(0)

### 大家都在看

• #### Verilog语言编写 RGB文件转YCbCr模块

YCbCr是色彩空间的一种，通常会用于影片中的影像连续处理，或是数字摄影系统中。Y(luminance)为颜色的亮度和浓度、Cb（chrominance-blue）为蓝色色度分量，…

人工智能 2023年6月22日
0143
• #### 几个有趣且有用的Python自动化脚本

文 | 闲欢 来源：Python 技术「ID: pythonall」 最近好多人都在吐槽打工人好难，最近尤其难！ 谁说不是呢？ 以前大家自己买热水壶烧水泡茶喝，几排工位共用一个，方…

人工智能 2023年7月18日
0181
• #### 目标检测 YOLOv5 – 如何提高模型的指标，提高精确率，召回率，mAP等

目标检测 YOLOv5 – 如何提高模型的指标，提高精确率，召回率，mAP等 flyfish 文中包括了YOLOv5作者分享的提高模型指标小技巧和吴恩达（Andrew …

人工智能 2023年6月16日
0178
• #### python pandas使用技巧积累

pandas是python比较优异的处理数据的模块，可用来读取csv、excel（xls，xlsx需要借助其他的模块，pandas负责调用） 1、创建DataFrame pd.Da…

人工智能 2023年7月8日
0116
• #### 图神经网络（10）- relational GCN

目录 Heterogeneous Graphs（异质图）——有多种类型的边 relational GCN 一种关系的有向图 有多种关系的有向图 总结 摘要：从普通的GNN拓展到可以…

人工智能 2023年6月10日
0173
• #### Anaconda及pytorch详细安装及使用教程

Anaconda的介绍 Anaconda指的是一个开源的Python发行版本，其包含了conda、Python等180多个科学包及其依赖项。 因为包含了大量的科学包，Anacond…

人工智能 2023年7月22日
0155
• #### 基于普遍应用市场需求，有开发一系列电动牙刷专用芯片及方案

功能描述 市场应用 FS9855 1.5V 单节电池电动牙刷专用芯片 SOP8 ，on/off 功能，两档模式、两LED 指示灯、30S 提示2M 自动关机 电池牙刷市场，儿童电动…

人工智能 2023年5月27日
0229
• #### PyTorch深度学习实践概论笔记8练习-kaggle的Titanic数据集预测（一）数据分析

人工智能 2023年6月11日
0159
• #### 召回算法演进总结(上)

召回，推荐系统的奠基者，拍脑袋的集大成者，业务效果的画线者。他决定了你最终能看到的内容的最大集合，他也决定了这次展示的业务体验。 文章目录 * – 非个性化召回 &#8…

人工智能 2023年7月17日
0143
• #### 人工智能导论实验3——汉诺塔&八皇后问题

人工智能导论实验——汉诺塔&八皇后问题 目录 人工智能导论实验——汉诺塔&八皇后问题 一、汉诺塔问题 二、八皇后问题 实验目的及要求： 本项目要求能够理解人工智能的…

人工智能 2023年7月27日
0116
• #### 数据分析与挖掘简单快速介绍

第一章 数据分析与挖掘引入 一.什么是数据分析与挖掘 数据分析说白了，就是基于搜集到的已有数据，应用数学、统计、计算机等各方面的知识抽取出数据所包含的信息的过程。 Tips：一般来…

人工智能 2023年6月11日
0136
• #### 【Unity】Entities 1.0 学习（一）：Aspect

Unity在 2022年下半年（我印象是9月份左右）推出了 Entities 1.0 ，可以在 2022.2.0b8 以上的版本使用。当时我粗略地看了一下，但是没有深入学习。最近空…

人工智能 2023年6月26日
0156
• #### 《MATLAB语音信号分析与合成（第二版）》：第8章 基音周期的估算方法

《MATLAB语音信号分析与合成（第二版）》：第8章 基音周期的估算方法 前言 1. 数据与函数路径设置 2. MATLAB仿真一：基音周期提取的预处理 3. MATLAB仿真二：…

人工智能 2023年5月25日
0215
• #### 回归预测 基于ELMAN递归神经网络预测及其matlab代码实现

文章目录 1. ELMAN神经网络的简介和算法描述 * 1.1 Elman网络介绍 1.2 Elman结构组成 1.3 ELMAN训练界面的参数解读 2. 建立ELMAN神经网络的…

人工智能 2023年7月12日
0137
• #### yaml基础知识

Yaml基础知识 Author：Onceday Date：2022年11月12日 漫漫长路。有人对你微笑过嘛… 1.简介 YAML 是 “YAML Ain&…

人工智能 2023年6月29日
0184
• #### 计算机基础：声音的相关知识笔记

1、声音的相关概念 模拟声音信号：声波是时间和幅度上连续的模拟信号。 [En] Analog sound signal: sound waves are continuous an…

人工智能 2023年5月27日
0201