Categories

Academic readings

Dialogue Generation

网站描述

This blog should contains most about stuy, live and “outside display”

中秋快乐

今天very happy。和微软师兄一起聚餐。打了一下德国心脏病。然后又打了一下篮球。gg。很开心就是每学期。标题为最近看的论文。

碎碎念

今天心情很悲伤，昨天的每日一题打卡断了。然后，还有一堆烦心事情。

small talks

post一个，哈哈哈。勇敢jack不怕困难。

Multi model with prompt in visual dialog

组会+调研

宝贝加油

ICME 尝试发文，搞一个多模态的方向论文。

人生第一次做助教√

解决一个心头大患。助教过程还好没掉链子。

口罩，隔离

下周组会要听一听。多读knowledge-based dialogue generation 的文章。Fetch one topic and follow it, try to post one as soon as possble.

读不懂代码de一天

处理完两版数据，先使用VAD技术，将静音的部分虑去。然后通过裁剪，将音频文件从数据规模上扩增。

Everything changed once you know how bad you are.

整理一下，目前领域的模型进展.

check and out the fine-tuning for downstream tasks.

和沐沐警官学一下如何fine tuning

Check openvidial train strategy

导入数据之后，发现不知道如何处理对话信息

女票发工资，普天同庆！

An Interpretable Neuro-Symbolic Reasoning Framework forTask-Oriented Dialogue Generation 论文的原始代码已经恢复，目前正在训练。 就怕是作者心里有鬼，然后有问题。

10.3日学习内容

^_^ Don’t worry about me!

消失了两天的我（王者去了）

短暂的快乐真的让人窒息。v_V

没有属鼠的一天

19世纪意大利经济学家帕累托提出，生活中80%的结果只源于20%的活动。比如，是那20%的客户给你带来了80%的业绩，并创造了80%的利润，世界上80%的财富被20%的人掌握。因此，要把注意力放在20%的关键事情上。

跑通NS_dial的一天。

把embeded的东西搞出来了。可是遇到了OOM。

周末加班

来看看小目标吗？看视频读文章：

回实验室的第一天

^_^ come in and download vivado to do sth. Let’s designing unbeatable chips for P.R.C !

如何使用服务器

😒come in to check it….

科研整理，预计明天解封

zhongchuan的效果显著。5分类准确率99/validation cases

摸鱼到2点才来的一天

恭喜cewu Lu, you are the prode of sjtu. And welcome come to ICAT~

事常与人违 事总在人为

TA training video~

Day 23

add bilibili video to this side. Check it out!

PhotoChat的bert预训练二分类

看一下dialog的paper，借鉴一下load data的技巧。

word2token小进展

Generative response dialogue based on Photochat

Multimodal Dialogue Response Generation 论文精读:

Vision Language model, based on chat

PhotoChat 论文精读:

multi-model dialogue generation

开设一个新的专题，论文精读。然后总结多模态对话系统中的技术，发展现状，以及科研究的点。

做不出来，去开船题

心态稳，才是真的稳，稳则无敌~ 杰克李

transformer torch版本 contributed by Harvard University

恭喜室友找到实习！Envy you but not a bit jealous!

肝s了

自己模型的第一次生成紀念：

[’<EOC>’, ‘<EOC>’, ‘<EOC>’, ‘<EOC>’, ‘<EOC>’, ‘<EOC>’, ‘<EOC>’, ‘<EOC>’, ‘<EOC>’, ‘<EOC>’]

与视觉问答相比，视觉对话不仅要求agent能够参与到一个关于图像的问题中，而且要求agent能够充分利用之前提问和回答的线索。因此，答题者、问题、对话记录和图像之间的互动是产生正确答案的关键

搞一下：https://github.com/CPJKU/EfficientLEAF，可以移植到torch上。

不要闭门造车，多读论文。好不好

最近要做的一些事情

1. 了解增量学习，yt giegie的部分和leaf结合。
2. 将CLIP提取到的visual feature提取出来。
3. 将文字的特征也保存起来。
4. 利用flamingo进行学习。
5. 尝试将diffusiion model用于生成。
6. LI MU 发了一个服务器的更新。看不懂。看的脑袋疼。
7. paper整理高优先级(^o^)/ 我的论文。整理一下。画个图。
8. Tools整理（timer之类的）
9. evaluate 部分写出来。好不好。 ICME2022 trackes:

保存pkl之后，导入数据所需要的时间

• logits to id
• https://github.com/huggingface/transformers/issues/5942

2022-11-01 04:44:18,987 Congruation this is done~, and totally consumed 7.526290858255492 hours

Too painful, and helpless.

my pc have no access to blue tooth, so I can’t try flow on my mx master 3.

Dont treat Leaf as a toolbox, be clever about that.

Leaf 学习

leaf是一种新的PCEN(Per-Channel Energy Normalization)。 整体结构包含：

1. filtering
2. pooling
3. compression/normalization

mx mechanical给了我希望

my pc have no access to blue tooth, so I can’t try flow on my mx master 3.I can have access to flow from pc to my desktop.😘

ddl is April 7

Today topic: 实验室每天打卡

1. l2距离：L2距离又称欧几里得距离（Euclidean distance），是计算两个向量之间距离的一种常见方法。假设有两个n维向量a和b，它们的L2距离d为：

其中，ai和bi分别表示向量a和向量b在第i个维度上的取值。L2距离的计算方法就是将两个向量各个维度上的差值的平方相加后再开方。

L2距离在机器学习中经常用于计算两个样本之间的相似度或距离，特别是在聚类、降维、图像和语音处理等领域中。L2距离具有不依赖于坐标系的优点，因此被广泛应用于各种场景中。

1. Cross-entropy loss（交叉熵损失）是一种用于分类问题的损失函数，常用于神经网络的训练中。在分类问题中，每个样本被赋予一个标签，表示其属于哪个类别。模型通过对样本进行预测，得到每个类别的概率分布，交叉熵损失用于衡量模型的预测结果与真实标签之间的差距。

对于一个分类问题，假设有N个样本和K个类别，每个样本的真实标签用一个长度为K的向量y表示，其中第i个元素表示该样本是否属于第i个类别。模型的预测结果用一个长度为K的向量p表示，表示该样本属于每个类别的概率分布。则交叉熵损失为：

其中，log表示自然对数，*表示向量的点乘运算，sum表示求和运算。可以看出，交叉熵损失将真实标签y和模型的预测结果p作为输入，通过求解两者之间的差距来更新模型参数，使得模型的预测结果更加接近真实标签。

交叉熵损失是一种广泛应用的损失函数，可以用于二分类、多分类、多标签分类等各种场景中。

1. 自监督学习（self-supervised learning）是指在无标注数据上进行的学习，通过模型自己生成标签或者利用数据本身的属性进行监督，从而学习到有用的特征表示。相比之下，有监督学习（supervised learning）是在有标注数据上进行的学习，通过输入数据和相应的标签对模型进行监督和训练，学习到输入数据和输出标签之间的映射关系。
...

解决少样本问题的策略（可以快速部署）

Today topic: For Engineering contribution, you just need to meet the lowest requirement. However, for the graduation project, you have to do huge amount of researches to find one task which worthing to be discussed. Then, give several protential solutions with a bit of corresponding results.

lizeyujack is back

I’m back from pancreatic minimally invasive surgery😢.